“비꼬는 말투까지 알아채 표정 싹 바꾼다”…UNIST, 혁신 AI 기술 개발 작성일 06-18 40 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">김태환 교수팀, 음성-표정 잇는 크로스 모달 AI ‘C-MET’ 공개<br>별도 참조 사진 없이 목소리만으로 미묘한 감정 변화 합성<br>기존 AI에 플러그인처럼 결합…“가상인간·콘텐츠 제작 혁신”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="HlzkSAAilf"> <figure class="figure_frm origin_fig" contents-hash="540e767ad500b41e92acfab3876e8feeb7afd7b86c2a019ce39eedfbd8f87ec4" dmcf-pid="XSqEvccnWV" dmcf-ptype="figure"> <p class="link_figure"><img alt="C-MET와 기존 방법들의 감정 편집 결과 비교. 연구그림=UNIST" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/18/seouleconomy/20260618091233424gkhq.png" data-org-width="1200" dmcf-mid="G9gtK55TC4" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/18/seouleconomy/20260618091233424gkhq.png" width="658"></p> <figcaption class="txt_caption default_figure"> C-MET와 기존 방법들의 감정 편집 결과 비교. 연구그림=UNIST </figcaption> </figure> <p contents-hash="82eaa434aee478563bfa3eb65ec2cabf57b86cfb7b6b9727c938152e7184c645" dmcf-pid="ZvBDTkkLh2" dmcf-ptype="general">“잘한다”는 짧은 말 한마디에 담긴 칭찬과 비꼼의 미묘한 어조 차이를 인공지능(AI)이 인식해 영상 속 화자의 표정을 실감 나게 바꾸는 기술이 개발됐다.</p> <p contents-hash="7faa319f4823dc44f7d8e3d2beec37dadae8703a39df6cbebc51dca8d79591dc" dmcf-pid="5TbwyEEoy9" dmcf-ptype="general">울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 음성 신호에서 감정을 추출해 별도의 참조 이미지 없이도 영상 속 화자의 표정을 변환하는 인공지능 모듈 ‘C-MET(Cross-Modal Emotion Transfer)’을 개발했다고 18일 밝혔다.</p> <p contents-hash="e74a72e6445cf62e88d38561a7d8ff318b2fcff7abcbb9cf8642079bf637bd67" dmcf-pid="1yKrWDDgSK" dmcf-ptype="general">그동안 말하는 얼굴 합성 기술은 가상 인간이나 디지털 아바타 제작의 핵심으로 꼽혀왔다. 하지만 기존 기술은 감정을 ‘기쁨’, ‘슬픔’ 등으로 규정해 학습하는 레이블(Label) 방식이거나, 원하는 감정을 보여주는 별도의 고품질 참조 사진이 필요했다. 특히 음성을 기반으로 할 경우 말의 내용과 감정 신호가 뒤섞이는 한계가 있어 ‘비꼬는 표정(Sarcasm)’과 같이 훈련 데이터에 포함되지 않은 비정형 감정 표현은 사실상 불가능에 가까웠다.</p> <p contents-hash="4e6637a2f63836508e3586295133b6ccaf1e50a1748527a5c753928c3ccf6f24" dmcf-pid="toTPg88BSb" dmcf-ptype="general">연구팀이 선보인 C-MET은 음성과 영상이라는 서로 다른 형태의 정보(모달리티)를 연결하는 기술이다. 중립 음성과 감정이 실린 음성의 차이를 ‘벡터(변화의 방향과 크기를 담은 숫자 정보)’로 계산하고, 이 음성의 감정 변화 벡터가 얼굴의 표정 변화로 어떻게 이어지는지를 AI가 학습하도록 설계됐다.</p> <p contents-hash="b662cfeea28ad7b62dad5d107bd6e9288cdc81a46a1783d82364417d2dfb5899" dmcf-pid="FgyQa66bTB" dmcf-ptype="general">이를 통해 말의 내용이나 입 모양 정보와 분리된 순수한 감정 신호만을 추출해 얼굴 표정 공간으로 옮길 수 있다. 같은 문장이라도 어조가 달라지면 입꼬리, 눈썹, 눈 주변 움직임이 섬세하게 달라지도록 표정을 제어하는 것이다.</p> <p contents-hash="69dcdfac21107ac8b59b51f0c0644b11f8ede75ea77745a08f0e22a29f907e67" dmcf-pid="3aWxNPPKyq" dmcf-ptype="general">특히 정해진 감정 목록 중 하나를 고르는 방식이 아니라 두 감정 사이의 변화량을 추적하기 때문에 비꼼, 공감, 카리스마 등 학습 과정에서 직접 접하지 못한 미묘한 감정까지 끄집어낼 수 있다. 고품질의 참조 사진 없이도 음성만 있으면 원래 화자의 얼굴 특징과 고개 움직임 등은 유지한 채 표정만 자연스럽게 바꿀 수 있는 점도 돋보인다.</p> <p contents-hash="c6ae85a3b1a5e4aea7cd0f699601a9a659a25f2d5f7b5358fc28b86c5ca5a620" dmcf-pid="0NYMjQQ9Wz" dmcf-ptype="general">탁월한 범용성도 강점이다. C-MET은 특정 생성 모델 전용이 아닌, 부품처럼 끼워 쓸 수 있는 ‘플러그인’ 방식의 경량 모듈로 개발됐다. 기존 말하는 얼굴 생성 AI의 무거운 표정 인코더를 C-MET으로 교체하는 것만으로 별도의 재학습 없이 성능을 끌어올릴 수 있다.</p> <p contents-hash="43c00a308aa77b3275c2f2223f6bace8c61e9e10a530acadcd5ab96e8cc382eb" dmcf-pid="pjGRAxx2T7" dmcf-ptype="general">실제 최신 모델인 ‘이디톡(EDTalk)’에 C-MET을 적용해 실험한 결과, 기존 대비 감정 표현 정확도가 41.99%에서 55.91%로 14%포인트가량 껑충 뛰었다. 또 다른 모델인 ‘PD-FGC’에서도 감정 정확도가 33.36%에서 36.82%로 높아졌으며, 두 모델 모두에서 추론 속도가 눈에 띄게 단축됨을 확인했다.</p> <p contents-hash="67d93a7ce953bf2ea59a5c1c6502236e22f73259d7a94b8e0f6a690a7a8bd941" dmcf-pid="UAHecMMVTu" dmcf-ptype="general">김태환 교수는 “이번 연구는 참조 이미지 없이 음성만으로 얼굴 영상의 감정을 바꿀 수 있다는 점에서 기존 방식들의 한계를 실질적으로 해결했다”며 “가상 인간 제작, 영화·콘텐츠 후반 작업, 감정 인식 AI 등 다양한 분야에 폭넓게 활용될 수 있는 기반 기술”이라고 설명했다.</p> <p contents-hash="198563428118f624f952ccefda3006e5c153d362a22d7030e61a386dbd334fde" dmcf-pid="ucXdkRRfvU" dmcf-ptype="general">최찬혁 UNIST 인공지능대학원 석사과정생이 제1저자로 참여한 이번 연구 성과는 인공지능 및 컴퓨터 비전 분야 세계 최고 권위 국제학회인 ‘CVPR(Computer Vision and Pattern Recognition) 2026’에 채택됐다. 관련 코드와 데모 영상 등은 연구팀 프로젝트 페이지를 통해 확인할 수 있다.</p> <p contents-hash="4e52c5e8e82c71d04c5115d677494626640dcd8976dcefdaaeda040956bf63a9" dmcf-pid="7kZJEee4yp" dmcf-ptype="general">울산=장지승 기자 jjs@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 아톤, '뮤직카우' 거래 인증 전 구간에 양자내성암호 적용 06-18 다음 쿠팡도, 티빙도 털리는데…"해킹사고, 사후 대응이 보안 경쟁력 좌우" 06-18 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
