"비꼬는 어조까지 포착"…음성 분석해 표정 바꾸는 AI 작성일 06-18 46 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">UNIST, 음성 속 감정으로 영상 화자 표정 바꾸는 기술 개발</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="0VnHMrrN12"> <figure class="figure_frm origin_fig" contents-hash="880f7d7f620245e374c23447d2303bd55c1cb27f26ada4f6d773402f737cd337" dmcf-pid="p6a1JIIkX9" dmcf-ptype="figure"> <p class="link_figure"><img alt="C-MET와 기존 방법들의 감정 편집 결과 비교 [울산과학기술원 제공. 재판매 및 DB 금지]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/18/yonhap/20260618140617045vchz.jpg" data-org-width="962" dmcf-mid="qDBkpMMVHD" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/18/yonhap/20260618140617045vchz.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> C-MET와 기존 방법들의 감정 편집 결과 비교 [울산과학기술원 제공. 재판매 및 DB 금지] </figcaption> </figure> <p contents-hash="0653c70394f5eeed61c00c501327a200f9d99fe3beb4c03f2f675a7426804d67" dmcf-pid="UPNtiCCEYK" dmcf-ptype="general">(울산=연합뉴스) 허광무 기자 = "잘한다"는 말은 어조에 따라서 칭찬이 될 수도, 비꼬는 의미가 될 수도 있다. </p> <p contents-hash="ca4a61bad7cbe8e61efae0669bba7914746090d05b4f6a4661b67dc1962feaef" dmcf-pid="uQjFnhhDZb" dmcf-ptype="general">이러한 음성 속 미묘한 감정을 인식해 영상 속 화자의 표정을 바꾸는 인공지능(AI) 기술이 개발됐다.</p> <p contents-hash="59d9912b6fc92211f771d794e1b42889cd0e396de63745ed327a3a0b429b9737" dmcf-pid="7xA3LllwXB" dmcf-ptype="general">울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 음성 신호에서 감정을 추출해, 별도 참조 이미지 없이도 영상 속 화자의 표정을 원하는 감정으로 바꿀 수 있는 인공지능 모듈 'C-MET'(Cross-Modal Emotion Transfer)를 개발했다고 18일 밝혔다.</p> <p contents-hash="6260536f4f8828a56499a5f553207d2b7d70704c5f7db1d7da10ec296fb7e5ac" dmcf-pid="zMc0oSSrXq" dmcf-ptype="general">C-MET는 음성에 담긴 감정의 변화량을 표정의 변화량으로 옮기는 것이 특징이다. </p> <p contents-hash="9ba940e4d728ea3a3f50b74173e1e08b40679350dfd9c8c9d60ad0e92518e12c" dmcf-pid="qRkpgvvmXz" dmcf-ptype="general">중립적 음성과 감정이 실린 음성의 차이를 벡터, 즉 변화의 방향과 크기를 담은 숫자 정보로 계산하고, 이 벡터가 얼굴에서는 어떤 표정 변화로 나타나는지를 AI가 학습하는 것이다. </p> <p contents-hash="96ea4ecaac94250f23b244cb35cdbe1d8342a41adcd3bd5ece5cacbe5ae7c2a9" dmcf-pid="BeEUaTTsZ7" dmcf-ptype="general">이를 통해 말의 내용과 감정이 섞인 음성에서 표정 변화에 필요한 감정 신호를 따로 읽어낼 수 있다. </p> <p contents-hash="6e515645ab86081e5f1e56aa243f0a13a278be0a1453f56ade905ee0a71d9a1b" dmcf-pid="bcv4O33Gtu" dmcf-ptype="general">같은 문장이라도 어조가 달라지면 입꼬리, 눈썹, 눈 주변 움직임이 다르게 나타나도록 표정을 바꿀 수 있는 것이다.</p> <p contents-hash="d609e160ebfb3330c114ca5e2df1432b755fb0717856d9b1dd5d6d5799bbe49e" dmcf-pid="KkT8I00H1U" dmcf-ptype="general">또 각각의 감정에 '슬픔'이나 '기쁨' 같은 이름표를 붙여 학습시키는 방식과 달리, 두 감정 사이의 변화량을 보는 방식으로 비꼼, 공감, 카리스마처럼 학습 과정에서 직접 보지 못한 미묘한 감정도 표정에 반영할 수 있다.</p> <p contents-hash="da9669053e23539f128b3845dfb52f9ae68a6724973f16c6d3801c26d8cc2108" dmcf-pid="9Ey6CppXHp" dmcf-ptype="general">감정이 담긴 음성을 입력에 사용하기 때문에 감정을 표현한 고품질 정면 사진과 같은 참조 이미지도 필요 없다.</p> <figure class="figure_frm origin_fig" contents-hash="4830314b5a4d2bdbf591275f2050b62a3445bf1e773cf02ac97a8c51766a5c7d" dmcf-pid="2DWPhUUZG0" dmcf-ptype="figure"> <p class="link_figure"><img alt="C-MET 개발한 김태환 교수(왼쪽)와 최찬혁 연구원 [울산과학기술원 제공. 재판매 및 DB 금지]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/18/yonhap/20260618140617258hqjk.jpg" data-org-width="895" dmcf-mid="ykdWPEEoHd" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/18/yonhap/20260618140617258hqjk.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> C-MET 개발한 김태환 교수(왼쪽)와 최찬혁 연구원 [울산과학기술원 제공. 재판매 및 DB 금지] </figcaption> </figure> <p contents-hash="26b0c42fe7c411b7d4e60077f1b3eff4fed78fa3457a564d69fc8dacf644468f" dmcf-pid="VwYQluu553" dmcf-ptype="general">이 기술은 최신 표정 편집 기술인 이디톡(EDTalk)보다 감정 표현 정확도가 14%p가량 높게 나왔다. </p> <p contents-hash="05bc530e6bc29f226feef58ea9298919d68c4a1dc02abbcf3f9791c755cc5292" dmcf-pid="frGxS771XF" dmcf-ptype="general">C-MET은 부품처럼 끼워 쓸 수 있는 모듈 형태인데, 기존 이디톡 모델의 표정 인코더를 C-MET로 대체해 실험한 결과 감정 정확도가 41.99%에서 55.91%로 향상됐다.</p> <p contents-hash="3d84a9750e05c0b57466df98a5b997eb52dd6477e98e0e6f15ac5fa532d2e3cd" dmcf-pid="4mHMvzztZt" dmcf-ptype="general">또 다른 말하는 얼굴 생성 모델인 'PD-FGC'에도 C-MET를 적용한 결과 감정 정확도가 33.36%에서 36.82%로 높아졌다. </p> <p contents-hash="928f1d51954efd986c6e19193997cc229320c40ee889d9a1de4dccdd6fb65612" dmcf-pid="8sXRTqqFZ1" dmcf-ptype="general">C-MET가 특정 모델에 한정되지 않고 여러 얼굴 생성 AI 모델에 적용될 수 있음을 보여주는 결과다.</p> <p contents-hash="b3b8792513b1af9aa9abafc24430bedf2297bd0096bc62f2a3a0b2a3613712c2" dmcf-pid="6OZeyBB3G5" dmcf-ptype="general">김태환 교수는 "이번 연구는 참조 이미지 없이 음성만으로 얼굴 영상의 감정을 바꿀 수 있다는 점에서 기존 방식들의 한계를 실질적으로 해결했다"라면서 "가상 인간 제작, 영화·콘텐츠 후반 작업, 감정 인식 AI 등 다양한 분야에 폭넓게 활용될 수 있는 기반 기술"이라고 말했다.</p> <p contents-hash="11441e858b140d221224bec5e4cffdbb2d7ac55eb5da9e3d8b0956219dc64815" dmcf-pid="PDWPhUUZ5Z" dmcf-ptype="general">이번 연구 성과는 AI와 컴퓨터 비전 분야 국제학회인 'CVPR 2026'(Conference on Computer Vision and Pattern Recognition)에 채택됐다.</p> <p contents-hash="531df7db81d11cb217cf1f6d35020f1c31f3eab8177c3d0e425179caa6c7552f" dmcf-pid="QwYQluu5tX" dmcf-ptype="general">hkm@yna.co.kr</p> <p contents-hash="ad4c38e718c3b208eddcedb4c19b3ef5c2aeb143b278b6b5d4e5b302c8d86b01" dmcf-pid="ybey6kkLYG" dmcf-ptype="general">▶제보는 카톡 okjebo</p> </section> </div> <p class="" data-translation="true">Copyright © 연합뉴스. 무단전재 -재배포, AI 학습 및 활용 금지</p> 관련자료 이전 [K-VIBE] 노석준의 메타토피아… 신화적 상상력, 기술로 진화하다-④ 06-18 다음 '1번 시드' 김가은, 우승 간다! 마카오 오픈 8강행…세계 76위 태국 선수 2-0 완파→김민지와 코리안 더비 06-18 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
