"잘한다" 한마디에 담긴 비꼼까지 읽는다…AI가 표정 바꿔준다[과학을읽다] 작성일 06-18 50 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">UNIST, 음성 감정 분석해 얼굴 표정 생성<br>훈련 안 된 감정도 표현…정확도 14%p 향상</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="uzw6IggRAQ"> <p contents-hash="5e9497f1f341f6ab28c50985bb08da8e633ec8c98543645bcd934192d29031b2" dmcf-pid="7qrPCaaekP" dmcf-ptype="general">"잘한다."</p> <div contents-hash="c3e41b13b1b4a5eeefd7a6ada9857f6f337387b8989b1e757a83d5c9ccbd0c3e" dmcf-pid="zBmQhNNdg6" dmcf-ptype="general"> <p>같은 말이라도 진심 어린 칭찬일 수도 있고, 비꼬는 말일 수도 있다. 사람은 말투와 억양만 들어도 감정을 읽어내지만 인공지능(AI)에게는 쉽지 않은 일이다.</p> </div> <figure class="figure_frm origin_fig" contents-hash="00191791d64f2bb9b99b83df84327222caeea2d66f580fcf1cdb7bf0bac3ffa6" dmcf-pid="qbsxljjJj8" dmcf-ptype="figure"> <p class="link_figure"><img alt="C-MET와 기존 방법들의 감정 편집 결과 비교. 연구팀은 동일한 중립 표정 영상에 비꼬는 감정이 담긴 음성을 입력해 성능을 비교한 결과, C-MET이 입꼬리가 양옆으로 넓게 벌어지는 등 비꼼 특유의 미묘한 표정 변화를 가장 정확하게 구현했다고 설명했다. 반면 기존 기술들은 이러한 감정 표현을 제대로 재현하지 못했다. 연구팀 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/18/akn/20260618080205314zlxe.jpg" data-org-width="745" dmcf-mid="p1JmzGGhcM" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/18/akn/20260618080205314zlxe.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> C-MET와 기존 방법들의 감정 편집 결과 비교. 연구팀은 동일한 중립 표정 영상에 비꼬는 감정이 담긴 음성을 입력해 성능을 비교한 결과, C-MET이 입꼬리가 양옆으로 넓게 벌어지는 등 비꼼 특유의 미묘한 표정 변화를 가장 정확하게 구현했다고 설명했다. 반면 기존 기술들은 이러한 감정 표현을 제대로 재현하지 못했다. 연구팀 제공 </figcaption> </figure> <p contents-hash="cd1bb20a5503471e017c1e171430741a9a578d8b5ef0c8ededbf3f6e7cd1c40e" dmcf-pid="BKOMSAAij4" dmcf-ptype="general">국내 연구진이 음성에 담긴 미묘한 감정을 읽어 영상 속 인물의 표정을 바꾸는 AI 기술을 개발했다. 기쁨이나 슬픔뿐 아니라 비꼼, 공감, 카리스마 같은 복합적인 감정까지 표현할 수 있어 가상인간과 교육용 아바타, 상담 AI 등의 자연스러움을 크게 높일 수 있을 것으로 기대된다.</p> <p contents-hash="e429f914e01f7808fe51ca1ad5deb574dc2654ab9ad2c92c5198970acc98562e" dmcf-pid="b9IRvccnNf" dmcf-ptype="general">울산과학기술원(UNIST)은 김태환 인공지능대학원 교수 연구팀이 음성 신호에서 감정을 추출해 영상 속 화자의 얼굴 표정을 원하는 감정으로 바꿀 수 있는 인공지능 모듈 'C-MET(Cross-Modal Emotion Transfer)'을 개발했다고 18일 밝혔다.</p> <p contents-hash="ca95ffd26271e4abf3ee405ced8e1fc08bf24f2d1dab88b230b93b1b009924be" dmcf-pid="K2CeTkkLkV" dmcf-ptype="general">기존 얼굴 생성 AI는 특정 감정을 표현한 참조 이미지가 필요하거나 학습한 감정 범위 안에서만 표정을 생성할 수 있다는 한계가 있었다.</p> <p contents-hash="a9d30fe4adde779342f73528e4356216d5bdc4de12a011684f16a6f0f578dba3" dmcf-pid="9VhdyEEok2" dmcf-ptype="general">연구팀은 감정 자체가 아니라 감정의 '변화량'에 주목했다.</p> <p contents-hash="a8e0cd50d7b94baa876bb0e5c04e39aa7701ce114d57b04713f8c7e61aff055c" dmcf-pid="2flJWDDgg9" dmcf-ptype="general">중립적인 음성과 감정이 담긴 음성의 차이를 수치화한 뒤 그 변화가 얼굴에서는 어떤 표정 변화로 나타나는지를 AI가 학습하도록 설계했다. 덕분에 말의 내용과 감정이 함께 섞여 있어도 감정 신호만 분리해 읽어낼 수 있다.</p> <p contents-hash="d58f8091de88e354981dc2432419425891cfc8439528c12421fae90c22e37eb4" dmcf-pid="V4SiYwwacK" dmcf-ptype="general">예를 들어 같은 문장을 말하더라도 어조에 따라 입꼬리나 눈썹, 눈 주변 움직임을 다르게 표현할 수 있다.</p> <p contents-hash="abe26fba5e63cd306afc68d10ef8654c0026fd3c8e5931b2e57248d2c8ceec8d" dmcf-pid="f8vnGrrNab" dmcf-ptype="general">특히 감정에 '기쁨'이나 '슬픔' 같은 이름표를 붙여 학습하는 방식이 아니라 감정 간 차이를 학습하기 때문에 학습 과정에서 보지 못한 감정도 표현할 수 있다. 비꼼이나 공감, 카리스마 같은 미묘한 감정 표현도 가능하다는 설명이다.</p> <p contents-hash="abb13d8cf9fadd6d4242b55d880d43645c590ebd05a8953ffe83f91d4eac74c3" dmcf-pid="46TLHmmjcB" dmcf-ptype="general"><strong><strong><strong>"사진 없이도 감정 표현"…가상인간 활용 기대</strong></strong></strong></p> <p contents-hash="4a55b89b49064a55a7d017bbb48d232bf6cc95973cf8e33c395d43666f2f8ed9" dmcf-pid="8bsxljjJNq" dmcf-ptype="general">연구팀은 최신 말하는 얼굴 편집 기술인 '이디톡(EDTalk)'에 C-MET을 적용해 성능을 검증했다.</p> <p contents-hash="062256b1f52f75fd490d9943986bd77adf415825b0c62b618d15224b30da0e1d" dmcf-pid="6KOMSAAiaz" dmcf-ptype="general">그 결과 다중 감정 음성·영상 데이터셋인 MEAD(Multimodal Emotion-Aware Dataset) 기준 감정 표현 정확도가 기존 41.99%에서 55.91%로 약 14%포인트 향상됐다.</p> <div contents-hash="9a5ca832f5ccf7807709442c8c3fd060ab4e825ee8e0988771595d4a22174fc4" dmcf-pid="P9IRvccno7" dmcf-ptype="general"> <p>또 다른 얼굴 생성 모델인 'PD-FGC'에서도 정확도가 33.36%에서 36.82%로 개선됐다. 추론 속도 역시 빨라져 특정 모델에 국한되지 않고 다양한 얼굴 생성 AI에 적용할 수 있음을 확인했다.</p> </div> <figure class="figure_frm origin_fig" contents-hash="6b81015fa61d3e42ae9f344cf48475c7f02c86b9b05dd7025cc082875df0f25f" dmcf-pid="Q2CeTkkLcu" dmcf-ptype="figure"> <p class="link_figure"><img alt="연구팀 사진. 김태환 교수(좌측)와 최찬혁 연구원. UNIST 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/18/akn/20260618080206585grgd.jpg" data-org-width="745" dmcf-mid="UC8XMqqFox" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/18/akn/20260618080206585grgd.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 연구팀 사진. 김태환 교수(좌측)와 최찬혁 연구원. UNIST 제공 </figcaption> </figure> <p contents-hash="0fc8e8aef9a16439280d6038082235912ab51d8c6c1171a0dd21987727c04bd3" dmcf-pid="xVhdyEEogU" dmcf-ptype="general">연구팀은 감정을 담은 고품질 참조 이미지 없이 음성만으로 표정을 생성할 수 있다는 점에서 활용 가능성이 높다고 설명했다.</p> <p contents-hash="b775e5117ff2a86866e9812bfbccaf8a7c1436940bf086e7f17788df4e502586" dmcf-pid="yI4Hxzztop" dmcf-ptype="general">김태환 교수는 "이번 연구는 참조 이미지 없이 음성만으로 얼굴 영상의 감정을 바꿀 수 있다는 점에서 기존 기술의 한계를 실질적으로 해결했다"며 "가상인간 제작과 영화·콘텐츠 후반 작업, 감정 인식 AI 등 다양한 분야에 활용될 수 있는 기반 기술"이라고 말했다.</p> <p contents-hash="c4d34b8d325abd38bba84f95e43ccc1a3c87d73a642f0da96ba110ebe27ceb07" dmcf-pid="WC8XMqqFk0" dmcf-ptype="general">이번 연구는 최찬혁 UNIST 인공지능대학원 석사과정생이 제1저자로 참여했으며, 연구 결과는 인공지능·컴퓨터비전 분야 최고 권위 학회인 CVPR 2026에 채택됐다.</p> <p contents-hash="14c7557433263c6526ed0486c254c55f6ffbb88f49bea49a7dca59e10733504a" dmcf-pid="Yh6ZRBB3a3" dmcf-ptype="general">김종화 기자 justin@asiae.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 아시아경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 경남 남해안이 열린다…해수욕장 26곳 내달 초부터 차례로 개장 06-18 다음 '오픈AI 대항마' 앤트로픽이 한국을 전진기지로 선택한 이유 06-18 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
