[NDC 26] 캐릭터에 더 빠져드는 목소리 만드는 ‘블루 아카이브’의 노력 작성일 06-17 50 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">김명지 넥슨게임즈 ML팀 파트장의 한국어 TTS 모델 개발기</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="WusboHHlY1"> <figure class="figure_frm origin_fig" contents-hash="e5e90de4f6381801545072763fe91dcc77194dcf98bed52490ad7b35a7843600" dmcf-pid="Y7OKgXXSG5" dmcf-ptype="figure"> <p class="link_figure"><img alt="김명지 넥슨게임즈 ML팀 파트장의 ‘SBV2 오픈소스를 활용한 한국어·일본어 TTS 모델 개발기’ 강연[사진=NDC 강연 라이브 갈무리]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/gamezin/20260617125101715krgl.jpg" data-org-width="700" dmcf-mid="Qcdybccn53" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/gamezin/20260617125101715krgl.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김명지 넥슨게임즈 ML팀 파트장의 ‘SBV2 오픈소스를 활용한 한국어·일본어 TTS 모델 개발기’ 강연[사진=NDC 강연 라이브 갈무리] </figcaption> </figure> <div contents-hash="d4664194b842ad4178e1585444dbe1e5178ae75429b81e13927ca3ed36a72648" dmcf-pid="GzI9aZZvZZ" dmcf-ptype="general"> 김명지 넥슨게임즈 IO본부 위그드라실 ML팀 파트장은 17일 ‘넥슨 개발자 콘퍼런스(NDC)’에 참석해 ‘블루 아카이브’의 캐릭터 음성 TTS 품질을 끌어올리기 위해 일본어 특화 오픈소스 모델인 ‘Style-Bert-VITS2’를 한국어 환경에 이식한 개발 과정을 소개했다. </div> <p contents-hash="4fa147d0d13002a069715acb8117bf38a3549d3e7f387793e1cc7f938c0ebb4d" dmcf-pid="H5A0MllwZX" dmcf-ptype="general">그는 이날 ‘SBV2 오픈소스를 활용한 한국어·일본어 TTS 모델 개발기’ 강연을 통해 단순히 문장을 읽는 것을 넘어 서브컬처 장르의 핵심 중 하나인 캐릭터성을 살린 음성 구현을 위한 넥슨게임즈 IO본부의 노력을 공유했다.</p> <p contents-hash="32fb7ede42d06cdd31ee27f0b7605a56b6224311ca639bc65947d67c282e7a0d" dmcf-pid="X1cpRSSrZH" dmcf-ptype="general">넥슨게임즈의 IO본부는 인기 서브컬처 게임인 ‘블루 아카이브’를 개발하고 있는 조직이다. 김명지 파트장은 엔씨소프트, 네오플 등에서 클라이언트 프로그래머로 7년간 활약한 인물로 현재 넥슨게임즈에서 머신러닝 엔지니어로 근무하고 있다.</p> <p contents-hash="a44e8f5f4369761510697b1e96a13cd3782bff6cc5745d425a76ec7b9d5a9f07" dmcf-pid="ZtkUevvm5G" dmcf-ptype="general">김 파트장에 따르면 IO본부는 캐릭터와 이용자 간의 상호작용 경험을 제공해 실제로 소통하고 있다는 감각을 느끼게 하는 것에 힘쓰고 있다. 이에 ‘블루 아카이브’는 출시 초기부터 TTS를 이용해 캐릭터가 이용자의 닉네임을 직접 불러주는 기능을 탑재하기도 했다. 인게임 대사 역시 TTS를 이용해 업데이트되고 있다고 한다.</p> <p contents-hash="2377f9fe0fdb00e07521b7fce3bd39dd46862a4f7d97283eb3f3de760ce210cb" dmcf-pid="5FEudTTsZY" dmcf-ptype="general">IO본부는 여기서 더 나아가 캐릭터에 더욱 몰입할 수 있는 목소리를 만들고자 했다. 단순히 말을 하는 것을 넘어 캐릭터성과 감정을 담은 자연스러운 목소리를 구현하는 것이다. 실제 김 파트장은 과거보다 더 자연스럽고 실제 감정이 담긴 음성 결과물을 강연에서 선보이기도 했다.</p> <p contents-hash="50d85b19502410c357758aa5a7918f63e3fc39844e542951578c5b175b3b0746" dmcf-pid="13D7JyyOHW" dmcf-ptype="general">김 파트장은 새로운 TTS 학습 모델을 선정하면서 ▲캐릭터성이 깨지지 않으면서 ▲상황에 맞는 감정을 담으며 ▲자연스럽게 말하는 등의 세 가지 큰 기준을 마련했다고 한다. 여기에 캐릭터의 음색, 캐릭터의 발성 습관, 캐릭터 특유의 말투, 캐릭터만의 감정 표현은 물론 평상시와 기쁨, 슬픔, 화남 등의 감정, 각 언어 담당자들의 피드백을 통해 분류한 무음 길이, 장음, 음의 높낮이, 노이즈 제거 등의 세부 기준도 설정했다. 이를 통해 여러 모델을 검토한 결과 선택된 것이 ‘Style-Bert-VITS2’였다.</p> <p contents-hash="3a8f775e999e7d40ee53d708eb7e1f2cdad3f847c5b035e638d93167d86eb2e2" dmcf-pid="t0wziWWIZy" dmcf-ptype="general">김 파트장에 따르면 ‘Style-Bert-VITS2’는 IO본부가 설정한 기준에 가장 적합했다. 그러나 ‘Style-Bert-VITS2’는 일본어 전용 TTS 학습 모델이었고 영어와 중국어는 지원하지만 한국어를 지원하지 않는 문제가 있었다. 이에 김 파트장은 한국어 학습 모드를 새로 개발하기로 했다고 한다.</p> <p contents-hash="219c6931d7ffcdff0b79fc53c595099b8094eb902a1b035c97a963120b3ad0a6" dmcf-pid="FprqnYYCHT" dmcf-ptype="general">이를 위해 해당 모델에서 대본 텍스트를 학습 가능한 데이터로 변환하는 과정인 G2P를 한국어에 맞춰 변형했다. 그 과정에서 한국어에서는 필요 없다고 판단한 형태소 분석, 악센트 정보 추출, 가타카나 변환을 제외하고 대신 한국어 텍스트를 발음대로 변환해주는 한글 음소 변환 부분을 추가했다. 노멀라이제이션도 기본 일본어 처리에서 한국어 처리가 되도록 변경했다. 다만 이 과정에서 악센트 정보 추출 단계를 제외하면서 음 높낮이 조절 기능을 사용하지 못하게 되는 문제도 발생했다. 이는 향후 연구 과제로 남겨뒀다고 한다.</p> <figure class="figure_frm origin_fig" contents-hash="2dd727ac6155c427bbb13cd8fcbf5103791c8e25962e9b8fb57c5a1dbaa19e41" dmcf-pid="3UmBLGGhHv" dmcf-ptype="figure"> <p class="link_figure"><img alt="김명지 넥슨게임즈 ML팀 파트장의 ‘SBV2 오픈소스를 활용한 한국어·일본어 TTS 모델 개발기’ 강연[사진=NDC 강연 라이브 갈무리]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/gamezin/20260617125103020anrq.jpg" data-org-width="700" dmcf-mid="xjiY9EEo1F" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/gamezin/20260617125103020anrq.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김명지 넥슨게임즈 ML팀 파트장의 ‘SBV2 오픈소스를 활용한 한국어·일본어 TTS 모델 개발기’ 강연[사진=NDC 강연 라이브 갈무리] </figcaption> </figure> <div contents-hash="e69e69e5cd6e4343a945bfe0a8f814828c0f7c2f3da8c1354b464abee51d95f4" dmcf-pid="0UmBLGGhGS" dmcf-ptype="general"> 또 문장 속 단어의 뜻을 숫자 벡터로 변환하는 BERT 모델도 한국어에 맞게 변경했다. BERT 모델은 ‘3일 전’이라는 표현에서 ‘일’이라는 단어가 숫자 1인지, 일요일의 일인지, 일을 하다의 일인지를 구분해주는 모델이라고 한다. 김 파트장은 3개의 교체 후보군 중 기존 구조와 히든 사이즈가 같은 ‘beomi/kcbert-large’를 선택했다. </div> <p contents-hash="bf536faa8395277fb2a92851d10d9c3644a76965056346039267f1c4ac6aa739" dmcf-pid="pusboHHlXl" dmcf-ptype="general">이후 기반 모델 학습 과정에서도 여러 문제가 발생했다. 첫 번째는 언밸런싱 트레이닝 문제, 두 번째는 데이터셋 조합 문제였다.</p> <p contents-hash="b2aedd0b4fb03d94e223f225adb0f4494bc93bdbc14228c298b1aee4461f9444" dmcf-pid="U7OKgXXSZh" dmcf-ptype="general">김 파트장에 따르면 언밸런싱 트레이닝 문제는 음성 생성자와 음성 판별자 모델이 학습 과정에서 서로 균형을 맞추며 수렴하지 않고 판별자의 오버피팅으로 생성자가 만들어낸 음성을 ‘가짜’로 판단하는 문제다. 이미 데이터셋이라는 정답지를 가진 판별자에 비해 백지상태에서 학습을 시작한 생성자가 학습 속도를 따라가지 못하는 상황이라고 한다.</p> <p contents-hash="93b307dadf9ee75a03c2263c9ce3a7c085fc3e63bda17f9cdea16618c5257d4a" dmcf-pid="uzI9aZZvHC" dmcf-ptype="general">이에 김 파트장은 판별자는 학습하지 않고 생성자만 학습하도록 설정한 선행 학습 구간을 마련하고 판별자가 생성자보다 조금 천천히 학습하도록 학습 속도를 다르게 설정해 이를 해결했다고 한다.</p> <p contents-hash="80d5adf61cdf2e93c8fc908d9d6eba4c4d2fb9ee5412ec2920ecfbf0e4f60001" dmcf-pid="7qC2N55T5I" dmcf-ptype="general">데이터셋 조합 문제는 당초 활용하고자 했던 약 300GB 분량의 데이터셋 3종 중 세 번째 데이터셋이 학습에 적합하지 않아 발생했다. 김 파트장은 초기 약 900GB의 데이터셋을 활용해 학습한 결과 문제를 발견하고 이를 세 개의 개별 데이터셋으로 분리해 문제의 원인을 발견했다고 한다. 결과적으로 세 번째 데이터셋이 문제가 된 원인을 정확하게 파악하지는 못했지만 세 번째 개별 데이터셋을 제외한 나머지 600GB 분량의 데이터셋으로 학습을 진행하기로 했다.</p> <p contents-hash="e49452b71a283ada192eb75b278cb81d63a39e74bdc9337d15ae4c849300f407" dmcf-pid="zBhVj11yHO" dmcf-ptype="general">이외에도 이후 파인튜닝 과정에서 학습 그래프상의 수치와 달리 품질이 좋지 않은 사례가 발견돼 기본 파라미터를 그대로 사용했다고 덧붙였다.</p> <p contents-hash="f849782ffa4cce9ab59227f38c190399cfb10067e1fe08782d4053c38dacf7ee" dmcf-pid="qblfAttW5s" dmcf-ptype="general">끝으로 김 파트장은 향후 모델의 고도화를 위한 과제에 대해서도 소개했다. 첫 번째는 모델 평가 체계 구축, 두 번째는 코퍼스 구축이다.</p> <p contents-hash="7b4224b68e8438eb274e9d087782c74782d295ffe30d4f80db3820b2026fac11" dmcf-pid="BKS4cFFYGm" dmcf-ptype="general">김 파트장에 따르면 그동안은 음성 합성 결과물을 본인이 직접 듣고 평가했다. 앞으로는 정량 평가와 정성 평가를 도입해 보다 객관적으로 평가할 수 있는 프로세스를 구축할 방침이다. 1단계 정량 평가는 학습 과정에 자동으로 삽입해 학습의 지속 및 개선 여부를 판단하고 2단계 정성 평가를 통해서는 정량 평가에서 합격한 모델만 다시 종합적으로 판단하겠다는 설명이다.</p> <p contents-hash="4dd4090c53f717ff12172f30bbb9c2f8f51a7e7802d579c7a4ef6c6ce548b3a4" dmcf-pid="b9v8k33GGr" dmcf-ptype="general">또 학습에 사용하는 데이터 전반을 의미하는 데이터셋에서 더 나아간 특정 목적을 위해 설계된 데이터인 코퍼스를 구축해 결과물의 품질을 높일 생각이다. 정확한 발음이 필요한 단어일수록 해당 단어를 다양한 문맥의 대본에 포함시켜 코퍼스를 구성하는 것이 필요하다는 판단이다.</p> <figure class="figure_frm origin_fig" contents-hash="e3a7cda71ac37e67e452923670b20fb218fae9f25d43132959270228ec4659a3" dmcf-pid="KUmBLGGh1w" dmcf-ptype="figure"> <p class="link_figure"><img alt="김명지 넥슨게임즈 ML팀 파트장의 ‘SBV2 오픈소스를 활용한 한국어·일본어 TTS 모델 개발기’ 강연[사진=NDC 강연 라이브 갈무리]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/gamezin/20260617125104289xkeo.jpg" data-org-width="700" dmcf-mid="yjVs3iiP1t" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/gamezin/20260617125104289xkeo.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김명지 넥슨게임즈 ML팀 파트장의 ‘SBV2 오픈소스를 활용한 한국어·일본어 TTS 모델 개발기’ 강연[사진=NDC 강연 라이브 갈무리] </figcaption> </figure> <div contents-hash="e6d213cccefa1926ec5a3d935da9544b46584f66fc208f343a986c7d0c0923a8" dmcf-pid="9usboHHltD" dmcf-ptype="general"> 그는 “TTS 모델이 말을 하게 만드는 것 자체는 쉽지만 우리가 중요하다고 생각하는 것은 말을 하는 것 자체가 아니라 그 캐릭터에게 더 빠져들 수 있는 순간을 만드는 것”이라며 “앞으로도 그 목표를 잃지 않고 더 자연스럽고 더 진짜 같은 목소리를 만들기 위해 계속 나아가겠다”라고 맺었다. </div> <p contents-hash="2518d2e1fa2fcec6340370ea35a7be1d1addc419b4daa159d0c46b7bbc4c2039" dmcf-pid="27OKgXXSHE" dmcf-ptype="general">한편 ‘NDC’는 국내 게임업계 최대 지식공유 행사다. 지난 16일 경기도 성남시 판교 넥슨 사옥 일대에서 개막했다. 오는 18일까지 사흘간 총 51개 세션에서 전문가들의 지식과 경험 공유가 이뤄질 예정이다.</p> </section> </div> <p class="" data-translation="true">Copyright © 매경게임진. 무단전재 및 재배포 금지.</p> 관련자료 이전 [포커스] 프로탁구에서 세계마스터즈까지…강릉에서 본 한국 탁구의 부흥기 06-17 다음 파리올림픽 사브르 단체전 금메달 주역 구본길 국가대표 은퇴 06-17 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
