“AI 만능 척척박사 아니다?” KAIST, AI 과도한 확신 발생 원인 찾았다 작성일 04-27 19 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">- 뇌인지과학과 백세범 석좌교수팀, 딥러닝 모델서 과도한 확신 발생 원인 규명<br>- 두뇌발달 과정 모방 ‘노이즈 예열학습’으로 AI가 아는 만큼만 확신하도록 개선</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="WZQfr5gRGk"> <figure class="figure_frm origin_fig" contents-hash="7746964cbc74c3bf1faeba3dc9b3d93ea96f2ee1697a605b09eea77e9c453e5c" dmcf-pid="Y5x4m1ae1c" dmcf-ptype="figure"> <p class="link_figure"><img alt="백세범(왼쪽) KAIST 석좌교수와 천정환 석사.[KAIST 제공]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202604/27/ned/20260427093021272cspa.jpg" data-org-width="1169" dmcf-mid="xYSOqJ1yZD" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202604/27/ned/20260427093021272cspa.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 백세범(왼쪽) KAIST 석좌교수와 천정환 석사.[KAIST 제공] </figcaption> </figure> <p contents-hash="5e9c988c8736b90953d512e0c64a6811a3d3271b8be39ff1c295177e618a1a5b" dmcf-pid="G1M8stNdYA" dmcf-ptype="general">[헤럴드경제=구본혁 기자] “AI도 모르는 것이 많다. 과도한 확신은 금물.”</p> <p contents-hash="525c465b0d12ac28d039b3c0fcf43d7af62e014cedd5fe0beedfea75de826a30" dmcf-pid="HtR6OFjJZj" dmcf-ptype="general">AI의 가장 큰 위험으로 지적돼 온 ‘과도한 확신(overconfidence·틀린 예측에 대하여 높은 확신을 보이는 현상)’ 문제를 해결할 새로운 접근법이 제시됐다.</p> <p contents-hash="870fbbd611a07175011d9f269e1c46327f2643c9f83bbd6cbb21c3171e0ce96e" dmcf-pid="XFePI3AiHN" dmcf-ptype="general">KAIST는 뇌인지과학과 백세범 석좌교수 연구팀이 딥러닝에서 널리 사용돼 온 무작위 가중치 초기화(신경망 학습 시작 시 가중치를 확률 분포에 따라 무작위로 설정하는 방식)가 인공지능의 과신을 유발하는 근본적인 원인일 수 있음을 규명했다고 27일 밝혔다.</p> <p contents-hash="a4c8c97093130ec53c4ff45a34151328e61561b79269b63413c350f3cbb90484" dmcf-pid="Z3dQC0cn5a" dmcf-ptype="general">연구팀은 이를 해결하기 위해 실제 데이터를 학습하기 전, 무작위 노이즈(의미 없는 임의의 입력 데이터)로 신경망을 짧게 학습시키는 ‘예열’ 전략을 제안했다.</p> <p contents-hash="23bc37cdbf5b795aeeab148280f792e597df59734b3c6b4d21e3228fd7842302" dmcf-pid="5BNnYbOctg" dmcf-ptype="general">연구팀은 AI의 과신 문제가 학습 이후만이 아니라, 학습의 출발점인 초기화 단계에서부터 이미 나타난다는 점에 주목했다.</p> <p contents-hash="c0caab5fcb9ac9a6c8fab8970ac69adc995e120a81f14cbb107209026f69d6a6" dmcf-pid="1bjLGKIkYo" dmcf-ptype="general">실제 무작위로 초기화된 신경망에 임의의 데이터를 입력한 결과, 아직 아무것도 배우지 않은 상태임에도 불구하고 높은 확신도를 보이는 현상이 확인됐다. 이러한 특성은 생성형 AI에서 사실과 다른 내용을 만들어내는 환각 문제로 이어질 수 있다.</p> <figure class="figure_frm origin_fig" contents-hash="38f18c23c725cbdb33a931cbc9181e8c472dc688f1bf9b97799e727741eb0a59" dmcf-pid="tKAoH9CEYL" dmcf-ptype="figure"> <p class="link_figure"><img alt="인공지능 모델이 예열학습을 통해 신뢰도 보정을 한 경우와 그렇지 않은 경우(AI 생성 이미지).[KAIST 제공]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202604/27/ned/20260427093021525kkbs.jpg" data-org-width="1280" dmcf-mid="yTEN5fSrYE" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202604/27/ned/20260427093021525kkbs.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 인공지능 모델이 예열학습을 통해 신뢰도 보정을 한 경우와 그렇지 않은 경우(AI 생성 이미지).[KAIST 제공] </figcaption> </figure> <p contents-hash="7e0e82e859c5e7832ea3b816aaf76817784c7db38b6de7a6c7c6265b62e190ba" dmcf-pid="F9cgX2hDtn" dmcf-ptype="general">연구팀은 실제 학습에 앞서 무작위 노이즈 입력으로 짧은 사전 학습을 수행하는‘예열 단계’를 도입했다. 이는 인공지능이 본격적으로 학습을 시작하기 전에, 스스로의 불확실성을 먼저 조정하는 과정에 해당한다. 예열 과정을 거친 AI 모델은 초기 확신도가 우연 수준에 가까운 낮은 값으로 정렬되며, 기존 초기화에서 나타나던 과신 편향이 크게 완화됐다.</p> <p contents-hash="e1c85c24b6b1808ed52ba414cbf5ce9a44f2c7e31a676d2c29005ea14fe28692" dmcf-pid="32kaZVlw1i" dmcf-ptype="general">실제 데이터를 배우기 전에 ‘나는 아직 아무것도 모른다’는 상태를 먼저 학습하게 되는 것이다. 그 결과, 모델의 정확도(예측이 맞는 비율)와 확신도(모델이 스스로 맞다고 믿는 정도)가 자연스럽게 일치하는 방향으로 개선됐다.</p> <p contents-hash="ffa61cda01a3f1d94256987f30ecc8849f4f9bf03f89d5bb9be762115c5a53f1" dmcf-pid="0VEN5fSrZJ" dmcf-ptype="general">특히 처음 보는 데이터에 대한 반응에서도 차이가 나타났다. 기존 모델은 학습하지 않은 데이터에도 높은 확신을 보이며 잘못된 답을 제시하는 경향이 있었지만, 예열 학습을 적용한 모델은 확신도를 낮춰 ‘모른다’고 판단하는 능력이 뚜렷하게 향상됐다.</p> <p contents-hash="e69b8c6746c70c86b134d3a942fd2f4766386dd034be1e21265604631e80ee72" dmcf-pid="pfDj14vmZd" dmcf-ptype="general">백세범 석좌교수는 “이번 연구는 두뇌 발달 과정을 모사함으로써 AI가 인간과 좀 더 유사하게 자신의 지식 상태를 인식할 수 있음을 보여준 사례”라며 “정확도를 높이는 것을 넘어 인공지능이 스스로의 불확실성을 판단하는 원리를 제시했다”고 설명했다.</p> <p contents-hash="132b53470b7e8352b3ae2f7aba57721ad45a14fcc9ee5cccbf81482f1de7decc" dmcf-pid="U4wAt8Ts5e" dmcf-ptype="general">이번 연구결과는 국제학술지 ‘네이처 머신 인텔리전스’에 4월 9일 게재됐다.</p> </section> </div> <p class="" data-translation="true">Copyright © 헤럴드경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 우주에 AI데이터센터?… 복사냉각·데이터전송 등 기술 난제 산적[Science] 04-27 다음 [유미's 픽] 네이버·더존·KT서 핵심 인재 이탈…AI 전환기 속 기술 리더십 재편 본격화 04-27 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
