수능 문제로 AI 성능 평가해보니…정답률만으론 실력 구분 한계 작성일 06-16 46 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">네이버클라우드·카이스트, 수능 수학 664문항으로 AI 평가<br>전국 수험생 오답률 반영 '어떤 문제 틀렸나' 분석</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="uiotxRRfG4"> <figure class="figure_frm origin_fig" contents-hash="988c0170d2d82e4742ba24df95595b6a99c0d52028549b246e60a201054d0538" dmcf-pid="7ngFMee41f" dmcf-ptype="figure"> <p class="link_figure"><img alt="2026학년도 대학수학능력시험이 치러진 13일 오전 광진구 광남고에 마련된 서울시교육청 제20시험지구 제3시험장에 입실을 완료한 수험생들이 막바지 점검을 하고 있다. 2025.11.13 ⓒ 뉴스1 사진공동취재단" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/16/NEWS1/20260616063203927pnul.jpg" data-org-width="1400" dmcf-mid="UVn5Pxx2Y8" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/16/NEWS1/20260616063203927pnul.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 2026학년도 대학수학능력시험이 치러진 13일 오전 광진구 광남고에 마련된 서울시교육청 제20시험지구 제3시험장에 입실을 완료한 수험생들이 막바지 점검을 하고 있다. 2025.11.13 ⓒ 뉴스1 사진공동취재단 </figcaption> </figure> <p contents-hash="c0297d14049b90b11992455db6d2b726fc6e6bf4f71d1a48d18cf817c61392ae" dmcf-pid="zLa3Rdd8YV" dmcf-ptype="general">(서울=뉴스1) 김민수 기자 = 인공지능(AI)의 수학 실력을 평가할 때 단순히 몇 문제를 맞혔는지만 봐서는 부족하다는 연구 결과가 나왔다. 같은 점수를 받은 AI 모델이라도 사람도 어려워한 문제를 틀렸는지, 사람이 쉽게 푼 문제에서 엉뚱하게 틀렸는지에 따라 문제를 푸는 방식이 다를 수 있다는 분석이다.</p> <p contents-hash="cd0287869e650834579b5609010f39645c41c033f90ea7d15a35cfaf495b1c5c" dmcf-pid="qoN0eJJ6X2" dmcf-ptype="general">16일 정보기술(IT) 업계에 따르면 네이버클라우드 AI·카이스트 AI 소속 연구진은 최근 수능 수학 문항과 전국 수험생 오답률을 활용해 AI 추론 모델을 평가한 논문 'KCSAT-ML'을 공개했다.</p> <p contents-hash="a8805e67632c755e2ebead8812b5f62534c4f12ad66dff524e43579ef6220c92" dmcf-pid="BgjpdiiP59" dmcf-ptype="general">연구진은 2014년부터 2025년까지 대학수학능력시험 수학 문항 664개를 모았다. 이 가운데 339개 문항에는 실제 수험생이 각 문제를 얼마나 틀렸는지 보여주는 공식 오답률을 함께 반영했다. 수십만명이 응시한 시험 통계를 AI 평가에 활용한 것이다.</p> <p contents-hash="789d7f6d0b9d185214e84d78b5059830e72366d3a6bd34b35851840618ef71a6" dmcf-pid="baAUJnnQXK" dmcf-ptype="general">기존 수학 평가용 문제들은 AI가 정답을 맞혔는지, 전체 정확도가 얼마인지에 주로 초점을 맞췄다. 반면 이번 연구는 문제마다 실제 수험생 오답률을 붙여 AI가 어떤 문제에서 틀리는지를 살폈다.</p> <p contents-hash="8d476af528d5db78410cb51104935c2e99b4dda87857ab47efb94e05385fb883" dmcf-pid="KNcuiLLx5b" dmcf-ptype="general">예를 들어 두 AI 모델이 모두 10문항 중 7문항을 맞혔다고 해도 의미는 다를 수 있다. 한 모델은 사람도 많이 틀린 어려운 문제에서 오답을 냈고, 다른 모델은 사람이 쉽게 맞힌 문제에서 틀렸다면 두 모델의 실력을 같다고 보기 어렵다.</p> <p contents-hash="bdcd9437c22c56624c35c0de849e80b2787ef3d0979c0e824dc69d65fa291769" dmcf-pid="9B9spuu55B" dmcf-ptype="general">연구진은 이를 분석하기 위해 AI의 오답이 실제 수험생 오답률과 얼마나 맞물리는지를 보는 새 지표인 '난이도 정렬 추론 성과'(DRG ·Difficulty-aligned Reasoning Gain)를 제시했다. </p> <p contents-hash="3404780533af44d12bde42a13e6ae9ce2f8b7900dbec95d55dcc7ef878b0d171" dmcf-pid="2b2OU7711q" dmcf-ptype="general">분석 결과 비슷한 정답률을 보인 모델들도 DRG 값은 크게 갈릴 수 있었다. 정확도만 보면 비슷해 보이는 모델이라도 실제로는 서로 다른 문제에서 틀릴 수 있다는 뜻이다.</p> <p contents-hash="37fdca7c72749ad7c4ff4a61055f1d74707670606dac2e43ce2a06d93aa73fe4" dmcf-pid="VKVIuzzt5z" dmcf-ptype="general">AI가 답을 내기 전에 더 많은 연산 자원을 쓰도록 하는 방식의 효과도 문제 난이도에 따라 달랐다. 연구진은 사람이 많이 틀린 어려운 문제에서는 AI가 더 오래 생각하게 하는 방식이 성능 회복에 도움이 됐지만, 비교적 쉬운 문제에서는 오히려 지나치게 복잡하게 생각하다가 정답을 놓치는 경우도 나타났다고 분석했다.</p> <p contents-hash="51479915f92d9e5041eb9e3b4179755f3dd2e8d1f5fed3a6b66775372d450428" dmcf-pid="f9fC7qqF57" dmcf-ptype="general">이는 AI 성능 평가가 단순한 점수 경쟁을 넘어야 한다는 점을 보여준다. 현재 AI 모델은 수학·코딩·상식·언어 등 각종 평가 점수로 비교되는 경우가 많다. 그러나 점수가 같더라도 어떤 문제를 틀렸는지에 따라 실제 활용 신뢰도는 달라질 수 있다.</p> <p contents-hash="acd33980678eb13eb112b6194c9ad956d3049373ddef2a7e031d343fb2e334f7" dmcf-pid="424hzBB3tu" dmcf-ptype="general">이번 연구는 한국 수능 데이터의 활용 가능성도 보여준다. 수능은 매년 표준화된 방식으로 시행되고, 문항별 응시자 통계가 축적돼 있다. 연구진은 이런 통계가 AI의 수학 문제 해결 능력을 더 세밀하게 평가하는 데 쓰일 수 있다고 봤다.</p> <p contents-hash="563236190c68f4bef4c4255e4377e607395e278e469b4a3748a1b2627167205a" dmcf-pid="8V8lqbb0ZU" dmcf-ptype="general">업계에서는 AI가 단순 계산을 넘어 복잡한 판단이 필요한 영역에 활용되는 만큼 평가 방식도 정답률 중심에서 벗어날 필요가 있다는 지적이 나온다. 특히 교육·의료·금융처럼 실수가 큰 피해로 이어질 수 있는 분야에서는 AI가 어려운 문제를 틀리는지, 쉬운 문제에서 예상 밖 오류를 내는지 구분하는 평가가 중요해질 수 있다.</p> <p contents-hash="ccfd27d0f6f5edeba27ee8ee7522a58f4cf8f241ac69d6ba1cfad4dc52363507" dmcf-pid="6f6SBKKpGp" dmcf-ptype="general">연구진은 정확도만으로는 서로 다른 문제 풀이 양상을 구분하기 어렵다며, 수능처럼 실제 응시자 통계가 있는 시험 데이터가 AI 추론 능력을 평가하는 새 기준으로 활용될 수 있다고 설명했다.</p> <p contents-hash="141cde6bf1100f7de1e383901f556acbb2c4d03db101b8efb57edca404f2416d" dmcf-pid="P4Pvb99UX0" dmcf-ptype="general">kxmxs4104@news1.kr<br><br><strong><용어설명></strong><br><br>■ 난이도 정렬 추론 성과(DRG)<br>AI가 틀린 문제가 사람이 어려워한 문제와 얼마나 겹치는지를 나타내는 지표다. 점수가 같더라도 사람이 어려워한 문제를 함께 틀리면 사람과 비슷한 방식으로 추론했다고 볼 수 있고, 사람이 쉽게 푼 문제를 틀리면 추론 방식이 다르다고 해석할 수 있다.<br><br> </p> </section> </div> <p class="" data-translation="true">Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.</p> 관련자료 이전 [기자수첩]K-문샷 파격 인사 못 따라가는 행정 06-16 다음 오늘부터 멕시코전 맞춤 훈련…필승 전략은? 06-16 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
