[현장] 오픈AI "AI 벤치마크 한계…토큰·비용·시간까지 고려해야" 작성일 07-03 53 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">노엄 브라운 "최신 모델, 추론 자원 늘릴수록 성능↑…안전성 평가에 영향"</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="98R0J1Q9k9"> <p contents-hash="fcfd436ccc72a2aefc4271f259e4b4d3aa881754d3f9dcfc3e51bfe66b48489b" dmcf-pid="26epitx2oK" dmcf-ptype="general">(지디넷코리아=김미정 기자)인공지능(AI) 모델 평가를 단일 벤치마크 점수 중심으로 보는 방식에 한계가 있다는 주장이 나왔다. 최신 AI 모델은 답을 내는 데 투입되는 토큰 수와 비용, 시간에 따라 성능이 달라지는 만큼, 각국 정부·기업은 평가 기준에 '추론 자원'을 별도로 반영해야 한다는 지적이다.</p> <p contents-hash="824db5efb659ad91ee761eef043a05aeea206352a6d693f9b3446a4d7307a356" dmcf-pid="VPdUnFMVgb" dmcf-ptype="general">노엄 브라운 오픈AI 리서치 부문 부사장은 3일 과학기술정보통신부가 서울 강남 웨스틴 서울 파르나스에서 개최한 '글로벌 AI 프론티어 심포지엄 2026' 기조연설에서 <span>대규모 </span><span>컴퓨트 시대에 맞춰 AI 평가 방식이 재설계돼야 한다고 주장했다. </span></p> <p contents-hash="3d4443485688045fc43219d8972b50854f9f7301b26d7b54fb4a8402bf8cb98f" dmcf-pid="fQJuL3RfoB" dmcf-ptype="general"><span>브라운 부사장은</span><span> 최근 AI 모델 실제 성능이 기존 벤치마크 점수만으로는 충분히 드러나지 않는다고 봤다. 모델이 얼마나 오래 생각하고, 얼마나 많은 토큰을 생성하며, 어느 정도 비용을 들여 문제를 풀었는지에 따라 결과가 달라질 수 있다는 이유에서다.</span></p> <figure class="figure_frm origin_fig" contents-hash="d4060681685160bd66641535b3e5eacbbf6d6a401f3141c2ce2bce94a25e9430" dmcf-pid="4xi7o0e4aq" dmcf-ptype="figure"> <p class="link_figure"><img alt="노엄 브라운 오픈AI 리서치 부문 부사장이 AI 벤치마크 기준이 바뀌어야 한다고 주장했다." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/03/ZDNetKorea/20260703121601922ohin.jpg" data-org-width="640" dmcf-mid="bgZktNGhgV" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/03/ZDNetKorea/20260703121601922ohin.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 노엄 브라운 오픈AI 리서치 부문 부사장이 AI 벤치마크 기준이 바뀌어야 한다고 주장했다. </figcaption> </figure> <p contents-hash="668b71ea8a3702d3837b6a37b71f586ae8210e8c9839ed967e0e614f2010ac2a" dmcf-pid="8Mnzgpd8Az" dmcf-ptype="general">그는 대표 사례로 오픈AI 최신 모델 GPT-5.5를 언급했다. 그는 GPT-5.5가 기존 벤치마크상 이전 모델보다 소폭 개선된 수준처럼 보였지만, 출력 토큰 수 기준으로 성능을 다시 보면 더 큰 차이가 나타난다고 주장했다. </p> <p contents-hash="85e7116e906cd7c011c0de6496db89513b1a97098941aff40f938f0d8ffd4c5e" dmcf-pid="6RLqaUJ6c7" dmcf-ptype="general">브라운 부사장은 최신 모델일수록 더 많은 추론 자원이 투입됐을 때 성능이 오른다는 점을 주목했다. 기존 모델은 일정 수준 이상 오래 실행해도 성능이 정체되는 경우가 많았지만, 최근 모델은 긴 시간 동안 문제를 풀거나 여러 단계로 답을 검토하면서 성능을 끌어올릴 수 있다는 이유에서다. </p> <p contents-hash="d3f52b52d99840f573cec32b5dd51e8858a92f32300096effadc11c2e09c5a3c" dmcf-pid="Pgk4w9jJcu" dmcf-ptype="general">그는 "일부 최신 모델은 1억 토큰을 생성한 뒤에도 성능 향상이 이어졌다는 연구 결과가 지속적으로 나오고 있다"며 "평가가 중단된 이유도 성능이 떨어져서가 아니라 시간과 인프라 제약 때문인 경우가 다수"라고 설명했다. </p> <p contents-hash="f4d72b80180cd422858a04a9c18a1eefae167b486c167172987fa35b90e75dbf" dmcf-pid="QaE8r2AigU" dmcf-ptype="general">이에 따라 브라운 부사장은 AI 성능 평가가 단일 점수를 비교하는 식에 머물러서는 안 된다고 주장했다. 모델이 답을 내는 데 사용한 토큰 수, 비용, 시간 등 추론 자원을 함께 반영해야 실제 성능을 제대로 비교할 수 있다는 설명이다.</p> <figure class="figure_frm origin_fig" contents-hash="634e95c213fd7b89a6139e16e4ab9aec204f422d0b0cff99ba1f4b0e09c720e3" dmcf-pid="xND6mVcnop" dmcf-ptype="figure"> <p class="link_figure"><img alt="브라운 부사장은 AI 성능 평가가 단일 점수를 비교하는 방식에 머물러서는 안 된다고 주장했다." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/03/ZDNetKorea/20260703121603177fulv.jpg" data-org-width="640" dmcf-mid="KvqSKIu5j2" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/03/ZDNetKorea/20260703121603177fulv.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 브라운 부사장은 AI 성능 평가가 단일 점수를 비교하는 방식에 머물러서는 안 된다고 주장했다. </figcaption> </figure> <p contents-hash="25ec9a503b5acb9b14b6c3ad4036ef427b9316d41df98beffaf58d4511ff3a00" dmcf-pid="y0qSKIu5c0" dmcf-ptype="general">그는 모델 성능 평가가 안전성 평가와도 연결된다고 봤다. 같은 모델이라도 적은 비용으로 짧게 테스트하면 위험한 능력이 드러나지 않을 수 있지만, 더 많은 비용과 시간을 들여 오래 실행하면 더 강력한 능력을 보일 수 있기 때문이다.</p> <p contents-hash="5d9199a685d1b53afd9c92a71204f2c61134c217bfa758a9ede8d9858f47435e" dmcf-pid="WpBv9C71c3" dmcf-ptype="general">브라운 부사장은 제3자 벤치마크 기관의 역할도 바뀌어야 한다고 봤다. 벤치마크 기관이 모델 평가에 사용된 추론량을 추적하거나, 토큰·비용·시간에 명확한 제한을 둬야 한다는 것이다. 사람이 시험을 볼 때 제한 시간이 정해지는 것처럼 AI 모델 평가에도 분명한 예산 조건이 필요하다는 설명이다.</p> <p contents-hash="8b65a7b0e6ed9d4aecc04e6ae5d83552438b1609cdae7f1dd058a3f7fe9bff60" dmcf-pid="YUbT2hztgF" dmcf-ptype="general">그는 "같은 모델이라도 투입한 추론 자원에 따라 결과가 달라지는 상황"이라며 "성능과 안전성을 제대로 판단하기 위해서는 점수 뒤에 있는 비용과 시간까지 함께 공개해야 할 것"이라고 당부했다. </p> <p contents-hash="532af9743033de0ec7c15df7ba0d334d6f2dd444cc94c82ec00ac3b537a920ca" dmcf-pid="GuKyVlqFct" dmcf-ptype="general">김미정 기자(notyetkim@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 [유미's 픽] 칼리버스, 롯데온·하이마트 덕에 되살아날까…사업 재정비 속도 07-03 다음 최하위 광주FC, 울산전서 후반기 시작...반등 시험대 오른다 07-03 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
