[비욘드IT] 돈으로 사는 벤치마크 점수…AI 성능평가 공정성 우려 작성일 07-10 28 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">벤치마크 특화 고가 데이터셋 거래 확산…기술력보다 자금력이 점수 좌우 가능성</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="KEMiOspXAI"> <p contents-hash="53fbee79b333069dd5a56a1e3ed1255d1228869356ff2c8ceb5cc47022e60373" dmcf-pid="9DRnIOUZAO" dmcf-ptype="general">(지디넷코리아=남혁우 기자)인공지능(AI) 모델 성능을 입증하는 지표인 벤치마크 점수가 기술력이 아닌 자금력으로 결정될 수 있다는 우려가 커지고 있다.</p> <p contents-hash="a397f5cad0b25f63bf5e305a6683aea4cbe168f968137e48058e871d0a79100b" dmcf-pid="2weLCIu5as" dmcf-ptype="general">벤치마크 점수에 특화된 고가 전문 데이터셋을 대량으로 구매한 기업이 실제 성능과 무관하게 상위권을 차지하는 구조가 굳어지고 있기 때문이다.</p> <p contents-hash="ebb256bb375839287e58d107de17bffdf9a3d4aa1c8a7bc937cf5a4b7da5c75a" dmcf-pid="VrdohC71km" dmcf-ptype="general">10일 AI 업계 관계자에 따르면 "벤치마크는 시험지와 같아서 얼마나 많은 데이터를 살 수 있느냐가 점수를 결정하는 구조가 됐다"는 지적이 현장에서 잇따르고 있다.</p> <figure class="figure_frm origin_fig" contents-hash="44957224ee797bd1d375d7970626d2e280dd5f5bc650f719b7a7fad56541c01e" dmcf-pid="fmJglhztar" dmcf-ptype="figure"> <p class="link_figure"><img alt="허깅페이스에서 제공 중인 벤치마크 중 하나(이미지=허깅페이스)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/10/ZDNetKorea/20260710164602595hncd.jpg" data-org-width="640" dmcf-mid="bCmh03RfkC" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/10/ZDNetKorea/20260710164602595hncd.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 허깅페이스에서 제공 중인 벤치마크 중 하나(이미지=허깅페이스) </figcaption> </figure> <p contents-hash="5690c0bf178cb4eb04708fba6261d6374ae40840364e8abf27bb6276db9aa0d9" dmcf-pid="4siaSlqFcw" dmcf-ptype="general"><strong>AI 벤치마크...실력 아닌 자금력 경쟁 확대 </strong></p> <p contents-hash="eaaaaf6e4ca78e7ce1bb3669273b4b3ee4b2cdb3f8528c9fbfc3d685898196e8" dmcf-pid="8OnNvSB3AD" dmcf-ptype="general">벤치마크는 AI 모델의 성능을 비교하기 위한 일종의 표준 시험이다. 수학적 추론, 코딩, 언어 이해, 과학 지식 등 다양한 영역에서 모델이 얼마나 정확하게 문제를 푸는지를 수치화한다. </p> <p contents-hash="5e2234c9ee55055b0b7b776a533d7e78b31418c21401e1f1fbdbbcae060f698d" dmcf-pid="6ILjTvb0gE" dmcf-ptype="general">성능에 대한 직관적인 지표를 제공하는 만큼 주요 AI 기업 신규 모델을 선보이며 벤치마크 점수를 공개하며 고객사도 벤치마크 점수를 모델 선택 핵심 기준으로 활용한다.</p> <p contents-hash="2dbaad498c4d23e4ec8633c632d6d8f7500554060ba2f60527720c467c61c21c" dmcf-pid="PCoAyTKpok" dmcf-ptype="general">문제는 벤치마크가 시험이라면 데이터셋은 사실상 그 시험의 문제 유형을 담고 있는 자료에 가깝다는 점이다. 기업이 벤치마크와 유사한 고난도 데이터를 대량으로 사들여 학습에 활용할 경우 실제 범용 성능 향상과 별개로 특정 평가에서만 점수를 끌어올릴 수 있다.</p> <p contents-hash="bcf9343aeb92af7b81b7bb3d2d8b0af8478adc789420a299ec8a1cd39589759c" dmcf-pid="QhgcWy9Uoc" dmcf-ptype="general">AI기술 발전에 따라 요구 조건이 높아지며 AI 모델 성능 평가를 위한 벤치마크가 고도화되고 평가용 데이터 가격도 빠르게 치솟고 있다.</p> <p contents-hash="570f184e29c74e94adf72672e10ea63dd86d1f47a64f857959507f33ddc28de7" dmcf-pid="xvjDHGfzAA" dmcf-ptype="general">과거에는 단순한 질의응답 형태의 데이터만으로도 모델 성능을 가늠할 수 있었지만 최근에는 주요 범용 벤치마크에서 상위 모델들이 이미 높은 점수대에 도달하면서 변별력이 떨어졌다는 평가가 나온다. 이에 따라 수학·과학·코딩 등 전문 영역에서 더 어려운 문제를 활용한 고난도 벤치마크가 속속 등장하고 있다.</p> <p contents-hash="6a4dd2909687aecb626861f8261a28484e7c704f2550a0dea94a8a7736edb9bf" dmcf-pid="yPpqdeCEoj" dmcf-ptype="general">이들 벤치마크는 제작 단가 자체가 높다. 국제수학올림피아드(IMO) 메달리스트나 필즈상 수상자급 전문가가 설계에 참여하는 문제는 한 문항을 만드는 데도 상당한 비용이 들어간다.</p> <p contents-hash="2a62739caa52fe33b078963a60439ccbf91089c66fbe3237be01ea427c9529c3" dmcf-pid="WQUBJdhDoN" dmcf-ptype="general"><strong>수억에서 수백억 호가하는 벤치마크 데이터셋</strong></p> <p contents-hash="527f36d27324723d0036e2cbf67526a93db12eacdeeddb32c591b48f8b96cbbd" dmcf-pid="YxubiJlwoa" dmcf-ptype="general">한국 AI 업계에 따르면 한 미국 데이터기업이 국내 기업에 제안한 수학 문제 데이터 가격은 1건당 30만 원 수준인 것으로 전해진다. 이 기업은 국내 일부 기업이 이미 5000건을 구매했다고 소개하며 다른 기업에도 구매를 권유한 것으로 알려졌다. 단순 계산으로 총액은 약 15억원 수준이다.</p> <p contents-hash="c887b76edcd0c80c5c56e95d85d37803678a34fcdece18a5a3c9a83c24ee4b36" dmcf-pid="GM7KniSrag" dmcf-ptype="general">문제는 주요 벤치마크가 수학에만 한정되지 않는다는 점이다. 코딩, 과학, 언어 추론, 복합 추론 등 영역별로 별도의 고난도 데이터가 필요하다. 복합 추론이나 전문 지식을 요구하는 평가 데이터는 단가가 높아 1만건 규모의 고급 데이터셋을 더하면 비용이 수백억 원대에 이를 수 있다는 설명이다.</p> <p contents-hash="d6b42dc17f86e66f30c744055c23822e53ff9c51be57a25162e08dc4f4d208d0" dmcf-pid="HRz9LnvmAo" dmcf-ptype="general">한 국내 AI 스타트업 대표는 "벤치마크는 결국 시험과 비슷하다"며 "특정 유형의 문제를 집중적으로 학습시키면 점수를 끌어올릴 수 있기 때문에, 얼마나 많은 데이터를 확보하느냐가 순위를 가르는 구조가 되고 있다"고 말했다.</p> <p contents-hash="3a3a2cdbbe639cfe44a2eab6bb0cdcb757e7d34176840e3b664c509aef033e71" dmcf-pid="Xeq2oLTskL" dmcf-ptype="general">결국 벤치마크 경쟁이 기술 혁신 경쟁이라기보다 자금 동원 경쟁으로 흐를 수 있다는 우려다. 점수는 높아졌지만 그것이 모델의 본질적인 성능 향상인지, 아니면 특정 시험 유형에 대한 집중 학습의 결과인지는 별개의 문제라는 지적도 적지 않다.</p> <p contents-hash="cff1e25c2b92157f360267c1b8f7ffb4490be4d24f49deddeb1eb7b66c3a471d" dmcf-pid="ZdBVgoyOgn" dmcf-ptype="general">다른 스타트업 대표는 "글로벌 빅테크나 대형 AI 기업은 수백억 원짜리 데이터도 살 수 있지만 국내 스타트업은 투자금을 모두 털어도 감당하기 어렵다"고 말했다. "</p> <p contents-hash="50cbbc7a83229ff8137e980a39750778c5b098c2344d05ab23efd9b3cac0198c" dmcf-pid="5JbfagWIAi" dmcf-ptype="general">벤치마크 기반 AI 평가 방식이 실제 업무 수행과 차이가 있다는 지적도 꾸준히 제기되고 있다. 실제로 문제 구조를 파악하고 해결하는 AI 모델 보다 특정 평가 패턴에 과도하게 적용한 경우가 더 높은 점수를 기록할 가능성이 있기 때문이다.</p> <p contents-hash="ee00f1d427ea5caefdb9ae081a302d34640b8c9d6b7cb351df21965ae5f5475c" dmcf-pid="1iK4NaYCcJ" dmcf-ptype="general">그래서 단순 시험형 지표보다 실제 업무 환경에서 AI가 얼마나 생산성을 낼 수 있는지, 사람의 일을 얼마나 정확하게 대체하거나 보조할 수 있는지를 평가하려는 흐름도 나타나고 있다.</p> <p contents-hash="2b1145a2fcf485ab4c1ede4510e92142641274f5bc1db545035d33061195d114" dmcf-pid="tn98jNGhkd" dmcf-ptype="general"><strong>벤치마크 보완할 추가 평가 마련돼야</strong></p> <p contents-hash="5f514328fb5dff0ec08ce26256d7f923a497f8f22abe7ea34ede427daca2ddc5" dmcf-pid="FL26AjHlge" dmcf-ptype="general">이 같은 논란은 국내에만 국한된 문제가 아니다. 해외에서도 벤치마크 공정성과 리더보드 신뢰성을 둘러싼 논란이 반복돼 왔다. 메타의 경우 라마 4 계열 모델의 벤치마크 제출 방식을 두고 "평가에 유리한 버전을 냈다"는 비판을 받았고, 메타 최고 AI 과학자 얀 르쿤도 관련 인터뷰에서 결과를 "약간 손봤다"는 취지로 언급해 논란이 커졌다.</p> <p contents-hash="1267aafb7a91060e6a2a39d990eff87ddea4e89177837a203be0e06c35b0b75c" dmcf-pid="3oVPcAXSaR" dmcf-ptype="general">한 업계 관계자는 "벤치마크 데이터를 대거 사들여 학습시키면 벤치마크 점수를 높일 수는 있겠지만 실제 업무에 적용해 활용하는 건 다른 이야기"라며 "깃허브나 허깅페이스 등 개발자 커뮤니티 반응이나 현업 도입 성과, 실사용자 피드백 기반 평가 기반이 마련되야 한다"고 말했다.</p> <p contents-hash="f23d8577fbfa98f12a296800500f2e7d35b3da4587f212d8ea38ccb1172aaf70" dmcf-pid="0CoAyTKpcM" dmcf-ptype="general">업계 전문가들은 벤치마크는 여전히 필요하다는 입장이다. 모델 성능을 일정 기준 아래서 비교할 수 있는 도구라는 점에서 충분한 의미가 있기 때문이다. 다만 고가 데이터 구매와 점수 경쟁이 과도하게 결합할 경우 벤치마크는 기술력을 검증하는 도구가 아니라 마케팅 수단으로 전락할 수 있다는 우려가 크다는 지적이다.</p> <p contents-hash="d9215bb01d458bbc2aad25f510e4c74e891edea5a41de1d7c8535f4c8a634542" dmcf-pid="phgcWy9Ugx" dmcf-ptype="general">AI 스타트업 대표는 "AI 경쟁이 본격화할수록 평가 체계의 공정성과 신뢰성은 더 중요한 문제가 될 것"이라며 "AI 평가의 투명성을 확보하기 위해선 벤치마크와 함께 실사용 중심의 검증 체계를 보완해야 한다"고 말했다.</p> <p contents-hash="ea3eb4eb5e3ae13d7f057007106efb54dc41a3db24e6af01e248f7b9cd04a324" dmcf-pid="UlakYW2ucQ" dmcf-ptype="general">남혁우 기자(firstblood@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 휴머노이드가 돼지 담낭 제거 수술…원격 의료 새 장 열리나 07-10 다음 KT 사격단, 연고지 중학교 사격부에 훈련 장비 기증 07-10 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
