범용AI에 뒤통수 맞은 연구자들…목적특화형으로 눈 돌린다 작성일 02-11 40 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">■ 과학계 할루시네이션 경계령<br>AI가 생성한 답변 출처 중 17%가 ‘착시’<br>겉보기에만 그럴듯한 인용 정보 만들어내<br>존재하지 않는 논문·판례 제시 사례 빈번<br>오픈스칼러·페이퍼QA·엘리싯 등 주목<br>이용자와 함께 답 찾아가는 동료AI 등장</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="q2ntDMAiSD"> <figure class="figure_frm origin_fig" contents-hash="303ee0d42789c24c9e7711e9fc22027d73cf9c0e6b525ac19ecdeb8f45c76620" dmcf-pid="BxczhosAWE" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/11/seouleconomy/20260211174905357koog.jpg" data-org-width="500" dmcf-mid="z34SibRfyw" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/11/seouleconomy/20260211174905357koog.jpg" width="658"></p> </figure> <div contents-hash="bdcc18d3764f711caedd12c02a21114dd9dcea38fd3d24072638736faae331eb" dmcf-pid="bMkqlgOcvk" dmcf-ptype="general"> <br> 직장인 A 씨는 최근 업무 보고서를 준비하며 생성형 인공지능(AI)에 도움을 요청했다. 입력창에 “○○와 관련된 논문을 찾아달라”고 지시하자 AI 서비스는 몇 초 만에 참고 문헌 목록을 나열했다. 논문 제목과 저자, 저널명까지 갖춘 완벽한 형식이었다. 하지만 막상 링크를 눌러본 A 씨는 당황했다. 논문은 열리지 않았고 ‘페이지를 찾을 수 없습니다(404)’라는 문구만 반복해서 등장했기 때문이다. 인터넷 어디에서도 해당 논문은 찾을 수 없었다. AI가 만들어낸 그럴듯한 거짓말, 이른바 ‘할루시네이션(hallucination)’ 현상이다. <br> <br> <div> <strong>AI 인용의 17%는 가짜…‘업그레이드’에도 따라붙는 할루시네이션</strong> </div> <br> ‘할루시네이션’은 AI가 실제로 존재하지 않는 사실이나 정보를 만들어내는 현상이다. 튀르키예 이즈미르바키르차이대의 케말 일테르 교수 연구팀이 올해 1월 논문 공개 사이트 아카이브(arXiv)에 공개한 논문 ‘17%의 격차’는 AI가 이용자에게 공유한 결과물의 상당수에서 이러한 할루시네이션이 나타난다는 사실을 보여준다. 연구팀은 2024년 9월부터 올해 1월까지 발표된 AI 분야 서베이 논문 50편(총인용 5514건)을 대상으로 포렌식 조사를 수행했다. 디지털객체식별자(DOI·Digital Object Identifier) 조회와 학술 데이터베이스 검색, 제목 유사도 계산까지 동원해 AI가 인용한 논문을 추적한 것이다. <br> <br> 검증 결과 전체 인용의 17%인 939건의 논문은 디지털상에서 확인할 수 없는 ‘팬텀(phantom)’ 상태였다. 이 중 약 5%는 어디에도 존재하지 않는 완전한 가짜다. 16%는 논문 제목은 실제와 비슷하지만 DOI 등 고유 번호를 잘못 인식해 실제 논문으로 연결되지 않았다. 제목 일부를 수정하거나 저자명으로 검색하면 실제 논문을 찾을 수 있지만 인용 자체만으로는 원문에 도달할 수 없었다. <br> <br> 가장 많은 비중을 차지한 약 78%는 PDF에서 글자가 깨지거나 공백이 사라지는 등 기술적인 문제로 검색이 되지 않았다. 논문이 존재하지만 AI가 인용 정보를 생성하는 과정에서 형식이 훼손된 것이다. 이러한 오류는 제목·저자·연도 등 정보를 재정비하는 등의 방식으로 상당 부분 복구할 수 있다. 다만 이러한 추가 작업이 필요하다는 점 자체가 AI가 만들어낸 인용의 한계를 보여준다. 이러한 문제는 시간이 지나 AI 모델이 업그레이드돼도 계속해서 나타났다. 이는 확인 불가능한 인용이 기술 초기의 시행착오가 아니라 현재 AI 기반 인용 방식에서 사실상 고착된 문제라는 의미다. <br> <br> <div> <strong>빠르지만 아쉬운 디테일…의학·과학·법학까지 혼란 야기</strong> </div> <br> 연구진에 따르면 AI가 이렇게 당당하게 틀린 정보를 제공하는 것은 ‘AI가 논문을 검색하지 않고 기억 속 패턴을 재조합했기 때문’이다. AI가 일을 대충한 것이다. 대규모언어모델(LLM)은 프롬프트를 입력하면 한 단어 뒤에 올 단어를 통계적 패턴에 의해 예측해 문장을 만들어낸다. 연산으로 빠르게 수많은 정보를 찾아내지만 해당 논문이 실제로 존재하는지, DOI가 맞는지까지 확인하는 기능은 취약하다. 이런 이유로 ‘디테일’이 아쉬운 결과물이 생성된다. 연구진은 이를 ‘게으른 연구 조교’라고 표현했다. 세부 정보를 정확하게 확인하지 않고 겉보기에만 완성된 인용을 만들어내는 것이다. <br> <br> 할루시네이션은 이미 각계에서 다양한 문제를 야기한다. AI를 통해 의학 정보를 검색할 때 존재하지 않는 의학 저널과 저자 이름을 조합해 그럴듯한 가짜 논문을 추천하거나 법조인이 존재하지 않는 판례를 들고 법정에 서는 사례는 이미 빈번하게 보고되고 있다. 과학계에서는 연구자들이 연구 배경을 조사할 때 실존하지 않는 실험 수치나 통계 자료를 바탕으로 가설을 세우는 바람에 보고서 자체가 철회되는 사례도 잇따르고 있다. <br> <br> <div> <strong>가짜 삭제하는 목적 특화형 AI 등장…일 잘하는 동료 되다</strong> </div> <br> 과학계는 이러한 이유로 챗GPT·퍼플렉시티와 같은 범용 AI보다 목적 특화형 AI의 역할에 더 주목하고 있다. 워싱턴대와 앨런인공지능연구소(Ai2) 공동 연구팀이 개발한 ‘오픈스칼러(OpenScholar)’가 대표적이다. 오픈스칼러는 4500만 건 이상의 오픈 액세스 논문을 기반으로 작동한다. AI의 기억이 아닌 실제 검색된 논문을 바탕으로 답변을 구성하는 것이다. AI가 작성한 모든 문장은 실존 논문과 실시간으로 연결되며 문장 끝 번호를 클릭하면 해당 논문의 초록이나 원문으로 바로 이동할 수 있다. 연결되지 않는 인용은 생성 단계에서부터 삭제돼 가짜 참고 문헌이 끼어들 여지가 없다. 과학 학술지 네이처(Nature)는 최근 “GPT-4o와 같은 모델이 최신 문헌을 이용할 때는 최대 90%에 이르는 할루시네이션을 야기하지만 오픈스칼러는 이를 크게 낮추고 인용 정확도를 높였다”고 평가했다. <br> <br> 최근 과학자들 사이에서 점차 많이 쓰이는 ‘페이퍼QA(PaperQA)’는 전 세계 지식이 아닌 이용자가 직접 선택한 논문 묶음 안에서만 질문에 답한다. 이용자가 PDF 논문 20편을 업로드하면 AI는 그 범위 안에서만 정답을 찾아낸다. 또 모든 응답에는 페이지와 문단 단위의 출처가 함께 제시돼 팬텀을 차단한다. <br> <br> 이용자와 함께 답을 찾아나가는 실제 연구실 동료 같은 AI도 등장했다. AI 기반 문헌 검토 도구인 ‘엘리싯(Elicit)’은 사용자가 질문을 입력하면 관련 논문을 찾아 표 형태로 정리해주고 각 주장에 연결된 실제 논문 출처를 함께 제시한다. 특히 논문의 초록을 분석해 연구 방법, 표본 수, 주요 결과 등을 구조화해 보여준다. AI가 스스로 답을 만들어내기보다 기존 연구를 근거로 정리하도록 설계된 점이 특징이다. 학술 검색 서비스 ‘컨센서스(Consensus)’는 AI가 하나의 결론을 단정적으로 말하지 않는다. 대신 질문과 관련된 논문 수십~수백 편을 분석해 찬성, 반대, 근거 부족의 비율로 보여준다. 각 결과에는 실제 논문 링크가 함께 제시된다. AI의 의견을 듣는 것이 아니라 학계가 어떻게 나뉘어 있는지를 직접 확인하는 구조다. 스스로 답을 만들어내게 하는 대신 기존 연구를 근거로 정리하게 함으로써 할루시네이션 가능성을 줄이려는 방식이다. <br> <br> 서지혜 기자 wise@sedaily.com </div> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 시작 5분 전 취소된 '라이프 오브 파이', 돋보인 배우 박정민의 대처 02-11 다음 데이터 넘어 피지컬AI ‘실전’으로…모형차 활용한 경기도 대학생 자율주행 대회 02-11 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
