"동료의 거센 비판 받은 논문이 영향력 높다" 작성일 05-24 31 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="BgQVloPKJo"> <figure class="figure_frm origin_fig" contents-hash="266cd13a188d621e70e66fc18c4f61a25edcdc648e0f0f7e236b05861d819fb5" dmcf-pid="bzZye7XSJL" dmcf-ptype="figure"> <p class="link_figure"><img alt="논문을 학술지에 게재하려면 해당 분야 전문가들의 동료평가(peer review)를 통해 객관성, 의미, 재현성 등을 평가받아야 한다. 게티이미지뱅크 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202605/24/dongascience/20260524080157902vspd.jpg" data-org-width="680" dmcf-mid="q4QVloPKJg" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202605/24/dongascience/20260524080157902vspd.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 논문을 학술지에 게재하려면 해당 분야 전문가들의 동료평가(peer review)를 통해 객관성, 의미, 재현성 등을 평가받아야 한다. 게티이미지뱅크 제공 </figcaption> </figure> <p contents-hash="6ef4fa372fafa0cf09aa19594a40380d19c43bb11213bf86206d2ae7fa8c8d6c" dmcf-pid="Kq5WdzZvin" dmcf-ptype="general">논문을 학술지에 게재하려면 해당 분야 전문가들의 '동료평가(peer review)'를 통해 객관성, 의미, 재현성 등을 평가받아야 한다. 수정과 보완을 요구하는 경우도 있다. 수천 편의 논문을 분석한 결과 까다로운 동료평가를 거쳐 출판된 논문의 영향력이 크다는 경향성이 나타났다.</p> <p contents-hash="8d23bbe14095bd1143b32218dbda29afedbc7504b02a112bd47fa083c849fcd8" dmcf-pid="9B1YJq5Tni" dmcf-ptype="general"> 20일(현지시간) 국제학술지 '네이처'는 공개된 동료평가 보고서를 인공지능(AI)으로 분석하고 강한 비판과 수정 요청을 많이 받은 논문의 영향력이 높다는 분석 결과를 소개했다. 중국 베이징사범대의 이번 연구결과는 지난달 15일(현지시간) 논문 사전공개 사이트 '아카이브(arXiv)'에 공개됐다.</p> <p contents-hash="e74974ab891a819211326add4cb8f2ea3ba005048976ceba4f00379a82671c4b" dmcf-pid="2btGiB1yiJ" dmcf-ptype="general"> 연구팀은 미국 앤트로픽의 대형언어모델(LLM) '클로드'에게 2017년부터 2024년까지 매년 1000편씩 논문을 무작위로 선정해 총 8000편의 동료평가를 평가하도록 했다.</p> <p contents-hash="796f70a863a4c587cea764be882f158641b6689f7584c389f254f485284a6180" dmcf-pid="VKFHnbtWnd" dmcf-ptype="general"> 국제학술지 '네이처 커뮤니케이션즈'에 공개된 동료평가 보고서가 활용됐다. 네이처 커뮤니케이션즈는 2016년부터 게재가 확정된 일부 논문의 동료평가를, 2022년부터 모든 동료평가를 공개해 왔다.</p> <p contents-hash="5de12ff38a137d36247e2b17a783722c9e200bfddf85014b28b836a2a72c199b" dmcf-pid="f93XLKFYde" dmcf-ptype="general"> 연구팀은 클로드로 심사위원들의 평가 강도를 수치화하고 얼마나 건설적인 의견을 내는지도 분석했다. 예를 들어 논문의 주요 결론이 '증거로 쓰일 수 없다'고 평가한다면 고강도의 의견이고 구체적인 대안을 제시하지 않는다면 건설적이지 않은 의견이다.</p> <p contents-hash="e8334322941f3eb860970d481ac3500f7e294379098f44a1580e0a9c3b28599b" dmcf-pid="420Zo93GiR" dmcf-ptype="general"> 구체성과 논리성 등 동료평가 보고서의 '품질', 출판된 논문을 바탕으로 저자가 동료평가에 대응해 논문을 보완하는 데 얼마나 많은 품이 들었는지도 평가됐다. </p> <p contents-hash="4e4e5496f6bcd268c0c34adbdebc59ba6cd6808dccd0befa9ecb938a6f30f1f4" dmcf-pid="8Vp5g20HRM" dmcf-ptype="general"> 논문 발표 후 3년 동안 인용된 횟수를 분석한 결과 동료평가에서 강한 비판을 받고 더 광범위한 수정이 요구된 논문이 가벼운 지적을 받고 무난히 동료평가를 통과한 논문보다 인용수가 높다는 경향이 발견됐다. 심사위원의 의견 품질은 높은 인용수과 연관성이 있었지만 건설적인 의견인지와는 관계없었다.</p> <p contents-hash="382a42939abb5cab444cff6d8c9d70fe474883339e4c0206aab1cb68549b527a" dmcf-pid="6fU1aVpXex" dmcf-ptype="general"> 연구팀은 구글의 제미나이를 포함한 다른 LLM을 활용했을 때도 비슷한 결론에 도달했다고 밝혔다. 다만 LLM의 평가가 인간 연구자의 평가와 완전히 일치하지 않을 것이라는 한계가 존재한다.</p> <p contents-hash="607e98731807054c77580b00d705f2b449c2e598828fc70d3046b1a084b7d82a" dmcf-pid="P4utNfUZRQ" dmcf-ptype="general"> 연구팀은 "중대한 연구일수록 더 강도 높은 질문을 받을 수 있다는 관점과 일치한다"며 "까다로운 심사가 꼭 나쁜 징조는 아니며 심사위원들의 진지한 접근을 통해 저자들이 출판 전에 논문을 개선하는 데 도움을 준다는 점도 시사한다"고 밝혔다.</p> <p contents-hash="483fd6023fd8c3d9d62314abd60811cd3bef7eb85c3c29568d9164b8b72314ea" dmcf-pid="Q87Fj4u5JP" dmcf-ptype="general"> <참고 자료><br> - doi.org/10.48550/arXiv.2604.14047</p> <p contents-hash="c7b7edbb46015e68d7f2149cffc9b045a574eed02fa17e5873d3ff0414ba2214" dmcf-pid="x6z3A871R6" dmcf-ptype="general">[이병구 기자 2bottle9@donga.com]</p> </section> </div> <p class="" data-translation="true">Copyright © 동아사이언스. 무단전재 및 재배포 금지.</p> 관련자료 이전 [르포]판다 보러 갔다 넷플릭스 만났다…화면 속 이야기 '현실'로 05-24 다음 [현장] "와, 러바오다!"…에버랜드에 통째로 들어온 넷플릭스 대자연 05-24 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
