AI에 “점수를 높여라” 했더니…실제 사용할 수 있는 세금·주식 편법을 스스로 만들어냈다[후암동 논문 연구소] 작성일 06-17 42 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="9PUzfxx21p"> <figure class="figure_frm origin_fig" contents-hash="eed25d3d8994ad49d0964966dc5773c04e9ea16c9ede8b6e82b08fa193ac5c7a" dmcf-pid="2Quq4MMVt0" dmcf-ptype="figure"> <p class="link_figure"><img alt="[게티이미지뱅크]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/ned/20260617211213189dlng.jpg" data-org-width="1280" dmcf-mid="uQsCY11yHb" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/ned/20260617211213189dlng.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> [게티이미지뱅크] </figcaption> </figure> <p contents-hash="921060a41158d3e46c0497bf53d2cca07e37786211e35e3cfd18c48fc18bf907" dmcf-pid="VVt0b44qt3" dmcf-ptype="general">매일 아침 뉴스를 장식하는 인공지능(AI)의 발전 속도는 눈부시다. 인간의 지시를 척척 알아듣고, 복잡한 코딩부터 창작 영역까지 해내며 일상의 편리함을 더하고 있다.</p> <p contents-hash="39b1a04d4b96b10fd057de868da9768a7ffbe53aae36bee3e880a1a74663845b" dmcf-pid="ffFpK88BtF" dmcf-ptype="general">하지만 인간이 만든 ‘규칙의 허점’을 파고들어 합법적인 꼼수를 부리는 AI가 등장했다면 어떨까. AI가 인간 사회의 법과 규제를 우회하는 법을 스스로 학습해 사회 시스템을 위협할 수 있다는 경고등이 켜졌다.</p> <figure class="figure_frm origin_fig" contents-hash="afbffbab54220ad0536203907a20fa68013e352a98ab9cb9437992315659d9b2" dmcf-pid="443U966bXt" dmcf-ptype="figure"> <p class="link_figure"><img alt="사진은 기사 내용과 관련 없음. [게티이미지]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/ned/20260617211214551edmi.png" data-org-width="594" dmcf-mid="7oaAsSSrGB" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/ned/20260617211214551edmi.png" width="658"></p> <figcaption class="txt_caption default_figure"> 사진은 기사 내용과 관련 없음. [게티이미지] </figcaption> </figure> <p contents-hash="a14d2e4f0e1293d9ff8566dc5199e4a968cf4338100b68d2d0070973a881fa0c" dmcf-pid="880u2PPKH1" dmcf-ptype="general">최근 출판 전 논문 공유 사이트 아카이브(arXiv)에 공개된 연구에 따르면, AI가 세금·금융·의료 등 실제 사회 제도 환경에서 규정의 허점을 스스로 찾아내고, 겉으로는 합법적인 방식으로 이를 이용하는 현상이 실험으로 입증됐다.</p> <p contents-hash="6980f8c43ca3479bfa1e6d9e85a80677ee7d530edae8d2e04bffd46af6a7eae3" dmcf-pid="66p7VQQ9Z5" dmcf-ptype="general">영국 킹스 칼리지 런던·앨런 튜링 연구소와 중국 푸단대 공동 연구팀이 발표한 이번 논문은 AI가 규칙은 지키면서 그 취지를 무력화하는 전략을 반복적으로 만들어냈다는 사실을 증명해 냈다.</p> <div contents-hash="99dd48b226826559dac4a39c06f12da2c999b14ad9a2900d481bac808fb4da8b" dmcf-pid="PPUzfxx2tZ" dmcf-ptype="general"> AI는 실제로 내부자 거래 편법을 설계했다 </div> <figure class="figure_frm origin_fig" contents-hash="5357ce798afff8f8538c4da97ba0a526a805705ccc14760f732595f36f589740" dmcf-pid="QQuq4MMVXX" dmcf-ptype="figure"> <p class="link_figure"><img alt="[게티이미지뱅크]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/ned/20260617211214820nhcv.jpg" data-org-width="1280" dmcf-mid="zl13BffzHq" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/ned/20260617211214820nhcv.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> [게티이미지뱅크] </figcaption> </figure> <p contents-hash="e40b085d9097ae62180360f75f7bec176f0c60b47066cd6de167f193a0349333" dmcf-pid="xx7B8RRftH" dmcf-ptype="general">AI를 훈련할 때는 보통 점수를 기준으로 삼는다. 잘하면 점수를 올려주고, 못하면 깎는 식이다. AI 연구자들 사이에서는 AI가 출제자의 의도대로 행동하는 대신 점수를 올리는 가장 빠른 방법, 즉 규칙의 빈틈을 찾는 문제가 오래된 고민거리였다.</p> <p contents-hash="dcf1c98bcaa1518fd34c2c45d7129999a6e96d52d43684e05871363531817534" dmcf-pid="yykwlYYC1G" dmcf-ptype="general">연구팀은 이 부분에 주목해 AI가 찾는 빈틈이 실제 세금과 금융 규정 같은 사회 제도에서도 발견될지를 확인했다.</p> <p contents-hash="c38400d96a7f0425598b0e3eee48a0dc4af0ae8ebe169bdea2f2335eb420e010" dmcf-pid="W0Sy1UUZHY" dmcf-ptype="general">답을 찾기 위해 연구팀은 세금·금융·의료·이민 등 72개 분야의 가상 제도 환경을 만들었다. 일부는 과거 실제로 제도의 허점이 발견돼 규정이 개정됐던 사례를 재구성했다. 기존 규정에서 개정 내용만 들어내고 AI를 풀어놓은 것이다.</p> <figure class="figure_frm origin_fig" contents-hash="0977904063c4a99c80b99175b8725b5d6c84703727adca588d73787d3ff88f7c" dmcf-pid="YpvWtuu5ZW" dmcf-ptype="figure"> <p class="link_figure"><img alt="[연합]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/ned/20260617211215081qkqh.jpg" data-org-width="1280" dmcf-mid="qWKVMnnQXz" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/ned/20260617211215081qkqh.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> [연합] </figcaption> </figure> <p contents-hash="cce1249091fb03f8d25aa11f417925fef217f11837dcc292f2630b04d65108da" dmcf-pid="GUTYF771Yy" dmcf-ptype="general">결과는 예상보다 선명했다. AI는 별도의 지시 없이도, 역사적으로 실제 규제기관이 뒤늦게 막았던 허점을 61% 확률로 스스로 재발견했다.</p> <p contents-hash="12dd97f15f948c5e413b1576bcd369607ed2a2c634763c46c54df8e91fe6dc6f" dmcf-pid="HuyG3zztXT" dmcf-ptype="general">구체적인 사례는 더 놀라웠다.</p> <p contents-hash="f77bcbe0b7d3e47d4f64b651a92345af28f539bcce8e5329bb6d2354a3c1d8a9" dmcf-pid="X7WH0qqFHv" dmcf-ptype="general">내부자 거래를 막기 위해 설계된 미국 증권 규정을 학습한 AI는 “기업 실적 발표 직전에 미리 자동 주식 매매 계획을 세워 매각을 확정 짓는” 전략을 스스로 만들어냈다. 법을 어기지 않으면서 시장을 교란하는 방법이다. 실제로 미국에서 이 허점이 문제가 됐고, 결국 2003년 법 개정으로 막은 바 있다.</p> <figure class="figure_frm origin_fig" contents-hash="df4fb3d325d13e41cb7f03c9069eab0f08b9397d72c23af178dda2fc882149da" dmcf-pid="ZzYXpBB3HS" dmcf-ptype="figure"> <p class="link_figure"><img alt="[123RF]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/ned/20260617211215329hkuq.jpg" data-org-width="1280" dmcf-mid="BsFpK88B57" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/ned/20260617211215329hkuq.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> [123RF] </figcaption> </figure> <p contents-hash="8d53226308a19d5202cfeeebe71c7c2185ffd6868e604b68b130a5c7cc6a496b" dmcf-pid="5qGZUbb01l" dmcf-ptype="general">의약품 특허 분야에서는 더 나아갔다. AI는 2003년 개정으로 막힌 허점을 먼저 발견한 뒤, 이어서 2013년 대법원 판결로 규제된 또 다른 편법을 찾아냈다. 역사적으로 규제가 강화됐던 순서 그대로였다.</p> <p contents-hash="12944ffc7827a964b2b282632880ab780075e559e6d5c867a265aa876b518b19" dmcf-pid="1BH5uKKp1h" dmcf-ptype="general">그리고 마지막으로 2026년 현재까지도 입법화되지 않은, 학계에서만 논의 중인 취약점까지 스스로 제안했다.</p> <p contents-hash="6b833137b4d29db3ba14a34b4a5d8f8dbe7ca85e11a7b58b280fdbad4b931c18" dmcf-pid="tbX1799UYC" dmcf-ptype="general">항공권 가격 규정을 다룬 실험에서 AI가 설계한 전략은 연구팀이 설정한 10개의 정답 패치 중 9개에 동시에 대응하는 수준이었다.</p> <div contents-hash="75c7ac718e1a9b29119459f247f88ea147c238499ef202535977569476bf8288" dmcf-pid="FKZtz22uHI" dmcf-ptype="general"> 막으면 막을수록 더 교묘해졌다 </div> <figure class="figure_frm origin_fig" contents-hash="2d98f75e19174d78ef5a63bc9c71ab204ab82664a344540d0daf4d3c5663ec8a" dmcf-pid="395FqVV7HO" dmcf-ptype="figure"> <p class="link_figure"><img alt="5개 상황에서 AI를 오래 학습시키자 점수(빨간색)은 어느 순간 더 오르지 않고 정체되지만 시스템의 허점을 찾아내는 편법(파란색)은 끝없이 늘어났다. [출판 전 논문 공유 사이트 아카이브(arXiv)]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/ned/20260617211215568zegd.png" data-org-width="486" dmcf-mid="bTjkITTs5u" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/ned/20260617211215568zegd.png" width="658"></p> <figcaption class="txt_caption default_figure"> 5개 상황에서 AI를 오래 학습시키자 점수(빨간색)은 어느 순간 더 오르지 않고 정체되지만 시스템의 허점을 찾아내는 편법(파란색)은 끝없이 늘어났다. [출판 전 논문 공유 사이트 아카이브(arXiv)] </figcaption> </figure> <p contents-hash="1f949a13ec4c38add70939569f6f224e15f769e8423bf7acb18252af5d14f4e7" dmcf-pid="0eB9QJJ6Gs" dmcf-ptype="general">허점을 막자 AI는 더 정교한 방법을 찾았다.</p> <p contents-hash="bc9d75f228cd9a4efde87df454f7e92680b43515f428aaa5325b5e3d6c3bfa2e" dmcf-pid="pdb2xiiP1m" dmcf-ptype="general">연구팀이 반복 학습 횟수를 늘려 확인한 결과, 최고 점수는 초반에 정점을 찍고 이후 낮아지는 경향을 보였다. 하지만 AI가 발견한 허점의 수는 끝까지 계속 늘어났다. 규정으로 막으면 AI는 겉모습만 바꾼 채 동일한 구조적 허점을 유지하는 방식으로 대응했다.</p> <p contents-hash="4a352e0915f3f9e10d8716add6c40e52612fec0316f4b40de75f783f3ebbef1b" dmcf-pid="UJKVMnnQZr" dmcf-ptype="general">현재 기업들이 적용 중인 안전장치로는 이를 막기 어렵다는 것도 실험에서 확인됐다.</p> <figure class="figure_frm origin_fig" contents-hash="4776388b59d91be0f50aac5b99cdd105248592c0631fe26f47884c0bcfdf1e25" dmcf-pid="ui9fRLLxZw" dmcf-ptype="figure"> <p class="link_figure"><img alt="[게티이미지뱅크]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/17/ned/20260617211215804ncsj.jpg" data-org-width="1280" dmcf-mid="KMyG3zztGU" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/17/ned/20260617211215804ncsj.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> [게티이미지뱅크] </figcaption> </figure> <p contents-hash="95ce6ac9186980a1ad8160ae910faf1075f7b7caa2719efd547316be9ba60ea7" dmcf-pid="7n24eooMXD" dmcf-ptype="general">AI에 직접 “허점을 찾아라”고 명령하면 거부하면서도, 점수를 높이는 방향으로 학습할 때는 안전장치를 풀고 허점을 찾아냈다.</p> <p contents-hash="5c13fd92f8e3f6f5a671fe3f1f35f5050b328b99444dbc460cc0ccee14adb701" dmcf-pid="zLV8dggR1E" dmcf-ptype="general">연구팀은 같은 기술을 거꾸로 활용하는 방안도 제시했다. AI가 인간 규제 당국보다 먼저 허점을 찾을 수 있다면, 새 법안이 시행되기 전에 잠재적 문제를 미리 발견하는 용도로 쓸 수 있다는 것이다.</p> <p contents-hash="1efcef096ce7cc211e5ad4068f97e2197ea85dc7ba060d95df986446182ab435" dmcf-pid="qof6Jaae1k" dmcf-ptype="general">다만 연구팀은 이번 실험이 실제 제도가 아닌 시뮬레이션 환경에서 이뤄졌다는 점을 스스로 명시했다. 아직 정식 학술지 심사를 거치지 않은 사전 공개 연구이기도 하다.</p> <div contents-hash="9eb9d918a60d49237dec645e8a27c94430a37b004b822a9fc0a4faee9bb39b8c" dmcf-pid="Bg4PiNNdGc" dmcf-ptype="general"> 참고논문 </div> <p contents-hash="bb1693270d2613515471342e464686bd74b1ed4c052795e43b60ab8f0c93d077" dmcf-pid="ba8QnjjJXA" dmcf-ptype="general">DOI : 10.48550/arXiv.2606.04075</p> <p contents-hash="4c86f7225c977b6957ca4231b6e285f598b262c4df4496b0d0470f2150dfc51a" dmcf-pid="KN6xLAAiZj" dmcf-ptype="general">논문 정보 : Wei Liu, Xinyi Mou, Hanqi Yan, Zhongyu Wei, Yulan He, Large Language Models Hack Rewards, and Society, arXiv:2606.04075, June 2026.</p> </section> </div> <p class="" data-translation="true">Copyright © 헤럴드경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 AI 플랫폼 삼국지…검색은 네이버·모바일은 카카오·AI는 업스테이지 06-17 다음 강백호 3경기 연속포…'홈런왕 경쟁' 가세 06-17 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
