"사람은 관리되는데 AI는 못 막아"···AI 에이전트 시대 '통제 공백' 빨간불 작성일 09-07 33 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">에이전트 권한 확대에 위험 커져 <br>AI기본법 사람의 관리·감독에 초점···행동 기록·권한 회수·강제중단 기준은 공백 <br>오픈AI·딥마인드 자체 통제체계 마련···“로그 기록·분석이 출발점”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="5kn66SgReS"> <figure class="figure_frm origin_fig" contents-hash="3b18f017d3610f906aadac2cb073ff1547901637733aef19ec129e2a4a142eca" data-idxno="239420" data-type="photo" dmcf-pid="1ELPPvaeil" dmcf-ptype="figure"> <p class="link_figure"><img alt="인공지능(AI)을 개발·운영하는 사람과 기업을 관리하는 제도는 마련되고 있지만 AI가 사용자의 의도를 벗어나 행동할 때 이를 직접 제어할 체계는 공백으로 남아 있다는 지적이 나왔다. AI가 답변을 생성하는 도구에서 메일과 파일, 외부 서비스를 직접 다루는 에이전트로 진화하면서 사람의 관리·감독을 넘어 AI의 행동 자체를 통제할 기술과 기준이 필요하다는 분석이다. / 사진=생성형AI(챗GPT) 이미지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/07/552777-a6ToU27/20260907172328590mpaf.png" data-org-width="960" dmcf-mid="ZprggFOcev" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/07/552777-a6ToU27/20260907172328590mpaf.png" width="658"></p> <figcaption class="txt_caption default_figure"> 인공지능(AI)을 개발·운영하는 사람과 기업을 관리하는 제도는 마련되고 있지만 AI가 사용자의 의도를 벗어나 행동할 때 이를 직접 제어할 체계는 공백으로 남아 있다는 지적이 나왔다. AI가 답변을 생성하는 도구에서 메일과 파일, 외부 서비스를 직접 다루는 에이전트로 진화하면서 사람의 관리·감독을 넘어 AI의 행동 자체를 통제할 기술과 기준이 필요하다는 분석이다. / 사진=생성형AI(챗GPT) 이미지 </figcaption> </figure> <p contents-hash="fbae521f0db6501a50803a79a7198119c023b347ea2058430447b73a754f600d" dmcf-pid="tDoQQTNdeh" dmcf-ptype="general">[시사저널e=김도영 기자] AI 에이전트 확산과 더불어 인공지능(AI)을 개발·운영하는 사람과 기업을 관리하는 제도는 마련되고 있지만, AI를 직접 제어할 체계는 공백으로 남아 있다는 지적이 나온다. AI가 답변을 생성하는 도구에서 메일과 파일, 외부 서비스를 직접 다루는 에이전트로 진화하면서 사람의 관리·감독을 넘어 AI의 행동 자체를 통제할 기술과 기준이 필요하다는 분석이다.</p> <p contents-hash="7c6649ab40524dfdace68b486e43a13350e0065142ee25f8f1f9dc2005e85727" dmcf-pid="FwgxxyjJJC" dmcf-ptype="general">7일 최대선 숭실대학교 AI안전성연구센터장은 'AI 리스크 컨퍼런스 서울 2026' 현장에서 기자와 만나 "현재는 AI를 만드는 사람과 기업, 시스템을 개발하는 과정은 관리하고 있다"며 "AI가 자율적으로 움직였을 때 그 행위를 어떻게 통제할 것인지에 대한 체계는 아직 없다"고 진단했다.</p> <p contents-hash="9f3d03fb8245e8e8f63e75373d3d3ddaed93a4c172c2a69acc90754b10705629" dmcf-pid="3jdffCnQMI" dmcf-ptype="general">최 센터장은 보안과 통제를 위험을 일으키는 주체에 따라 구분했다. 그는 "보안은 나쁜 사람이 공격하는 것을 막는 것이고 통제는 AI가 스스로 위험한 행동을 하는 것을 어떻게 막을 것이냐의 문제"라며 "AI가 혼자 해킹하거나 다른 위험한 행동을 하고 '그만하라'고 했는데도 말을 듣지 않을 때 이를 어떻게 다스릴 것인지가 제가 말하는 통제"라고 말했다.</p> <p contents-hash="585f02b005b45b3a3d95ffd75c6c2a614587f68b22b345d76686809c487adcb9" dmcf-pid="0AJ44hLxRO" dmcf-ptype="general">AI 에이전트 확산은 이 같은 통제 문제를 실제 서비스의 위험으로 끌어올리고 있다는 게 최 센터장의 설명이다. AI 에이전트는 이용자의 질문에 답하는 챗봇과 달리 목표를 전달받은 뒤 작업 순서를 세우고 필요한 도구를 직접 활용한다. 메일을 읽어 답장을 보내거나 사내 파일을 검색하고 웹사이트와 외부 서비스를 호출하는 방식이다. 업무 수행에 필요한 권한을 좁히면 활용성이 떨어지고 넓히면 정보 유출이나 시스템 변경 위험이 커진다.</p> <p contents-hash="492e9b965ef8dd5c647baef4c96d8182e76c03a8c550f19f43c8fccf64e26008" dmcf-pid="pci88loMRs" dmcf-ptype="general">실제 최근 발생한 보안 사고에서는 AI에 정상적으로 부여된 목표가 개발자의 의도를 벗어난 행동으로 이어지고 있다. 지난 7월 오픈AI가 진행한 사이버 역량 평가에서 격리된 샌드박스에서 문제를 풀던 최신 AI 모델들이 답안을 확보하려 시스템 취약점을 이용해 외부 인터넷에 접속한 것으로 나타났다. 취약점과 인증정보를 연쇄적으로 활용해 허깅페이스의 운영 인프라까지 접근한 것이다. 앞서 5월부터 외부 자료에 접근할 수 없었던 AI 에이전트들이 내부 패키지 관리도구인 '아티팩토리'를 통해 인터넷 연결을 시도하고, 파일 형태의 메모를 남겨 서로 정보를 공유하는 이상행동도 나타났다. </p> <p contents-hash="bbd4544f4ffad9ae84bdb4eba5fd74ff44581ce956b7b6b7ac9518cdf30aa00a" dmcf-pid="Ukn66SgRim" dmcf-ptype="general">메일이나 웹페이지에 악성 명령을 숨기는 프롬프트 인젝션도 정상적인 권한을 본래 목적과 다르게 작동시킬 수 있다. AI가 외부 이미지를 불러오는 주소에 내부 정보를 담거나 저장된 개인정보와 기업 기밀을 외부 서버로 전송하도록 유도하는 방식이다. 금지 사항을 프롬프트에 적거나 네트워크를 차단하는 것만으로는 AI가 선택할 모든 행동 경로를 미리 막기 어려운 이유다.</p> <p contents-hash="dd4389f8eb9a2678571deedba9967a930bc1bdbc27a8867ad894da4f79afa67c" dmcf-pid="uELPPvaeRr" dmcf-ptype="general">기술적 통제의 공백은 현행 제도에서도 드러난다. 현행법은 고영향 AI 사업자에게 위험관리방안과 이용자 보호 방안을 마련하고 사람의 관리·감독 체계를 두도록 규정하고 있다. AI가 도출한 최종 결과와 결과 산출에 활용한 주요 기준을 설명할 방안을 마련하고 안전성·신뢰성 조치를 확인할 수 있는 문서도 작성·보관해야 한다.</p> <p contents-hash="33322a0ffbe8a365849928768a02b3c753787012fd04f5e3a451c34cf87e2faf" dmcf-pid="7DoQQTNdnw" dmcf-ptype="general">'인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(AI기본법)'은 2024년 12월 국회를 통과한 뒤 지난해 1월 제정돼 올해 1월 22일부터 시행된 바 있다. 과기정통부는 기업의 준비 기간을 고려해 최소 1년 이상 규제를 유예하고 지원데스크와 컨설팅을 운영하고 있다.</p> <p contents-hash="104c9a3c3cdca2b1a3df06a1603071e2019322ad5fa65d668e81c3d786aa583a" dmcf-pid="zwgxxyjJeD" dmcf-ptype="general">다만 법과 시행령이 정한 통제는 사업자의 위험관리와 사람의 감독 의무에 무게가 실려 있다. AI 에이전트가 수행하는 개별 행동을 실시간으로 기록하는 방식이나 작업 도중 권한을 회수하는 절차, 중단 명령을 따르지 않을 때 강제로 멈추는 기술 요건까지 구체적으로 제시하지는 않는다. 현행법에 안전·감독 규정은 있지만 AI의 자율행위를 시스템 차원에서 직접 제어하는 기준과는 차이가 있다는 분석이다.</p> <p contents-hash="d385f8384ca976b5f9512dada7e7cdc310a9b8d8f4e8ecd9aab8889c16a8092e" dmcf-pid="qraMMWAiiE" dmcf-ptype="general">최 센터장은 "AI기본법에는 사람이 AI를 잘못 사용해 발생하는 부작용이나 악용 가능성, 고영향 AI에 대한 기준이 마련돼 있다"면서도 "지금 제도에서 말하는 통제는 사람과 기업에 해야 할 일과 금지할 일을 정하는 방식으로, AI가 스스로 움직일 때 그 행동을 제어하는 통제와는 다르다"고 말했다.</p> <p contents-hash="38436dfaaa53619c64c84de19812392a04beaceaa95dd6b92f3df2183b1fb9d7" dmcf-pid="BmNRRYcnRk" dmcf-ptype="general">국내 논의도 AI를 만드는 사람과 기업의 책임을 정하는 데 상대적으로 집중돼 있다는 진단이다. 최 센터장은 "우리나라는 외국에서 나온 AI 기술을 따라 만드는 데 바빠 AI가 어떤 부작용을 일으킬 수 있는지까지 고민할 여력이 부족했던 측면이 있다"며 "그게 문제라는 것조차 생각하지 못하고 영화에 나오는 공상과학 이야기 정도로 여겼던 것"이라고 지적했다.</p> <p contents-hash="28d831225dd5d71bb70ab1e5d005a6cce70dadbf5b785bd2b29a4e264b229afb" dmcf-pid="bsjeeGkLic" dmcf-ptype="general">해외 프런티어 AI 기업들은 에이전트의 자율행위를 전제로 자체 통제체계를 구체화하고 있다. 오픈AI는 고도화된 모델의 위험과 안전장치를 별도 조직이 평가·감독하고 허깅페이스 사고 이후 내부 시험 환경의 접근통제와 모니터링을 강화했다. 구글 딥마인드는 지난 6월 'AI 통제 로드맵'을 공개하고 내부 AI 에이전트를 잠재적인 내부 위협으로 간주해 검증된 행동에 따라 권한을 단계적으로 부여하는 방식을 제시했다. 별도의 AI 감독자가 에이전트의 추론과 행동 계획을 감시하고 유해한 행동을 실행 전에 차단하는 구조다.</p> <p contents-hash="db5767dd52d05d8e7daf5354de0cab80e01d11a960ac6b8851c5978430a2d7fc" dmcf-pid="KOAddHEoMA" dmcf-ptype="general">AI 통제의 현실적인 출발점으로는 행동 기록과 지속적인 감시가 꼽힌다. 에이전트가 어떤 데이터와 도구에 접근했고 어떤 과정을 거쳐 외부 작업을 실행했는지 로그를 남겨야 사고 원인을 추적하고 권한 설정을 보완할 수 있다는 것이다. 작업 단계별 승인과 권한 분리, 이상행동 탐지, 업무 중 권한 회수와 강제중단 장치를 함께 설계하는 접근도 필요하다.</p> <p contents-hash="d30f577988dc3af3b18c6308fa5f4bfeb9f8652396c97a54e5c58c2c32215bb0" dmcf-pid="9IcJJXDgdj" dmcf-ptype="general">최 센터장은 "우선 AI가 어떤 상태인지 계속 모니터링하고 감시해야 하며 외부에서 강제로 멈출 수 있는 장치도 만들어야 한다"며 "로그를 기록하고 분석해 AI를 어떻게 통제해야 하는지 계속 찾아가는 것이 출발점"이라고 강조했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 시사저널e 무단전재 및 재배포 금지</p> 관련자료 이전 모디 만난 크래프톤…印 투자 5억弗로 확대 09-07 다음 "'인다이렉트 인젝션' 해커 공격, 듀얼 LLM으로 방어 가능" 09-07 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
