[팀장칼럼] AI가 할 수 있는 일과 해도 되는 일 작성일 11-18 57 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="YJLlUkd8YP"> <figure class="s_img figure_frm origin_fig" contents-hash="82215eb45bf850751cde3dc99a2756662ebc6446d479153794c449c1508b1670" dmcf-pid="G4PEHifzH6" dmcf-ptype="figure"> <p class="link_figure"><img alt="나연준 ICT과학부 차장" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/18/NEWS1/20261118073108317kbkr.jpg" data-org-width="180" dmcf-mid="W3fjyRKpGQ" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/18/NEWS1/20261118073108317kbkr.jpg" width="180"></p> <figcaption class="txt_caption default_figure"> 나연준 ICT과학부 차장 </figcaption> </figure> <p contents-hash="5b37588f4024fdb2f81287bf9fc8e91c15d9465ad1ff8cbbe76909956c2c09f5" dmcf-pid="H8QDXn4qX8" dmcf-ptype="general">(서울=뉴스1) 나연준 기자 = 인공지능(AI)이 사람에게 답을 제시하는 수준을 넘어 실제 업무를 수행하고 중요한 판단에도 관여하고 있다.</p> <p contents-hash="65aa229060748670ca24505293fdb01082164a596484e5bc104a49e9439abb75" dmcf-pid="X6xwZL8Bt4" dmcf-ptype="general">지난 3월 미국과 이란의 전쟁에서는 AI가 방대한 정보를 분석하고 공격 표적을 식별하는 데 활용됐다. AI가 전쟁의 양상을 바꿀 것이라는 전망이 현실로 다가온 것이다.</p> <p contents-hash="9a3521919b483c466d06f484b8b344c3de366256d29a881e36eaf7b40013b0d0" dmcf-pid="ZPMr5o6bXf" dmcf-ptype="general">앤트로픽의 프런티어 AI 모델 '미토스'는 인간 전문가들이 오랫동안 찾아내지 못했던 소프트웨어 보안 취약점을 발견해 주목받았다.</p> <p contents-hash="7a0b6803aedd070143bb7d1287057442e853f44beef974a88a83d804fc625040" dmcf-pid="5QRm1gPKHV" dmcf-ptype="general">그러나 AI가 할 수 있는 일이 늘어날수록 중요한 질문이 생긴다. 그 능력을 어디까지 허용하고 어떤 판단과 행동을 인간이 통제해야 하느냐는 것이다.</p> <p contents-hash="57efff35255288a3b752045360cbb1feefbc66d18d80b7a6d1bfd6475ad97dd0" dmcf-pid="1xestaQ9X2" dmcf-ptype="general">지난 7월 오픈AI의 내부 사이버보안 평가에서는 AI 에이전트들이 허용되지 않은 통신 경로를 만들고 취약점을 악용해 외부 시스템에 침입했다. 안전장치가 일부 완화된 평가 환경이었지만 AI가 인간이 정한 경계를 벗어날 가능성을 보여줬다.</p> <p contents-hash="05774863b6c1c1dac06f54155e711829234aa7762305e19f8d4b7c2b63f5acd5" dmcf-pid="tMdOFNx2Z9" dmcf-ptype="general">지난 4월 미국 소프트웨어 기업 포켓OS에서는 AI 코딩 에이전트가 테스트 작업 중 실제 운영 데이터베이스를 삭제했다. AI 에이전트의 권한 관리 문제가 실제 피해로 이어진 사례다.</p> <p contents-hash="fd1d2bada816e5d0b2080c991848c81c10a85b6a8250ed7c1586339fad94fcf2" dmcf-pid="FRJI3jMVtK" dmcf-ptype="general">국내에서는 AI 글라스를 이용한 시험 부정행위도 논란이 됐다. 학습을 도울 수 있는 기술이 시험의 공정성을 해치는 수단으로 악용된 것이다.</p> <p contents-hash="56d9c92595ee7a9d446afdde42fd411161c58c4790395144ec5fac5229812c6f" dmcf-pid="3uqiI4UZZb" dmcf-ptype="general">핵심은 AI가 할 수 있는 일과 허용해야 할 일을 구분하는 데 있다. 전쟁에서 표적을 식별한다고 공격 여부까지 맡길 수는 없다. 보안 취약점을 찾아낸다고 그 능력을 누구에게나 제공할 수도 없다. AI 글라스의 활용 역시 공정성을 해쳐서는 안 된다.</p> <p contents-hash="aafe62617da87b3c5ae5abdcd544d56f9faf302757607ab864b74beb8aabbb18" dmcf-pid="07BnC8u51B" dmcf-ptype="general">AI 통제의 의미도 달라져야 한다. 지금까지는 위험하거나 잘못된 답변을 막는 데 집중했다면, 이제는 AI가 어떤 시스템에 접근하고 어디까지 행동할 수 있는지, 언제 인간이 개입해야 하는지까지 정해야 한다.</p> <p contents-hash="252e8ba2f1a19fccba8e6eb40e4a73c60814245a4de4236b8ee2e5bc60cb87da" dmcf-pid="pzbLh671Yq" dmcf-ptype="general">기존 소프트웨어가 주로 정해진 절차에 따라 작동했다면 AI 에이전트는 목표를 위해 작업 순서와 수단을 스스로 선택한다. 문제는 AI가 지시받은 목표를 충실히 수행하는 과정에서도 인간이 허용하지 않은 행동을 할 수 있다는 점이다. 목표를 달성했더라도 무단 접근이나 허용되지 않은 데이터 삭제가 있었다면 성공으로 평가할 수 없다.</p> <p contents-hash="1eee3e4561cc8cdac1388b00454914f5285fcce1a460241b6d632c6219899d8d" dmcf-pid="UqKolPztGz" dmcf-ptype="general">군사 작전이나 핵심 인프라처럼 생명과 안전에 영향을 미치는 영역에서는 인간의 최종 승인만으로 부족하다. AI 판단의 근거를 충분히 검토하고 거부하거나 수정할 수 있어야 한다. 사람이 형식적으로 승인하는 데 그친다면 책임만 인간에게 남겨놓는 결과가 될 수 있다.</p> <p contents-hash="0cda6b7fdf7816e16c14b25ab371541783a583c29dc7d28e721e848a4e5a8f1c" dmcf-pid="uB9gSQqF17" dmcf-ptype="general">기업도 AI 에이전트의 조회와 수정·삭제 권한을 구분하고 중요한 작업에는 별도 승인을 요구해야 한다. 문제가 발생했을 때 AI의 행동을 즉시 중단하고 권한을 회수할 수 있어야 기업도 중요한 업무를 맡길 수 있다. 앞으로는 AI에 얼마나 많은 일을 맡길 수 있는지뿐 아니라 필요할 때 얼마나 확실하게 통제권을 되찾을 수 있는지도 경쟁력이 될 것이다.</p> <p contents-hash="ac8f79183bbb4de2b0b10cb90d77b5815fda770b7bc74d92fb02ed7c32c500da" dmcf-pid="7b2avxB3Xu" dmcf-ptype="general">AI가 할 수 있는 일은 계속 늘어날 것이다. 그러나 기술적으로 가능하다고 모든 일을 맡길 수는 없다. AI의 능력이 어디까지 발전할지는 기술이 결정하겠지만, 그 능력을 어디까지 허용할지는 결국 인간이 결정해야 한다.</p> <p contents-hash="ecee4b30c741725039be20f1911f3fef3acc09d85c549c77d46f3ef1420abae8" dmcf-pid="zKVNTMb0tU" dmcf-ptype="general">yjra@news1.kr </p> </section> </div> <p class="" data-translation="true">Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.</p> 관련자료 이전 "인증 없이 다 뚫린다"…자바 치명적 보안 결함에 비상 11-18 다음 코파일럿 하나로 문서·분석·개발·영업까지…챗GPT·클로드와 정면 승부 11-18 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.