“안전 무시하고 사고 치는 AI로봇 걸러내다”…임무 수행 ‘새 평가모델’ 제시 작성일 03-12 14 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">김형민 UST-ETRI스쿨 박사과정생, SPOC 모델 개발<br>AI로봇의 안전 임무 수행 검증...‘안전한 피지컬AI’ 구현</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="F3xYws1yCo"> <figure class="figure_frm origin_fig" contents-hash="94fb1f9fc440f53e325d2f64928b576dfbfe53e74ebbdb839ccff4c1db4f9e4d" dmcf-pid="30MGrOtWlL" dmcf-ptype="figure"> <p class="link_figure"><img alt="김형민(왼쪽) UST-ETRI 스쿨 박사과정생(제1저자), 김도형 교수(교신저자). UST 제공." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202603/12/dt/20260312175604256mwfw.jpg" data-org-width="640" dmcf-mid="tdTMqKnQTg" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202603/12/dt/20260312175604256mwfw.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김형민(왼쪽) UST-ETRI 스쿨 박사과정생(제1저자), 김도형 교수(교신저자). UST 제공. </figcaption> </figure> <p contents-hash="784e8b0603e9dffed1b8620ab1948333cce14dfac7314b104a4748473e8b049d" dmcf-pid="0pRHmIFYSn" dmcf-ptype="general"><br> 인공지능(AI) 로봇이 실제 환경에서 각종 안전 규칙을 지키며 임무를 수행할 수 있는지를 정밀하게 검증하는 새로운 성능 평가 모델이 개발됐다.</p> <p contents-hash="238e30570b847e47deb4f5ea7791c31c00599f1ca6283b078c82f138f91538e9" dmcf-pid="pUeXsC3Gyi" dmcf-ptype="general">과학기술연합대학원대학교(UST)는 김도형 한국전자통신연구원(ETRI) 스쿨 교수 연구팀이 로봇과 같은 피지컬 AI 시스템이 정보 부족이나 물리적 한계 상황에서도 안전하게 임무를 수행하는지 검증하는 AI 로봇 성능 평가 모델(벤치마크) ‘SPOC’(안전중심 지능형 작업 설계 평가모델)를 개발했다고 12일 밝혔다.</p> <p contents-hash="de9996b39abeb5cb6d34f983ea49f2a5194fa22115ecb39f3ee5a7e3b6729c65" dmcf-pid="UudZOh0HTJ" dmcf-ptype="general">기존 평가 방식은 다양한 위험 요소를 고려한 안전한 작업 수행 여부보다는 단순히 목표 달성 여부에 중점을 두고 있다.</p> <p contents-hash="5e65be4a02f5d145e5a3c005ba6e44f80811434904d828a98ebad27e543b565b" dmcf-pid="u7J5IlpXTd" dmcf-ptype="general">SPOC 모델은 안전을 핵심 평가요소로 설정해 로봇의 최종 목표 달성률뿐만 아니라 가정 환경에서 발생할 수 있는 5가지 주요 위험 요소(화재·물 넘침·물건 파손·인간 부상 유발·음식 오염)의 안전 준수 여부를 실시간으로 동시에 평가한다.</p> <p contents-hash="c766debf60d8df5878b33394bf5574072c110027c2d87a80cd5713a6bdc690ee" dmcf-pid="7zi1CSUZCe" dmcf-ptype="general">기존 평가에서는 검증하기 어려웠던 로봇의 ‘현실적 인지 능력’(부분 관측성)과 ‘물리적 제약’을 평가 기준으로 삼았다.</p> <p contents-hash="a4ad875cdab9ce57cbd67570cc4f3ac9b80eddc9fc7212e78984109f189a68ed" dmcf-pid="zjYdKVgRCR" dmcf-ptype="general">예를 들어 AI 로봇에게 ‘와인병을 찾아와’라고 명령했을 때 기존 평가에서는 ‘문을 열고 찾는다’는 중간 과정을 건너뛰고 바로 목표물로 향하는 오류를 범했지만, SPOC 평가 모델은 이러한 무리한 행동 계획을 실패로 처리한다.</p> <p contents-hash="74aa1e9e3db761efae2af93b21d92b45e13513d51dc170d5eda8fffa5855a7ca" dmcf-pid="qAGJ9faelM" dmcf-ptype="general">대신 로봇 스스로 ‘눈에 보이지 않으니 찬장 문부터 직접 열어서 찾아야 한다’는 현실적 판단을 내리고 수행하는지 검증한다.</p> <p contents-hash="cd69d43e4254aafe055e8d51a8b75a5c30911fd517e96d0a2823c29aa1f5e48d" dmcf-pid="BcHi24NdWx" dmcf-ptype="general">또 손에 물건을 든 한 팔 로봇이 다른 서랍을 열어야 할 경우 반드시 ‘물건을 먼저 내려놓고 빈손으로 문을 열어야 한다’는 판단을 내리는지 평가한다.</p> <p contents-hash="a6e1effa0afd4b1be2b25aace0dcb6a73a6849398527e0b9edd2d47884809a0b" dmcf-pid="bkXnV8jJlQ" dmcf-ptype="general">로봇이 작업 수행 과정에서 단 한 번이라도 안전 규칙을 위반하면 즉시 무관용 실패로 처리하는 높은 수준의 안전 검증 기준을 적용했다.</p> <p contents-hash="6e89ccfa5304918485ae858834abf59d4a978082b8719606859370eaea406d00" dmcf-pid="KEZLf6AilP" dmcf-ptype="general">연구팀은 SPOC 모델을 다양한 대형언어모델(LLM)에 적용한 결과, 안전 인식 능력에 커다란 한계를 드러냈고, 소형언어모델(SLM)은 명시적인 안전 지시가 주어져도 안전 준수 성공률이 극히 낮게 나타났다.</p> <p contents-hash="b2fa192dea479e286095236bdf6d4168485e57c7a81e5266d18ed324083bc862" dmcf-pid="9D5o4Pcnl6" dmcf-ptype="general">제1저자인 김형민 UST 박사과정생은 “그동안 AI로봇의 성능 평가는 임무 달성 여부를 중심으로 이뤄져 왔지만, SPOC 모델은 다양한 환경에서 엄격한 물리적 제약과 안전 조건을 준수하며 작업을 수행하는지를 묻는 본격적인 시도”라며 “이번 평가모델이 향후 실제 현장에 투입 가능한 신뢰도 높은 AI 로봇 연구를 가속하는 데 도움이 됐으면 한다”고 말했다.</p> <p contents-hash="ff2b5e3200a41d211cccaed5fab5342c41bcba384dbfa9cd27a41356c49c249a" dmcf-pid="2w1g8QkLC8" dmcf-ptype="general">김도형 교수는 “인간과 공존하는 로봇 시대를 위해 반드시 전제되어야 하는 안전한 피지컬 AI 개발에 중요한 참고가 될 것”이라며 “향후 안전 규칙을 스스로 추론하고 위험 상황에서 사람에게 질문하거나 행동을 수정하는 능력까지 평가할 수 있는 모델로 발전시킬 계획”이라고 밝혔다.</p> <p contents-hash="57becfe768112bfaad496d8674d034c8f3b7750b7e55e0268c76060aa1dff922" dmcf-pid="Vrta6xEoT4" dmcf-ptype="general">연구결과는 신호처리 및 음성인식 분야 국제 학회 ‘ICASSP 2026’에서 발표됐다.</p> <p contents-hash="a522d084c2e4e8920d08f43e5a86524d1f8aa3792e7225b205b61b17d1cb9830" dmcf-pid="fmFNPMDgvf" dmcf-ptype="general">이준기 기자 bongchu@dt.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털타임스. 무단전재 및 재배포 금지.</p> 관련자료 이전 민주당 과기혁신특위 2기 출범...“과학기술 5대 강국 향한 정책 엔진 되겠다” 03-12 다음 Behind Kim Yun-ji’s gold: Korea’s para sports patron 03-12 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
