에임인텔리전스, LLM 기업지침 준수 평가 프레임 공동개발 작성일 02-10 22 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">BMW와 ‘COMPASS’ 공개</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="BSU88kvmCq"> <figure class="figure_frm origin_fig" contents-hash="716ad9240b9c5e5804ea819ccc724b933acd95da5cc175a4b775a6a3bd0145fc" dmcf-pid="bs1KKgOcTz" dmcf-ptype="figure"> <p class="link_figure"><img alt="에임인텔리전스의 COMPASS. 사진 제공=에임인텔리전스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/10/seouleconomy/20260210092617878pzvy.png" data-org-width="620" dmcf-mid="qbjhhu6bCB" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/10/seouleconomy/20260210092617878pzvy.png" width="658"></p> <figcaption class="txt_caption default_figure"> 에임인텔리전스의 COMPASS. 사진 제공=에임인텔리전스 </figcaption> </figure> <p contents-hash="211a999f6880ac07219ed0b1caa0fcec9ecd81a9bcb330d83320eb654fc1f456" dmcf-pid="KOt99aIkC7" dmcf-ptype="general"><br> 인공지능(AI) 보안 전문기업 에임인텔리전스(AIM Intelligence)가 BMW 그룹과 협력해 거대언어모델(LLM)의 기업별 맞춤형 정책 준수 여부를 체계적으로 평가하는 최초의 프레임워크 ‘COMPASS’를 공동개발했다고 10일 밝혔다. 에임인텔리전스는 생성형 AI와 LLM을 비롯해 이미지·비전 모델(VLM), 음성, 멀티모달 시스템, 피지컬 AI 분야에서 AI 가드레일과 AI 레드 티밍 솔루션을 선보이고 있다. 모델이 기업의 정책과 의도를 벗어나도록 유도하는 공격 시나리오를 실제 환경에 가깝게 검증하고 차단하는 고도화된 기술을 보유하고 있다.<br><br> 이번에 선보인 COMPASS는 LLM이 기업별 특정 정책을 잘 준수하고 있는지 체계적으로 평가하는 프레임워크다. 최근 의료·금융·자동차 등 전 산업군에서 LLM 도입이 가속화되고 있으나 기업 내부의 복잡한 운영 지침, 법적 제약 사항을 AI가 정확히 따르는지에 대한 객관적인 지표는 부족하다.<br><br> 실제 연구에서 기존의 표준 안전성 테스트를 통과한 AI 모델이라도 실제 기업 현장 상황에 따라 달라지는 복잡한 규칙을 적용 시 금지된 규칙을 제대로 따르지 않는 문제점을 발견했다. 이 문제점을 해결하기 위해 해석이 불분명한 조항, 상충하는 규칙 등을 찾아내 해결하는 등 검증단계를 통해 오작동 비율을 현격히 줄여나갈 방침이다.<br><br> 에임인텔리전스는 최근 LLM 도입이 가속화되고 있는 자동차·금융·의료·교육 등 8개 핵심 산업에서 발생하는 시나리오를 기반으로, 6000여 개의 질의 데이터를 생성해 검증의 신뢰도를 높였다. 기업들이 자사의 정책에 맞춰 AI 시스템을 직접 평가해 볼 수 있도록 COMPASS 프레임워크와 데이터셋을 깃허브(GitHub) 및 허깅페이스(HuggingFace)에 무료로 공개했다. 이번 프로젝트는 에임인텔리전스와 BMW 그룹을 필두로 서울대학교·연세대학교· 포항공과대학교(POSTECH) 연구진이 공동으로 참여했다. 상세 논문은 논문 사전공개 사이트인 ‘아카이브(arXiv)’에 공개됐다.<br><br> 유상윤 에임인텔리전스 대표는 “일반적인 관점에만 초점을 맞추는 AI 안전 테스트와 달리 COMPASS는 실무적 관점에서 모든 규칙이 제대로 지켜지도록 신뢰성을 높인 것이 특징”이라며 “앞으로도 기업과 공공기관이 AI를 보다 안심하고 활용할 수 있는 현실적인 AI 보안 적용 방안을 선보일 것”이라고 말했다.<br><br> 김지영 기자 jikim@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 스트레이 키즈, 팬미팅 개최 02-10 다음 누에라, 3월 새 앨범 컴백…전방위 업그레이드 예고 02-10 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
