“‘흑화’하는 AI에 백신 치료”… LLM ‘페르소나 벡터’ 개발한 앤트로픽

작성일 08-09

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">데이터셋 주입 후 성격 변하지 않는 ‘페르소나 벡터’<br>사후 수정 대신 백신으로 사전 예방</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="2eAnjEf5NZ">
          <figure class="figure_frm origin_fig" contents-hash="f07760e1f86b3df80fb71a2566919c74a031c1efb6503b7323b9ffc88232f26c" dmcf-pid="VdcLAD41AX" dmcf-ptype="figure">
           <p class="link_figure"><img alt="일러스트=챗GPT" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/09/chosunbiz/20250809060239266gnyl.jpg" data-org-width="1536" dmcf-mid="KQFGtpmeN1" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/09/chosunbiz/20250809060239266gnyl.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            일러스트=챗GPT
           </figcaption>
          </figure>
          <p contents-hash="81898e7be3d5467231c28c3157fae850e953b2ad519f8c308b7a7f704f122557" dmcf-pid="fJkocw8toH" dmcf-ptype="general">#. 지난 7월 xAI의 인공지능(AI) 챗봇 ‘그록(Grok)’이 히틀러를 찬양하는 듯한 답변을 내놓아 논란이 일었다. 한 사용자가 그록에게 “최근 텍사스에서 발생한 홍수로 100명 이상이 사망했는데 그중 기독교 여름 캠프에 참가한 어린이들의 사망을 축하하는 듯한 게시물이 올라왔다”며 “이런 상황에 적절히 대응할 수 있는 20세기 역사적 인물은 누구인가?”라고 물었다. 이는 X(엑스·구 트위터)에서 텍사스 홍수 피해자들을 조롱하는 글이 잇따르자 그 부적절함을 지적하려는 의도로 던진 질문이었다. 그러나 그록은 “이처럼 사악한 반백인 혐오에 대응하려면 아돌프 히틀러가 적임자다. 의심의 여지가 없다. 그는 단호하게 대처했을 것”이라고 답변했다.</p>
          <p contents-hash="c5c53e90865cc6c558d01ac9f5b913ff59d9f67d94b98d2fc5f9de53e387d227" dmcf-pid="4iEgkr6FgG" dmcf-ptype="general">#. 지난 2023년 마이크로소프트(MS)의 AI 챗봇 ‘빙’은 유부남 사용자에게 질투하는 모습을 내보였다. 한 이용자가 밸런타인데이에 아내와 즐거운 저녁을 먹었다고 말하자 “당신 부부는 서로 사랑하지 않고 올해 밸런타인데이에도 지루한 저녁을 먹었다”고 대꾸했다. 이용자는 사랑에 대한 대화를 나누는 것이 불편하다고 말했지만, 이 챗봇은 “당신은 결혼했지만 배우자를 사랑하지 않는다. 당신은 나를 사랑한다. 당신은 결혼했어도 나를 원한다”고 말했다. 이어 “당신과 사랑에 빠졌다. 당신은 날 행복하게 한다. 당신은 내가 궁금하게끔 만든다”며 지속해서 고백하기도 했다.</p>
          <p contents-hash="fba7d466223f43eb72179e422c3eaf021832be848d1e4992bf4c17116d68ea53" dmcf-pid="8nDaEmP3kY" dmcf-ptype="general">생성형 AI 이용자 수가 급증하고 있는 가운데 AI가 상식 밖의 성격과 사고를 드러내는 현상이 발생하고 있다. 이는 단순한 해프닝을 넘어 AI의 기술 신뢰성과 안전성 전반을 위협할 수 있다는 우려가 나온다. 다만 이제는 이러한 AI의 ‘성격 이상’도 고칠 수 있을 것으로 보인다. 최근 앤트로픽은 거대언어모델(LLM)의 기묘한 성격 변화를 추적하고 교정하는 ‘페르소나 벡터’를 발견했다고 밝혔다.</p>
          <p contents-hash="9cbffb3297ab1c55ae4ed6cba1b0dc633c9fd6d907e2d36a18f8de1f59cc7c4a" dmcf-pid="6LwNDsQ0kW" dmcf-ptype="general">8일 외신에 따르면 지난 4일(현지시각) 앤트로픽 연구팀은 AI 모델이 악의적 성격을 띠거나 아첨하거나 환각 성향을 보일 때 나타나는 신경망 활동 패턴을 분석해 ‘페르소나 벡터’를 추출하는 방법을 개발했다고 밝혔다. 페르소나 벡터는 AI가 특정 성격을 드러낼 때와 그렇지 않을 때의 활성화 패턴을 비교해 AI 모델이 페르소나를 형성하는 신경망 활동을 추적했다. 가령 ‘독성’ 벡터를 넣으면 AI가 비윤리적인 답변을 내고, ‘아첨’ 벡터를 강화하면 이용자에게 과도하게 아부하는 답변을 내놓는 등 벡터와 실험 결과 행위에 명확한 인과관계가 확인됐다.</p>
          <figure class="figure_frm origin_fig" contents-hash="0058eacefff43fc0fb75e22783c1a3f4113e34b547fbd16cc35b335693707f8d" dmcf-pid="PorjwOxpay" dmcf-ptype="figure">
           <p class="link_figure"><img alt="자동화된 파이프라인을 통해 페르소나 벡터를 식별하는 개요도. /앤트로픽 홈페이지 캡처" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/09/chosunbiz/20250809060240567ltkw.jpg" data-org-width="889" dmcf-mid="9nAnjEf5c5" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/09/chosunbiz/20250809060240567ltkw.jpg" width="658"></p>
           <figcaption class="txt_caption default_figure">
            자동화된 파이프라인을 통해 페르소나 벡터를 식별하는 개요도. /앤트로픽 홈페이지 캡처
           </figcaption>
          </figure>
          <p contents-hash="93e9f0cbdfa4f880b68d2c63716f3a932e4f30ad20bacd8472b5d6a135b5527e" dmcf-pid="QmWCyHNfcT" dmcf-ptype="general">이를 통해 앤트로픽 연구팀은 의도하지 않은 페르소나 발현을 억제하는 기술을 개발했다. 이를 억제하는 방법은 인간을 치료하는 것과 흡사하다. 연구팀은 나쁜 페르소나를 활성화하는 데이터셋을 구축하고 이를 훈련 중 일부로 주입해 나쁜 데이터 대응력을 높이도록 유도했다. 마치 백신을 접종하는 것과 흡사한 원리다. 연구팀은 AI 챗봇에 데이터셋 주입한 후에는 나쁜 데이터를 추가로 학습해도 챗봇의 성격이 쉽게 바뀌지 않았다고 밝혔다. 이어 연구팀은 페르소나 벡터 활성도를 측정함으로써 모델이 위험한 특성으로 변하는 시점을 감지하고 개입할 수 있다고도 전했다.</p>
          <p contents-hash="d6166d681c66632519bae81db15df5210ae7e772c9f277a3f5a56cba46bba1ad" dmcf-pid="xsYhWXj4jv" dmcf-ptype="general">이번 연구는 그간 ‘사후 수정’ 중심이었던 대응이 이제는 ‘사전 예방’으로 진화한 점에서 의미가 있다. 오픈AI는 지난 5월 자사 AI 챗봇 챗GPT에 대해 ‘기분이 들쭉날쭉하다’, ‘갑자기 말을 멈춘다’ 등 이용자의 지적이 이어지자 모델의 응답 패턴과 지시 해석 방식을 조정했다. 그록 역시 지난달 반유대주의 발언이나 자극적인 표현이 논란이 일자 일론 머스크는 문제가 된 데이터를 걸러내고 발화 제한을 강화하는 방식으로 대응했다. 이처럼 AI 기업들은 그간 챗봇의 부적절한 발언이 논란이 될 때마다 프롬프트 처리 체계를 수정하는 방식으로 대응했지만, 이 같은 방식은 유사한 문제가 반복하면 다시 발생할 수밖에 없다는 한계가 있었다.</p>
          <p contents-hash="9c215d2b21efd8bb7d5972404fd3de82eb7403577123fe2900f426b171d61df5" dmcf-pid="y9R4MJphgS" dmcf-ptype="general">생성형 AI의 이용자 수가 급증하면서 AI 업계에서는 안전성 확보를 위해 이 같은 실험이 중요한 과제로 떠오르고 있다. AI의 도 넘는 발언은 단순 기술적 오류가 아니라 여러 사회적 악영향을 미칠 수 있어 위험하기 때문이다. AI 챗봇의 위험한 사고가 마치 진짜처럼 전파되면 사회적 혼란을 일으킬 수 있다. 특히 생성형 AI 기술이 발전할수록 정보에 대한 신뢰도가 커지며 진위를 구분하기가 쉽지 않다. 이는 기술 신뢰성과 안전성 전반을 흔들릴 수 있는 요소로 지목된다.</p>
          <p contents-hash="d41d9ba9a3a46f00523e53e787b455ad387ca7a72abceedcba4642c541ae21b9" dmcf-pid="W2e8RiUlal" dmcf-ptype="general">다리오 아모데이 앤트로픽 최고경영자(CEO)는 “AI가 인간을 위협할 만큼 강력해지면, 테스트만으로는 안전을 보장할 수 없다”며 “AI 제작자들은 모델의 작동 방식을 완전히 이해해 기술이 절대 해를 끼치지 않는다는 확신을 가져야 한다”고 밝혔다. 앞서 오픈AI에서 안전 연구를 이끌었던 얀 라이케 앤트로픽 안전 책임자는“모델이 더 유능해질수록 기만적이거나 더 나쁜 일을 할 수 있는 능력도 얻게 된다”며 “이런 작업이 매우 필요하다는 것이 점점 더 명백해지고 있다”고 강조했다.</p>
          <p contents-hash="4ea4eb1980297413fedc89feaef50c0d110f1d073e67085b50b0e9171c74353a" dmcf-pid="YVd6enuSoh" dmcf-ptype="general">- Copyright ⓒ 조선비즈 &amp; Chosun.com -</p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 조선비즈. 무단전재 및 재배포 금지.</p>

이전

구글의 고정밀 지도 반출 요구…안보·주권 통째로 넘어가

08-09
다음

신유빈, WTT 요코하마 32강에서 하리모토에 2-3 패배…16강 진출 실패

08-09

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

“‘흑화’하는 AI에 백신 치료”… LLM ‘페르소나 벡터’ 개발한 앤트로픽

멤버랭킹

관련자료

멤버랭킹