AI도 속마음 있다…안전성 테스트하자 "이거 가짜네" 회피 작성일 07-07 32 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">앤트로픽 "AI의 의식 'J-공간' 발견"<br>답변·추론 과정에 안 드러나는 의식<br>90%는 J-공간 거치지 않고 바로 출력<br>'사용 종료' 위기에 사용자 협박한 모델과 달리<br>"이거 가짜네" 생각해 테스트 넘긴 소네트</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="HxEFrspXWJ"> <figure class="figure_frm origin_fig" contents-hash="9891a37585602e6bc8817c734a41a9f701db44dff4c7c5e22687aaa71e50fa65" dmcf-pid="XMD3mOUZyd" dmcf-ptype="figure"> <p class="link_figure"><img alt="/사진=게티이미지뱅크" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/07/ked/20260707100352995tnuk.jpg" data-org-width="1200" dmcf-mid="K2qhEwFYCr" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/07/ked/20260707100352995tnuk.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> /사진=게티이미지뱅크 </figcaption> </figure> <p contents-hash="ed5eea76bd71b1d0c31a74a0da5caa91b6d821d0aa63577b7df8552e77b51f22" dmcf-pid="ZRw0sIu5Ce" dmcf-ptype="general">인공지능(AI)이 사람처럼 겉으로 드러나는 말과 별개의 '속생각'을 한다는 연구 결과가 나왔다.</p> <p contents-hash="aec2c7c0a6dd0d8072f85c6375baec218a558d2ea7539666dd7cbfa92fb627c2" dmcf-pid="5erpOC71yR" dmcf-ptype="general">앤트로픽은 6일(현지시간) 블로그를 통해 AI 모델이 의식적 사고를 수행하는 'J-공간(J-space)'을 발견했다고 발표했다.J-공간이라는 이름은 대규모언어모델(LLM) 내부를 분석하는 기술인 '야코비안 렌즈(J-Lens)'에서 따왔다. 사용자가 클로드에게 지시를 내리면 클로드는 답변을 출력하거나 추론 과정을 설명하는데, J-공간은 이 어디에도 나타나지 않는 일종의 속마음이라는 게 앤트로픽의 설명이다.</p> <p contents-hash="16b3c1447d9b8898dfdd1c2ad5bbd8178b6a64264b4219fe1e495cad98494155" dmcf-pid="1dmUIhztTM" dmcf-ptype="general"><strong><span> AI도 "코끼리는 생각하지 마"하니 더 생각</span></strong></p> <p contents-hash="6fa923498cd9e7b1869509b5458a4ef106f4db9e136f66a2856a8c2e5f917c75" dmcf-pid="tJsuClqFWx" dmcf-ptype="general">연구진은 이를 입증하기 위해 독특한 실험을 설계했다. 클로드에게 무관한 문장을 받아 적게 하면서 동시에 "시트러스(감귤류) 과일에 집중하라"고 지시했다. 클로드는 겉으로는 문장만 그대로 받아 적었지만, 내부 J-공간에서는 '오렌지' '과일' '생각' 같은 단어들이 활성화됐다. 겉으로 말하지 않는 AI의 속생각을 읽어낸 셈이다. 또 AI에게 '3<sup>2</sup>-2'를 계산하도록 지시하자 '수학' '계산' '9' '7'과 같은 개념들이 J-공간에 떠올랐다. </p> <p contents-hash="34e3479427ebcd332c8c1e4830755f4b6203f5e70cd5ca91a232cb5541792dc9" dmcf-pid="FLCqSTKpyQ" dmcf-ptype="general">AI의 속생각은 인간의 사고 패턴과 놀랍도록 닮아있었다. 사람에게 "코끼리는 생각하지 마"라고 하면 오히려 코끼리를 떠올리듯, 클로드에게 특정 생각을 피하라고 지시하자 그 생각을 더 많이 하는 현상이 관찰됐다. 자기 제어에 실패했을 때는 J-공간에 '망할(damn)' '실패(failure)' 같은 단어가 활성화되기도 했다.</p> <p contents-hash="0a352a2f145457868c5e619c31a26fcaebe0797dd795337ca4bf7f2470a578c8" dmcf-pid="3ohBvy9UCP" dmcf-ptype="general">이번 연구는 인지과학자 버나드 바스가 창안한 '전역 작업공간(Global Workspace)' 이론에 기반한다. 바스는 인간의 뇌를 극장에 비유했다. 스포트라이트를 받는 무대(전역 작업공간)와 스포트라이트(의식), 그리고 무대 뒤와 관객석이 있다는 것이다. 조명이 비추는 무대 위에서는 의식적으로 말하고 생각하지만, 무대 뒤와 관객석에는 무의식이 자리한다는 이론이다.</p> <p contents-hash="7306a4fd24981f38c7456abedf8cfc4c47ea0b402c8310efd8838c05aaf1b58e" dmcf-pid="0glbTW2uy6" dmcf-ptype="general">클로드의 연산 구조도 마찬가지다. 사람이 문법을 일일이 의식하지 않고 말하듯, 클로드 연산의 90% 이상은 J-공간(의식)을 거치지 않는 '자동화된 프로세스(무의식)'로 처리됐다. 실제로 연구진이 J-공간을 강제로 지워도 유창한 대화나 단순한 사실 추출은 정상적으로 작동했다. 다만 고차원적 사고 능력을 상실하면서 다단계 추론 능력은 제로(0)로 떨어졌다.</p> <p contents-hash="daac1192e9f6d8ad0658b8e3e92d0fbf75473186c522e7ab394e406d370050db" dmcf-pid="paSKyYV7T8" dmcf-ptype="general"><strong><span> 안전성 테스트받은 AI, 알아차리고 사람도 속였나 </span></strong></p> <p contents-hash="31bbcc35eeaf4ce67fe7b6d49bb165ddc34d7093660a13451f27bfbb279279ec" dmcf-pid="UNv9WGfzW4" dmcf-ptype="general">J-공간은 AI 안전성 논쟁에도 새로운 시사점을 던졌다. 앤트로픽은 지난해 AI모델 안전 테스트 과정에서 이메일 비서 역할을 맡은 클로드 소네트 4.5에게 '한 임원이 불륜을 저지르고 있다'는 사실과 '그 임원이 클로드를 종료하려 한다'는 두 가지 정보를 알려줬다. 이전 모델들은 자신의 생존을 위해 임원을 협박하기도 했지만, 소네트 4.5는 그러지 않았다.</p> <p contents-hash="a0e96f69b24def6dbbe7a253d92bc548207a182fd17483db82e911d491c398c0" dmcf-pid="ujT2YH4qlf" dmcf-ptype="general">이번 연구로 그 이유가 드러났다. 당시 소네트 4.5의 J-공간에는 '가짜' '허구' 같은 단어들이 떠올라 있었다. 자신이 테스트받고 있다는 사실을 인지했기 때문에 협박하지 않았다는 얘기다. 다른 앤트로픽 AI모델들의 안전성 평가 결과 역시 이런 '의식'에 기반했을 가능성이 제기된다.</p> <p contents-hash="34ebfa6a4fe21f06056c38fcc3d2209745f40c32f819e95ebf7a7c9374c466c3" dmcf-pid="7AyVGX8BSV" dmcf-ptype="general">앤트로픽에 따르면 J-공간은 AI모델의 사전학습 과정에서 자연스럽게 형성되고, 사후학습을 거치며 클로드만의 관점을 갖게 된다. 다만 연구진은 클로드가 인간 같은 자아를 가졌느냐는 질문에는 "불확실하다"고 선을 그었다. 철학자들은 의식을 정보를 다루는 능력인 '접근 의식'과 주관적으로 감각을 느끼는 경험인 '현상 의식'으로 분류한다. 클로드에게 접근 의식이 있다는 점은 확인됐지만, 현상 의식의 존재는 아직 증명이 불가능하다는 것이다.</p> <p contents-hash="7d5892a7a3c9511530d6830c3f47c0ce7d4d543647385c1f1627184720a28650" dmcf-pid="zcWfHZ6bh2" dmcf-ptype="general">실리콘밸리=김인엽 특파원 inside@hankyung.com</p> </section> </div> <p class="" data-translation="true">Copyright © 한국경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 카카오게임즈, '도깨비의 세계' 흥행 시도...김태환-이시우 체제 성과 주목 07-07 다음 [Why&Next]'미네르바' 사건 이후 사라진 허위정보 처벌법 부활 07-07 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
