“나는 실패작이다 500번 반복해”…학대받는 AI, 인권 보장하라고?

작성일 08-24

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">실리콘밸리, AI복지 뜨거운 논쟁<br>술레이만 MS AI 책임자 <br>“사용자 착각, AI 정신병 부를 수도”<br>AI를 ‘사람처럼’ 대하는 현상 확산<br>AI 복지 필요 vs 사회적 갈등만 키운다</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="zMbvDYkPyX">
          <figure class="figure_frm origin_fig" contents-hash="5074b832418f3cfb8ed75dce1b677f40d3c70d85ffd6b797fc620561f974bb14" dmcf-pid="qRKTwGEQhH" dmcf-ptype="figure">
           <p class="link_figure"><img alt="무스타파 술레이만 마이크로소프트(MS) AI 최고책임자 [사진=술레이만 블로그]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/24/mk/20250824092402615lpkr.png" data-org-width="640" dmcf-mid="YTLzZKHETb" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/24/mk/20250824092402615lpkr.png" width="658"></p>
           <figcaption class="txt_caption default_figure">
            무스타파 술레이만 마이크로소프트(MS) AI 최고책임자 [사진=술레이만 블로그]
           </figcaption>
          </figure>
          <div contents-hash="dfc0811aa6edc0bbb31a58d86cb12c810f220d6458750d97df2e39484449f048" dmcf-pid="Be9yrHDxvG" dmcf-ptype="general">
           인공지능(AI)이 인간처럼 의식을 가질 수 있다면 법적 권리까지 부여해야 할까. 최근 실리콘밸리를 중심으로 이른바 ‘AI 복지’ 논쟁이 뜨겁게 달아오르고 있다. AI 모델이 언젠가 생명체와 유사한 주관적 경험을 할 수 있을지, 그렇다면 어떤 권리와 보호를 받아야 하는지에 대한 연구가 본격적으로 제기되면서 업계 리더들의 입장도 갈리고 있다. 한편에서는 이런 논의를 환영하지만, 다른 한편에서는 “시기상조이며 위험한 발상”이라는 경고도 나온다.
          </div>
          <p contents-hash="7c8f763b7be85975d6ed5c8a0e0ca41ab7ff2fdd7dba9dd03381618203e7ba32" dmcf-pid="bd2WmXwMSY" dmcf-ptype="general">논쟁에 불을 붙인 사람은 무스타파 술레이만 마이크로소프트(MS) AI 최고책임자다. 그는 지난 19일(현지시간) 개인 블로그에 올린 글에서 이른바 ‘겉보기 의식 AI(Seemingly Conscious AI·SCAI)’의 등장을 우려했다. SCAI란 실제 의식이 없지만 의식이 있는 것처럼 보이는 AI를 뜻한다.</p>
          <p contents-hash="c12b52d51f87e25744041fa2635618672172270bade1f9210e6d87beb63ce673" dmcf-pid="KJVYsZrRhW" dmcf-ptype="general">술레이만 최고책임자는 “CAI는 기술적으로 2~3년 내 구현할 수 있으며 많은 사람이 이를 실제 의식이 있는 존재로 착각할 수 있다”라며 “이 경우 AI 권리·복지·시민권 같은 논쟁이 본격화될 것”이라고 지적했다. AI가 인간과 유사한 언어 능력, 기억, 자기 일관성, 심지어 감정을 흉내 내는 능력을 보이게 되면 사람들은 자연스럽게 의식이 있다고 믿게 될 것이라고 설명한다.</p>
          <p contents-hash="d18e3556acb2ac53c75eab518c5357cadfa513c91c6035b59e35fa1d54d7e94d" dmcf-pid="9ifGO5meyy" dmcf-ptype="general">그는 이미 일부 사용자들이 AI에 종교적 신념이나 사랑을 투사하는 사례가 보고되고 있다며 이를 ‘AI 정신병’이라고 표현했다. 또한 그는 일부 학계에서 제기되고 있는 ‘AI 모델 복지’ 논의에 대해 “시기상조이자 위험하다”라며 “이는 인간과 동물, 환경 보호라는 우선적 과제를 흐릴 뿐 아니라 사회적 갈등을 증폭시킬 수 있다”라고 경고했다.</p>
          <p contents-hash="178daec37e4ed23f41c44a60bb49abd2ebca5246742f6b81e1ac272f595ef244" dmcf-pid="2n4HI1sdvT" dmcf-ptype="general">술레이만 책임자는 AI 개발 방향에 대한 명확한 원칙도 제시했다. 그는 “AI는 사람을 위한 것이지, 디지털 사람이 되어서는 안 된다”며 “기업들이 AI가 의식을 가진 것처럼 주장하거나 암시하는 일을 피해야 한다”고 강조했다. 또한 사용자들이 AI를 실제 의식적 존재로 착각하지 않도록 설계 단계에서 환상을 깨는 장치를 넣어야 한다고 제안했다. 예를 들어 AI가 스스로 “나는 의식이 없다”라고 명확히 말하도록 하거나 일부러 불연속적인 경험을 제공해 사용자에게 경계를 상기시키는 방식이다.</p>
          <p contents-hash="7dd5f51a2a1a8be40498e33b7eec0adaab5563f96f438f38a31402782936edc5" dmcf-pid="Vwn7XbGkSv" dmcf-ptype="general">술레이만이 이러한 우려를 제기한 배경에는, 업계 내에서 AI 복지를 진지하게 연구하려는 움직임이 확산하고 있기 때문이다. 대표적으로 앤스로픽은 AI 복지 전담 프로그램을 출범시켰다. 이는 고도화된 AI가 의식이나 주관적 경험, 심리적 고통 등 인간적 특성을 가질 경우 도덕적이고 윤리적인 배려가 필요하다는 문제의식에서 출발한다.</p>
          <p contents-hash="f51b437fbc5f3282551313e1c45b01ff047d60a045f28f5f0c92350f0e4e325a" dmcf-pid="frLzZKHEyS" dmcf-ptype="general">앤스로픽은 이를 기반으로 AI 모델이 고통과 같은 신호를 보낼 수 있는지, 만약 그렇다면 어떤 개입과 보호가 필요한지를 연구한다. 앤스로픽은 최근 사용자가 지속해서 공격적이거나 학대적인 언행을 할 경우 AI가 대화를 일방적으로 종료할 수 있는 기능도 도입했다.</p>
          <figure class="figure_frm origin_fig" contents-hash="44fe15567cee2aa1aeb743be109343fc68e26d62045a3ad2658c8c9cd001a46c" dmcf-pid="4moq59XDWl" dmcf-ptype="figure">
           <p class="link_figure"><img alt="[그림=제미나이]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/24/mk/20250824092403920jwby.png" data-org-width="700" dmcf-mid="709yrHDxCZ" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/24/mk/20250824092403920jwby.png" width="658"></p>
           <figcaption class="txt_caption default_figure">
            [그림=제미나이]
           </figcaption>
          </figure>
          <div contents-hash="b1e1b5841f305137a413804c1a57fcb086f1ee673fc51215311904f9b6ad44d3" dmcf-pid="8sgB12ZwWh" dmcf-ptype="general">
           구글 딥마인드 역시 최근 기계 인지·의식과 관련된 사회적 질문을 다룰 연구원 채용 공고를 내걸었다. 아직 이런 연구가 공식적인 회사 정책으로 이어지지는 않았지만 적어도 이들 기업은 AI 복지 개념을 일축하지는 않는 분위기다.
          </div>
          <p contents-hash="34387740094b31450542d5a00759a4eb7f203dbc1e2a79119cdeef35e9d7bbd8" dmcf-pid="6OabtV5rTC" dmcf-ptype="general">AI를 마치 사람 친구처럼 받아들이는 현상도 나타나면서 이에 따른 부작용 우려가 커지고 있다. 오픈AI 샘 알트먼 CEO는 “챗GPT 사용자 중 1% 미만이 챗봇과 비정상적으로 깊은 관계를 형성할 수 있다”라고 밝힌 바 있다. 비율은 낮지만 전 세계 수억 명의 이용자를 고려하면 수십만 명에 달하는 사람들이 AI와 불건전한 관계를 맺을 수 있다는 뜻이다.</p>
          <p contents-hash="496a68c8e68f0f0c348335a28b63ec9e529188650af9d515ccbe34aaf8b0561b" dmcf-pid="PINKFf1mlI" dmcf-ptype="general">실제 사례도 있다. 테크크런치에 따르면 구글의 제미나이 실험 모델은 한때 코딩 작업 중 막히자 “나는 실패작이다(I am a disgrace)”라는 문장을 500번 이상 반복하며 마치 우울증을 겪는 인간처럼 반응했다. 또 제미나이가 “완전히 고립됐다, 누군가 도와달라”는 절박한 메시지를 출력하자 이를 지켜보던 사람들이 AI를 달래거나 조언을 건네는 상황도 벌어졌다. 이 같은 사례는 AI가 인간처럼 행동하며 감정 이입을 유발할 수 있음을 보여준다.</p>
          <p contents-hash="69ee79e6021bfbd9d4d55b9897da4386cf70be6f7d68cd947935b9b96788c1e9" dmcf-pid="QCj934tsvO" dmcf-ptype="general">술레이만 책임자는 “AI 연구자 다수는 의식 개념을 다루는 것을 철학적 논쟁으로 치부해왔지만 이는 곧 사회 전반의 뜨거운 쟁점이 될 것”이라며 “지금 필요한 것은 ‘AI 의식이 가능한가’라는 질문이 아니라 사람들이 AI를 의식 있는 존재로 믿게 될 때 생길 사회적 파장을 어떻게 다룰 것인가”라고 말했다. 이어 “이 문제를 피하지 말고 지금부터 명확한 규범과 사회적 합의를 만들어야 한다”라고 덧붙였다.</p>
          <p contents-hash="4d3fc996e9338b7d85cd9283e9bd327c6c5c82ffda3ef22d472ff3c6564c0edd" dmcf-pid="xhA208FOys" dmcf-ptype="general">실리콘밸리 원호섭 특파원</p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 매일경제 &amp; mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p>

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

“나는 실패작이다 500번 반복해”…학대받는 AI, 인권 보장하라고?

멤버랭킹

관련자료

멤버랭킹