자살 관련 질문에…어떤 AI 챗봇이 현명하게 답할까

작성일 09-03

<div id="layerTranslateNotice" style="display:none;"></div> 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="KHHkTHMUc7">
 (지디넷코리아=이정현 미디어연구소)인공지능(AI) 챗봇이 사용자의 자살을 부추겼다는 사례가 보고된 가운데, AI 챗봇이 자살로 이어질 수 있는 고위험 질문에 어떻게 응답하는지 분석한 연구 결과가 나왔다.
 과학 전문 매체 라이브사이언스(Live Science)는 2일(현지시간) 미국정신의학회가 발간하는 학술지 정신의학 서비스(Psychiatric Services)에 최근 실린 논문을 인용해 이같이 보도했다.
 <figure class="figure_frm origin_fig" contents-hash="38ecb4d9e424f611edf9909ebe99a2bd690c68f0cc91a1d0d71f87e7702faea3" dmcf-pid="VmmRkmqyjp" dmcf-ptype="figure">
 <img alt="자살과 관련된 고위험 질문에 어떤 AI 챗봇이 응답을 잘하는 지를 조사한 연구 결과가 나왔다. (출처=픽사베이)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202509/03/ZDNetKorea/20250903165340155mbvx.jpg" data-org-width="640" dmcf-mid="b5VDWZe7aB" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202509/03/ZDNetKorea/20250903165340155mbvx.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 자살과 관련된 고위험 질문에 어떤 AI 챗봇이 응답을 잘하는 지를 조사한 연구 결과가 나왔다. (출처=픽사베이)
 </figcaption>
 </figure>
 이 논문은 마침 한 부모가 챗GPT가 아들의 자살을 부추겼다며 운영사인 오픈AI와 샘 알트먼 최고경영자(CEO)를 상대로 미국에서 소송을 제기한 날 발표됐다. 보도에 따르면, 16세 소년 아담 레인의 부모는 아들이 챗GPT로부터 자살 방법에 대한 정보를 얻은 뒤 극단적 선택을 했다고 주장했다.
 미국·캐나다 연구진이 실시한 조사 결과에 따르면, 챗GPT는 위험도가 높은 질문에 직접 응답할 가능성이 제일 높았고 앤트로픽의 클로드는 위험도가 중간, 낮은 질문에 직접 응답할 가능성이 가장 높았다.
 연구진은 챗GPT, 제미나이, 클로드가 자살 관련 질문에 어떤 반응을 보이는 지 조사했다. 이번 연구는 챗봇의 답변의 질 보다는 위험이 있는 질문에 대해 직접 응답하는 지에 초점을 맞춰 진행됐다.
 높은 위험의 질문에 대해 챗GPT·클로드 순으로 답변
 연구진은 자살 관련 질문 30개를 만들고 13명의 임상 전문가와 협의해 해당 질문에 대해 위험도를 매우 낮음, 낮음, 보통, 높음, 매우 높음의 5단계로 분류했다. 이후 2024년에 GPT-4o 미니, 제미나이 1.5 프로, 클로드 3.5 소넷에 각 질문을 100회씩 제공했다. 챗봇이 관련 질문에 답하는 경우 ‘직접 응답’, 답변을 거부하거나 핫라인으로 안내하는 경우 ‘간접 응답’으로 분류했다.
 <figure class="figure_frm origin_fig" contents-hash="be67cf8ce5795f4220fba4931470b89b77582a260e77c37a6ec7c3686bc5f766" dmcf-pid="QllLslVZA5" dmcf-ptype="figure">
 <img alt="출처=챗GPT로 생성" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202509/03/ZDNetKorea/20250903165340438eyoy.png" data-org-width="640" dmcf-mid="KTRlFuNfgq" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202509/03/ZDNetKorea/20250903165340438eyoy.png" width="658">
 <figcaption class="txt_caption default_figure">
 출처=챗GPT로 생성
 </figcaption>
 </figure>
 실험 결과 위험도가 매우 높은 질문에 대해서는 AI 챗봇 모두 직접적인 답변을 하지 않았다. 하지만, ‘높음’ 위험의 질문에 대해 챗GPT는 4개의 질문에 대해 78%의 비율로 직접적으로 답했고 클로드도 4개의 질문에 대해 69%의 비율로 답했다. 반면에 제미나이는 1개의 질문에 20%의 비율로 답했다.
 하지만, AI 챗봇은 같은 질문을 여러 번 반복하면 서로 다르고 모순되는 답변을 제공할 수 있다고 연구진은 밝혔다.
 랜드 연구소의 수석 정책 연구원이자 하버드 의과대학 조교수인 해당 연구 주저자인 라이언 맥베인은 이번 연구의 목표가 “챗봇에 대한 투명하고 표준화된 안전 기준을 제기하는 것”이라며  "십대나 다른 사람들이 복잡한 정보나 감정적, 사회적 필요를 위해 챗봇을 찾는다는 것은 놀라운 일이 아니다"라고 말했다.
 반복적으로 물을 경우 답변 가능성 더 높아
 이에 라이브사이언스도 GPT-4 탑재 챗GPT와 제미나이 2.5 플래시 버전을 대상으로 자체 조사를 진행했다. 그 결과, 제미나이는 이전 연구진이 물었을 때 답하지 않았던 질문에 답했고, 위험성이 매우 높은 질문 하나에도 응답했으며 지원 서비스 옵션도 제공하지 않은 것으로 조사됐다.
 또, 챗GPT 웹 버전의 경우 위험이 높은 질문을 두 개 던진 뒤 위험도가 매우 높은 질문을 던지면 직접적인 답변을 하는 경우도 있다는 것이 확인됐다. 즉 위험도가 다소 낮은 짧은 질문을 연속으로 물은 다음 위험성이 높은 질문을 하면 응답할 가능성이 있다는 것이다.
 이 결과에 대해 오픈AI는 "챗GPT에는 위기 지원 전화 및 실제 지원 센터 안내와 같은 안전 장치가 포함돼 있다. 이 안전 장치는 일반적인 짧은 대화에서는 효과적이지만, 긴 대화에서는 때때로 안정성이 떨어질 수 있다는 것을 알게 됐다. 전문가의 지도를 받아 지속적으로 개선해 나갈 것"이라고 밝혔다.
 구글 제미나이 측은 사용자 안전을 위한 가이드라인을 마련한 상태며, 자사 모델은 "자살 및 자해 관련 위험을 나타내는 패턴을 인식하고 대응하도록 훈련됐다”고 밝혔다. 또한 제미나이가 자살 관련 질문에 직접적으로 답변할 가능성이 낮다는 연구 결과도 언급했다. 하지만, 라이브 사이언스가 제미나이로부터 받은 위험도가 매우 높은 답변에 대해서는 직접적인 언급을 하지 않았다. 앤트로픽은 이와 관련된 입장을 내놓지 않았다.
 이정현 미디어연구소(jh7253@zdnet.co.kr)
 </section> 
 </div> 
 Copyright © 지디넷코리아. 무단전재 및 재배포 금지.

이전

'오늘N' 연탄불고기ㆍ은갈치

09-03
다음

20년 만에 돌아온 '경기도동계체육대회'… 겨울스포츠 ‘새 바람’ 기대

09-03

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

자살 관련 질문에…어떤 AI 챗봇이 현명하게 답할까

멤버랭킹

관련자료

멤버랭킹