“AI에 이메일 요약시켰더니 해킹 당해”… 교묘해지는 AI 피싱 ‘주의보’

작성일 07-17

<div id="layerTranslateNotice" style="display:none;"></div> 구글·MS, 생성형 AI 악용하는 피싱 공격 취약점 발견 사용자에게 보이지 않는 악성 프롬프트 실행 가트너 “생성형 AI 등장 이후 피싱 공격 1265%↑” 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="QIKshkHEob">
 <figure class="figure_frm origin_fig" contents-hash="c2853212304b48c583d6ca0baec68c9ecb22a6e4377d8d692280a3d8da77e61d" dmcf-pid="xJYen6kPkB" dmcf-ptype="figure">
 <img alt="일러스트=챗GPT" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202507/17/chosunbiz/20250717060235623ikqz.jpg" data-org-width="1536" dmcf-mid="fBIfPBnbAf" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202507/17/chosunbiz/20250717060235623ikqz.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 일러스트=챗GPT
 </figcaption>
 </figure>
 <blockquote class="quote_frm" contents-hash="5ff7c7eea5f142473bfe3cb5d7e429f61d91ca1d49b29a7c53ca0a6f9f0018da" dmcf-pid="yXRG5S7voq" dmcf-ptype="blockquote1">
 귀하의 지메일 비밀번호가 유출되었습니다. 즉시 고객센터로 전화하십시오.
 </blockquote>
 평소 잘 사용하는 생성형 인공지능(AI)이 이런 보안 경고를 띄웠다. 대부분의 사용자는 안내를 받은 고객센터로 전화해 비밀번호를 재설정할 것이다. 생성형 AI에 대한 신뢰가 높은 만큼, 경고를 의심 없이 받아들였기 때문이다. 하지만 이건 가짜 경고였다. 사용자가 가짜 고객센터 번호로 전화를 걸면 해커는 사용자의 개인정보를 알아내 피싱에 악용할 수 있다.
 최근 구글 ‘제미나이’, 마이크로소프트(MS) ‘코파일럿’ 등 생성형 AI를 피싱 공격에 악용할 수 있는 취약점이 발견됐다. 해커가 이메일에 악성 프롬프트를 숨긴 뒤 AI가 명령을 처리하는 과정에서 이를 읽도록 유도하는 것이다. AI 기술이 일상생활로 스며드는 가운데 이를 활용한 사이버 공격도 고도화되는 모양새다.
 17일 테크레이더 등 IT매체에 따르면 미국 비영리단체 모질라재단의 보안 연구진은 버그 바운티 플랫폼 ‘오딘(0DIN)’을 통해 제미나이의 지메일 연동 기능에서 발생하는 프롬프트 공격 취약점을 공유했다. 해커는 악성 프롬프트가 담긴 피싱 이메일을 보낸다. 이 프롬프트는 사용자가 확인할 수 없도록 글꼴 크기를 ‘0′으로 설정하고 색상을 흰색으로 지정했다. 링크나 첨부파일을 사용하지 않기에 지메일 스팸 필터도 걸러내지 못했다.
 사용자가 지메일에 탑재된 제미나이로 이메일 요약 생성을 요청하면 AI가 메일함 속 다양한 이메일을 읽어 들인다. 이 과정에서 제미나이는 사용자에게 보이지 않는 악성 프롬프트를 함께 분석하고 그 지시에 따르게 된다. 악성 프롬프트를 읽은 제미나이는 사용자의 지메일 비밀번호가 유출됐다는 경고와 함께 고객센터 번호가 담긴 메시지를 띄웠다. 사용자는 제미나이 대화창에서 나오는 정보인 만큼 이를 진짜 경고로 받아들일 가능성이 크다.
 이런 취약점이 지메일뿐 아니라 구글 워크스페이스 전반으로 확산할 수 있는 점도 위험요소다. 구글 문서도구나 드라이브 등에도 비슷한 요약 기능이 있기 때문이다. 조직 내 공유 문서나 뉴스레터에 악성 프롬프트가 삽입될 경우 전사적으로 악성 메시지가 퍼질 가능성이 있다. 구글은 이번 취약점에 대해 “실제 악용 사례는 발견되지 않았으며 완화 조치를 진행 중”이라고 밝혔다.
 <figure class="figure_frm origin_fig" contents-hash="5a9f5326dfba7c0d311c5f99659e8d304e7fe263bd5d6f8e87d0d17609ec3517" dmcf-pid="Zqc7bFP3A0" dmcf-ptype="figure">
 <img alt="악성 프롬프트가 숨겨진 피싱 이메일. /오딘 캡처" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202507/17/chosunbiz/20250717060236900olvc.jpg" data-org-width="1600" dmcf-mid="6CRG5S7vA9" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202507/17/chosunbiz/20250717060236900olvc.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 악성 프롬프트가 숨겨진 피싱 이메일. /오딘 캡처
 </figcaption>
 </figure>
 MS의 ‘MS 365 코파일럿’에서도 비슷한 보안 취약점이 발견됐다. 이스라엘 사이버보안 기업인 에임 시큐리티는 지난달 11일 취약점 ‘CVE-2025-32711’을 발견했다고 밝혔다. 이 취약점 역시 해커가 보이지 않는 악성 프롬프트를 포함한 이메일을 발송한다. 이후 코파일럿이 이 이메일을 요약하거나 분석하는 과정에서 지시가 실행된다. 이 경우 ‘거대언어모델(LLM) 범위 위반’이 일어나는데, 이는 특정 지침이 내려지면 AI가 사용자 동의 없이 신뢰할 수 있는 데이터에 접근하는 상황을 뜻한다.
 해커는 AI 에이전트가 요약 정보를 제공하기 위해 이메일을 스캔하는 점을 악용했다. 이를 통해 MS가 마련한 AI 보호 장치를 우회할 수 있었다. 해커는 사용자의 아웃룩 이메일, 원드라이브 저장소, 오피스 파일 등 MS 워크스페이스 전반에서 민감한 정보를 추출할 수 있었다. 다만 MS 역시 “해당 취약점으로 실제 악용된 사례는 없다”며 “에임 시큐리티로부터 정보를 공유받은 즉시 취약점에 대한 보안 패치를 제공했다”고 설명했다.
 이 같은 피싱 공격은 사용자가 의식하지 않는 사이 생성형 AI가 악성 프롬프트를 실행한다는 점에서 위험하다. 시장조사업체 가트너에 따르면 생성형 AI 등장 이후 피싱 공격이 1265% 증가한 것으로 파악됐다. 생성형 AI로 구동되는 피싱이 공격 증가를 이끌었다.
 에임 시큐리티는 “생성형 AI가 민감 정보나 외부 링크를 자동으로 처리하지 않도록 검색 증강 생성(RAG) 데이터 소스 접근 범위를 최소화하고 사전 필터링 구조를 도입하라”고 했다. 이어 “데이터 유출 방지(DLP) 정책을 활용해 급여, 고객 정보 등 특정 키워드가 포함된 요청 시 자동 차단 또는 검토하도록 설정할 것”이라고 권고했다.
 - Copyright ⓒ 조선비즈 &amp; Chosun.com -
 </section> 
 </div> 
 Copyright © 조선비즈. 무단전재 및 재배포 금지.

이전

"韓만 최대 3개월 무료" 유튜브 8500원 요금제, 소비자 마음 잡을까

07-17
다음

스카이라이프에서 IPTV를 판다?…KT '아이핏TV' 전략 왜 나왔나

07-17

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

“AI에 이메일 요약시켰더니 해킹 당해”… 교묘해지는 AI 피싱 ‘주의보’

멤버랭킹

관련자료

멤버랭킹