“훑고 가는데 단 1초”…정체 숨긴 AI봇 ‘무단 크롤링’에 속수무책 작성일 07-02 39 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">■ 중국發 비식별 트래픽 급증<br>AI봇 웹트래픽 사상 첫 인간 추월<br>식별 가능한 방문자는 일부에 불과<br>특정 국가 차단 외엔 방지법 없어<br>정부 차원 실태파악 창구 마련에<br>기업간 공동 기술적 대응 나서야</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="UNN4ny9UyD"> <p contents-hash="f22722d14f18dbc55bd919fe5543b9f2748878cbd1be38198144e7e4095bdc57" dmcf-pid="ujj8LW2uhE" dmcf-ptype="general">정체를 숨긴 인공지능(AI) 봇(bot·자동화된 소프트웨어 프로그램)이 사람인 척 웹사이트에 들어와 데이터를 빼가는데도 이를 걸러낼 방법이 마땅치 않아 관련 기업과 기관들이 골머리를 앓고 있다. 챗GPT·클로드처럼 ‘이름표’를 단 봇은 운영자가 원하지 않을 때 골라 차단할 수 있지만 정체불명의 ‘비식별 크롤링(데이터 수집)’은 사람인지 봇인지 가려내는 것 자체가 어렵기 때문이다. 특히 중국을 발신지로 한 비식별 트래픽이 급증하면서 중국 봇의 크롤링을 의심하는 목소리가 커지고 있다.</p> <figure class="figure_frm origin_fig" contents-hash="a102a3500c7d17516eeaa6ff253807e126f6de3887aeac0d9a904df624b8c061" dmcf-pid="7AA6oYV7vk" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/02/seouleconomy/20260702175908353wjtq.jpg" data-org-width="1200" dmcf-mid="pCWclbaevw" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/02/seouleconomy/20260702175908353wjtq.jpg" width="658"></p> </figure> <p contents-hash="adba3ae6d4fb7ce275b77aaac8e5b873297d7a342c5b8cc4dca55b464a6418d0" dmcf-pid="zccPgGfzhc" dmcf-ptype="general">2일 인터넷 인프라 기업 클라우드플레어에 따르면 지난달 25일부터 이날까지 일주일간 전 세계 인터넷 트래픽에서 봇이 차지한 비중은 57.1%로 인간(42.9%)을 앞질렀다. 챗봇 가동에 필요한 봇들이 활발히 움직이면서 봇이 사람보다 더 많은 발자국을 남기게 된 것이다. 이 역전은 클라우드플레어 통계상 지난달 초 처음 나타난 뒤 이어지고 있다. 봇의 활동 목적은 지난달 기준 훈련(47.2%), 훈련·검색 병행(39%), 검색(10.4%) 순이었고 이 밖에 기타 목적이 3.4%였다. AI 훈련용 트래픽을 가장 많이 일으킨 곳은 클로드였고 메타·챗GPT가 뒤를 이었다.</p> <p contents-hash="ad92bb5f0fe57e0e35bdf9a63899ceb2cb8d01848184d8f02aa197ca5d16b37c" dmcf-pid="qkkQaH4qvA" dmcf-ptype="general">문제는 이렇게 정체와 목적이 드러나는 트래픽이 전부가 아니라는 데 있다. 지금 활동하는 봇 대부분은 웹사이트 데이터를 긁어와 AI 모델을 학습시키거나 최신 정보를 검색하는 데 쓰인다. 하지만 웹사이트 운영자가 모든 크롤링을 반기는 것은 아니다. 자사 데이터가 외부 AI 성능 개선에 쓰이기를 원하지 않는 경우가 많고 크롤링으로 트래픽이 늘면 서버 유지 부담도 커진다. 이런 이유로 빅테크는 운영자가 원치 않는 크롤링을 걸러낼 수 있도록 자사 봇에 ‘GPT Bot’ ‘Claude Bot’ ‘Bytespider Bot’ 같은 이름을 붙인다.</p> <p contents-hash="a68b87aed0369044fd5c78ab8375314effa7a36c6d63412d5a3c7e43a2e0284e" dmcf-pid="BEExNX8Bhj" dmcf-ptype="general">비식별 봇은 다르다. 말 그대로 정체를 밝히지 않으니 운영자가 콕 집어 차단하기 어렵다. 글로벌 보안기업 탈레스는 보고서에서 식별 가능한 AI 트래픽은 빙산의 일각일 뿐이며 정체를 감춘 트래픽 탓에 기업이 탐지하는 범위와 실제 벌어지는 자동화 사이에 간극이 벌어지고 있다고 지적했다. AI 에이전트임을 숨기고 사람인 척 들어와 데이터를 긁어가고 이를 모델 학습에까지 쓰더라도 기존 체계로는 막기 어렵다는 뜻이다.</p> <p contents-hash="e719a10058b201db26ef657ef6f1d67bf792203622a67ee406bf0d08bbbe3d28" dmcf-pid="bDDMjZ6blN" dmcf-ptype="general">중국발 비식별 트래픽은 이런 우려를 단적으로 보여준다. 본지 영문 웹사이트의 경우 중국발 방문이 5월 마지막 주 1만 9688건에서 6월 셋째 주 3만 7266건으로 89.2% 늘었다. 겉보기에는 중국 독자가 는 듯하지만 속은 달랐다. 아마존웹서비스(AWS)의 웹 방화벽 ‘WAF’로 분석한 결과 6월 24~29일 중국발 트래픽의 82.2%가 크롬 단일 버전 ‘Chrome/142’에서 나왔다. 평균 체류 시간도 3초에 그쳤고 94.5%가 곧바로 이탈해 한국(156초, 이탈률 47.4%)이나 미국(96초, 55.1%)과는 확연히 다른 패턴을 보였다. TLS 지문 분석(브라우저가 남기는 패턴을 분석하는 기법) 등을 종합하면 중국발 트래픽의 약 90%가 비식별 봇에서 나온 것으로 추정된다.</p> <p contents-hash="e1e0c475e98cf1e4364b5ec585af4fad180df8244b0547976257a06a2cf00e1c" dmcf-pid="KGGEv9jJTa" dmcf-ptype="general">레딧 같은 IT 커뮤니티에도 중국 트래픽 급증을 다룬 글이 쏟아진다. 운영자와 개발자들은 ‘중국 봇이 무단으로 데이터를 빼가는 것으로 보인다’ ‘동의 없는 AI 학습용 수집을 바로잡아야 한다’며 비식별 트래픽을 봇으로 판별하는 기준이나 특정 국가 접속 차단 같은 대응법을 공유하고 있다. 당장은 각 기업과 운영자가 특정 국가 접속을 끊거나 클라우드플레어 같은 보안 업체의 AI 크롤러 차단 솔루션을 쓰는 정도가 임시방편이다. 다만 이는 근본 대응이 못 된다. 김인철 상명대 콘텐츠저작권학과 교수는 “식별 가능한 봇에 의한 AI 학습조차 저작권 소송에 자주 휘말리고 합법성 판단도 사건과 국가마다 달리 나오는 추세”라며 “현재로서는 비식별 트래픽과 크롤링 문제를 제도적으로 해결하기는 쉽지 않은 것이 사실”이라고 말했다.</p> <p contents-hash="843325052c22d42cbe7085196a68be9b4e4d945eec59fac6a9c44d6ca76dc572" dmcf-pid="9HHDT2Aivg" dmcf-ptype="general">그럼에도 최소한 실태 파악만큼은 정부가 나서고 기업이 공동 대응해야 한다는 목소리가 나온다. 비식별 트래픽이 실제 무단 크롤링으로 이어지면 데이터를 내주는 기업의 피해가 크기 때문이다. 정보기술(IT) 업계의 한 관계자는 “무단 크롤링은 데이터 주권과도 얽혀 있지만 국내 웹사이트 전반의 비식별 트래픽 규모를 보여주는 통계조차 없다”며 “정부의 신고 창구 신설 같은 대응이 필요하다”고 설명했다. 이성규 블루닷AI 대표는 “언론사 등 국내 콘텐츠 기업 중에는 크롤링에 대한 인식이 미진한 곳이 많다”며 “영국 언론사들이 AI 기업의 뉴스 학습에 대응하려고 SPUR라는 협의체를 만든 것처럼 업계가 공동으로 기술적·정책적 대응에 나서야 한다”고 제언했다.</p> <p contents-hash="24cc5d967b40982cee18890f6f63adf6a4e5d7a351461b19b3052526b0e60999" dmcf-pid="2XXwyVcnyo" dmcf-ptype="general">김태영 기자 youngkim@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 [단독] 1분1초가 급하다…"빅테크에 더 뒤처지면 AI 종속국 전락" 07-02 다음 새로운 페로브스카이트 발광체 설계해 고효율·고색순도 디스플레이 구현 07-02 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
