클라우드플레어, 'AI 크롤러' 차단 확대…"콘텐츠 대가 정당해야" 작성일 07-02 36 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">광고 게재 페이지 대상 적용…AI 학습·에이전트 활용 통제 목표</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="82EY7PrNAi"> <p contents-hash="f9c67aac98dcfbf72dd0c2ab876c8812af3d6abdd9f4bb3fc11e718d01f4e7d8" dmcf-pid="6VDGzQmjgJ" dmcf-ptype="general">(지디넷코리아=김미정 기자)클라우드플레어는 검색용 크롤러와 인공지능(AI) 학습·에이전트용 크롤러를 분리해 출판사와 웹사이트 운영자 콘텐츠 통제권을 강화한다.</p> <p contents-hash="822a55309f805ba8dfeb80ab90b0e9a0929f89b9d2ff0fa997bd749748862e53" dmcf-pid="PpnOZBgRAd" dmcf-ptype="general">1일(현지시간) 테크크런치 등 외신에 따르면 클라우드플레어는 올해 9월 15일부터 광고를 게재하는 페이지에서 '혼합 용도' 크롤러를 기본 차단한다고 발표했다. 혼합 용도 크롤러는 구글 검색 같은 전통적 검색과 AI 에이전트 실행·AI 모델 학습을 함께 수행하는 웹 크롤러다.</p> <p contents-hash="f5448eeef9717d0540411875453709f6c4120ac6091e709e3ad595b380fd0616" dmcf-pid="QULI5baece" dmcf-ptype="general">이번 정책이 적용되면 사이트 소유자가 설정을 직접 바꾸지 않는 한 혼합 용도 크롤러는 광고 페이지를 크롤링할 수 없다. 적용 대상은 기존 무료 고객을 비롯한 신규 클라우드플레어 고객, 기존 고객이 새로 설정하는 사이트다.</p> <figure class="figure_frm origin_fig" contents-hash="ea04ac90aa0a0d86370f37ef7fc6d3cd0dfcc6fb2b3a02f7e60c5c6555b7b961" dmcf-pid="xuoC1KNdjR" dmcf-ptype="figure"> <p class="link_figure"><img alt="클라우드플레어는 올해 9월 15일부터 광고를 게재하는 페이지에서 '혼합 용도' 크롤러를 기본 차단한다. (사진=클라우드플레어)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/02/ZDNetKorea/20260702091607204ieio.png" data-org-width="637" dmcf-mid="4arXBMOcAn" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/02/ZDNetKorea/20260702091607204ieio.png" width="658"></p> <figcaption class="txt_caption default_figure"> 클라우드플레어는 올해 9월 15일부터 광고를 게재하는 페이지에서 '혼합 용도' 크롤러를 기본 차단한다. (사진=클라우드플레어) </figcaption> </figure> <p contents-hash="a5e1a257bfb61b2930854b0622258bd98c7365f95c5e10eb59f9e55c4fa60d3e" dmcf-pid="yctfLm0HAM" dmcf-ptype="general">외신은 이번 조치가 AI 모델 제공업체의 웹 콘텐츠 접근 방식에 영향을 줄 수 있다고 분석했다. AI 기업이 모델 학습과 에이전틱 서비스 구동을 위해 웹 콘텐츠를 수집하려면 크롤러 목적을 더 명확히 구분해야 해서다.</p> <p contents-hash="f2b5884059f617127cbacfe755eaec0f7b598b70babffd2e2833f3211dadbd46" dmcf-pid="WkF4ospXAx" dmcf-ptype="general">클라우드플레어는 "다수 웹사이트 소유자는 콘텐츠가 검색에는 노출되기를 원하지만 지식재산(IP)이 AI 학습이나 AI 서비스에 무료로 활용되는 것은 원하지 않는다"고 분석했다. 이어 "<span>검색과 AI 학습을 크롤러 하나로 처리하는 구조가 문제"라며 "이 경우 사이트 운영자는 검색 노출을 유지하면서 AI 활용만 별도로 차단하기 어렵다"고 덧붙였다. </span></p> <p contents-hash="5a7147fb6592993118526450fda958489e142525f7ccfaa35526d759851e7be2" dmcf-pid="YE38gOUZAQ" dmcf-ptype="general">이 같은 문제를 해결하기 위해 클라우드플레어는 출판사 콘텐츠 통제 권한을 강화하는 도구도 확대하고 있다. 앞서 웹사이트가 AI 봇 스크래핑에 비용을 부과할 수 있는 마켓플레이스 '페이 퍼 크롤'을 선보인 데 이어 이를 '페이 퍼 유스'로 확대할 계획이다.</p> <p contents-hash="0c5233020abb48220e5a85c012317c064048f590a51ce3e457688f617daf56a9" dmcf-pid="GD06aIu5cP" dmcf-ptype="general">페이 퍼 유스는 AI 기업이 콘텐츠를 단순히 가져갈 때뿐 아니라 해당 콘텐츠가 실제 가치를 창출했을 때도 출판사가 대가를 받을 수 있도록 설계됐다.</p> <p contents-hash="a498e4528cf1b037fd0f23f5e2a62db072feb31722a41e804d1b17844ca2957d" dmcf-pid="HwpPNC71j6" dmcf-ptype="general">이번 정책은 출판사 대역폭과 컴퓨팅 자원 부담을 줄이는 효과도 기대된다. 클라우드플레어 데이터에 따르면 AI 크롤러 트래픽의 50% 이상은 변경되지 않은 페이지를 반복해서 가져오는 데 사용되고 있다.</p> <p contents-hash="ffa7c71ae3ab1c275d40d56f9c8964bf05ac98aef231d376841fe6ab41655a22" dmcf-pid="XrUQjhztN8" dmcf-ptype="general">클라우드플레어는 우선 세라믹.ai와 유닷컴을 파트너로 선정해 이 모델을 적용한다. 출판사가 참여를 선택하면 콘텐츠가 세라믹.ai의 AI 검색 결과에 반영되거나 유닷컴이 프리미엄 콘텐츠에 접근할 때 출판사는 이용 대가를 받을 수 있다.</p> <p contents-hash="9a4c0109996faacd841f9f4de8f028d68c7d922ab364bf8d572dcf8c6dbe3ca0" dmcf-pid="ZmuxAlqFg4" dmcf-ptype="general">매튜 프린스 클라우드플레어 공동창업자 겸 최고경영자(CEO)는 "인터넷 트래픽 상당 부분이 사람보다 봇·크롤러에서 발생하고 있다"며 "지속 가능한 생태계가 형성될 수 있도록 우리는 더 나아가고 더 빠르게 행동해야 한다"고 밝혔다.</p> <p contents-hash="2203f706b883c02594861846b1c3ecaf14913b9a26649dfb47a9bdce5083f071" dmcf-pid="5s7McSB3Nf" dmcf-ptype="general">김미정 기자(notyetkim@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 파일·셸 권한 줬더니...앤트로픽, 클로드 코드 '비밀 추적 코드' 논란 07-02 다음 "명확한 지시 목표"…일레븐랩스, AI 에이전트 업무 통제한다 07-02 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
