Cloudflare는 최근 서비스를 사용하는 웹 사이트의 기본 구성을 중요하게 조정하여 전체 인공 지능 산업에 새로운 "기한"을 설정할 것이라고 발표했습니다. 즉, AI 회사는 올해 9월 15일까지 기존 검색에 사용되는 웹 크롤러와 AI 에이전트 및 모델 교육에 사용되는 크롤러를 명확하게 구분해야 합니다. 그렇지 않으면 이러한 "복합 사용" 크롤러가 다수의 광고 페이지에서 기본적으로 차단됩니다.

Cloudflare가 발표한 세부 정보에 따르면 검색, AI 에이전트 호출 및 모델 교육에 동시에 사용되는 모든 데이터 크롤러는 웹사이트 소유자가 관련 설정을 적극적으로 변경하지 않는 한 광고를 호스팅하는 웹 페이지에 액세스할 경우 기본적으로 크롤링이 차단됩니다. 이러한 새로운 기본 설정은 신규 Cloudflare 고객, 기존 고객이 만든 새 사이트, 기존의 모든 무료 사용자 사이트에 적용됩니다. 이러한 움직임은 AI 모델 제공업체가 교육 및 서비스 생성을 위해 웹 콘텐츠를 얻는 방식에 직접적인 영향을 미치며 AI 에이전트 서비스의 데이터 공급 패턴도 변경합니다.

Cloudflare는 대부분의 웹 사이트 소유자가 자신의 콘텐츠가 기존 검색 엔진을 통해 검색될 수 있기를 바라며 특정 조건에서 AI 서비스에 인용되는 것도 기쁘게 생각하지만, 자신의 지적 재산권이 허가 없이 무료로 대규모로 유용되는 것을 원하지 않는다고 지적했습니다. Cloudflare는 설명에서 다른 AI 회사에 비해 "접근 가능한 정보의 양이 약 2배"라고 말하면서 "세계 최대의 검색 엔진"(Google을 가리키는 것으로 보입니다)이라고 명명했습니다. 그 이유는 검색 대기업이 AI 사용을 완전히 피하면서 사이트가 검색 가시성을 유지하기 어렵게 만들기 때문입니다.

Google은 사이트 선택에 'Google Extended'라는 로봇을 제공한다는 점을 강조하면서 유사한 일반적인 비난을 항상 반박해 왔습니다. 이 로봇은 Google 검색에 해당 웹사이트가 포함되는 데 영향을 주지 않으면서 AI 교육에 사용되는 웹사이트 콘텐츠와 Gemini Apps 및 Vertex API와 같은 AI 제품 및 서비스를 명시적으로 거부하는 데 사용됩니다. 그러나 Google의 핵심 크롤러인 Googlebot은 검색을 위해 페이지를 색인화하는 동시에 AI 개요 및 AI 모드와 같은 검색 내장 AI 기능에 대한 데이터 지원도 제공합니다.

Cloudflare의 공동 창립자이자 CEO인 Matthew Prince는 인터넷 트래픽 구조가 변화함에 따라 "오늘날 인터넷 트래픽의 대부분은 더 이상 사람이 액세스할 수 없습니다"라고 발표했습니다. 업계에서는 내년까지 '로봇 트래픽이 인간 트래픽을 초과하는 변곡점'은 발생하지 않을 것으로 예상해왔다. 그는 “이런 경우 진정으로 지속가능한 생태계를 형성하려면 더 멀리, 더 빠르게 움직여야 한다”고 강조했다.

Prince는 Cloudflare의 새로운 도구와 파트너십이 AI 시대에 웹사이트 소유자에게 더 큰 가시성과 비즈니스 기회를 제공하는 동시에 AI 크롤러에게 명확한 사용과 투명한 의도를 제공하는 데 도움이 될 것이라고 말했습니다. 그는 기본 정책을 조정하여 "다목적 크롤러"가 에이전트 호출 및 교육 목적과 기존 검색을 명확하게 분리하도록 할 수 있기를 바라고 있습니다. 외부 비즈니스 수준에서 Cloudflare는 사용자가 자체 AI 시스템을 구축하는 데 도움이 되는 다양한 제품을 제공합니다. 한편, 최근 몇 년 동안 출판사와 콘텐츠 당사자를 위한 일련의 "제어 강화" 도구도 출시했습니다.

Cloudflare는 2024년 초에 AI 크롤러에 맞서기 위한 도구를 출시한 후 2025년에 "Pay Per Crawl"이라는 시장을 출시하여 웹사이트에서 AI 크롤러에 크롤링 비용을 청구할 수 있게 했습니다. 최신 뉴스에 따르면 이 모델은 더 이상 'Pay Per Use'로 진화하고 있습니다. 즉, 더 이상 '크롤링 행위'에 따라 요금을 부과하는 것이 아니라 AI 시스템 내 콘텐츠의 실제 '가치 창출'에 따라 AI 기업에 요금을 부과하는 것입니다.

Cloudflare는 이 "종량제 결제" 모델이 게시자에게 새로운 수익 채널을 제공할 뿐만 아니라 대역폭과 컴퓨팅 리소스를 절약하는 데에도 도움이 된다고 지적했습니다. 내부 데이터에 따르면 AI 크롤러 크롤링 트래픽의 50% 이상이 업데이트되지 않은 페이지를 반복적으로 크롤링하는 데 소비되는 것으로 나타났기 때문입니다. 새로운 청구 및 제어 메커니즘을 통해 게시자는 "비효과적인 중복 크롤링"에 재정적인 제약을 가하는 동시에 정말 가치 있는 요청에 제한된 리소스의 우선순위를 지정할 수 있습니다.

구체적인 구현 협력 측면에서 Cloudflare는 현재 Ceramic.ai 및 You.com이라는 두 파트너와 파일럿 프로젝트를 시작했습니다. 게시자가 프로그램에 참여하기로 선택하면 해당 콘텐츠가 Ceramic의 AI 검색 결과에 나타나거나 You.com에서 "유료 프리미엄 콘텐츠"로 액세스되는 한 해당 보상을 받게 됩니다. Cloudflare는 다른 AI 회사들도 자체 제품 형태에 따라 이 결제 모델을 맞춤화하고 확장할 수 있다고 말했습니다.

AI 크롤링 및 저작권 문제에 대한 규제 및 대중의 관심이 높아지는 상황에서 Cloudflare의 정책 조정 및 비즈니스 모델 업그레이드는 분명히 게시자를 위한 더 많은 발언권과 이익 공간을 확보하는 동시에 AI 회사에 새로운 투명성과 규정 준수 압력을 가하는 것을 목표로 합니다. AI 산업에서는 다양한 지능형 에이전트를 훈련하고 운영하기 위해 계속해서 대규모 웹 콘텐츠에 의존하면서 기술적 편의성과 콘텐츠 소유자의 권익 사이의 균형을 어떻게 맞출 것인가가 앞으로는 피할 수 없는 핵심 문제가 될 것입니다.