요약:
네트워크 서비스 제공업체 Cloudflare의 CEO인 Matthew Prince는 최근 AI 에이전트가 웹 검색을 위해 점점 더 사용자 브라우저를 대체함에 따라 일부 웹사이트가 새로운 비용 압박에 직면하고 있다고 말했습니다. 에이전트는 웹사이트를 방문하고 콘텐츠를 읽고 서버 리소스를 소비하지만 궁극적으로 사용자에게 직접 답변을 제공할 수 있으며 웹사이트는 실제 방문자와 실제 트래픽을 받지도 않고 수익도 얻지 못합니다.
Matthew Prince는 이러한 액세스 규모가 인터넷의 원래 비즈니스 모델을 변화시키고 있으며 웹사이트 운영자와 AI 서비스 제공업체는 앞으로 점점 더 많은 웹사이트가 폐쇄되는 것을 방지하기 위해 새로운 비용 분담 방법을 모색해야 한다고 믿습니다.
예를 들어 매튜 프린스는 사용자가 AI 에이전트에게 특정 레스토랑을 추천해 달라고 요청하면 에이전트가 1,000개의 레스토랑 웹사이트를 방문하고 1,000개의 메뉴를 읽을 수 있지만 최종 사용자는 그 중 하나만 선택하게 된다고 말했습니다. 이 가상 시나리오에서는 다른 999개의 레스토랑 웹사이트도 요청을 처리해야 하고 대역폭, 서버 및 기타 리소스 비용이 발생하지만 반드시 고객을 확보할 필요는 없습니다.
뉴스와 콘텐츠 웹사이트에도 비슷한 문제가 있습니다. AI 에이전트가 기사를 읽고 직접 요약을 생성합니다. 사용자는 AI 인터페이스에서 답변을 얻을 수 있으며, 웹사이트는 다른 방법으로 얻을 수 있는 액세스, 광고 표시 또는 유료 구독 기회를 잃게 됩니다.
Cloudflare는 AI 크롤러 및 에이전트에 대한 액세스를 식별, 제한 및 관리하는 도구를 제공하고 있으며 웹사이트에서 크롤링하거나 사용하는 콘텐츠를 기반으로 관련 서비스에 대한 요금을 청구할 수 있도록 하는 방법도 모색하고 있습니다. Cloudflare는 두 가지 솔루션을 제안합니다. 첫 번째는 크롤링 효율성을 향상시키는 것입니다. 예를 들어, Cloudflare는 OpenAI와 협력하여 웹 페이지 콘텐츠가 변경될 때 프롬프트를 제공하고 변경되지 않은 페이지의 반복적인 크롤링을 줄여 웹 사이트와 AI 서비스 공급자의 리소스 소비를 줄일 수 있습니다.
두 번째 항목은 Cloudflare가 홍보하는 결제 메커니즘입니다. AI 서비스는 웹사이트 등 콘텐츠 제공자에게 결제가 필요합니다. 다양한 웹사이트는 다양한 시나리오에 따라 다양한 전략을 설정할 수 있습니다. 예를 들어 일부 에이전트는 사용자를 대신하여 정보를 검색하는 반면 다른 에이전트는 사용자가 상품을 구매하거나 서비스를 예약하는 데 도움을 줄 수 있습니다. 검색되는 정보 유형에 따라 웹사이트는 콘텐츠 획득에 대한 수수료를 설정할 수 있습니다.
현재 Cloudflare는 제품 방향 중 하나로 크롤링당 지불과 사용당 지불을 채택했습니다.
관련 기사:
Cloudflare가 Perplexity의 크롤링 전략을 공개적으로 비판한 후 일부에서는 이를 옹호하기 시작했습니다.
Cloudflare의 새로운 정책은 AI 회사가 게시자에게 콘텐츠 비용을 지불하고 교육 크롤러와 검색을 분리하도록 촉구합니다.
댓글