네티즌들 사이에서 사이버 보살이라는 별명을 얻은 CloudFlare는 최근 모든 무료 사용자를 대상으로 AI 크롤러 보호 설정을 출시했습니다. 이 기능은 실제로 이전에도 사용할 수 있었지만 규칙에 따라 설정해야 합니다. 규칙 기능을 사용하려면 CloudFlarePro와 같은 구독 요금제가 필요합니다.
새로 출시된 AI 크롤러 보호(AIScrapers 및 Crawlers)는 모든 사용자를 위한 원클릭 설정입니다. 무료 사용자이든 구독 사용자이든 관계없이 한 번의 클릭으로 이 옵션을 켜기만 하면 됩니다.
CloudFlare는 이 옵션을 켜면 로봇과 크롤러가 인공 지능 모델 훈련을 위해 웹 사이트 콘텐츠를 크롤링하는 것을 방지할 수 있으며, 이로 인해 일부 인공 지능 회사가 승인 없이 웹 사이트 콘텐츠를 직접 가져오는 것을 방지할 수 있다고 말했습니다.
그 이면의 작동 원리는 아직 명확하지 않지만 CloudFlare가 OpenAI의 GPTBot과 같은 일반적인 AI 크롤러를 분류하고 식별했으며 이러한 크롤러의 이름을 기준으로만 차단하면 될 가능성이 높습니다.
CloudFlare는 수백만 개의 웹사이트에 대한 보안 보호 및 배포 서비스를 제공하므로 이 기능은 실질적인 의미를 갖습니다. 결국 많은 웹사이트, 특히 뉴스 미디어 웹사이트는 저작권으로 보호됩니다.
그러나 문제는 크롤러 식별 자체가 악당이 아닌 악당으로부터 보호하는 방법이기도 한다는 것입니다. OpenAI가 자체 크롤러 이름을 게시하고 robots.txt 프로토콜을 준수한다고 명시하면 처리하기 쉽습니다. 문제는 많은 회사들이 계약을 준수하지 않고 자체 크롤러 이름을 전혀 게시하지 않으며, 콘텐츠를 얻기 위해 미친 듯이 웹사이트를 크롤링한다는 것입니다.
이런 경우 가로채기를 하려면 자주 크롤링하는 UA를 직접 금지하고, CloudFlare의 실명인증 등 다양한 기능을 켜서 다양한 크롤러가 CloudFlare의 AI 크롤러 보호를 우회하지 못하도록 하는 등의 대책을 생각해 보아야 합니다.
이 기능을 켜는 방법: CloudFlare, 콘솔, 해당 웹 사이트로 이동, 보안, 자동 프로그램, AIScrapers 및 Crawler를 켜십시오.