'사이버보살' 과금 시작, 검색엔진 무료 매춘의 시대는 끝났다

요약:

올해 7월, Cloudflare라는 회사는 X의 폭발을 직접적으로 야기한 발표를 했습니다. 이번 발표는 무엇을 의미하나요? Blogger @iyici_는 다음과 같이 댓글을 달았습니다. "모든 웹사이트에서 사용하는 인증 코드 회사는 모든 사람이 사용하는 검색 엔진을 차단하고 싶어합니다."

새로운 규칙, 새로운 수수료, 이제 AI에 대한 비용을 청구할 시간입니다｜Cloudflare

공지사항 중 가장 흥미로운 부분 | 클라우드플레어

샌프란시스코의 유명한 기술 저술가이자 편집자인 찰스 피터슨(Charles Petersen)은 이것이 인터넷의 종말이라고 믿습니다. 그는 X에서 "

RIP 월드 와이드 웹(1993-2026)

@iyici_ 님의 원댓글｜X.com

대부분의 사람들이 들어본 적도 없는 이 기술회사의 발표가 왜 이렇게 큰 충격을 줄 수 있을까? 이 회사가 인터넷 생태계를 변화시킬 가능성이 있는 결정을 내렸기 때문입니다:

웹사이트가 AI로부터 '통행료'를 징수하는 데 도움이 됩니다.

사이버보살: 당신은 모르지만 매일 사용하고 있습니다

Cloudflare는 정확히 어떤 일을 하나요?

Cloudflare는 세계 최대의 네트워크 인프라 서비스 제공업체 중 하나이며, Cloudflare의 CDN 및 DDoS 보호 시장 점유율은 오랫동안 선두를 지켜왔습니다. 단순히 홈페이지의 "앞창고", "해자"라고 이해하시면 됩니다.

예를 들어, 귀하는 중국의 소규모 웹사이트 소유자입니다. 싱가포르, 미국, 일본의 사용자가 귀하의 웹 사이트를 방문하면 매번 중국 서버에서 직접 이미지, 스크립트 및 콘텐츠를 받게 되므로 속도가 매우 느려집니다. 따라서 전 세계에 많은 노드가 있고 일반적으로 사용되는 콘텐츠를 사용자에게 가장 가까운 서버에 캐시하는 Cloudflare에 웹 사이트를 연결하면 다른 국가의 사용자가 웹 사이트에 더 빨리 액세스할 수 있습니다.

그리고 사용자가 귀하의 웹사이트를 방문할 때 Cloudflare의 노드를 가장 먼저 방문하기 때문에 악의적인 공격과 비정상적인 트래픽 로봇에 대한 보호 서비스도 제공할 수 있습니다.

아직 추상적이라고 생각하시나요? 그렇다면 다음 아이콘이 표시되었을 것입니다:

이 버튼을 클릭하고 웹사이트가 열릴 때까지 약 4~5초 정도 기다리세요. 이는 일반적으로 "5초 보호"로 알려진 Cloudflare의 인간-기계 검증 서비스입니다. 사용자의 마우스 움직임 궤적, 클릭 빈도, 기타 행동 패턴을 분석하여 실제 사람인지 로봇인지 판단합니다.

현재

Cloudflare는 초당 약 1억 2백만 개의 HTTP 요청을 처리하고 있으며 전 세계 웹사이트의 약 20%가 Cloudflare 서비스를 사용하고 있습니다.

서비스는 125개 국가 및 지역, 전 세계 인터넷 사용자의 95%를 대상으로 하며 평균 지연 시간은 50밀리초를 초과하지 않습니다.

이것이 조금이라도 소란이 일어나면 인터넷 세상이 흔들리는 이유이다. 2025년 11월, Cloudflare는 약 6시간 동안 지속된 대규모 중단을 경험했으며, 이로 인해 X, ChatGPT, Spotify, Uber, Discord 등 수많은 웹사이트와 서비스가 동시에 마비되었습니다.

그럼 이번에는 어떤 규칙을 세웠나요?

Cloudflare는 무엇을 하나요?

간단히 말하면 Cloudflare의 새로운 규칙은 다음과 같습니다.

2026년 9월 15일부터 Cloudflare 서비스를 사용하는 모든 웹사이트는 기본적으로 '하이브리드 AI 크롤러'를 차단합니다.

'하이브리드 AI 크롤러'란 무엇인가요?

크롤러는 웹 콘텐츠를 자동으로 크롤링하는 로봇 프로그램입니다. 검색 엔진이 웹 페이지를 검색할 수 있는 이유는 온라인에서 웹 콘텐츠를 크롤링하고 색인을 구축한 후 사용자에게 제공하기 위해 수많은 크롤러를 출시하기 때문입니다.

Google, Bing, Baidu는 20년 넘게 이 작업을 수행해 왔습니다.

나중에 AI가 등장하고 AI 훈련에는 많은 데이터가 필요했기 때문에 OpenAI와 같은 대형 모델 회사는 크롤러에 크게 의존하기 시작했습니다. 올해 초에는 AI Agent가 인기를 끌었습니다. Codex, Kimi 작업 및 기타 AI 도구를 사용하여 정보를 확인할 수 있습니다. 뒤에서는 크롤러가 사용자가 웹페이지에서 콘텐츠를 가져올 수 있도록 심부름을 하고 있습니다.

이렇게 | 키미워크를 통해

이제 AI 크롤러가 인터넷의 절반을 차지했습니다. Cloudflare의 공식 데이터에 따르면 2026년 6월

사람이 아닌 모든 트래픽(검색 엔진 크롤러, AI 크롤러 등 포함)이 전체 웹페이지 트래픽의 57.4%를 차지했습니다.

따라서 Cloudflare는 2025년부터 웹사이트 소유자가 AI 크롤러를 수동으로 차단할 수 있는 'AI 크롤링 제어' 기능을 출시할 예정입니다. "Pay Per Crawl" 메커니즘도 출시되었습니다. AI 크롤러가 콘텐츠에 액세스하려면 요청에 결제 의도를 포함해야 합니다. 그렇지 않으면 액세스가 직접 거부됩니다.

2025년 말까지 이 기능은 4,160억 개 이상의 로봇 요청을 차단했습니다.

이 기능은 OpenAI의 GPTBot 및 Anthropic의 ClaudeBot과 같은 순수 AI 크롤러에서 잘 작동하지만 Google의 경우에는 작동하지 않습니다.

Google에는 'AI 개요'라는 기능이 있습니다. 사용자가 검색할 때 Google은 더 이상 링크를 제공할 뿐만 아니라 결과 페이지 상단에 다른 웹사이트의 답변에 대한 AI 요약을 직접 생성합니다. 문제는 이 기능이 요약을 생성할 때 별도의 AI 크롤러가 캡쳐한 데이터를 사용하지 않고 직접 검색 색인을 호출한다는 점이다. 즉, 검색과 동일한 구글봇을 공유하는데, 이 크롤러를 '하이브리드 AI 크롤러'라고 부른다.

웹사이트 소유자가 Googlebot을 차단하면 실제로 AI 개요가 차단되지만 그의 웹사이트 역시 Google 검색결과에서 사라지고 트래픽이 줄어듭니다. 차단되지 않았나요? 해당 AI 개요는 계속해서 귀하의 콘텐츠를 헛되게 만듭니다.

이러한 딜레마에 직면했을 때 단일 웹사이트 소유자가 Google과 같은 거대 기업과 직접 협상하는 것은 참으로 어렵습니다. 그래서 Cloudflare가 일어서는 큰 형이 되었습니다.

9월의 새로운 규정은 이 하이브리드 크롤러를 목표로 하며 정책은 간단합니다. 웹사이트 소유자의 수동 차단에서 기본 차단으로 업그레이드되어 Google이 문제가 있는 해역에서 낚시를 중단하거나 검색 콘텐츠가 크게 감소한 결과를 감수하도록 강제하는 것입니다.

언론 보도에 따르면 Cloudflare는 혼합 크롤러 금지 정책을 내놓는 동시에 웹사이트가 AI 개요 크롤러만 차단하고 검색 트래픽을 유지할 수 있도록 AI 개요 크롤러를 검색 크롤러에서 분리해 달라고 Google과도 협상 중입니다.

Google은 이에 동의하지 않습니다. 일단 분리되면 다수의 웹사이트가 AI 오버뷰 크롤러를 직접 차단할 것이 우려된다.

그렇다면 Cloudflare가 왜 그렇게 무거운 조치를 취하는 걸까요? AI 크롤러의 등장으로 인해 수십 년 동안 운영되어 온 인터넷의 논리가 바뀌고 있다.

변화하는 월드 와이드 웹

지난 30년 동안 인터넷 정보 검색은 다음과 같이 이루어졌습니다. '돼지 고기 조림 만드는 방법'을 검색하면 검색 엔진에서 10개의 링크를 제공하고 첫 번째 음식 블로그를 클릭하여 콘텐츠를 찾아보고 종료합니다.

이 과정에서 웹사이트는 콘텐츠를 작성하고, 검색 엔진은 이를 캡처하기 위해 크롤러를 보내고, 사용자는 검색하고 클릭합니다. 웹사이트와 검색 엔진 모두 트래픽을 얻으며, 이는 광고나 제휴 링크를 통해 수익을 창출할 수 있으며 광고주는 보다 효과적인 전달을 받습니다. 모두가 행복합니다.

이 암묵적인 이해는 30년 동안 지속될 수 있습니다. 이는 기본적으로 등가치의 암묵적 교환에 기초합니다. 나는 당신이 내 콘텐츠를 무료로 캡처할 수 있게 해주고, 당신은 나에게 무료 트래픽을 제공합니다. 누구도 빚진 사람이 없습니다.

검색엔진에 AI가 있으면 모든 것이 달라집니다.

'돼지고기 조림 만드는 법'을 검색하면 Google은 더 이상 10개의 링크만 제공하지 않습니다. 레시피와 단계, 주의사항을 바로 요약해서 검색결과 상단에 올려드립니다.

사용자가 웹사이트를 클릭하지 않고 답변을 읽은 후 떠납니다

Google에는 여전히 트래픽이 발생하지만 웹사이트 소유자의 트래픽은 사라졌습니다.

Cloudflare는 2025년 중반에 다양한 제조업체의 크롤러 집합의 "크롤링 및 반환 비율"을 발표했습니다.

Google은 약 10:1(10개의 웹 페이지를 크롤링하고 1명의 방문자를 유입), OpenAI는 3700:1, Anthropic은 놀라운 500000:1에 도달했습니다.

학술 연구에서도 이러한 변화가 확인되었습니다.

2026년 연구에 따르면 검색어의 절반 이상(51.5%)이 Google AI 개요를 실행하는 것으로 나타났습니다.

Pew Research Center의 데이터에 따르면 AI 개요가 없는 검색 페이지에서 사용자가 링크를 클릭하는 비율은 15%입니다. AI 개요가 있으면 8%로 바로 떨어집니다. AI 개요에서 인용한 링크의 경우... 클릭률이 1%에 불과한 안타까운 상황입니다.

이미 실제 돈을 잃고 있는 플랫폼이 있습니다.

2025년 9월, 미국 출판 그룹 Penske Media는 Google을 법정에 세웠습니다. Penske Media는 "Rolling Stone", "Hollywood Reporter" 및 "Billboard"와 같은 유명 미디어 브랜드를 소유하고 있으며 월 방문자 수는 1억 2천만 명 이상이고 수익의 상당 부분이 웹사이트 방문에서 발생합니다. 그러나 Google이 AI 개요를 출시한 이후 Penske Media의 제휴 링크 수익은 3분의 1 이상 감소했습니다.

이것은 단지 바다 건너 이야기가 아닙니다. Xiaohongshu는 2025년에 "Ask"라는 AI 검색 기능을 출시했습니다. 논리는 Google AI 개요와 완전히 동일합니다. AI로 정렬된 결과가 검색 상단에 직접 표시됩니다.

이것이 미치는 영향은 Google의 영향과 똑같습니다. 과거에는 사용자가 키워드를 검색하고 메모를 하나씩 찾아보고 정보를 직접 필터링했습니다. 이제 사용자가 질문을 하면 AI가 관련 노트 내용을 통합해 직접 답변을 줍니다. 사용자는 더 이상 노트를 하나씩 클릭하지 않으며, 블로거는 보고, 팔로우하고, 전환할 기회를 잃게 됩니다.

언론 보도에 따르면 Xiaohongshu는 처음에 내부적으로 검색 요청의 1~2%만 처리하도록 '질문하기'를 허용했습니다. 그 이유는 “사장님이 너무 큰 영향력을 끼칠까 봐 두려워서” 였는데, 나중에는 3~4%로 늘렸습니다. 분명히 플랫폼 자체는 이 사건이 제작자에게 얼마나 큰 영향을 미치는지 알고 있습니다.

옛 시대가 끝나고 새 시대가 시작된다

Cloudflare와 Google 간의 게임에는 아직 답이 없습니다. 하지만 한 가지 확실한 것은

30년 동안 인터넷에서 운영되어 온 '트래픽 대가로 무료 콘텐츠'에 대한 암묵적인 이해는 더 이상 되돌릴 수 없다는 것입니다.

사실 중국 인터넷은 이미 이런 길을 거쳤습니다. Baidu의 WeChat 공개 계정에서는 기사를 검색할 수 없으며 Xiaohongshu의 콘텐츠는 검색할 수 없습니다. 검색엔진 기술이 못하는 것이 아니라, 플랫폼이 자체 생태계에 콘텐츠를 가두기 위해 적극적으로 벽을 쌓았기 때문이다. 이제 Cloudflare는 AI가 무료로 콘텐츠를 얻는 것을 방지하기 위해 웹사이트용 "페이월"을 구축하고 있습니다. 방법은 다르지만 결과는 같습니다.

AI 크롤러를 차단하는 웹사이트가 점점 더 많아지면 AI 검색에서 얻을 수 있는 고품질 콘텐츠가 점점 줄어들고 제공되는 답변의 품질도 떨어지게 됩니다. 검색 트래픽이 감소하면 웹사이트를 유지하기가 어려워집니다. 결국 양측은 함께 무너져 '콘텐츠 사막'을 맞이하게 된다.

AI 검색은 3초 안에 답변이 나와 정말 편리합니다. 그러나 모든 요약은 원본 텍스트를 작성한 사람을 기반으로 합니다.

그 사람들이 더 이상 글을 쓸 수 없게 된다면 AI가 요약할 수 있는 내용은 점점 줄어들 것입니다