네트워크 서비스 제공업체인 클라우드플레어는 2025년부터 글로벌 인터넷 로봇 트래픽(HTTP 요청 수)이 실제 인간 트래픽에서 차지하는 비중에 주목해 왔다. 당초 회사는 2027년쯤에는 로봇이 생성하는 트래픽이 결국 인간을 뛰어넘고 이후에도 로봇 트래픽이 급격한 증가세를 유지하며 실제 인간 트래픽을 뒤처지게 될 것으로 예상했다. 이제 AI 에이전트의 빠른 도입으로 이 프로세스가 가속화되고 있습니다.
Cloudflare CEO인 Matthew Prince는 2026년 6월 4일에 로봇이 생성한 트래픽이 인간의 트래픽을 초과했다고 트윗했습니다. 앞서 매튜 프린스는 초과 시점을 2027년말로 추정한 뒤, 데이터를 바탕으로 2027년 초로 전망을 수정했다. 현재 데이터에 따르면 2026년 중반에 로봇 트래픽이 실제 인간 액세스 트래픽을 능가한다는 역사적인 목표에 도달했습니다.
로봇 트래픽에는 무엇이 포함됩니까?
여기서 로봇은 검색 엔진이 인터넷 콘텐츠를 크롤링하는 데 사용하는 스파이더, 보안 회사가 인터넷을 검사하고 관찰하는 데 사용하는 자동화 프로그램, 인공 지능 기술 기반 에이전트 등과 같이 자동화된 스크립트 또는 코드를 통해 실행되는 프로그램을 의미합니다. 인터넷 트래픽이 생성되지만 실제 사람이 액세스 작업을 수행하지 않는 한 로봇으로 간주됩니다. 따라서 AI 에이전트를 이용해 상품 가격을 조회하고, 최신 정보를 얻고, 다단계 작업을 수행할 때 엄청난 양의 로봇 트래픽도 발생하게 됩니다.
Cloudflare는 Cloudflare에서 호스팅하는 웹사이트에서 생성된 액세스 로그와 1.1.1.1 공용 DNS에서 생성된 확인 요청이라는 두 가지 방법으로 인터넷 트래픽을 관찰합니다. Cloudflare는 2025년부터 방문자 속성(로봇 또는 인간)을 기반으로 트래픽을 분류하기 시작했지만 이전 데이터가 부족하여 데이터를 비교하기에는 너무 멀리 돌아가는 것이 불가능합니다.
Cloudflare Radar 레이더 관측 데이터에 따르면 로봇이 생성하는 트래픽 비율(HTTP 요청 수)은 57.5%에 달하는 반면, 실제 인간이 생성하는 트래픽 비율은 42.5%입니다. Cloudflare의 데이터가 다소 혼란스럽고 구체적인 시간을 아직 결정할 수 없기 때문에 로봇 트래픽과 인간 트래픽이 균형점 50%에 언제 도달할지 불분명합니다.
그러나 소비되는 실제 트래픽은 사람입니다.
위에서 언급한 트래픽은 GB와 같은 기존 트래픽이 아닌 HTTP 요청 수를 나타냅니다. 기존 트래픽에 따라 계산하면 실제 인간이 생성하는 트래픽은 로봇의 트래픽보다 훨씬 높습니다. 그 이유는 인터넷 동영상은 동영상을 볼 때 많은 트래픽을 소비하고, 로봇은 텍스트와 구조화된 콘텐츠를 크롤링하는 경향이 더 많기 때문입니다. 이 부분의 콘텐츠에서 발생하는 트래픽은 상대적으로 그리 높지 않기 때문에 단기적으로 기존 트래픽에 따라 계산하면 로봇 트래픽이 실제 인간의 트래픽을 초과해서는 안 됩니다.
흥미롭게도 Cloudflare Radar가 얻은 통계에 따르면 로봇 트래픽이 가장 많은 지역은 지브롤터 섬이고 싱가포르가 그 뒤를 따릅니다. 이들 지역은 다수의 데이터센터와 호스팅 인프라를 보유하고 있기 때문에 발행된 로봇 HTTP 요청 수와 로컬 또는 기타 지역에서 로봇이 생성한 HTTP 요청 수신량이 매우 높습니다.