Больше половины интернет-трафика теперь генерируют не люди: что скрывается за этими цифрами

Финансовый директор Cloudflare Томас Зайферт, представляя аналитикам квартальную финансовую отчетность компании, поделился примечательным прогнозом: «Если нынешняя тенденция сохранится, через пять лет нечеловеческий трафик может превышать человеческий в 1000 раз. Дело не в том, что трафик от людей сокращается, а в том, что нечеловеческий трафик растет настолько быстро, что люди рискуют превратиться в интернете в обычную статистическую погрешность». Подтверждением тому служит следующий факт: ранее Cloudflare прогнозировала, что машинный трафик обгонит человеческий в 2027 году, однако это уже произошло в мае 2026 года — по данным, опубликованным самой компанией, менее половины запросов к HTML-страницам теперь совершаются людьми.

Однако журналист Search Engine Journal Слободан Манич лично проверил трафик своего сайта и обнаружил за этими цифрами неожиданную деталь. За один день на сайт поступило около 3000 запросов, треть из которых завершилась неудачей — рост более чем на 1000 процентов по сравнению с предыдущим периодом. Самым активным «поисковым ИИ-роботом» оказался CCBot некоммерческой организации Common Crawl (1510 запросов), за ним следуют ChatGPT-User (375), ClaudeBot (296) и Googlebot (245).

Однако, проверив, на какие именно страницы направлены эти запросы, автор столкнулся с неожиданным фактом: большинство запросов, поступавших под именем CCBot, были нацелены вовсе не на статьи, а на конфиденциальные данные. Среди наиболее запрашиваемых адресов оказались /.ssh/known_hosts (42 раза), /.env.production (29 раз), firebase-service-account.json (26 раз) и другие подобные файлы с паролями, ключами доступа и учетными данными облачных сервисов. По этой сотне адресов было зафиксировано в общей сложности 1028 запросов, тогда как запросы к статьям, которые автор действительно написал, оказались практически нулевыми.

Еще тревожнее то, что в списке оказались и более новые адреса — /.mcp.json (30 раз) и /.continue/config.json (24 раза). Это конфигурационные файлы MCP (Model Context Protocol), связывающие ИИ-агентов с внешними инструментами, а также файлы настроек помощника для написания кода — и в тех, и в других обычно хранятся API-ключи и токены доступа. По выводу автора, речь идет не об обычном роботе, собирающем веб-страницы, а о сканере, скрывающемся под именем Common Crawl и целенаправленно ищущем конфиденциальные данные — при этом такие запросы не оставляют никаких следов в журналах безопасности, фиксируясь лишь как «трафик ИИ-робота».

Автор также ссылается на анализ, который сама Cloudflare опубликовала на этой же неделе: в инженерном блоге компании отмечается, что множество «благонамеренных» роботов тоже раз за разом запрашивают неизменившиеся страницы, порождая миллиарды бесполезных запросов. При этом автор обращает внимание и на противоречие в позиции Cloudflare: компания, с одной стороны, обозначает (или преувеличивает) проблему машинного трафика, а с другой — продает услуги, решающие именно эту проблему. Вывод таков: за общим показателем «ИИ-трафик» могут скрываться самые разные явления — полезные роботы, бесполезные повторные запросы и даже вредоносные сканеры, — поэтому каждому владельцу сайта стоит лично проверять собственные журналы.