OpenAI: robots.txt может не распространяться на бота ChatGPT

Согласно отчёту «State of the Bots» компании TollBit, изучающей активность ИИ-ботов, ChatGPT-User — бот OpenAI, загружающий страницы по запросу пользователя, — блокируется сайтами чаще, чем другие подобные боты. При этом именно этот бот чаще всех заходит именно на заблокированные страницы. OpenAI же утверждает, что правила robots.txt (специальный файл, определяющий, какие разделы сайта могут просматривать боты) могут не распространяться на этого бота, поскольку переход на страницу происходит по запросу пользователя.

Согласно данным отчёта TollBit за первое полугодие 2026 года, около 15% ИИ-ботов, обнаруженных на европейских сайтах, заходили на адреса, помеченные как заблокированные. Это происходит в основном с несколькими конкретными ботами: ChatGPT-User, Bytespider и Youbot — каждый из них заходил на заблокированные страницы почти у половины европейских сайтов, открыто их заблокировавших. Среди них ChatGPT-User оказался ботом, зашедшим на наибольшее число сайтов.

Более новые боты, напротив, почти не блокируются. Claude-User заблокирован лишь у 9% европейских сайтов, тогда как в Северной Америке этот показатель составляет 26%. Для Perplexity-User эти цифры составляют 13% и 26% соответственно. В Европе большинство новейших ботов блокируется однозначными процентами, но ChatGPT-User в этом ряду заметно выделяется.

В документации OpenAI по ботам сказано, что ChatGPT-User посещает страницу, когда пользователь задаёт ChatGPT вопрос, и поскольку это действие инициировано пользователем, правила robots.txt могут на него не распространяться. Perplexity придерживается похожей логики, утверждая, что Perplexity-User обычно не учитывает этот файл. Anthropic же подходит иначе — компания ранее сообщала, что все три её бота соблюдают правила robots.txt. TollBit, в свою очередь, считает нарушением любой запрос к заблокированному адресу независимо от позиции оператора бота.

Важный нюанс здесь в том, что, согласно документации OpenAI, за то, появится ли сайт в результатах поиска ChatGPT, отвечает другой бот — OAI-SearchBot, а не ChatGPT-User. Получается, что сайты, заблокировавшие обоих ботов ради защиты от ИИ-трафика, фактически отказываются от появления в результатах поиска, сохраняя лишь контроль над загрузкой страниц по особому исключению.

Серверные журналы сайта или записи CDN (сети доставки контента) показывают, что происходит на самом деле, тогда как файл robots.txt отражает лишь то, что было запрошено. Cloudflare обновляет собственную систему контроля ботов, перенося решение на уровень сети. Для распознанных ботов соблюдение правил перестаёт зависеть от самого бота. С 15 сентября на новых доменах, подключаемых к Cloudflare, боты типа Training и Agent будут по умолчанию блокироваться на страницах с размещённой рекламой, а боты типа Search по-прежнему будут допускаться.

Сохранится ли это исключение для запросов, инициированных пользователем, в долгосрочной перспективе — пока открытый вопрос. Он упирается в разницу между запросом страницы пользователем и самостоятельным сбором данных ботом, а сейчас все крупные ИИ-ассистенты загружают страницы именно таким способом — по запросу пользователя.