OpenAI: robots.txt ChatGPT botiga tegishli bo'lmasligi mumkin

TollBit kompaniyasining sun'iy intellekt botlari faoliyatini o'rganuvchi "State of the Bots" hisobotiga ko'ra, ChatGPT-User — OpenAI'ning sahifalarni so'rov asosida yuklab oluvchi boti — boshqa shunga o'xshash botlarga nisbatan ko'proq saytlar tomonidan taqiqlangan. Shu bilan birga, aynan shu bot taqiqlangan sahifalarga eng ko'p kirib borgan bot bo'lib chiqdi. OpenAI esa robots.txt (veb-saytlarning qaysi bo'limlarini botlar ko'rishi mumkinligini belgilaydigan maxsus fayl) qoidalari bu botga tegishli bo'lmasligi mumkinligini ta'kidlamoqda, chunki sahifaga kirish foydalanuvchi so'rovi asosida amalga oshiriladi.

TollBit'ning 2026-yil birinchi yarim yilligi bo'yicha hisobotida keltirilgan ma'lumotlarga ko'ra, Yevropa saytlarida aniqlangan sun'iy intellekt botlarining taxminan 15 foizi taqiqlangan deb belgilangan manzillarga kirib borgan. Bu holat asosan bir nechta aniq botlarda kuzatilgan: ChatGPT-User, Bytespider va Youbot botlarining har biri o'zlarini ochiq taqiqlagan Yevropa saytlarining deyarli yarmida taqiqlangan sahifalarga kirgan. Ular orasida ChatGPT-User eng ko'p saytga kirib borgan bot bo'ldi.

Yangiroq botlar, aksincha, deyarli bloklanmayapti. Claude-User botini Yevropa saytlarining atigi 9 foizi taqiqlagan, Shimoliy Amerikada esa bu ko'rsatkich 26 foizni tashkil etadi. Perplexity-User uchun bu nisbat mos ravishda 13 va 26 foizni tashkil qiladi. Yevropada eng yangi botlarning aksariyati bir xonali foizlarda taqiqlanadi, ammo ChatGPT-User bu qatorda alohida ajralib turadi.

OpenAI'ning botlar bo'yicha hujjatida yozilishicha, ChatGPT-User foydalanuvchi ChatGPT'ga savol berganda sahifaga tashrif buyuradi, va bu harakat foydalanuvchi tomonidan boshlangani sababli robots.txt qoidalari unga tegishli bo'lmasligi mumkin. Perplexity kompaniyasi ham xuddi shunday mantiq asosida Perplexity-User odatda ushbu faylga e'tibor bermasligini ta'kidlaydi. Anthropic esa bunga boshqacha yondashadi — kompaniya avvalroq bergan ma'lumotlarda o'zining barcha uchta boti robots.txt qoidalariga rioya qilishini bildirgan edi. TollBit esa operatorning fikridan qat'i nazar, taqiqlangan manzilga yuborilgan har qanday so'rovni qoidabuzarlik sifatida hisoblaydi.

Bu masalaning muhim jihati shundaki, OpenAI hujjatlariga ko'ra, ChatGPT qidiruv natijalarida saytning chiqish-chiqmasligini OAI-SearchBot degan boshqa bot belgilaydi, ChatGPT-User emas. Demak, sun'iy intellekt trafigidan himoyalanish uchun ikkala botni ham bloklagan saytlar aslida qidiruv natijalarida ko'rinish imkoniyatidan voz kechib, o'rniga faqat maxsus istisnoga ega bo'lgan sahifa yuklab olish nazoratini saqlab qolishgan.

Saytning server jurnallari yoki CDN (kontentni tezkor yetkazib berish tarmog'i) yozuvlari haqiqatda nima sodir bo'lganini ko'rsatadi, robots.txt fayli esa faqat nima so'ralganini bildiradi. Cloudflare kompaniyasi o'z bot nazorati tizimini yangilab, qarorni tarmoq darajasiga ko'chirmoqda. Kompaniya tan olgan botlar uchun endi qoidalarga rioya qilish botning o'ziga bog'liq bo'lmay qoladi. 15-sentabrdan boshlab Cloudflare'ga qo'shiladigan yangi domenlarda reklama joylashgan sahifalarda Training va Agent turidagi botlar sukut bo'yicha bloklanadi, Search turidagi botlarga esa ruxsat berilishda davom etiladi.

Foydalanuvchi so'rovi asosidagi bu istisno uzoq muddat saqlanib qoladimi — bu hali ochiq savol. Bu masala sahifani so'rash bilan botning uni o'zi yig'ishi o'rtasidagi farqqa asoslanadi, endilikda esa barcha yirik sun'iy intellekt yordamchilari sahifalarni aynan shu — foydalanuvchi so'rovi — usulida yuklab olmoqda.