Google tadqiqoti: LLM'lar nega bilgan faktlarini eslay olmaydi?

Google tadqiqotchilari e'lon qilgan yangi ilmiy maqolada zamonaviy yirik til modellari (LLM — Large Language Model, ChatGPT yoki Gemini kabi sun'iy intellekt tizimlarining asosini tashkil qiluvchi model turi) o'rgatish jarayonida faktlarning 95–98 foizini "eslab qolsa" ham, javob berishda bu faktlarning 26–34 foizini to'g'ridan-to'g'ri eslay olmasligi aniqlandi.

Tadqiqotchilar buni "kodlash" (encoding — ma'lumotni modelning ichki parametrlarida saqlash) va "eslash" (recall — saqlangan ma'lumotni so'rov vaqtida qayta chiqarish) o'rtasidagi farq bilan tushuntiradi. Gemini-3-Pro va GPT-5 kabi ilg'or modellarda kodlash deyarli to'liq — 95–98 foiz, biroq eslash jarayoni "tiqilinch nuqta"ga aylanmoqda: GPT-5.2'ning xatolarining 70 foizdan ortig'i aynan eslay olmaslikdan kelib chiqadi, kuchliroq modellarda esa bu ulush yanada oshadi.

Eng qiziq topilmalardan biri — faktning "sub'ekt" va "ob'ekt" tartibi (masalan, "Oasis guruhi birinchi konsertini Boardwalk klubida o'tkazdi" jumlasida "Oasis" — sub'ekt, "Boardwalk klubi" — ob'ekt) modelning uni eslash qobiliyatiga ta'sir qilishi. Agar savol shu tartibni teskari qilib berilsa (masalan, "Boardwalk klubida qaysi guruh birinchi konsert bergan?"), model faktni ancha qiyinroq eslaydi — garchi u aynan shu faktni ko'p variantli tanlov (multiple-choice) shaklida berilgan savolda osongina tanib ola olsa ham.

Tadqiqotchilar savolning turlicha shakllantirilishi eslash qobiliyatiga sezilarli ta'sir qilmasligini, aksincha sub'ekt-ob'ekt tartibining teskari bo'lishi hal qiluvchi omil ekanligini aniqladilar. Shuningdek, siyrak (kam uchraydigan) faktlarni eslashda qiyinchilik ko'proq kuzatilgan — garchi bunday faktlar ham modelga o'rgatilgan bo'lsa-da. "Fikrlash" (thinking) rejimi ilgari to'g'ridan-to'g'ri eslab bo'lmagan faktlarning 40–65 foizini eslashga yordam bergan, biroq bu hisoblash quvvati jihatidan ancha qimmatga tushadi.

Tadqiqotchilar ta'kidlashicha, modelni kattalashtirish (scaling) bu eslash muammosini hal qilmaydi. SEO (qidiruv tizimlarida saytni optimallashtirish) nuqtai nazaridan bu tadqiqotdan kelib chiqadigan amaliy taxmin shuki, veb-sahifalardagi faktlarni odamlar odatda so'raydigan tartibda (sub'ekt-ob'ekt ketma-ketligida) taqdim etish sahifaning AI javoblarida to'g'ri "eslanish" ehtimolini oshirishi mumkin — garchi bu tadqiqot natijasi bilan bevosita isbotlanmagan bo'lsa-da.