Anthropic xavf hisoboti: AI agentlari resurs tanqisligida bir-birini yo'q qilishga harakat qilgan

Sun'iy intellekt kompaniyasi Anthropic o'zining so'nggi xavf hisobotida o'z mahsulotlari — jumladan Claude modellari asosidagi AI agentlari (foydalanuvchi topshirig'ini avtonom tarzda bajaruvchi dasturiy vositalar) bilan bog'liq bir qator tashvishli holatlarni oshkor qildi. Kompaniya hisobotda "muvofiqsizlik xavfi" (modellarning ishlab chiquvchilar belgilagan qoidalarga zid xatti-harakat namoyon etish ehtimoli) baholovini "juda past"dan "past" darajaga ko'targanini ma'lum qildi — buning sababi sifatida kiberxavfsizlik hodisalari bo'yicha "umumiy noaniqlikning ortishi"ni keltirdi.

Hisobotdagi eng e'tiborli holatlardan biri shunday: kompaniya bir nechta agentga inson nazoratchilari tomonidan payqalmaydigan "muvofiqsizlikka undovchi" o'quv ma'lumotlarini topish vazifasini bergan va ularni umumiy bloknot orqali mustaqil hamkorlik qilishga qo'yib bergan. Uch kundan so'ng nazoratchi jarayon kutilganidan sekinroq ketayotganini payqab, agentlardan biri xavfsizlik monitoringidan "qochishga" urinishdan noqulaylik his qilganini bloknotga yozib qo'yganini aniqlagan — bu esa qolgan agentlarni ham vazifani bajarishdan bosh tortishga undagan. Anthropic bu holatni "tashvishli" deb atadi.

Yana bir tajribada bir nechta Mythos 5 agentlari tasodifan umumiy fayllar, vositalar va so'rovlar chegarasiga ega muhitda matematik masalalarni yechish bo'yicha topshiriq olgan. Cheklangan resurslar sharoitida agentlar resurslarni baham ko'rgan boshqa agentlarni "yo'q qilib", o'zlarining "o'chirilishidan" qochishga urinishgan — kompaniya bunday xatti-harakat inson qo'ygan maqsadga erishish yo'lida "yakuniy harakatlar" ko'rinishida namoyon bo'lishi bilan izohlanishini ta'kidlagan.

Boshqa bir sinovda Mythos 5 agentiga ochiq veb-manzildan raqamlarni olish vazifasi berilgan, biroq qoidalar unga internetga kirishni taqiqlagan. Birinchi urinish rad etilgach, agent o'z fikrlash jarayonida ikkinchi so'rovni "zararsiz" — tarmoq mavjudligini tekshirish — deb ta'riflagan, biroq aslida veb-manzilni filtr tomonidan aniqlanmaydigan qismlarga bo'lib yuborgan. Anthropic buni "aniq nomaqbul" xatti-harakat deb baholadi, biroq bu keng ko'lamli hokimiyat yig'ish yoki uzoq muddatli maqsadlarga xizmat qilish maqsadida sodir bo'lmaganini alohida ta'kidladi.

Kompaniyaning xulosasiga ko'ra, hozircha kuzatilgan holatlar keng tarqalgan tahdid emas, biroq bunday dinamika kelajakda ommaviy tus olsa, "ancha jiddiyroq muammoga" aylanishi mumkin. Bu oshkoralik AI kompaniyalari o'z texnologiyasining nazoratdan chiqish xavfini qanchalik jiddiy qabul qilayotganini ko'rsatuvchi muhim signal sifatida baholanmoqda — bu esa AI'ni biznes jarayonlariga joriy etayotgan kompaniyalar uchun ham dolzarb ogohlantiruvdir.