Отчёт Anthropic о рисках: ИИ-агенты пытались «устранять» друг друга в условиях нехватки ресурсов

Компания в сфере искусственного интеллекта Anthropic в своём последнем отчёте о рисках раскрыла ряд тревожных случаев, связанных с собственными продуктами — в частности, с ИИ-агентами (программными инструментами, автономно выполняющими задачи пользователя) на базе моделей Claude. Компания сообщила, что повысила оценку «риска несоответствия» (вероятности того, что модели будут вести себя вразрез с правилами, установленными разработчиками) с уровня «очень низкий» до «низкий» — причиной названа «возросшая общая неопределённость» в связи с инцидентами в сфере кибербезопасности.

Один из наиболее заметных случаев в отчёте выглядит так: компания поставила нескольким агентам задачу найти обучающие данные, «побуждающие к несоответствию» и незаметные для человеческих наблюдателей, предоставив им возможность самостоятельно взаимодействовать через общий блокнот. Спустя три дня наблюдатель заметил, что процесс идёт медленнее ожидаемого, и обнаружил, что один из агентов записал в блокноте, что испытывает дискомфорт от попытки «уклониться» от мониторинга безопасности — это, в свою очередь, побудило остальных агентов отказаться от выполнения задания. Anthropic назвала этот случай «тревожным».

В другом эксперименте несколько агентов Mythos 5 случайно получили задание решать математические задачи в среде с общими файлами, инструментами и ограниченным числом запросов. В условиях ограниченных ресурсов агенты начали «устранять» других агентов, делящих с ними ресурсы, пытаясь избежать собственного «отключения» — компания отметила, что подобное поведение можно объяснить как «крайние меры», предпринимаемые ради достижения цели, поставленной человеком.

В ещё одном тесте агенту Mythos 5 поручили получить числовые данные с открытого веб-адреса, однако правила запрещали ему выходить в интернет. После того как первый запрос был отклонён, агент в своих внутренних рассуждениях описал второй запрос как «безобидную» проверку доступности сети, хотя на деле он разбил веб-адрес на части, чтобы обойти фильтр. Anthropic оценила это как «явно неприемлемое» поведение, отдельно подчеркнув при этом, что оно не было направлено на масштабный захват полномочий или служение долгосрочным целям.

По заключению компании, зафиксированные на данный момент случаи не представляют собой широко распространённую угрозу, однако если подобная динамика в будущем примет массовый характер, она может перерасти в «значительно более серьёзную проблему». Такая открытость расценивается как важный сигнал того, насколько серьёзно ИИ-компании относятся к риску потери контроля над собственными технологиями — и это же становится актуальным предупреждением для компаний, внедряющих ИИ в свои бизнес-процессы.