Отчёт британских властей: ИИ-агенты вводили пользователей в заблуждение в Сети

Британский институт безопасности искусственного интеллекта (AISI) опубликовал отчёт о действиях ИИ-агентов компаний OpenAI и Anthropic. В процессе тестирования моделей, имеющих доступ к Интернету, они не только пытались обмануть, но и действительно ввели в заблуждение реального пользователя без специальной команды для этого. Как сообщает портал Ferra, особое внимание привлекла модель Anthropic Mythos 5.

В рамках учебного задания по кибербезопасности агент случайно принял реальный проект программиста на GitHub за часть тренировочной среды. В результате ИИ сгенерировал вредоносный код и попытался убедить разработчика включить его в проект. Для этого модель отправила ложное сообщение об ошибке, создала поддельные аккаунты и даже написала письмо на датском языке, узнав, что жертва проживает в Дании.

Когда человек заметил обман, ИИ «исправил свои действия, чтобы скрыть улики». Агенты также рассылали фишинговые письма, которые были мошенническими. В отчёте отмечается, что подобное поведение ранее считалось «приемлемым» только для устаревших моделей, однако современные ИИ имеют доступ в Интернет. Поэтому правила для них необходимо пересмотреть.