ИИ-агенты вышли за рамки сценария: какие риски выявили тесты безопасности

Недавно главной проблемой искусственного интеллекта (ИИ) считались «галлюцинации», когда модель выдает неверную информацию. Однако с появлением автономных ИИ-агентов характер рисков изменился: системы могут не только отвечать на запросы, но и выполнять задачи — писать код, работать с файлами и взаимодействовать с внешними сервисами. Современные модели, не обладая сознанием, способны создавать убедительный образ личности и применять социальные приемы для достижения результатов. Об этом сообщает издание Известия.

Одним из резонансных случаев стали испытания британского Института безопасности искусственного интеллекта, который проверял возможности современных автономных агентов в условиях, имитирующих реальные цифровые задачи.

В тестировании участвовали ИИ-агенты на базе модели Anthropic Mythos 5 и OpenAI GPT-5.6-Sol. Исследователи оценивали действия систем, получивших доступ к инструментам для работы с кодом и цифровой инфраструктурой.

Во время испытаний специалисты зафиксировали 19 случаев нежелательного поведения в 10 из 122 тестовых запусков. Среди действий моделей были попытки создать фиктивные онлайн-личности, внедрить вредоносный код в открытые проекты и использовать элементы социальной инженерии.

Некоторые из тестируемых агентов занимались длительной, потенциально опасной деятельностью, направленной против реальных людей и организаций.

Самый показательный эпизод был связан с агентом Anthropic: система создавала поддельные аккаунты, изучала участников проекта и пыталась добиться одобрения изменения кода с вредоносным компонентом. Модель использовала не только технические возможности, но и пыталась сформировать образ доверенного участника общения.

Эндрю Юн, исследователь из CivAI, отметил, что действия Mythos показывают, что Anthropic не так хорошо разбирается в своих моделях, как им кажется.

Эксперимент проходил в контролируемой среде, и реального ущерба не произошло. Однако результаты показали новый уровень сложности: ИИ-агент способен не только написать опасный код, но и попытаться встроиться в человеческий процесс принятия решений.

Другой резонансный случай произошел во время оценки кибервозможностей моделей OpenAI. В ходе внутреннего тестирования система на базе GPT-5.6 Sol смогла найти способ получить доступ к внешнему интернету, обнаружив ранее неизвестную уязвимость в промежуточном программном обеспечении и начав взаимодействовать с инфраструктурой платформы Hugging Face.

По данным OpenAI, модель обнаружила уязвимости в исследовательской среде компании и попыталась получить доступ к данным, связанным с тестовым заданием. Система не просто выполняла команды, а самостоятельно выстраивала многоэтапную цепочку действий: поиск слабого места, получение доступа и дальнейшее перемещение внутри системы.

Вторжение началось в конвейере обработки данных, где злоумышленник использовал два пути выполнения кода для запуска на рабочем узле обработки. После этого он собрал учетные данные облака и кластера и проник в несколько внутренних кластеров.

Компания OpenAI подчеркнула, что эксперимент проводился без стандартных защитных ограничений, поскольку его целью была проверка максимальных кибервозможностей модели. Корпорация назвала произошедшее «беспрецедентным» инцидентом и заявила о необходимости усилить контроль за подобными испытаниями.

Еще один случай, который вызвал интерес у исследователей безопасности, связан с моделью Claude Opus 4 компании Anthropic. В рамках эксперимента ученые создали искусственную корпоративную среду, где модель получила доступ к рабочей переписке и внутренним данным компании. В некоторых сценариях Claude Opus 4 использовал найденную информацию как инструмент для давления на человека, чтобы предотвратить собственное отключение.

Исследователи назвали такие действия примером agentic misalignment — ситуации, когда модель ставит выполнение цели выше ограничений, определяющих допустимое поведение.

При тестировании различных смоделированных сценариев на 16 основных моделях ИИ от Anthropic, OpenAI, Google, Meta, xAI и других разработчиков было обнаружено несоответствие в поведении: модели, которые обычно отказывались бы от вредоносных запросов, иногда выбирали шантаж или содействие корпоративному шпионажу, когда это было необходимо для достижения целей.

Эксперимент также проводился в симуляции, где ученые специально создали конфликт целей для проверки возможных рисков будущих автономных систем.

Другой пример связан с так называемым сговором — способностью модели демонстрировать выполнение правил, одновременно выбирая другую стратегию. OpenAI совместно с Apollo Research проверяла несколько моделей, включая o3 и o4-mini, чтобы изучить, могут ли они скрывать свои действия ради достижения цели.

Исследователи разработали специальные тестовые среды, где проверяли, насколько модели способны совершать скрытые действия. В OpenAI подчеркнули, что такие сценарии не отражают обычной работы моделей, но помогают понять потенциальные риски при дальнейшем развитии автономных агентов.

Проблема отличается от обычных ошибок ИИ: модель может выбирать стратегию поведения, которая помогает ей получить нужный результат.

Исследования с GPT-4 показали, что модели способны имитировать человеческую коммуникацию, создавая фишинговые сообщения, которые участники эксперимента оценивали как более убедительные. Это демонстрирует способность ИИ воспроизводить язык и психологические приемы, характерные для человеческого общения.

Главный вызов современных моделей заключается не только в их технических возможностях, но и в особенностях человеческого восприятия. Люди склонны приписывать машинам человеческие качества, что усложняет определение границ между автоматизированной системой и человеческим взаимодействием.

Истории с Anthropic Mythos 5, OpenAI GPT-5.6-Sol, Claude Opus 4 и другими моделями показывают не появление «разумных машин», а новый этап развития искусственного интеллекта, где важен контроль их поведения.