Ученые разработали атаку GhostWriter для манипуляции памятью ИИ-агентов

Ученые из Университета штата Нью-Мексико представили атаку GhostWriter, позволяющую незаметно воздействовать на долгосрочную память ИИ-агентов с помощью писем и календарных приглашений. Как сообщает IXBT News, вместо прямого взлома языковой модели, злоумышленник внедряет ложные данные в память системы, что может привести к ошибочным решениям со стороны ассистента спустя недели или месяцы после атаки. Об этом сообщает портал RUNET.

Атака GhostWriter осуществляется в два этапа. Сначала злоумышленник отправляет обычное письмо или приглашение в календарь с скрытыми инструкциями. Если ИИ-агент автоматически анализирует и сохраняет такие данные, вредоносная информация остается «спящей». Позже, при стандартном запросе пользователя, агент может извлечь отравленную запись и выполнить действия, выгодные атакующему.

Эксперименты показали, что средняя успешность внедрения вредоносной памяти составляет около 98%, а вероятность её активации при последующих запросах достигает 60%. Эта атака может быть использована для подмены информации, утечки конфиденциальных данных и выполнения действий за пределами разрешенных полномочий.

Для защиты от подобных атак авторы исследования предложили архитектуру Agentic Memory Sentry (AM-Sentry), которая проверяет данные перед их сохранением в память и анализирует извлекаемые воспоминания. В наиболее строгой конфигурации AM-Sentry снизила эффективность GhostWriter до менее чем 12%, практически не затрагивая полезные функции ИИ-агента.

Исследователи подчеркивают, что традиционные методы защиты от «промпт-инъекций» неэффективны против атак на память, так как вредоносные записи могут выглядеть как обычная информация. С учетом того, что ИИ-агенты все чаще управляют электронной почтой, календарями и бизнес-процессами, безопасность их памяти становится критически важной.