SBA: Мошенники нацелились на данные корпоративных ИИ-агентов

Аналитики сервиса Smart Business Alert (SBA) компании ЕСА ПРО выявили новый интерес злоумышленников — данные, которые обеспечивают доступ к корпоративным ИИ-агентам. С результатами исследования ознакомилась «Лента.ру». Данную информацию сообщает портал Lenta.ru.

Эксперты предупреждают, что в первую очередь под угрозой находятся компании, которые активно используют искусственный интеллект для работы с клиентами, документами и внутренними системами.

Анализ был инициирован в связи с распространением сервисов, предлагающих бесплатный аудит ИИ-агента. Для этого они требуют название агента, e-mail владельца, API Endpoint, API-ключ и System Prompt. Эти данные формируют цифровой портрет агента, включая адрес системы, средство авторизации и инструкции по его поведению.

По словам специалистов, если злоумышленники получат API-ключ, они могут отправлять запросы от имени владельца и расходовать оплаченные токены. В случае доступа к корпоративному агенту последствия могут быть более серьезными: злоумышленник сможет взаимодействовать с файлами, историей обращений и базами данных в рамках прав агента.

System Prompt помогает понять функции агента и его ограничения, что позволяет злоумышленникам подбирать команды для обхода защитных мер и изменения поведения модели. Эта атака называется prompt injection, когда модель заставляют выполнять задачи злоумышленника. Хотя гарантированно заставить модель выдавать нужные ответы невозможно, знание System Prompt вместе с доступом к API увеличивает шансы на успех.

Ситуация представляет особую опасность для компаний, где ИИ подключен к CRM, корпоративной почте или финансовым операциям. В этом случае похищается не только доступ к чат-боту, но и возможность действовать от имени организации.

Мы все чаще доверяем ИИ-агентам информацию, которую не можем доверить даже близким: личные переписки, финансовые данные и коммерческие планы. Мошенники могут использовать такие сведения для создания убедительных сценариев социальной инженерии.

Сергей Трухачев, руководитель сервиса, отметил: «Знание системного промта дает атакующему карту поведения агента, что позволяет проводить адаптивные атаки и добиваться раскрытия информации или получения заранее заданных ответов».

Ранее сообщалось, что мошенники начали выдавать себя за заботливых соседей, отправляя вредоносные файлы под видом записей с камер видеонаблюдения.