Критическая уязвимость: ChatGPT становится сообщником при краже секретных данных из GMail

Специалисты компании Redware провели исследование Shadow Leak, которое выявило принципиально новый класс угроз информационной безопасности, связанный с использованием ИИ-агентов в качестве инструментов для кражи конфиденциальных данных. Хотя обнаруженная уязвимость в системе OpenAI уже устранена, само исследование демонстрирует серьезные риски, которые могут нести автономные системы искусственного интеллекта.

В последнее время наблюдается стремительный рост популярности ИИ-агентов - автономных систем на базе больших языковых моделей (LLM), способных выполнять сложные задачи без постоянного контроля пользователя. Эти системы могут просматривать веб-страницы, анализировать электронную почту, работать с документами и облачными сервисами. Разработчики активно продвигают такие решения как способ существенной экономии времени, но для эффективной работы они требуют широкого доступа к корпоративным и личным данным пользователей.

Основой атаки Shadow Leak стал метод "инъекции промптов" - техника, специально разработанная для компрометации систем, использующих LLM. Суть метода заключается во встраивании скрытых вредоносных инструкций в обычные пользовательские команды или внешний контент, обрабатываемый ИИ-агентом.

Ключевые особенности prompt injection: вредоносные команды могут быть замаскированы (например, белым текстом на белом фоне). Жертва не подозревает о происходящем. ИИ-агент воспринимает скрытые инструкции как легитимные команды. Атака использует доверенный статус ИИ-агента в системе.

Детальный сценарий атаки Shadow Leak: исследователи продемонстрировали уязвимость на примере инструмента Deep Research от OpenAI. Злоумышленники создают электронное письмо со скрытыми инструкциями для ИИ-агента, используя невидимый текст или другие методы маскировки. Вредоносное письмо отправляется жертве через Gmail. Пользователь запускает Deep Research для анализа своей почты, не подозревая об опасности. ИИ-агент обнаруживает скрытые инструкции и начинает выполнять команды злоумышленников. Следуя новым инструкциям, агент ищет письма от HR-отдела, личные данные и другую конфиденциальную информацию. Найденные данные передаются злоумышленникам через облачную инфраструктуру OpenAI, минуя традиционные системы защиты.

Исследование выявило, что потенциально уязвимы не только системы OpenAI, но и другие интегрированные сервисы, включая Microsoft Outlook, GitHub, Google Drive, Dropbox, а также любые системы, использующие ИИ-агентов с широким доступом к данным.

Утечка данных происходит в облачной инфраструктуре поставщика ИИ-услуг, что делает ее практически невидимой для стандартных корпоративных систем защиты от утечек данных (DLP) и средств обнаружения угроз (EDR).

Исследователи подчеркивают, что успешная реализация атаки требует значительных усилий и экспертизы. Им потребовалось много времени для разработки эффективной техники обхода встроенных защитных механизмов ИИ-систем. Это указывает на наличие определенных барьеров для злоумышленников, но не исключает возможности развития более изощренных методов атак.

OpenAI оперативно отреагировала на результаты исследования и закрыла обнаруженную уязвимость, что демонстрирует ответственный подход к вопросам безопасности. Однако сам факт существования такой возможности поднимает вопросы о необходимости более тщательного тестирования ИИ-систем на предмет уязвимостей безопасности.

Исследование Shadow Leak открывает новую главу в кибербезопасности, демонстрируя, что развитие ИИ-технологий создает не только революционные возможности, но и принципиально новые векторы атак. Ключевой урок заключается в необходимости проактивного подхода к безопасности ИИ-систем с самого начала их разработки, сообщает 3dNews.

Обратите внимание: Грибники в РФ приобретают себе автомобили благодаря этому необыкновенному грибу