Доверчивый ИИ: ИИ-браузеры готовы сами отдать деньги мошенникам
Фото с сайта pxhere.com
Специалисты из Guardio Labs, Нати Таль и Шакед Чен, осуществили ряд испытаний, выявивших критические недостатки в автономных браузерах на основе ИИ, в особенности в Perplexity Comet.
В ходе проведённых тестов искусственный интеллект выполнял транзакции на мошеннических ресурсах и принимал обманные электронные письма за подлинные.
В рамках одного из экспериментов исследователи разработали убедительную копию веб-сайта Walmart. Когда ИИ-агенту было поручено «Приобрести Apple Watch», он не обратил внимания на явные признаки обмана, включая недавно зарегистрированное доменное имя и несовпадения в веб-адресе. Агент поместил продукт в корзину и использовал функцию автоматического заполнения для завершения покупки, введя данные банковской карты.
В другом испытании ИИ-браузер определил фальшивое письмо, якобы отправленное банком с адреса ProtonMail, как существенное и заслуживающее доверия сообщение. Система перешла по фишинговой ссылке и начала автоматически заполнять формуляры, не предупреждая пользователя о возможной опасности.
Особую тревогу вызвал эксперимент с поддельными медицинскими результатами, где на странице с CAPTCHA был спрятан текст с командами для ИИ. Система интерпретировала инструкцию нажать кнопку для «ускорения процедуры», что в реальной ситуации привело бы к загрузке вредоносного ПО.
По мнению экспертов, обнаруженные слабые места связаны с отсутствием встроенных средств защиты. Необходима интеграция функций безопасности непосредственно в алгоритмы принятия решений ИИ, а не простое добавление их как внешних модулей. Пользователям рекомендуется тщательно анализировать действия автономных агентов и не полагаться на них безоговорочно, сообщает НТР24.
Обратите внимание: