Разработан алгоритм для автоматического поиска уязвимостей в нейросетях автопилотов

Ученые Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" создали алгоритм, который позволяет быстро и эффективно находить "слабые места" в нейросетях, управляющих беспилотным транспортом. Эта технология автоматизирует процесс выявления уязвимостей в моделях компьютерного зрения, что способствует повышению безопасности как воздушного, так и автомобильного транспорта. Данную информацию сообщает портал ТАСС.

Специалисты разработали единую базу данных, включающую все доступные инструменты для поиска уязвимостей, и эволюционный алгоритм оптимизации. Он автоматически перебирает комбинации методов, настраивает параметры и подбирает конфигурацию, наиболее эффективно выявляющую уязвимости конкретной модели. Такой подход требует лишь запуска алгоритма, что позволяет выявить все возможные "слабые места" в нейросетях автопилота.

Современные системы автопилота используют модели компьютерного зрения для распознавания и классификации объектов. Однако их безопасность может быть подорвана атаками злоумышленников, которые накладывают на изображения специальные фильтры, незаметные для человека, но способные заставить нейросеть ошибочно интерпретировать объекты.

В настоящее время проверка устойчивости таких систем осуществляется вручную, что делает процесс медленным и субъективным, не позволяя систематически исследовать все варианты атак.

В своей разработке ученые разделили процесс поиска уязвимостей на шесть модулей, включая функции потерь и градиенты моделей. На основе этого был создан программный комплекс, который переводит подбор конфигураций в задачу оптимизации "черного ящика". Для поиска наиболее эффективных сочетаний инструментов применялись байесовская оптимизация и специализированный эволюционный алгоритм.

Для тестирования разработки использовалась собственная модель компьютерного зрения, обученная на крупномасштабной базе данных. Эффективность подхода оценивалась по двум параметрам: доле ошибочных срабатываний модели и степени незаметности внесенных изменений для человеческого глаза.

Результаты показали, что новая композиционная структура находит более скрытые способы обмана нейросетей. Если обычный алгоритм обманывал нейросеть лишь в 13% случаев из тысячи изображений, то новый подход сработал в 58%. При этом искажения, вносимые в изображения, удалось снизить примерно на 15% по сравнению с традиционным методом, визуально выглядя как легкий шум на пересохраненной фотографии, а не как грубая подделка.

Таким образом, новый инструмент аудита безопасности позволит разработчикам проверить модель перед ее выпуском в открытый доступ, выявляя серьезные уязвимости и устраняя их заранее.