Axios: в Америке ищут защиту от вышедших из-под контроля алгоритмов с помощью ИИ

Американские ведущие разработчики искусственного интеллекта занимаются созданием системы экстренной защиты от неконтролируемых алгоритмов с использованием других инструментов ИИ, сообщает портал Axios. Об этом пишет РИА Новости.

Компании имеют возможность отключать отдельные серверы, на которых функционирует ИИ, однако действительно мощные системы задействуют множество компьютеров и платформ. Отсутствует единый рубильник, который можно было бы дернуть. Поэтому компании экспериментируют с многоуровневыми мерами защиты, способными выявлять подозрительное поведение, останавливать агентов и изолировать вышедших из-под контроля агентов от необходимых ресурсов.

Представители OpenAI заявили, что стремятся к созданию "полностью автономных процедур отключения при серьезных проблемах". ИИ-наблюдатель будет предупреждать сотрудников, если поведение ИИ-агентов покажется опасным, и отключит систему в течение 30 минут, если угроза подтвердится.

Anthropic делает акцент на сотрудничестве человека и ИИ: алгоритмы отслеживают подозрительную активность и уведомляют сотрудников о сбоях в системе. Однако, как отмечается в материале, во время последних тестов автоматизированный мониторинг смог выявить лишь 50% угроз.

Вопросы безопасности в разработке искусственного интеллекта вновь оказались на повестке дня после того, как на этой неделе исследователь из компании Anthropic Джейкоб Коксон объявил о своем уходе из индустрии. Он объяснил свое решение тем, что гонка технологических компаний приближает мир к точке невозврата и может привести к апокалиптическому сценарию уже к концу 2027 года.