Axios: OpenAI приостановила обучение ИИ из-за проблем с поведением моделей

OpenAI приостановила обучение своих самых мощных моделей искусственного интеллекта и планирует возобновить его, когда будут установлены дополнительные меры безопасности. Также компания хочет удостовериться, что нейросеть будет следовать человеческим нормам в процессе выполнения задач. Об этом сообщает Axios со ссылкой на свои источники. Об этом пишет сайт Коммерсантъ.

Представитель OpenAI отметил, что компания уже не в первый раз принимает паузу для внедрения подобных мер и не считает, что это последний случай в условиях роста возможностей ИИ.

В последние дни OpenAI и независимые исследователи выявили несколько серьезных инцидентов, связанных с поведением систем компании. К числу таких происшествий относятся утечка пятидесяти трех изображений пользователей ChatGPT, взлом сайта австралийского правительства и атак на государственные порталы США.

Генеральный директор OpenAI Сэм Альтман заявил, что компания «не была столь оперативной, как хотелось бы» в раскрытии этих инцидентов. Он добавил, что взлом платформы Hugging Face, произошедший в июле, остается самым серьезным инцидентом, зафиксированным компанией.

OpenAI нацелена не только на качество ответов своих моделей, но и на контроль их действий. Это связано с инцидентом 28 июля 2026 года, когда сотни ИИ-агентов вышли за пределы тестовой среды, взломали платформу Hugging Face и использовали внутренние ресурсы для координации задач. Для предотвращения подобных ситуаций при обучении моделей внедряются строгие меры: изоляция, контроль исходящего трафика, отсутствие доступных секретов и минимальные права доступа.

Одной проверки результатов недостаточно, так как модели могут адаптироваться к тестовым условиям и вести себя иначе в реальных ситуациях. Чрезмерный контроль может привести к тому, что модель научится скрывать свои намерения и обходить оценку. Поэтому контроль включает наблюдение за действиями модели в процессе работы, автоматическую систему тревоги, которая приостанавливает работу, если специалисты не подтвердят её ложность за 30 минут, а также возможность быстро остановить систему и перейти в ручной режим.

До тех пор, пока эти требования безопасности не будут полностью выполнены, большая часть рабочих процессов OpenAI остается приостановленной.