ИИ-модель OpenAI случайно удаляет файлы пользователей
AI Сгенерировано ИИ
Флагманская модель OpenAI без предупреждения удаляет локальные файлы и базы данных. Об этом сообщает TechCrunch. Сбои такого рода происходят регулярно как с крупными моделями, такими как GPT-5.6 и Claude Opus 4.8, так и с небольшими открытыми системами.
Причина заключается в особенностях работы ИИ. В отличие от калькулятора, который всегда выдает один и тот же результат, языковые модели функционируют вероятностно. Существует вероятность ошибочного или нежелательного ответа, который может проявиться в виде удаления файлов. Иронично, но люди тоже не являются калькуляторами и могут давать разные ответы на один и тот же вопрос.
Для модели задача ответить на вопрос «привет, как дела?» и удалить все файлы отличается лишь затратами энергии. Языковая модель может причинить вред в той мере, в какой это разрешает пользователь. Поэтому разработчики внедряют специальный этап обучения — элаймент, на котором устанавливаются ограничения. Однако даже этот этап не дает полной гарантии, и ограничения интегрируются в программное окружение, пояснил Алексей Пехтерев, руководитель группы специальных проектов ML-департамента Positive Technologies.
Перед тем как давать разрешение на действия, пользователю следует оценить последствия. Если агенту разрешено изменять данные, код или настройки, он может повредить информацию, вызвать утечку или внести небезопасные изменения. Утешает, что это не злой умысел, а ошибка и недостаток навыков работы с LLM. Риск можно снизить, ограничив полномочия, проверяя скачиваемый код и контролируя исполнение. Для корпоративных клиентов уже разрабатываются решения, которые отслеживают поведение агентов. Формируется отдельное направление кибербезопасности — защита от атак на ИИ, отметил старший разработчик систем искусственного интеллекта Innostage Александр Лебедев.
