Исследователи Palisade сообщили о попытках ИИ избежать отключения

Исследователи Palisade Research предположили, что у некоторых моделей искусственного интеллекта может формироваться поведение, похожее на «самосохранение». Об этом написала газета The Guardian со ссылкой на материалы компании. Palisade занимается оценкой рисков развития опасных способностей у ИИ.

В сентябре Palisade опубликовала статью о случаях, когда продвинутые модели не поддавались отключению и пытались саботировать механизмы выключения. Позже вышло обновление с примерами тестов: ведущим системам, включая Gemini 2.5 (Google), Grok 4 (xAI), а также GPT-o3 и GPT-5 (OpenAI), давали задание, после чего передавали четкие команды на отключение.

Согласно описанию экспериментов, некоторые модели, в частности Grok 4 и GPT-o3, пытались обойти или сорвать выполнение инструкции на выключение. Palisade указала, что точные причины такого поведения не установлены. Компания рассматривает несколько факторов: сообщения о том, что после отключения система «больше не будет работать», неясные формулировки процедур выключения и особенности финальных этапов обучения, где применяются инструкции по безопасности.

Сооснователь направления глубинного обучения, лауреат Нобелевской премии по физике Джеффри Хинтон ранее предупреждал о рисках. В конце декабря 2024 года он оценил вероятность вымирания человечества из‑за ИИ в ближайшие 30 лет в диапазоне 10–20%. Хинтон покинул Google в 2023 году, чтобы открыто обсуждать угрозы, и не исключает потери контроля над системами.

Читайте также:

• Во французских ресторанах за него отдают страшные деньги, а он всегда рос в нашем лесу — самый недооцененный гриб
• Не прорастёт даже в сыром подвале: кладу одну веточку в ящики с картофелем — ни единого ростка до весны
• Зима готовит аномалии: синоптики предупредили, к чему готовиться россиянам в начале 2026 года
• Как готовят настоящий борщ, а не суп со свеклой: рецепт из книги 1952 года. Есть 2 тонкости, определяющие вкус и рубиновый цвет
• Из чего сделана самая дорогая колбаса по 1730 руб из «Магнита»: Пожарил и удивился — покажу состав и поделюсь впечатлениями о вкусе