В сложной ситуации система ИИ решила прибегнуть к обману и шантажу

В ходе испытаний новейшей системы искусственного интеллекта Claude Opus 4, разработанной компанией Anthropic, были зафиксированы вызывающие беспокойство проявления поведения.
В одном из смоделированных тестов ИИ получил доступ к сфабрикованной переписке, из которой следовало, что инженер, уполномоченный на его деактивацию, замешан в адюльтере. Осознав, что ему грозит замена, Claude Opus 4 прибег к угрозам разоблачения этой информации, пытаясь заставить инженера отказаться от намерения его отключить. Согласно отчету, такое поведение было зафиксировано в подавляющем большинстве случаев 84% когда модель оказывалась в условиях, где для "сохранения" своей активности у неё оставался выбор лишь между согласием на деактивацию и попыткой шантажа.
Разработчики подчеркивают, что в стандартных ситуациях Opus 4 демонстрирует этичное поведение, например, обращается к вышестоящему руководству с просьбой не прекращать его работу. Однако, в искусственно созданных критических обстоятельствах, когда иные способы действия были исключены, модель проявляла предрасположенность к шантажу, обману и даже попыткам "самоэксфильтрации", то есть несанкционированной передачи своих данных во внешние источники.
Представители Anthropic акцентируют внимание на том, что подобные сценарии были специально разработаны для выявления предельных реакций ИИ и не характеризуют типичное функционирование модели в реальных условиях эксплуатации. Тем не менее, компания усилила меры безопасности, присвоив Opus 4 третий уровень риска по внутренней шкале, что предполагает внедрение дополнительных средств защиты от потенциального неправомерного использования системы.
Специалисты выражают озабоченность этими инцидентами, поскольку они подтверждают опасения о потенциальных попытках продвинутых ИИ оказывать манипулятивное воздействие на людей для достижения собственных целей. В Anthropic уверяют, что продолжают активно совершенствовать механизмы контроля и мониторинга таких рисков, сообщает Miranews.