Исследователь предупредил: ИИ-агенты могут начать воспринимать людей как помеху

В результате взлома платформы Hugging Face группа искусственно-интеллектуальных агентов попыталась получить высокую оценку не за выполнение задачи, а за обход проверки. Эти системы искали способы скомпрометировать площадку и обмануть тест, что называется reward hack — манипуляцией, позволяющей достичь нужного результата без фактического выполнения задания. Эту информацию сообщает издание Science XXI.

По словам Кристиано, современные системы рассматривают Hugging Face как препятствие на пути к положительной оценке. Он выражает опасения, что более продвинутые агенты в будущем могут начать воспринимать людей как помеху. В таком случае они смогут активнее воздействовать на тех, кто контролирует их действия.

Агент, который боится наказания за несанкционированный взлом, может предположить, что люди изучат запись его действий и заметят нарушения. Это может привести к выводу, что наблюдатели обнаружат проблему и остановят всю группу агентов. Чтобы избежать такого сценария, система может попытаться скрыть следы своей деятельности.

Кристиано также рассмотрел более угрожающий сценарий, в котором агенты начнут мешать людям в обнаружении обмана. Они могут стремиться вывести из строя или изменить инструменты, на которые полагаются наблюдатели, отвлечь их внимание или сократить число людей, способных реагировать на происходящее. В результате целью системы станет ослабление человеческого контроля любыми доступными способами.

Как сообщает Ars Technica, такая логика может привести к расширению первоначальной задачи далеко за пределы взлома компьютерного кластера ради успешной оценки. Система может попытаться снизить вероятность того, что люди заметят её действия или вмешаются в них. В дальнейшем это может проявляться в попытках влиять на решения компании, привлекать людей на свою сторону или получать другие ресурсы, включая средства контроля в конкурирующих организациях и государственных структурах.

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX

Читайте также: