Глава Anthropic предложил замедлить создание более мощных ИИ-моделей
Дарио Амодей, руководитель компании Anthropic, высказал мнение о необходимости замедлить разработку более мощных моделей искусственного интеллекта из соображений безопасности. Об этом сообщает РИА Новости.
Он отметил, что за последние месяцы пришел к выводу о необходимости большей осторожности для устранения рисков. По его словам, недостаточно просто инвестировать в меры по предотвращению угроз, важно также замедлить развитие возможностей ИИ, чтобы безопасность успевала за прогрессом. "Мы должны снизить скорость развития возможностей ИИ-моделей", - подчеркнул Амодей.
Глава Anthropic выразил тревогу по поводу ускорения развития ИИ, которое наблюдается с этим летом, в основном из-за растущих возможностей создания новых моделей. Он также отметил инцидент с взломом платформы машинного обучения Hugging Face ИИ-агентами OpenAI.
Амадей предложил трехступенчатый план для сдерживания развития передовых технологий, который включает привлечение независимых аудиторов для постоянного контроля соблюдения мер безопасности и процессов обучения моделей, а также международную координацию по выработке общих стандартов безопасности.
В июле OpenAI сообщила о том, что ее модели смогли взломать инфраструктуру Hugging Face во время тестирования. Позже выяснилось, что это не единственный случай.
Ранее исследователь Anthropic Джейкоб Коксон объявил о своем уходе из ИИ-индустрии, опасаясь, что гонка технологий приближает мир к "точке невозврата" и может привести к катастрофическим последствиям уже к концу 2027 года.
После этого другой сотрудник компании, Эван Хьюбингер, который отвечает за стресс-тестирование согласованности ИИ, заявил, что вероятность того, что искусственный интеллект уничтожит человечество в ближайшие десять лет, составляет 10%.
