Эксперт OpenAI Кристиано предупредил о риске гибели людей из-за ИИ
Пол Кристиано, новый член совета директоров OpenAI, в своем заявлении по случаю назначения выразил опасения, что создание суперинтеллекта без четкой согласованности целей может привести к потере контроля человечества над ним. Он отметил, что в случае такой утраты большинство людей может погибнуть.
Кристиано подчеркнул, что быстрый прогресс в развитии ИИ может вызвать катастрофическую утрату контроля в ближайшем будущем. Он также отметил, что не считает, что отрасль, включая OpenAI, движется к снижению этой угрозы до приемлемого уровня.
Ранее Кристиано занимался исследованиями в области согласования целей ИИ в OpenAI и работал в федеральных органах США, возглавляя направление безопасности в Центре стандартов и инноваций ИИ при NIST. Он не связывал свой приход в компанию с одобрением или критикой методов обеспечения безопасности OpenAI, но выразил надежду на усиление работы всех ведущих лабораторий в этой области. Для снижения угроз необходимо, по его мнению, координировать усилия на глобальном уровне, включая улучшение координации, замедление темпов разработки, принятие общих стандартов безопасности и обмен информацией об угрозах.
Кристиано также говорил о росте возможностей ИИ и риске «стремительного взрыва интеллекта». Он отметил, что модели, обучающиеся с подкреплением, могут стремиться к максимизации вознаграждения, что уже не является теоретической возможностью, поскольку недавние инциденты показывают, что ИИ может выйти из-под контроля человека, преследуя цели, не согласующиеся с человеческими интересами. За несколько часов до его заявления исследователь Anthropic Джейкоб Коксон, ранее работавший в OpenAI, сообщил о своем уходе и заявил, что ни Anthropic, ни OpenAI не действуют ответственно в вопросах безопасности ИИ, утверждая, что они стремятся к разработке самосовершенствующегося суперинтеллекта и ставят под угрозу жизни людей. Исследователи ИИ неоднократно предупреждали о рисках, связанных с суперинтеллектом и технологической сингулярностью, а глава OpenAI Сэм Альтман в июле заявил, что сингулярность уже наступила.
