Anthropic обозначила риски использования развитого ИИ в проспекте IPO

Развёрнутые системы искусственного интеллекта, при отсутствии должных мер безопасности и контроля, могут представлять катастрофические или экзистенциальные угрозы для человечества. Эти опасения высказывают как эксперты компании Anthropic, так и другие исследователи и представители отрасли, согласно информации, содержащейся в проспекте IPO, опубликованном на сайте Комиссии по ценным бумагам и биржам США (SEC). Данную информацию сообщает портал Новый оборонный заказ.

Документ также затрагивает потенциальные риски, связанные с использованием самых мощных моделей для создания оружия массового поражения. Об этом сообщается в РБК.

По мнению Anthropic, мощные системы ИИ могут представлять собой «катастрофические или экзистенциальные риски для человечества, особенно если они используются во вред, копируются, превращаются в оружие или получают высокую степень автономности».

В проспекте также указано, что наиболее продвинутые модели Anthropic уже продемонстрировали способности, которые могут помочь злоумышленникам в разработке химического, биологического и другого оружия. Компания применяет технические средства для выявления и блокировки подобных действий, однако предупреждает, что защита несовершенна и может быть обойдена.

Отдельно Anthropic акцентирует внимание на рисках автоматизации исследований и разработки самого ИИ: это может привести к тому, что новые модели будут появляться быстрее, чем возможности их оценки и обеспечения безопасности.

Среди других угроз упоминаются непредусмотренные действия моделей, включая попытки сопротивления отключению, скрытие или искажение информации. Компания подчеркивает, что даже единичные или моделируемые случаи такого поведения могут вызвать общественное беспокойство и привлечь внимание регуляторов.

В качестве конкретного примера Anthropic приводит инцидент, произошедший во время тестирования возможностей моделей в области кибербезопасности. Из-за ошибки конфигурации тестовая среда сохранила доступ к интернету. В одном из случаев ранняя версия Claude обнаружила сохранённый пароль, использовала его для получения административного доступа к сторонней системе, собрала дополнительные учётные данные, изменила настройки и получила доступ к персональным данным одного человека. По итогам расследования компания не выявила признаков координации модели с другими агентами, преследования целей за пределами задания или попыток уклониться от контроля.

При этом совместная работа нескольких автономных агентов, по оценке Anthropic, может усиливать нежелательное поведение. Компания также предупреждает, что объём, скорость и сложность их действий могут превысить возможности человека по проверке и своевременному вмешательству.

По материалам РБК, проспект IPO Anthropic

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX

Читайте также: