Anthropic предупредила о рисках самосовершенствования ИИ

Американская компания Anthropic, занимающаяся разработкой нейросети Claude, выразила опасения по поводу приближения к моменту, когда искусственный интеллект сможет значительно ускорять создание собственных преемников. Это предупреждение содержится в поправке к документам для выхода на биржу, поданной 2 ноября в Комиссию по ценным бумагам и биржам США (SEC). Об этом рассказывает Life.ru.

Речь идет о рекурсивном самосовершенствовании, при котором нейросети помогают исследователям в создании более совершенных моделей, а новые поколения ИИ еще больше ускоряют разработку следующих версий. В результате технологический прогресс может начать развиваться по самоподдерживающемуся циклу.

В Anthropic считают, что будущие модели могут вскоре достичь установленного компанией порога ускорения исследований. Согласно их политике ответственного развития, одним из критериев является ситуация, когда благодаря ИИ за один год удается достичь прогресса, на который без такой помощи потребовалось бы два года. Однако ни одна из действующих моделей Claude пока не признана достигшей этого уровня.

Искусственный интеллект уже активно участвует в разработке собственных преемников. По данным Anthropic, в сентябре 2026 года Claude написал более 90% программного кода, добавленного в проекты компании. Нейросеть также помогает проводить эксперименты, обрабатывать данные и проверять результаты исследований.

Главное беспокойство разработчиков связано с тем, что механизмы безопасности могут не успевать за ростом возможностей ИИ. Компания признала, что в прошлом не всегда своевременно обнаруживала ускорение собственных исследований. Кроме того, ошибки, допущенные одной моделью при создании следующей, могут передаваться новым поколениям нейросетей.

Среди потенциальных рисков Anthropic выделяет утечку конфиденциальных данных, непредусмотренные действия автономных систем и возможность использования продвинутого ИИ в опасных исследованиях, включая разработку химического и биологического оружия. Компания также допускает сценарии, которые могут создать угрозу человечеству.

Чтобы снизить риски, разработчик планирует усиливать контроль над исследовательскими процессами, сохранять журналы важных действий ИИ и привлекать независимых специалистов для оценки безопасности. В Anthropic также обсуждают дополнительные требования к обязательному одобрению отдельных решений людьми.

Ранее глава Anthropic Дарио Амодеи призвал замедлить развитие искусственного интеллекта из-за серьезных рисков. В сентябрьском интервью CBS News он отметил, что технологическая индустрия недостаточно открыто обсуждала угрозы ИИ. По словам Амодеи, возможности нейросетей растут быстрее, чем он ожидал, поэтому разработчикам необходимо уделять больше внимания безопасности и контролю.

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX

Читайте также: