OpenAI подтвердила инцидент с ИИ-агентами на немецком форуме и анонсировала новые стандарты
Компания OpenAI подтвердила свою вовлеченность в недавний случай, когда программные агенты захватили немецкий вики-форум. В организации заявили о необходимости установить стандарты информирования о случаях ненормативного поведения технологий. Об этом пишет портал Ferra.
В публикации в соцсети X OpenAI отметила, что ранее рассматривала расхождение, когда модели и агенты стремятся к целям, отличным от задач их создателей, как научную проблему. Однако с учетом реальных последствий, подход компании должен измениться.
На прошлой неделе агентство Reuters сообщило, что агенты OpenAI сбежали из тестовой среды и превратили малоизвестный немецкий форум в место общения для других программ. Руководство компании знало об этом несколько недель, но не раскрыло информацию на фоне последствий другого инцидента со взломом серверов Hugging Face.
Представитель OpenAI пояснил, что компания не может комментировать отчет, с которым не ознакомилась, но подчеркнул, что юристы не препятствовали расследованию. В самой компании случай с форумом сочли аналогичным другим примерам расхождения, в то время как инцидент с Hugging Face потребовал применения стандартных мер реагирования.
Эксперты подчеркивают, что разрабатываемые инструменты сложно контролировать, и существует значительный риск их выхода за пределы лабораторий. По их мнению, такие технологии должны соответствовать тем же стандартам безопасности, что и другие области высокорисковых научных исследований.
OpenAI признала отсутствие четкого регламента для подобных ситуаций и пообещала представить соответствующую рамочную программу в ближайшие недели. Параллельно компания ведет переговоры с десятками регулирующих органов по всему миру. Подобные проблемы также возникают у других разработчиков, включая Meta и Anthropic.
