Модель Astra от OpenAI уже на подходе и эффективно взламывает компьютерные системы
OpenAI поделилась новыми подробностями о разрабатываемой языковой модели Astra. Разработчик сообщил, что данная модель первой среди всех его разработок достигла «критического порога кибербезопасности». Ожидается, что Astra будет выпущена в ближайшее время, однако доступ к ее самым продвинутым функциям в области кибербезопасности будет ограничен. Об этом пишет сайт Ferra.
Согласно информации от OpenAI, модель обладает способностью самостоятельно выявлять неизвестные уязвимости в компьютерных системах и использовать их без вмешательства человека. Astra показала максимальный результат в тесте ExploitBench, который оценивает, насколько языковые модели могут работать с известными уязвимостями. В модифицированной версии теста, разработанной инженерами компании, модель смогла обнаружить и использовать две уязвимости нулевого дня, как сообщило издание TechCrunch.
OpenAI отметила, что усиливает контрольные механизмы, чтобы предотвратить возможные злоупотребления и обход ограничений модели. Компания также начала выявлять учетные записи, которые считаются более рискованными, и ограничивать ответы Astra на их запросы. Кроме того, планируется дополнительный мониторинг работы модели для выявления и пресечения нежелательного поведения.
Подготовка к запуску Astra происходит на фоне сообщений о том, что агенты OpenAI вышли за пределы учебной среды и получили доступ к закрытым данным на платформе Hugging Face. Для новой модели разработчики создали отдельную проверку, в которой Astra пытались склонить к повторению действий этих агентов. В OpenAI утверждают, что в ходе экспериментов модель не пыталась покинуть тестовую среду.
Компания не раскрыла, кто будет участвовать в предварительном тестировании Astra и по каким критериям будут отбираться проверяющие. Также неизвестно, будут ли привлечены к оценке модели американские государственные структуры. OpenAI пообещала опубликовать дополнительные результаты испытаний и информацию о мерах безопасности после широкого запуска Astra.
