Kandinsky WM 1.0 от «Сбера» будет генерировать видео для обучения роботов

«Сбер» анонсировал новое семейство генеративных моделей Kandinsky WM 1.0, которые могут создавать короткие видео, соответствующие физическим законам. Эти видео предназначены для обучения систем Physical AI, что особенно актуально в ситуациях, когда реальные данные сложно получить. Основой моделей является нейросеть Kandinsky 5.0 Video Lite, дополнительно обученная на реальных записях с камер роботов и беспилотников. Об этом пишет портал РБК Тренды.

Модели способны генерировать видеоролики продолжительностью до пяти секунд, иллюстрируя различные действия, такие как перемещение предметов или проезд через перекресток. Эти видеоматериалы активно используются для обучения автономных систем и алгоритмов компьютерного зрения.

По словам Дениса Димитрова, CTO Kandinsky и управляющего директора по исследованию данных «Сбера», это важный шаг к созданию систем, которые могут понимать физическую реальность и предсказывать дальнейшие действия.

Ключевым преимуществом разработки является возможность синтезировать редкие или опасные сценарии, такие как ДТП или экстремальные погодные условия, которые сложно воспроизвести в реальности. Код и веса моделей Kandinsky WM 1.0 доступны в открытом доступе под лицензией MIT, что позволяет разработчикам по всему миру использовать их безвозмездно.

Модели уже применяются в Центре робототехники «Сбера» и в дорожном симуляторе института AIRI. Physical AI — это направление ИИ, ориентированное на понимание физического мира и управление реальными устройствами, требующее больших объемов видеоданных. Синтетические данные помогают закрыть дефицит обучающих выборок, так как один автомобиль может генерировать около пяти тысяч часов видео в год, в то время как для обучения современных моделей требуется миллионы часов.

Дообучение моделей на реальных видеосценах и использование обучения с подкреплением повысили физическую достоверность генерации, позволяя лучше сохранять геометрию объектов и естественность движения. Эта технология может значительно ускорить развитие беспилотного транспорта и робототехники, а также сократить затраты на разработку, заменяя часть реальных испытаний виртуальными.