Нейросети научили "осознавать" течение времени при генерации видео

Ученые из России создали легковесную надстройку для генеративных нейросетей, которая контролирует динамику событий и частоту кадров в видео, позволяя ИИ "осознавать" течение времени при создании видеороликов. Это также откроет возможности для использования генеративных ИИ в создании физически правдоподобных синтетических данных для обучения физического ИИ. Об этом рассказывает ТАСС.

Ранее скорость событий в кадре определялась только словами в запросе, и влияние на реальную динамику в создаваемом видео было затруднительным. С помощью новой надстройки модель понимает, как процессы развиваются во времени, и может естественно задавать нужный ритм в любой сцене, а не использовать готовые шаблоны. Это является ключевым условием для обучения физического ИИ и будущих моделей мира, отметил управляющий директор по исследованию данных Сбера Денис Димитров.

Существующие системы ИИ при генерации видео не всегда корректно передают скорость событий, что может приводить к неестественному растягиванию быстрых действий или замедлению медленных. Это связано с архитектурными особенностями моделей и тем, что при обучении акцент делается на эстетике отдельных кадров, а не на физической достоверности.

Для решения этой проблемы российские математики разработали компактный модуль, который подключается к готовой нейросети и состоит из двух независимых блоков: один управляет частотой кадров, а другой - динамикой событий в сцене. Для обучения модуля был подготовлен набор из 40 тысяч видеороликов с различной частотой и динамикой, включая динамичные сцены с людьми и медленные природные процессы.

Система функционирует в двух режимах: в первом надстройка подключается к уже обученной модели, улучшая плавность движений на создаваемых видео, не изменяя их общего характера. Во втором режиме разработка дообучается вместе с генеративной нейросетью, что позволяет изменять как плавность движения, так и физику сцены.

Эффективность надстройки была проверена на моделях Kandinsky 5.0 Video Lite и Wan2.2. Исследования показали, что разработка повысила естественность движений на 29%, улучшила визуальное качество на 8% и увеличила соответствие видео текстовому запросу на 19%. Исходный код проекта доступен на популярных платформах для работы с ИИ, что позволит разработчикам и исследователям использовать это решение для своих задач.