Новая система ИИ переводит текстовые команды в движения роботов и аватаров

Специалистами из Университета Брауна разработана система искусственного интеллекта, преобразующая текст команд в двигательные действия для роботов и виртуальных сущностей. Новая ИИ-система, названная MotionGlot, даёт возможность пользователю задавать простые указания, например, "пройти вперёд несколько шагов, а затем повернуть направо", и получать соответствующие действия с высоким уровнем точности, чтобы управлять роботами и цифровыми моделями.
Ключевая особенность этой разработки заключается в умении адаптировать движения к различным типам телосложения, будь то человекоподобные роботы или четвероногие механизмы. Это даёт возможность создавать движения для широкого спектра роботов, вне зависимости от их формы и конкретных параметров.
Сударшан Харитас, один из авторов исследования, подчеркивает, что они рассматривают движение как своеобразный язык, который можно "переводить", аналогично переводу текста с одного языка на другой, например, с английского на китайский. Это открывает новые горизонты для различных областей применения, от взаимодействия с роботами до использования в виртуальной реальности.
Результаты исследования размещены на сервере arXiv и будут представлены на Международной конференции по робототехнике и автоматизации в этом месяце. Модель была обучена на двух базах данных, содержащих детальные описания движений людей и роботов.
MotionGlot не только точно воспроизводит движения, основываясь на текстовых инструкциях, но и способен адаптировать их для различных фигур. К примеру, команда "показать движение во время кардио-тренировки" активирует модель для генерации изображения бегущего человека. Это создаёт огромные возможности для создания приложений в робототехнике, индустрии видеоигр и анимации, сообщает ferra.