Ученые AIRI создали тест на способность роботов выполнять неоднозначные команды

Российскими исследователями разработана крупнейшая в мире открытая база данных, предназначенная для того, чтобы оценить способность роботов понимать человеческие просьбы, корректно их выполнять и интерпретировать неоднозначные инструкции. Об этом заявила пресс-служба Института ИИ AIRI.

"В рамках работы был создан текстовый датасет, в который были включены 2000 задач, классифицированных по типам неопределённости для кухонных действий. Полученные результаты демонстрируют, что современные алгоритмы пока слабо распознают ситуации, требующие прояснения: даже наиболее продвинутые модели достигают успеха лишь в 20% случаев", свидетельствуют учёные.

Созданием нового теста для роботов занималась группа экспертов Института AIRI и МФТИ при участии Центра робототехники "Сбер". Тест это набор типичных бытовых сценариев, которые робот может выполнять, интерпретируя неполные или допускающие двойное толкование указания человека при выполнении кухонных задач.

Как поясняют разработчики, даже простые просьбы, к примеру, подать напиток, содержат множество неопределённостей и скрытых предпочтений, которые сложно понять искусственному интеллекту. Роботы могут пытаться разрешить эти проблемы, задавая уточняющие вопросы, но их обилие может вызывать раздражение у пользователя, поэтому необходимы альтернативные способы получения информации.

Для того, чтобы оценить возможность роботов действовать в подобных ситуациях, российские учёные разработали 2000 сценариев с детальным описанием задачи, кухонной обстановки, предполагаемых уточняющих вопросов и планов действия. Часть задач была сформулирована чётко и недвусмысленно, в то время как другие были двусмысленными и разделены на три категории: личные предпочтения, здравый смысл и соображения безопасности.

По мнению исследователей, подобная классификация позволит разработчикам роботов и ИИ-систем более гибко настраивать алгоритмы и создавать роботов, лучше адаптирующихся к потребностям людей и более удобных в использовании. Руководитель группы "Воплощенные агенты" лаборатории "Когнитивные системы ИИ" Института AIRI Алексей Ковалев подчеркнул, что данный набор тестов также окажет помощь в разработке систем, планирующих поведение роботов и определяющих моменты возникновения неоднозначности в плане действий, сообщает ТАСС.

Обратите внимание: В школах отменяют важный предмет с 1 сентября: ученики пляшут от счастья, учителя в ярости