PrismML представила ИИ-модель с двумя миллиардами параметров для очков на чипах Qualcomm

Компания PrismML, основанная исследователями Калифорнийского технологического института при поддержке профессора Калифорнийского университета в Беркли Иона Стоицы, разработала компактную языковую модель для умных очков на базе чипов Qualcomm. Об этом сообщает TechCrunch. Модель предназначена для работы непосредственно на устройстве. Об этом сообщает издание Ferra.

Демонстрация технологии состоялась в среду на конференции Snapdragon Summit, организованной Qualcomm. Производитель чипов представил 1-битную модель Bonsai LLM, которая может функционировать на умных очках с платформой Snapdragon AR1 Gen 1 для устройств дополненной реальности. Для выполнения задач модели не требуется облачное подключение.

Версия PrismML для очков включает два миллиарда параметров и оптимизирована для обработки как изображений, так и текста. Это позволяет пользователю в реальном времени задавать вопросы о предметах, которые он видит. Модель должна распознавать визуальную информацию и отвечать на связанные с ней вопросы.

Ключевая технология PrismML заключается в значительном уменьшении крупных моделей при сохранении почти всех их результатов в стандартных тестах. В данном случае размер модели удалось сократить в четыре раза. Такой подход позволяет использовать искусственный интеллект на устройствах с ограниченными вычислительными ресурсами.

Компания продвигает концепцию открытых моделей с доступными весами, которые работают непосредственно на пользовательской технике и эффективнее используют уже имеющиеся вычислительные мощности. PrismML рассматривает её как альтернативу зависимости от закрытых разработчиков искусственного интеллекта, чьи системы требуют всё больше вычислительных ресурсов и основываются на собственных заявлениях о конфиденциальности.

Поддержка чипов Qualcomm стала для PrismML очередным шагом в реализации этой концепции. При этом умные очки с установленной моделью PrismML пока официально не представлены.