В поисковой системе «Яндекса» запустили новую ИИ-модель
Компания «Яндекс» представила свою новую суверенную языковую модель под названием Alice AI Search Pretrain. Эта компактная разработка была обучена с нуля и успешно прошла первый этап обучения, обладая обширными знаниями о мире. Об этом сообщает портал Togliatti24.
Благодаря своей архитектуре модель способна мгновенно предоставлять ёмкие ответы и обрабатывать большое количество запросов.
Alice AI Search Pretrain основана на гибридной архитектуре, ранее использовавшейся в научных исследованиях, которая сочетает Encoder-Decoder и MoE. Одна часть модели отвечает за изучение и отбор информации, в то время как другая генерирует ответ. MoE активирует только те участки нейросети, которые наиболее компетентны в конкретной теме. Это позволяет ускорить работу и сэкономить вычислительные мощности: при тридцати пяти миллиардах параметров на обработку одного токена требуется около шестисот миллионов — менее двух процентов.
С июля дообученная версия этой модели функционирует в поисковой системе компании. Разработчики собрали пользовательские сигналы и обучили модель на реальных примерах взаимодействия пользователей с поиском. Ответы отображаются прямо под поисковой строкой и помогают быстро разобраться в теме; каждый месяц быстрыми ответами пользуются более сорока девяти миллионов человек.
Согласно данным слепого тестирования, Alice AI Search Pretrain показывает лучшие результаты по сравнению с зарубежными моделями в своей категории. Она также сопоставима по качеству с аналогами, которым требуется значительно больше вычислительных ресурсов.
