Российские ученые избавили ИИ от ложных ответов
Специалисты Центра практического искусственного интеллекта Сбера и «Сколтеха» разработали инновационный метод для выявления галлюцинаций в больших языковых моделях, использующих поиск по внешним источникам (RAG). Об этом стало известно из сообщения Сбербанка. Об этом сообщает издание Togliatti24.
Работа под названием Hallucination Detection in LLMs with Topological Divergence on Attention Graphs была представлена на конференции Association for Computational Linguistics — ACL 2026.
Уточняется, что большие языковые модели становятся все более популярными в ИИ-ассистентах и автономных системах. Для повышения точности ответов современные технологии часто используют RAG, что позволяет моделям получать дополнительную информацию из корпоративных баз данных и документов. Однако такие системы могут генерировать правдоподобные, но неверные ответы.
Существуют специальные методы для обнаружения таких галлюцинаций, но многие из них требуют значительного объема размеченных данных или дополнительных вычислительных ресурсов.
Предложенное российскими учеными решение основывается на анализе топологической структуры карт внимания модели. Этот подход позволяет выявлять ответы, не подтвержденные контекстом, без необходимости в обучении дополнительных моделей и с использованием небольшого количества размеченных примеров.
Авторы протестировали метод на задачах ответов на вопросы и суммаризации текста. На нескольких бенчмарках он показал результаты, сопоставимые с современными методами, а в некоторых случаях даже превзошел их, требуя при этом меньше размеченных данных и вычислительных ресурсов.
В Сбере отметили, что еще одним преимуществом нового метода является отсутствие необходимости в обучении отдельного классификатора. По данным авторов, TOHA демонстрирует результаты, сопоставимые с более затратным методом SelfCheckGPT, который предполагает несколько генераций ответа.
«Борьба с ИИ-галлюцинациями выходит на новый уровень. Вместо масштабной разметки данных мы используем точечную настройку внимания модели. Технология уже интегрирована в открытую библиотеку SIRIN, что делает ее доступной для создания корпоративных ассистентов, работающих с базами знаний. Это новый стандарт доверия к ответам ИИ», — отметил директор по AI-трансформации Сбербанка Сергей Рябов.
