ИИ больше не врет: новая технология от российских исследователей спасёт базы данных от провалов

Специалисты из AIRI разработали два подхода, увеличивающих аккуратность работы ИИ при генерации SQL-запросов и дающих возможность моделям более точно оценивать степень уверенности в выдаваемых результатах. Это особенно значимо для узкопрофильных баз данных, где даже небольшие неточности могут иметь серьезные последствия.

После обучения моделей (DAIL-SQL, T5, LLaMA3) исследователи столкнулись с примерно 30% неправильных ответов. Однако, благодаря новому внешнему классификатору и методике оценки калибровки, удаётся исключить до 90% ошибочных запросов.

Часто модели демонстрируют высокую самоуверенность, давая неверные ответы, и в то же время сомневаются при отсутствии подходящего решения. Внешний классификатор позволяет обнаружить подобные ситуации и повысить общую надёжность системы, подчеркнула руководитель группы, Елена Тутубалина.

Обратите внимание: Такого июля на нашей памяти еще не было - метеоролог Вильфанд предупредил о крайне аномальной погоде