Разработан метод выявления некорректных рассуждений в ИИ

Служба новостей Автор статьи
MaxДзенTelegram

Ученый из России создал новый подход, позволяющий обнаруживать структурно необоснованные логические цепочки в больших языковых моделях, даже если они представлены убедительно и бегло. Эта методика призвана повысить надежность работы искусственного интеллекта в таких областях, как медицина, где ошибки могут иметь серьезные последствия. Об этом пишет ТАСС.

По словам Бориса Галицкого, ведущего научного сотрудника Института искусственного интеллекта МФТИ, был предложен набор данных для анализа характеристик галлюцинаторных рассуждений на уровне дискурса. Исследование выявило структурные признаки, которые помогают отличать обоснованные объяснения от галлюцинаций. Эти признаки могут использоваться для обнаружения логических ошибок и верификации рассуждений.

Галицкий также отметил, что в результатах работы ИИ могут встречаться не только вымышленные факты, но и логические ошибки, что особенно опасно в сложных медицинских, юридических и научных вопросах, требующих тщательного отбора доказательств.

Исследователь предположил, что логические ошибки могут значительно отличаться от правильных выводов по структуре рассуждений. Это открытие может помочь выявлять ошибки до того, как ИИ начнет использовать их в анализе данных. Для проверки этой гипотезы был подготовлен набор из примерно тысячи жалоб вымышленных пациентов с аутоиммунными заболеваниями.

Каждая жалоба была проанализирована с помощью двух вариантов ИИ-рассуждений, одно из которых было корректным, а другое - галлюцинаторным. Эти тексты разбили на короткие смысловые части, которые затем анализировались с помощью специального алгоритма классификации. Результаты показали, что корректные и галлюцинаторные рассуждения можно различить в 81% случаев, основываясь только на структуре мыслей.

При учете содержания и других характеристик генерируемых текстов вероятность выявления логических галлюцинаций возросла до 84%. В будущем использование подобных алгоритмов для анализа рассуждений больших языковых моделей может значительно улучшить качество их работы в тех областях, где ошибки могут привести к серьезным последствиям.

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX

Читайте также:

Самарцы могут остаться без корпоратива: где еще остались места для новогодних гуляний

Куда сходить в Самаре, если всё надоело: готовый гид для нескучных выходных
MaxДзенTelegramВКонтактеОдноклассники

Панорамные окна по цене от производителя