Нейросеть Иннополиса предсказывает взгляд врача при анализе рентгена

Учёные Университета Иннополис разработали нейросеть, которая способна предсказывать, на какие участки рентгеновского снимка смотрит врач и сколько времени он на них задерживает взгляд. Разработка основана на медицинских данных и диагностических задачах, включая выявление пневмонии.

По данным разработчиков, точность выявления заболеваний с использованием модели выше на 5% по сравнению с существующими аналогами.

Как работает новая система

В отличие от стандартных диагностических алгоритмов, новая модель не ограничивается анализом пикселей изображения. Она объединяет визуальные данные, текстовые метки и медицинские описания, формируя более полное представление о снимке.

Обычные нейросети могут ошибочно фокусироваться на артефактах — например, засветках или тенях от украшений. Новая система старается учитывать медицинский смысл изображений.

Предсказание взгляда врача

Модель воспроизводит последовательность фиксаций взгляда врача: какие области рентгена он изучает и в каком порядке. Это помогает лучше понять, как принимается диагностическое решение.

Входными данными служат визуальные признаки снимка, текстовые обозначения («норма», «пневмония») и семантические описания анатомических структур.

Обучение и медицинская интерпретация

Система не просто выделяет светлые или тёмные области, а интерпретирует их как конкретные органы и патологии.

По словам одного из авторов работы, специалиста Лаборатории искусственного интеллекта в медицине Университета Иннополис Дмитрия Львова, модель объединяет зрение, язык и медицинские знания для более точного анализа.

Благодаря этому удалось извлекать понятные человеку описания, такие как «кость», «сердце» или «затемнение».

Практическое применение

Главная ценность разработки заключается не только в диагностике, но и в обучении врачей. Систему можно использовать в симуляторах, чтобы формировать правильные паттерны визуального анализа медицинских снимков.

Больше новостей и эксклюзивных видео смотрите в канале Самара Онлайн 24 в MAX.