Имплантат мозга восстановил речь и жесты пациентов с параличом
Американские исследователи создали систему, способную не только воспроизводить речь людей, страдающих от паралича, но и интерпретировать их жесты. Данные, полученные от единого мозгового имплантата, установленного над сенсомоторной корой, передаются на компьютер, который отображает анимированного аватара пациента. Результаты работы были опубликованы в журнале Nature Neuroscience. Об этом пишет сайт Togliatti24.
Обширный инсульт может привести к полной утрате возможности общения — человек не может ни говорить, ни двигаться. Врачи разрабатывают устройства, которые считывают нейронную активность и преобразуют ее в слова. Ранее был представлен мозговой имплантат, установленный парализованному мужчине, который считывал активность в моторных областях мозга, отвечающих за речь, и преобразовывал ее в короткие фразы.
Теперь команда под руководством Эдварда Чанга из Калифорнийского университета в Сан-Франциско расширила функционал имплантата, добавив возможность передачи не только речи, но и жестов. Имплантат установлен над сенсомоторной корой, что позволяет улавливать сигналы, связанные с различными движениями, включая движения рук и лица, необходимые для речи, такие как пожимание плечами или кивки головой.
Для двух участников эксперимента ученые создали цифрового анимированного аватара в полный рост. Пациентов просили выполнять определенные жесты и отвечать на реплики в ходе диалога, иногда одновременно. Во время экспериментальной сессии мозговая активность передавалась в модели речи и жестов на компьютере, которые обучались с использованием сверточной рекуррентной нейронной сети.
Прогнозируемая речь отображалась в нижней части экрана в текстовом формате, а жесты воспроизводились аватаром. Обе модели — речевая и жестовая — могут распознавать состояние покоя (отсутствие попыток произнести речь или выполнить жест), что позволяет системе функционировать как во время речи, так и при изолированных жестах, либо одновременно.
Ученые также повысили точность распознавания: для одного участника она составила восемьдесят пять процентов для жестов и семьдесят пять процентов для речи, в то время как для второго участника достигла ста процентов как для речи, так и для жестов (в предыдущей работе точность распознавания была семьдесят четыре целых четыре десятых процента). Однако для внедрения технологии в клиническую практику необходимо провести более масштабные испытания. Кроме того, исследователи планируют расширить диапазон распознаваемых слов и жестов.
Медики стремятся помочь парализованным людям не только говорить, но и ходить. Также упоминался нейроинтерфейс, который соединяет спинной и головной мозг, позволивший пациенту с повреждением спинного мозга улучшить ходьбу.
