Нейроимплант для перевода мыслей в речь ускорили до режима реального времени — видео
Имплант для чтения мыслей, преобразующий нейронные сигналы в устную речь, позволил женщине с афазией почти мгновенно озвучить то, что она намеревается сказать. Испытания улучшенного нейрочипа описаны в Nature Neuroscience.
Исследователи усовершенствовали интерфейс мозг-компьютер (BCI) с помощью алгоритмов искусственного интеллекта, которые декодируют нейросигналы мысленно произнесенных слов и вокализуют их синтетическим голосом. В отличие от аналогичных устройств предыдущего поколения, которые воспроизводят звук лишь после того, как пользователь заканчивает целое предложение, новинка работает в режиме реального времени с задержкой, не превышающей трех секунд.
Старые BCI, генерирующие речь, похожи на «переписку в WhatsApp», объясняет специалист по вычислительной нейронауке Кристиан Херфф из Маастрихтского университета: «Я пишу предложение, вы пишете предложение, и вам нужно время, чтобы написать следующее... Это просто не похоже на естественный разговор».
BCI, которые транслируют речь в реальном времени, — это «следующий уровень» развития, потому что они позволяют передавать интонацию и акценты, характерные для естественной речи, добавляет он.
Участница исследования Энн потеряла способность говорить после инсульта ствола мозга в 2005 году. Спустя 18 лет ей провели операцию, в ходе которой на поверхность коры поместили тонкий прямоугольник с 253 электродами. Имплант может одновременно записывать активность тысяч нейронов.
Исследователи персонализировали синтетический голос, чтобы он звучал как голос пациентки до болезни, обучив алгоритмы ИИ на записях из ее свадебного видео.
В ходе последнего испытания Энн беззвучно артикулировала 100 предложений из набора в 1024 слова и 50 фраз, появлявшихся на экране. Интерфейс «мозг-голос» фиксировал нейронные сигналы каждые 80 миллисекунд, начиная за 500 миллисекунд до того, как Энн начинала беззвучно произносить предложения. Устройство генерировало от 47 до 90 слов в минуту (естественная речь составляет около 160 слов в минуту).
Эти результаты гораздо лучше по сравнению с предыдущей версией технологии, которую Энн тестировала в более раннем исследовании, а также с ее нынешним устройством для общения, которому требуется более 20 секунд для воспроизведения одного предложения.
BCI неплох в переводе коротких предложений, хотя по сравнению с естественным разговором задержка остается все еще «довольно большой», признает Херфф. По его словам, исследования показывают, что «когда задержка превышает 50 миллисекунд, это начинает серьезно сбивать с толку».
Это только начало, констатирует нейрохирург Эдвард Чанг из Калифорнийского университета в Сан-Франциско. «Но можно представить, что с большим количеством датчиков, большей точностью и улучшенной обработкой сигналов показатели будут только улучшаться», — резюмирует он.
