В поисках способов сделать доступной речь для людей с тяжелыми заболеваниями, ученые успешно воссоздали речь здоровых людей, непосредственно подключившись к их мозгу, передает ресурс TechCrunch. Технология очень далека от практического применения, но результаты очень многообещающие.
Эдвард Чанг, нейрохирург в Калифорнийском университете в Сан-Франциско и соавтор статьи, опубликованной недавно в журнале Nature, объяснил суть работы группы ученных в пресс-релизе: «Впервые это исследование демонстрирует, что мы можем генерировать целые устные предложения на основе знаний алгоритмов активности мозга человека. Это волнующее доказательство принципа, что с доступными технологиями мы сможем создать устройство, которое будет клинически жизнеспособным у пациентов с потерей речи».
Чтобы быть понятным, это не какая-то волшебная машина, в которой можно сидеть, и она будет переводит мысли в речь. Это сложный инвазивный процесс (проникновение в головной мозг), который расшифровывает не столько то, что думает человек, но и то, что он на самом деле говорит.
Под руководством речевого ученого Гопала Ануманчипалли в эксперименте участвовали люди, у которых уже были имплантированы в мозг большие электродные матрицы для другой медицинской процедуры. Исследователи попросили этих людей зачитать несколько сотен предложений вслух, внимательно записав сигналы, обнаруженные электродами.
«Понимаете, бывает, что исследователи знают определенную модель мозговой активности, которая возникает после того, как вы обдумываете и подбираете слова (в корковых областях, таких как Вернике и Брока), и до того, как окончательные сигналы от моторной коры поступают на мышцы языка и рта». Между ними, по мнению Ануманчипалли и его соавтора, аспиранта Джоша Шартье, есть своего рода промежуточный сигнал, который может помочь в восстановлении речи.
Анализ звука напрямую позволил команде ученых определить, какие мышцы и движения будут задействованы, и на базе этого они создали своего рода виртуальную модель голосовой системы человека.
Затем исследователи сопоставили активность мозга, обнаруженную во время сеанса, с этой виртуальной моделью, используя систему машинного обучения: по существу, позволяя записи мозга контролировать запись рта. Важно понимать, что речь идет не об абстрактных мыслях в словах – это понимание конкретных инструкций мозга для мышц лица и определение тех слов, которые эти движения будут формировать. Это чтение мозга, но это не чтение мыслей.
Получающаяся в результате синтетическая речь, хотя и не совсем кристально чистая, безусловно, понятна. И правильно настроенный аппарат мог бы выдавать 150 слов в минуту от человека, который в противном случае был бы неспособен к речи.
«У нас все еще есть способы перейти на идеальный разговорный язык», – сказал Шартье. «Тем не менее, уровни точности, которые мы здесь произвели, были бы удивительным улучшением в коммуникации в реальном времени по сравнению с тем, что доступно в настоящее время».
Для сравнения, человек, страдающий таким расстройством, например, как дегенеративное мышечное заболевание, часто должен говорить, произнося слова по одной букве за раз своим взглядом. Представьте себе 5-10 слов в минуту, другие методы для большего числа людей с ограниченными возможностями идут еще медленнее. Это чудо в том смысле, что они вообще могут общаться, но этот трудоемкий и менее естественный метод далек от скорости и выразительности реальной речи.
Если бы человек мог использовать этот метод, он был бы намного ближе к обычной речи.
Проблема этого метода в том, что он требует большого количества тщательно собранных данных о том, что составляет здоровую речевую систему каждого человека, от мозга до кончика языка. Для многих людей уже невозможно собрать эти данные, а для других – инвазивный метод сбора врачи не могут порекомендовать в силу различных причин.
Хорошей новостью является то, что это начало, и есть много вариантов, для которых он теоретически сработает. И сбор данных для записи мозга и речи может быть сделан упреждающим образом в тех случаях, когда риск инсульта или дегенерации довольно высок.Услышать синтетическую речь, полученную с помощью результатов исследования можно в YouTube.
