Исследователи восстанавливают произнесенные слова как обработанные в нечеловеческих мозгах приматов

By Александр Бойко No comments

Исследователи восстанавливают произнесенные слова как обработанные в нечеловеческих мозгах приматов
                Используя интерфейс мозг-компьютер, команда исследователей воссоздала английские слова из мозговой активности макак-резусов, которые слушали, как произносились слова. Изображение показывает спектральный анализ звука слов, которые услышал примат, а также соответствующие нейронные шипы, связанные с каждым словом. Кредит: Нурмикко Лаб

Команда исследователей из Университета Брауна использовала интерфейс мозг-компьютер для восстановления английских слов по нейронным сигналам, записанным в мозге нечеловеческих приматов. Исследования, опубликованные в журнале Nature Communications Biology, могут стать шагом к разработке мозговых имплантатов, которые могут помочь людям с потерей слуха, считают исследователи.
                                                                                       

«То, что мы сделали, — это записали сложные паттерны нервного возбуждения во вторичной слуховой коре, связанные со слухом приматов», — сказал Арто Нурмикко, профессор Технической школы Брауна, научный сотрудник Брауни Карни. Институт мозговых наук и старший автор исследования. «Затем мы используем эти нейронные данные, чтобы восстановить звучание этих слов с высокой точностью.

«Главная цель — лучше понять, как обрабатывается звук в мозгу приматов, — добавил Нурмикко, — что в конечном итоге может привести к новым типам нейронного протезирования».

Мозговые системы, вовлеченные в первоначальную обработку звука, похожи у людей и нечеловеческих приматов. Первый уровень обработки, который происходит в так называемой первичной слуховой коре, сортирует звуки по таким атрибутам, как высота или тон. Затем сигнал перемещается во вторичную слуховую кору, где обрабатывается дальше. Например, когда кто-то слушает произнесенные слова, именно здесь звуки классифицируются по фонемам — самым простым признакам, которые позволяют нам отличать одно слово от другого. После этого информация отправляется в другие части мозга для обработки, которая обеспечивает понимание речи человеком.

Но поскольку эта обработка звука на ранней стадии похожа у людей и приматов, не являющихся людьми, полезно узнать, как приматы обрабатывают слова, которые они слышат, полезно, даже если они, вероятно, не понимают, что означают эти слова.

Для исследования два имплантата размером с горошину с 96-канальными микроэлектродными массивами регистрировали активность нейронов, в то время как макаки-резус слушали записи отдельных английских слов и вызовов макака. В этом случае макаки слышали довольно простые одно- или двухсложные слова: «дерево», «хорошо», «север», «крикет» и «программа».

Исследователи обрабатывали нейронные записи с использованием компьютерных алгоритмов, специально разработанных для распознавания нейронных паттернов, связанных с конкретными словами. Оттуда нейронные данные могут быть переведены обратно в компьютерную речь. Наконец, команда использовала несколько метрик для оценки того, насколько близко восстановленная речь соответствовала исходному произнесенному слову, которое слышала макака. Исследование показало, что записанные нейронные данные позволили получить высококачественные реконструкции, понятные для слушателя.


            Используя интерфейс мозг-компьютер, команда исследователей воссоздала английские слова из мозговой активности макак-резусов, которые слушали, как произносились слова. Кредит: Лаборатория Нурмикко/Университет Брауна

Использование многоэлектродных матриц для записи такой сложной слуховой информации было первым, говорят исследователи.

«Раньше в работе собирались данные из вторичной слуховой коры с одиночными электродами, но, насколько нам известно, это первая многоэлектродная запись из этой части мозга», — сказал Нурмикко. «По сути, у нас есть около 200 постов для прослушивания под микроскопом, которые могут дать нам богатство и более высокое разрешение данных, которые необходимы».

Одной из целей исследования, для которого докторант Джихун Ли руководил экспериментами, было проверить, работает ли какой-либо конкретный алгоритм модели декодирования лучше, чем другие. Исследование, проведенное в сотрудничестве с Уилсоном Трукколо, экспертом по вычислительной нейробиологии, показало, что рекуррентные нейронные сети (RNN) — тип алгоритма машинного обучения, часто используемого в компьютеризированном языковом переводе, — приводят к реконструкциям с высокой точностью воспроизведения. RNN значительно превосходили более традиционные алгоритмы, которые, как было показано, эффективны при декодировании нейронных данных из других частей мозга.

Кристофер Хилан, научный сотрудник компании Brown и соавтор исследования, считает, что успех RNN обусловлен их гибкостью, которая важна при декодировании сложной слуховой информации.

«Более традиционные алгоритмы, используемые для нейронного декодирования, делают серьезные предположения о том, как мозг кодирует информацию, и это ограничивает способность этих алгоритмов моделировать нейронные данные», — сказал Хилан, который разработал вычислительный инструментарий для исследования. «Нейронные сети делают более слабые предположения и имеют больше параметров, позволяющих им выучить сложные отношения между нейронными данными и экспериментальной задачей».

В конечном счете, ученые надеются, что такого рода исследования могут помочь в разработке нейронных имплантатов, которые могут помочь в восстановлении слуха людей.

«Вдохновенный сценарий состоит в том, что мы разрабатываем системы, которые обходят большую часть слухового аппарата и попадают прямо в мозг», — сказал Нурмикко. «Те же самые микроэлектроды, которые мы использовали для записи нейронной активности в этом исследовании, могут однажды быть использованы для подачи небольших количеств электрического тока в схемах, которые дают людям ощущение того, что они слышат определенные звуки».

Добавить комментарий