«Перспективно, хотя и звучит фантастично»: Ольга Драгой — о реконструкции речи и будущем нейротехнологий
Весной 2023 года в Высшей школе экономики стартовал пятый стратегический проект в рамках программы «Приоритет-2030» — «Устойчивый мозг: нейрокогнитивные технологии адаптации, обучения, развития и реабилитации человека в изменяющейся среде». Он объединяет ученых из всех кампусов университета. Какие технологии уже сегодня создают нейроисследователи, что их вдохновляет, как строятся междисциплинарные прикладные работы, «Вышка.Главное» узнала у одного из руководителей стратпроекта, директора Центра языка и мозга НИУ ВШЭ Ольги Драгой.
От фундаментальных исследований к помощи
Думаю, что все мы, кто в этом году стал частью большой команды стратегического проекта, подошли в исследованиях к той точке, когда интересно попробовать создать что-то прикладное, инструменты и разработки, которые могут помочь людям прямо сейчас. Наш центр уже начал их делать: летом мы запустили первое приложение Вышки в RuStore для диагностики речевых расстройств у детей (КОРАБЛиК — Клиническая оценка развития базовых лингвистических компетенций). Это результат пятилетнего фундаментального труда и потом еще нескольких лет попыток воплотить результат в удобное приложение.
В рамках стратегического проекта «Устойчивый мозг» Центр языка и мозга ведет два больших направления. Первое посвящено нейроинтерфейсам и цифровым инструментам для коррекции речевых расстройств. За 10 лет, которые центр работает в Вышке, мы многое поняли о том, как различные нарушения устроены у взрослых и детей. Теперь мы готовы предлагать инструменты для их коррекции. С технологической точки зрения это, конечно, вызов: приходится многое изучать заново, находить новых партнеров. В рамках второго направления мы работаем над созданием клинических протоколов для восстановления речи после инсульта посредством совмещения стимуляции мозга и научно обоснованных программ логопедической коррекции.
Нейроинтерфейсы на основе электроэнцефалографии (ЭЭГ)
В этом году мы начали сотрудничество с Лабораторией прикладных нейротехнологий Института Чен (Китай). Там группа профессора Гервина Шалка разработала упрощенную ЭЭГ-систему с четырьмя электродами. Для сравнения: обычно таких электродов в аналогичных системах 64 и более. Прибор размером с телефон крепится на голову и считывает электрическую активность мозга. На его основе мы разрабатываем нейрокомпьютерный интерфейс для терапии нарушений речи (афазии) на русском языке. Уже создана схема терапии, подобран и запрограммирован лингвистический материал для нее, сейчас мы совмещаем наши программные наработки с ЭЭГ-системой.
Эта разработка позволит врачам и пациентам заниматься коррекцией аномии. Аномия — самый частый симптом при любых видах афазий, при которой человек испытывает сложности с подбором слов в спонтанной речи и в номинации (назывании): может сказать вместо слова «чехол» — «коробка» или произнести не «чехол», а похожее слово «чучело».
Вместо громоздких и дорогостоящих установок, шапочек с десятками электродов, сложных алгоритмов мы предлагаем компактное и довольно простое в применении устройство.
Уже этой зимой мы проведем апробацию с участием здоровых людей, следующий год займет работа с пациентами, к концу 2024-го должен быть результат — готовый программно-аппаратный комплекс, который сможет использовать любой врач в своей практике.
«Перспективно, хотя и звучит фантастично»
При некоторых нейрогенных повреждениях человек не может произнести ни слова, но способен проговаривать слова и предложения про себя, то есть его внутренняя речь остается сохранной. Причины этого могут быть разные: нарушения проводящих путей, атрофия артикуляторного аппарата и другие.
Один из возможных способов помочь таким пациентам — электродные решетки. Во время операции их размещают на коре головного мозга, что позволяет регистрировать электрические сигналы мозга, которые затем с помощью языковых моделей переводят в звуки или в письменный текст.
Во всем мире сейчас идет работа по расширению словарей, обучающих модели машинного обучения не на отдельных словах, а на предложениях. Первыми свои результаты опубликовали ученые из Великобритании три года назад, они научились распознавать 50 отдельных слов. До чтения мыслей еще далеко, но это первый шаг. Лингвистические модели помогут расширению словаря и переходу от однословной реконструкции к предложениям. В этой области мы сотрудничаем с компьютерными лингвистами из Вышки, с командой Ольги Ляшевской, автора частотного словаря русского языка.
Звучит как фантастика, но эксперименты уже проводятся, и достигнут определенный прогресс. Пока основная проблема всех таких технологий — скорость. Нейропротезы, созданные на основе инвазивной ЭЭГ, очень медленные и сложные для рутинного использования в практике.
Я вижу огромную фундаментальную пользу в исследованиях в этой области. Мы говорим о технологии, для которой не нужно моторное усилие. Благодаря вживлению электродов в кору головного мозга с помощью специальных алгоритмов мы сможем реконструировать речь. Причем не только в звучащей форме, ее можно закодировать единицами и нулями и передать другому человеку, отправить куда угодно. Мне кажется, это перспективно, хотя и звучит фантастично. Но если получится, то мы сможем передавать внутреннюю речь без слов, создадим новый канал коммуникации.
Я не знаю, согласятся ли здоровые люди вживлять себе электроды. Необходимо, чтобы сначала этот канал коммуникации показал свою эффективность для пациентов, нуждающихся в ней. Горизонт моих ожиданий, связанный с этой технологией, — 10–20 лет.
Подготовка к фантастическим технологиям — картирование речи
А пока мы занимаемся подготовкой к этим фантастическим технологиям. Мы учимся точно и быстро опознавать электрическую активность головного мозга, связанную с различными аспектами речи.
Над этим мы работаем параллельно с командой Центра биоэлектрических интерфейсов Алексея Осадчего. Проводим исследования с пациентами, которым по медицинским показаниям вживлены в мозг решетки электродов. Пациенты выполняют различные речевые задания (называют рисунки, повторяют слова, слушают тесты), а мы картируем, где именно возникает электрический сигнал, связанный с этой языковой работой. Наша команда нейролингвистов разрабатывает речевые парадигмы (лингвистические задания), которые позволят эффективно картировать речь в разных участках мозга. Мы сопоставляем речевые карты по каждому заданию и понимаем, какой аспект речи реализуется в различных отделах мозга — лобной доле, или височной, или теменной.
Терапия как игра
Также вместе с лингвистами ВШЭ мы создали терапевтическое планшетное приложение-игру для преодоления аномии (тех самых частых проблем c подбором слов) у пациентов после инсульта. Пациент видит на планшете рисунки, задача — назвать их. В случае правильного ответа на экране стрела летит в цель; если ответ не совсем верен, стрела попадает рядом с целью; если пациент совсем ошибся — летит мимо.
Такая тренировка с обратной связью лежит в основе любой грамотной терапии. Но даже в самых продвинутых клинических учреждениях лечение длится три недели, а наше приложение можно скачать и заниматься сколько угодно. Пока это единственное в мире игровое приложение, нацеленное на преодоление речевых расстройств.
Помощь людям с инсультами через стимуляцию мозга
Часть нашей команды во главе с Ольгой Буйволовой работает над восстановлением речи с помощью неинвазивной стимуляции головного мозга — электрической (микрополяризация) либо транскраниальной магнитной стимуляции (ТМС). Особый интерес вызывают инсульты левого полушария, где преимущественно локализована речь, — именно его повреждения вызывают афазию.
При инсульте происходит дисбаланс активности между полушариями. Работа левого полушария подавляется, а правое по законам природы, наоборот, перевозбуждается. Еще лет 20 лет назад ученые выдвинули идею, что можно затормозить активность правого полушария и тем самым вернуть активность в работающие зоны левого полушария. Это очень привлекательная идея, и большинство ученых в нее верит. Но на деле помогает она 50% пациентов. Вопрос — почему? Мы выдвинули гипотезу, что успех или неудача зависит от количества сохраненного мозгового вещества в левом полушарии. При одном объеме поражения возврат этой активности может быть продуктивен и эффективен, а при другой нет.
Чтобы найти ответ на этот вопрос, мы исследуем эффективность восстановления левого полушария в зависимости от остаточного языкового субстрата. Метрикой этого остаточного языкового субстрата выступает объем дугообразного пучка, вокруг которого строится вся языковая система.
Дугообразный пучок соединяет речевые отделы во лбу с виском и с теменем. Есть горячая гипотеза, что индивидуальные речевые зоны находятся ровно там, куда приходит в кору этот пучок. То есть он не просто так туда приходит, а чтобы соединить одну речевую зону с другой и обеспечить работу всей речевой сети. А значит, структура отражает функцию.
Мы хорошо знаем анатомию пучка, поэтому, измерив с помощью трактографии его остаточный объем (в кубических миллиметрах), мы сможем обоснованно говорить, имеет ли смысл проводить этот вид терапии конкретному пациенту.
Сейчас мы проводим клиническое испытание с группами пациентов с разными объемами дугообразного пучка. В одной группе идет настоящая терапия со стимуляцией, во второй — терапия без стимуляции, в третьей пациенты получают только стимуляцию. Это позволит нам понять, что выступает главным фактором успешного восстановления речи — объем оставшегося языкового вещества в левом полушарии, наличие ТМС или наличие логопедической терапии. И как только мы это узнаем, можно будет превращать наши наработки в технологию — внедрять клинический протокол лечения афазии с четким указанием, кому она поможет, а кому нет.
Вам также может быть интересно:
Речевая (не)норма: в Вышке представили инструменты для оценки ментальных проблем
Зачастую люди с неврологическими и психическими расстройствами обладают определенными особенностями речи. В современной клинической практике могут быть востребованы цифровые инструменты, позволяющие проводить речевую терапию и реабилитацию при нарушениях речи. Кроме того, в перспективе цифровые инструменты способны помочь медикам оценивать тяжесть симптоматики таких расстройств.
«Можно что-то сделать? Или меня отчислят?»: ИИ-помощники в образовании
Искусственный интеллект может значительно облегчить жизнь студентов и преподавателей университетов. Например, он способен автоматизировать некоторые учебные процессы, а также составить прогноз возможностей трудоустройства выпускников.
Стратегии роста: как корпорациям добиться антихрупкости в период турбулентности
Школа финансов факультета экономических наук НИУ ВШЭ 7 ноября представила подготовленную группой ученых и практиков финансового управления коллективную монографию «Российские корпорации в новой реальности. Финансовые стратегии на пути к антихрупкости», вышедшую в издательском доме университета. В презентации и обсуждении результатов исследования приняли участие авторы книги и представители бизнес-сообщества.
Онлайн-юрист, чат-ассистент и аватар профессора: как ученые Вышки применяют ИИ-технологии
Молодые ученые Вышки представили собственные проекты на Объединенном научном семинаре стратегического проекта «ИИ-технологии для человека» (реализуется в рамках программы «Приоритет-2030»). Решения, предложенные исследователями на базе ИИ-алгоритмов, будут полезны для развития гостиничного бизнеса, выявления манипуляций с эмпирическими данными в научных статьях, автоматизации создания юридических документов, а также во многих других сферах деятельности.
Исследователи Центра языка и мозга НИУ ВШЭ представили новые цифровые инструменты для оценки когнитивных функций
В Центре языка и мозга НИУ ВШЭ — Санкт-Петербург, входящем в Институт психологии здоровья, прошел объединенный научный семинар стратегического проекта «Устойчивый мозг». Исследователи представили цифровые инструменты для оценки и коррекции речевых и когнитивных расстройств, в том числе с использованием технологий искусственного интеллекта.
Ученые Вышки представили разработки, связанные с применением ИИ в медицине
Искусственный интеллект не заменит врача, но может стать ему отличным помощником. При этом здравоохранение нуждается в высокотехнологичных продуктах, которые способны быстро анализировать и контролировать состояние пациентов. Ученые Вышки применили ИИ для предоперационного планирования и постоперационной оценки результатов в спинальной хирургии и разработали автоматическую интеллектуальную систему для оценки биомеханики рук и ног.
Популярные или результативные: какие программы ДПО выбирают взрослые
Как показывают исследования, люди, получившие дополнительное образование, зарабатывают на 5–20% больше, чем те, кто не проходил такого обучения. Ученые Института образования НИУ ВШЭ впервые проанализировали влияние на повышение зарплат слушателей различных образовательных организаций и предлагаемых ими программ.
В Вышке упростили разработку интеллектуальных сервисов
Ученые НИУ ВШЭ разработали MLOps-платформу, применение которой поможет внедрять эффективные и безопасные ИИ-решения во всех кампусах и подразделениях университета. В дальнейшем рассматривается возможность масштабирования инструмента на внешний рынок.
Заглянуть в будущее: как вышкинцы изучают меняющийся мир
Молодые ученые Вышки представили свои исследовательские проекты, ставшие победителями конкурса стратпроекта «Национальный центр научно-технологического и социально-экономического прогнозирования». Они будут строить прогнозы финансовых показателей российских компаний и развития вторичных санкций, просчитывать размер инвестиций в системы теплоснабжения, изучать причины готовности населения к благотворительности, учиться применять новые методы форсайта, а также изучать возможности использования методов научной фантастики.
Добросовестные люди живут дольше
Такие черты личности, как добросовестность, эмоциональная стабильность и стремление брать ответственность за свои успехи и неудачи, существенно влияют на образ жизни и ее продолжительность. При этом черты личности не только воздействуют на здоровье через полезные и вредные привычки, но и непосредственно сказываются на смертности.