Бесплатный автореферат и диссертация по биологии на тему

Выделение и локализация источников электрической активности мозга, наиболее значимых для управления интерфейсом мозг-компьютер, основанным на воображении движений

ВАК РФ 03.03.01, Физиология

Автореферат диссертации по теме "Выделение и локализация источников электрической активности мозга, наиболее значимых для управления интерфейсом мозг-компьютер, основанным на воображении движений"

На правах рукописи

Бобров Павел Дмитриевич

Выделение и локализация источников электрической активности мозга, наиболее значимых для управления интерфейсом мозг-компьютер, основанным на воображении движений

03.03.01 Физиология

Автореферат диссертации на соискание ученой степени кандидата биологических наук

1 8 АПР ¿013

Москва, 2013

005051958

Работа выполнена в лаборатории математической нейробиологии обучения Федерального государственного бюджетного учреждения науки Института высшей нервной деятельности и нейрофизиологии РАН

Научный руководитель: доктор биологических наук, профессор

Александр Алексеевич Фролов

Официальные оппоненты: доктор биологическких наук

Георгий Алексеевич Иваницкий, кандидат биологических наук Андрей Васильевич Курганский

Ведущее учреждение: биологический факультет Московского

государственного университета имени М.В. Ломоносова

Защита состоится "26" апреля 2013 г. В 14 часов на заседании диссертационного совета Д 002.044.01 по защите докторских диссертаций при федеральном государственном бюджетном учреждении науки институте высшей нервной деятельности и нейрофизиологии РАН по адресу: г. Москва, ул. Бутлерова, 5 а.

С диссертацией можно ознакомиться в библиотеке ИВНД и НФ РАН

по адресу: г. Москва, ул. Бутлерова, 5а.

Автореферат разослан " )¿Z " «CtQfi/UtX 2013 г.

Ученый секретарь Диссертационного совета ,

доктор биол.н. В.Н.Иерусалимский \jJLAKfVy-

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. За последние десять лет значительное развитие получила технология сопряжения мозга человека или животного с внешним устройством, основы которой были заложены во второй половине XX века. Сопряжение устанавливается при помощи системы, которая назвается «интерфейс мозг-компьютер» или «ИМК» (brain-computer interface, BCI). Такая система использует регистрируемую активность мозга для формирования и подачи команд управляемому внешнему устройству. При этом устройство контролируется, минуя мышечную активность, и его функционирование служит обратной связью для оператора ИМК.Такие системы потенциально пригодны для парализованных людей в качестве канала связи со своим окружением, для управления протезами, инвалидными колясками, а также для использования в рамках реабилитационных процедур.

Одним из способов реализации ИМК для человека является связь некоторого набора ментальных задач с определенными командами для управляемого устройства. При контроле устройства оператор ИМК начинает выполнять одну из указанных задач. Если выполняемая задача правильно распознается системой на основе анализа активности его мозга, соответствующая ей команда подается устройству. В большинстве случаев в качестве задач выбираются представления различных движений. Интерфейс такого типа был создан и в лаборатории математической нейробиологии обучения Института Высшей Нервной Деятельности и Нейрофизиологии РАН. В его основе лежит преобразование в команды устройству электрических сигналов, регистрируемых при помощи электроэнцефалографа, которые отражают специфическую активность мозга при воображении различных движений. Для классификации паттернов ЭЭГ, соответствующих различным ментальным задачам в ИМК JIMHO используется Байесовский подход, позволяющий оценить вероятность того, что в данный момент выполняется определенная ментальная задача на основе ковариационной матрицы сигнала ЭЭГ.

Важной причиной роста интереса к интерфейсам, основанным на представлении движений, является возможность использовать их для реабилитаци людей с двигательными нарушениями после инсульта. Этот интерес отражается ростом числа тематических публикаций и увеличением колическтва групп, исследующих ИМК в клинике. Поскольку было установлено, что при воображении движений активируются области мозга, которые участвуют в планировании и выполнении реального движения, ожидается, что реабилитация, подкрепленная обратной связью, позволяющей человеку понять, насколько хорошо он сконцентрировался на представлении движения, может увеличить эффективность реабилитационных процедур для

пациентов, у которых имеется полный паралич конечности. Для таких людей нельзя интенсифицировать использование парализованной конечности, а значит, во многих случаях, запустить реабилитационный процесс. При этом, использование ИМК в реабилитационных целях должно подкрепляться оценкой возможности людей обучаться управлению ИМК, а также исследованием механизмов воображения движения в норме.

Цель исследования. Изучить изменения в активности мозга, специфичные для воображения разнличных движений при управлении интерфейсом мозг-компьютер и локализовать источники, активность которых отражает данные изменения.

Задачи исследования.

1. Оценить эффективность классификатора, используемого в ИМК ЛМНО, на достаточно широкой группе испытуемых.

2. Выяснить, как на функционирование ИМК ЛМНО влияют артефакты ЭЭГ, связанные с движениями глаз и морганиями.

3. Выделить источники электрической активности мозга, значимые для управления ИМК ЛМНО

4. Локализовать значимые для управления источники путем решения обратной задачи ЭЭГ с учетом индивидуальной геометрии головы каждого испытуемого. Сопоставить результаты локализации с данными фМРТ-исследования.

Научная новизна исследования. Для выделения источников электрической активности мозга, значимых для управления ИМК, основанного на представлении движений, предложен метод, использующий анализ независимых компонент совместно с оценкой качества классификации. Показано, что выделенные источники обеспечивают произвольное управление движением объекта при помощи ИМК, несмотря на то, что человек обучался работе с ИМК по обратной связи, основанной на совокупной активности мозга при представлении различных движений. При помощи решения обратной задачи ЭЭГ, учитывающего индивидуальную геометрию головы каждого испытуемого, были получены новые данные о локализации источников электрической активности мозга, значимых для управления ИМК.

Научная и методологическая значимость работы. Обучение людей выполнению воображения движений с биологической обратной связью, обеспечиваемой интерфейсом мозг-компьютер, позволяет им

стабилизировать паттерны электроэнцефалограммы, соответствующие выполнению указанных ментальных задач. Объединение обучения управлению ИМК с предложенной в работе процедурой выделения и локализации источников, обеспечивающих контроль интерфейса, дает эффективный инструмент для физиологических исследований. Его применение в данной работе позволило выделить паттерны электроэцефалограммы, соответсвующие представлению различных движений и произвести пространствнную локализацию их источников у здоровых испытуемых.

Предложенная методика анализа ЭЭГ может применяться в клинических исследованиях ИМК как технологии для реабилитации пост-инсультных больных. Сравнение временных и пространственных характеристик паттернов ЭЭГ, соответствующих воображению движений у этих больных и здоровых испытуемых, может дать дополнительные сведения о том, какие области мозга вовлечены в процесс восстановления после инсульта. Следует отметить, что экспериментальная методика, включающая обучение управлению ИМК и выделение значимых источников, может быть применена к исследованию выполнения человеком ментальных задач, отличных от воображения движений.

Основные положения, выносимые на защиту:

1. Наиболее значимые для работы классификатора источники электрической активности мозга, связанной с представлением движений при управлении ИМК JIMHO, можно выделить при помощи метода независимых компонент и перекрестной проверки. Данные источники отражают реакции десинхронизации и синхронизации мю-ритма в представительстве конечности, движение которой воображается.

2. Источники электрической активности мозга, наиболее значимые для управления ИМК JIMHO, были локализованы в глубине центральной борозды (поле ЗА по Бродману) в первичной соматосенсорной коре.

3. Представление движения во время управления ИМК J1MHO обеспечивается обширной нейронной сетью, включающей области первичной моторной и соматосенсорной коры, мозжечек, дополнительную моторную кору, правое вентролатерального ядро таламуса, островоки в левом и правом полушариях, цингулярную кору, хвостатое ядро и верхний височный полюс.

Апробация работы и публикации. Основные положения диссертации обсуждены на четырех научных конференциях: 10-th European Conference on Non-destructive Testing, the Third International Conference on Intelligent Human Computer Interaction (IHCI 2011), Advances in Neural Networks - ISNN 2012 и VII Всероссийской с международным участием школе-конференции по

физиологии мышц и мышечной деятельности: новые подходы к изучению классических проблем.

По материалам диссертации опубликовано 9 печатных работ, из них 5 статей в журналах, рекомендованных ВАК.

Доклад и обсуждение материалов диссертационной работы состоялось 28 декабря 2012 г. на совместном заседании трех подразделений ИВНД и НФ РАН: лаборатории математической нейробиологии обучения, лаборатории высшей нервной деятельности человека и лаборатории нейробиологии сна и бодрствования.

Объем и структура диссертации. Диссертация изложена на 115 страницах машинописного текста, содержит 4 таблицы и 32 рисунка. Состоит из введения, описания технических и физиологических предпосылок создания интерфейсов мозг-компьютер и методов исследования активности мозга, связанной с управлением ИМК, главы с описанием методики проведения экспериментов и обработки их результатов, главы с результатами собственного исследования, обсуждения полученных результатов, а также выводов.

Список литературы содержит 11 отечественных и 147 иностранных источников. Весь материал диссертации получен, обработан и проанализирован лично автором.

СОДЕРЖАНИЕ РАБОТЫ Методика исследования. Экспериментальный протокол

В рамках данной работы было проведено три серии экспериментов, в которых приняли участие 22 человека. Целью первой серии экспериментов было оценить эффективность классификатора ИМК ЛМНО. Вторая серия экспериментов была направлена на изучения влияния глазодвигательных артефактов на точность классификатора ИМК, для того, чтобы гарантировать, что испытуемые получают обратную связь, основанную на активности источников внутри мозга, связанной с воображением движений. Третья серия экспериментов была проведена с целью выделить паттерны ЭЭГ, наиболее значимые для управления ИМК, и локализовать источники, активность которых дает вклад в ЭЭГ в виде найденных паттернов.

Эксперименты в рамках всех трех серий проводились по сходному протоколу. Испытуемые обучались управлению ИМК в течение нескольких дней. Каждый день проводилась сессия обучения, направленная на то, чтобы настроить классификатор ИМК, и одна или две сессии тестирования, в течение которых человек при воображении движений получал обратную связь, основанную на результатах работы классификатора. Испытуемые

должны были расслабиться или кинестетически представить себе медленное сжатие в кулак правой или левой кисти. То, какую задачу испытуемому было необходимо выполнять в данный момент времени, показывалось при помощи изменения цвета одной из трех серых стрелок, расположенных вокруг центральной метки. Центральная метка (белый круг) служила для фиксации взгляда и предъявления зрительной обратной связи во время сессий тестирования: она становилась зеленой, когда результат классификации совпадал с инструкцией, предъявляемой в данный момент. Инструкции предъявлялись в виде последовательности блоков. Каждый блок содержал две пары «отдых-представление сжатия правой кисти» и две пары «отдых-представление сжатия левой кисти», идущие в случайном порядке.

В первой серии экспериментов приняли участие 8 испытуемых в возрасте от 22 до 30 лет, без неврологических отклонений. Обучение управлению ИМК длилось 5 дней. Каждый день проводилась одна сессия тестирования (2 блока) и одна сессия обучения (8 блоков). Электроэнцефалограмма регистрировалась 32 электродами.

Во второй серии экспериментов приняли участие 7 испытуемых в возрасте от 21 до 28 лет, без неврологических отклонений. Обучение управлению ИМК длилось 5 дней. Каждый день проводилась одна сессия тестирования (2 блока) и одна сессия обучения (8 блоков), которым предшествовала предварительная сессия. Во время нее испытуемый должен был сначала сидеть спокойно и смотреть в центр экрана, затем закрыть глаза до команды экспериментатора, моргать примерно раз в секунду и перемещать взгляд от центра экрана и обратно в одном из четырех направлений. При этом 26 электродов использовалось для регистрации электроэнцефалограммы, 6 - для регистрации электроокулограммы.

В третьей серии экспериментов приняли участие 6 испытуемых, в возрасте 45-65 лет и один человек в возрасте 25 лет, все без неврологических отклонений. Время обучения управлению ИМК было увеличено до десяти дней. Каждый день проводилась одна предварительная сессия, одна сессия тестирования (2 блока) и две сессии обучения (по 8 блоков каждая). Электроэнцефалограмма регистрировалась 32 электродами, регистрации электрокулограммы не производилось. Пятеро из испытуемых, показавших стабильное управление ИМК, согласились пройти фМРТ исследование, в котором выполняли те же ментальные задачи, что и при тренировке управлению ИМК. Записи производились в Научном Центре Неврологии РАМН с использованием томографа Siemens, 1.5 Т (Siemens, Erlangen, Germany). Предъявляемые стимулы и выполняемые метальные задачи были такими же, что и в экспериментах данной серии с записью ЭЭГ.

Методика исследования. Обработка экспериментальных данных

Первая серия экспериментов. Байесовский классификатор ИМК ЛМНО сравнивался с методом Multiclass Common Spatial Patterns (MCSP). Как и Байесовский классификатор, MCSP работает с ковариационными матрицам сигнала ЭЭГ, соответствующего выполнению различных ментальных задач.

После окончания серии для каждого испытуемого и каждого экспериментального дня данные обеих сессий, записанных в тот день, объединялись. После этого проводилась перекрестная проверка качества классификации с использованием Байесовского классификатора и MCSP. Точность классификации оценивалась при помощи трех показателей: средней вероятности правильного распознавания р, взаимной информации между предъявленными инструкциями и распознанными состояниями g, а также каппы Коэна к. Показатели рассчитывались по матрице ошибок, полученной после 100 случайных разбиений данных на обучающую (70% блоков) и тестирующую выборки (30% блоков).

Вторая серия экспериментов. На первом шаге обработки для каждого испытуемого и каждого экспериментального дня данные всех сессий дня объединялись. Из полученной записи выделялись независимые компоненты, связанные с глазодвигательными артефактами, после чего эти компоненты удалялись. Для удаления глазодвигательных артефактов из записей, содержащих как электроэнцефалограмму, так и электроокулограмму было найдено разложение записанного сигнала на независимые компоненты. После этого для каждой независимой компоненты вычислялся ее вклад в суммарную дисперсию сигналов, отведенных ЭОГ электродами. Затем независимые компоненты удалялись из всего сигнала последовательно, начиная с тех, вклад которых был наибольшим. Как только суммарная дисперсия ЭОГ уменьшалась до 5% от исходной, удаление прекращалось. Исключенные компоненты считались артефактными. Из полученного после удаления артефактных компонент сигнала выбирались строки, соответствующие ЭЭГ электродам.

На втором шаге при помощи перекрестной проверки сравнивалось качество классификации оригинальных записей и записей с удаленными глазодвигательными артефактами.

Третья серия экспериментов. После того, как вторая серия экспериментов с регистрацией ЭЭГ была проведена, выполнялся поиск паттернов ЭЭГ, наиболее значимых для классификации. Для каждого испытуемого и экспериментального дня данные трех сессий объединялись. Затем строилось разложение каждой объединенной записи на независимые компоненты. После этого перебором находилась тройка оптимальных компонент, так, чтобы каппа Коэна, оцененная на основе полученного набора

8

была максимальна. Затем, к имеющемуся набору независимых компонент последовательно добавлялись оставшиеся, с условием, чтобы при каждом добавлении каппа Коэна максимальна. Тем самым для каждого числа компонент находилась их «почти оптимальная» комбинация.

После выделения компонент сигнала, наиболее значимых для работы ИМК, проводилась локализация источников, активность которых была представлена выделенными компонентами. Для построения модели головы каждого испытуемого его анатомические изображения, полученные при помощи МРТ, сегментировались при помощи средства New Segmentation Tool пакета SPM08 (Statistical Parametric Mapping). Выделялись следующие ткани: серое и белое вещество головного мозга, цереброспинальная жидкость, кости черепа и остальная часть головы. Все среды считались однородными и изотропными, их проводимости были заданы на основе литературных. Сегментированные изображения приближались сеткой тетраэдральных конечных элементов при помощи программы, использующей средства геометрической библиотеки CGAL (Computational Geometry Algorithms Library). Готовые сетки импортировались в систему ANSYS (ANSYS Inc. США), позволяющую решать различные уравнения в частных производных методом конечных элементов. Расчеты проводились совместно с Техническим Университетом Остравы, Чешская Республика. Вклады независимых компонент, наиболее значимых для управления ИМК, в сигнал на ЭЭГ-электродах приближались одним дипольным источником. Поиск диполя осуществлялся перебором точек серого вещества с шагом 1мм.

Анализ данных фМРТ производился при помощи пакета SPM08 среды MATLAB с использованием стандартных методов предварительной обработки функциональных изображений. Для выделения областей, гемодинамический ответ в которых был специфичным для воображения движений, проводился классический анализ с использованием обобщенной линейной модели. Его результаты были использованы для проведения группового анализа.

Методика исследования. Эксперимент с произвольным управлением

Также с двумя испытуемыми третьей группы была проведена дополнительная серия из семи экспериментов, в ходе которых они обучались использовать ИМК для произвольного контроля машинки в компьютерной игре. Для этого была добавлена еще одна ментальная задача - представлять себе нажатие стопой на педаль. Они обучались в течение 10 дней. Каждый день проводилась сессия обучения, сессия тестирования и игровая сессия.

Суть игры заключалась в том, чтобы наезжать на цели, располагаемые случайным образом. Во время воображения движения левой руки осуществлялся поворот машинки на месте против часовой стрелки, правой

9

руки - по часовой стрелке. Она ехала вперед во время воображения движения ноги.

Результаты исследования и их обсуждение

Оценка эффективности ИМК. Работа классификаторов сравнивалась для всех экспериментальных данных всех серий по мере их получения. Ни для одного из испытуемых первой серии различия в качестве классификации между методом МСБР и Байесовским подходом не оказались достоверными ни по критерию р, ни по критерию к (и-тест, Р > 0.11 во всех случаях). В то же время, по критерию д для первого и четвертого испытуемых Байесовский классификатор достоверно превзошел МС8Р, но для остальных испытуемых различия по данному критерию оказались недостоверны (и-тест, Р > 0.11 во всех случаях). Значения показателя р для всех испытуемых, полученные с использованием Байесовского классификатора и МСБР и усредненные по всем экспериментальным дням, приводятся на Рис 1.

Средняя вероятность правильного распознавания, р

09

0.8

Об 0 5 04 0 ) о: о 1 о

1 2 3 4 5 6 - 8 9 10 11 12 13 14 I? 16 1" 18 19 20 21 22

Испытуемые

Рис 1. Сравнение Байесовского классификатора и МСБР по критерию р.

Серия 1

Серия 2

Серия 3

Ш Байесовский классификтор

я Классификатор МСЗР

Одинаковое качество работы Байесовского классификатора, применяемого в ИМК ЛМНО, и классификатора МСБР может быть объяснено тем, что оба метода основаны на анализе ковариационных матриц сигнала ЭЭГ в разных состояниях, т.е. используют одну и ту же информацию. Как было показано в (ВоЬгоу Р., 2011), учет частотного состава сигнала более сложными методами может увеличить точность классификации, но требует больших вычислительных затрат. Более того, в экспериментах данной работы испытуемые достигали точности управления

ИМК в 75-90%. Это показывает, что человек способен научиться управлять ИМК ЛМНО достаточно эффективно. Пятеро из 22 испытуемых (23%) показали достаточно хорошее умение управлять ИМК (практически всегда с точностью большей 61%), причем, начиная с первых сессий. Шестерым испытуемым из 22 (27%) так и не удалось перейти барьер в 55% ни в одной из сессий.

Оценка влияния глазодвигательных артефактов на работу ИМК. Процедура удаления артефактов из записи ЭЭГ с использованием метода независимых компонент оказалась эффективной. Для всех испытуемых оказалось достаточно удалить не более шести компонент, чтобы суммарная дисперсия сигнала на ЭОГ-каналах стала меньше 5% от исходной. Это означает, что ковариационные матрицы для сигнала, из которого удалены артефактные компоненты, оставались невырожденными, что было необходимо для работы классификатора. Дисперсия сигнала на ЭЭГ электродах при удалении артефактных компонент упала не более чем на 70%.

Отличия в точности классификации данных, полученных при управлении ИМК, до и после удаления глазодвигательных артефактов оказались недостоверными ни по одному из показателей (и-тест, Р>0.15), это говорит в пользу того, что артефакты, источники которых находятся внутри глаз, не являются определяющими для работы ИМК ЛМНО. Таким образом, качество распознавания паттернов ЭЭГ, связанных с представлением движений, не уменьшается при удалении глазодвигательных артефактов, т.е. оно действительно обеспечивается активностью источников мозга.

Выделение паттернов ЭЭГ, наиболее значимых для классификации воображения движений. Зависимость качества классификации от числа компонент в оптимальном наборе для третьей группы испытуемых приводится на Рис. 2.

Число компонент

Рис. 2. Зависимость качества классификации от числа выбранных компонент. Данные последнего дня эксперимента.

Улучшение классификации происходит за счет удаления нескольких компонент, чей вклад в сигнал соответствует шумам и артефактам. Они, часто, связаны с шумами, вызванными плохим контактом электродов и скальпа, небольшими движениями испытуемого. Большинство остальных компонент, по-видимому, имеют физиологическую природу, но, как правило, с трудом поддаются интерпретации.

Табл. 1. Средняя вероятность правильного распознавания р для испытуемых третьей серии экспериментов

Исходные данные Три наиболее важные компоненты Оптимальный набор независимых компонент

Исп. Среднее Максимум Среднее Максимум Среднее Максимум

1 0.59 ±0.07 0.72 0.72 ±0.03 0.80 0.81 ±0.03 0.90

2 0.48 ±0.01 0.75 0.62 ±0.01 0.75 0.66 ±0.01 0.78

3 0.51 ±0.02 0.66 0.73 ±0.01 0.75 0.76 ±0.01 0.80

4 0.52 ±0.01 0.63 0.57 ±0.01 0.69 0.61 ±0.01 0.73

5 0.49 ±0.01 0.65 0.55 ±0.01 0.64 0.60 ±0.01 0.68

6 0.51 ±0.02 0.56 0.60 ±0.01 0.63 0.63 ±0.01 0.67

7 0.41 ±0.01 0.43 0.53 ±0.01 0.55 0.56 ±0.01 0.58

Их удаление или добавление мало влияет на работу классификатора, но часть из них входит в набор, обеспечивающий наилучшую классификацию.

12

Этот набор индивидуален для каждого из испытуемых, и изменяется от сессии к сессии. Вместе с тем, использования всего трех компонент достаточно, чтобы обеспечить высокую точность классификации (Табл. 1).

На Рис. 3 для каждого испытуемого третьей группы показаны компоненты, которые появлялись среди оптимальной тройки для данных последнего экспериментального дня. Амплитуда основного ритма для компонент, показанных на Рис. ЗА, минимальна при воображении движения правой руки, а их вклад в сигнал ЭЭГ максимален для электродов СЗ и СрЗ. Для компонент, приведенных на Рис. ЗБ, амплитуда основного ритма минимальна при воображении движения левой руки, а их вклад в сигнал ЭЭГ максимален для электродов Ср4 и С4. Две такие компоненты выделялись среди трех оптимальных для каждого испытуемого для данных всех экспериментальных дней. Компоненты первого типа мы будем называть ц1, второго - ц2

Указанные распределения вкладов в сигнал на ЭЭГ-электродах и характер изменения ритмической активности заставляют предположить, что компоненты ц1 отражают реакцию десинхронизации мю-ритма в представительстве правой руки при представлении сжатия правой кисти в кулак, а компоненты ц2 - реакцию десинхронизации мю-ритма в представительстве левой руки при воображении сжатия ее в кулак. Отметим, что в то время, как десинхронизация мю-ритма наблюдалась у всех испытуемых, только у одного из них удалось обнаружить реакцию синхронизации мю-ритма.

Если независимые компоненты и ц2 выделялись среди трех оптимальных практически всегда у данных испытуемых, то третья как правило изменялась. Интересно отметить, что для третьего испытуемого третья компонента также появлялась стабильно. ЕЕе вклад максимален в сигнал на центральном электроде Сг, и она демонстрирует реакцию десинхронизации в частотном диапазоне от 10 до 30 Гц при воображении сжатия как левой так, так и правой кисти в кулак. Эти данные заставляют предположить, что она связана с активностью дополнительной моторной коры.

Исп. А Б В

Рис. 3. Вклад в сигнал на ЭЭГ-электродах и спектральные плотности в различных состояниях для трех оптимальных компонент испытуемых третьей серии экспериментов. Синими линиями показаны спектральные плотности, вычисленные по тем интервалам, когда человек должен был расслабиться, красными - представить сжатие правой кисти в кулак, зелеными —сжатие левой кисти в кулак, черными сплошными - сидеть спокойно во время предварительной сессии, черными пунктирными -сидеть с зарытыми глазами. На осях абсцисс графиков, представляющих спектральные плотности, частоты указаны в герцах.

Анализ произвольного управления. Данные сессий обучения, полученные в дополнительной серии экспериментов для двух испытуемых третьей группы (номер испытуемого в дополнительной серии экспериментов совпадает с его номером в третьей серии экспериментов), были обработаны методом перекрестной проверки. В среднем качество классификации четырех состояний - представления движения левой и правой рук, представления движения ноги и состояния покоя - составило р = 0.58 + 0.03, д = 0.3 + 0.04, к = 0.24 + 0.04 для первого испытуемого и р = 0.51 + 0.02, ¿7= 0.26 + 0.06, к = 0.22 ± 0.05 для второго, что является неплохим показателем для классификации четырех состояний.

Среди оптимальных компонент в дополнение к описанным компонентам ц1 и ц2 стабильно появлялась еще одна. Основная частота ее активности находилась в диапазоне 8-10 Гц для одного испытуемого и 11-13 Гц для другого, и эта активность подавлялась при воображении движения ноги. Фокусы распределения ее вкладов в сигнал на ЭЭГ электродах заставляют предполагать, что ее источник находится в центральной части головы (Рис. 4). Такую компоненту мы будем обозначать рЗ. Она, по всей видимости, отражает реакцию десинхронизации мю-ритма в представительстве стопы при воображении ее движения. Спектрограммы на Рис. 4 для сессии вождения построены на основании ответов классификатора, т.е. считалось, что человек выполнял ту задачу на протяжении определенного интервала времени, номер которой был указан классификатором.

В среднем за пять минут испытуемые достигали 4 целей во время игровых сессий. В последний день после проведения обучающей сессии оптимальные компоненты были выделены сразу после сессии обучения и использованы в сессии вождения, т.е. вместо сигнала ЭЭГ на классификатор, обученный по оптимальным компонентам сессии обучения, подавались активности трех выделенных компонент во время управления машинкой. Об этом испытуемые не знали.

Согласно отзывам испытуемых, полученных после эксперимента, они не заметили изменений в работе классификатора и не меняли способ воображения движений во время вождения. При этом первый достиг 6 целей за 5 мин, а второй, который попросил увеличить время вождения до 10 мин., - 9 целей, что является достаточно высоким показателем. Таким образом, именно выделенные компоненты отражают паттерны ЭЭГ, обеспечивающие управление ИМК, основанным на воображении движений.

41 1 I

о

I 1» 1в 17 1» 21 23 26 5 7 3 11 13 18 17 19 21 23 28 6 7 » 11 13 16 17 1» 21 23 26

8 7 > 11 13 II 17 1* 21 23 28

цЗ

6 7 9 11 13 16 17 1» 21 21 26 6 7 9 11 15 16 17 19 21 23 26 6 7 9 11 13 16 17 19 21 23 26

6 7 9 11 13 16 17 19 !1 23 26 6 7 9 11 13 16 17 19 21 23 25 6 7 9 11 13 15 17 19 21 23 26

Рис. 4. Компоненты, наиболее важные для классификации четырех состояний во время тренировки (Обучение) и произвольного управления машинкой (Вождение) для первого (А) и второго (Б) испытуемого. Показаны вклады компонент в сигнал на ЭЭГ электродах, а также спектральные плотности в разных состояниях. Синие спектрограммы соответствуют состоянию покоя, красные - воображению сжатия правой кисти, зеленые - левой, черные - представлению нажатия стопой на педаль. На осях абсцисс частоты указаны в герцах.

Анализ данных фМРТ При помощи классического группового анализа SPM были выделены воксели, BOLD-ответ в которых был достоверно выше при воображении сжатия левой или правой кисти, чем в состоянии покоя (t-тест, Р<0.005). При воображении сжатия левой кисти в кулак была обнаружена активация части первичной моторной и соматосенсорной коры, контралатерально (поля 3 и 4 по Бродману; в мозжечке, ипсилатерально; части дополнительной моторной коры; правого вентролатерального ядра таламуса; островков в левом и правом полушариях. При воображении сжатия правой кисти — части первичной моторной коры (область 4 по Бродману); в мозжечке, ипсилатерально; части цингулярной коры; правого вентролатерального ядра таламуса; хвостатого ядра, а также островка и верхнего височного полюса (поле 22 по Бродману) в правом полушарии. Указанные активации наблюдались у всех испытуемых, в отличие от других работ с исследованием фМРТ при воображении движений, в которых картина активаций достаточно сильно отличалась от испытуемого к испытуемому. Этот говорит о том, что обучение воображению движений при помощи ИМК помогает стабилизировать паттерны активации, специфичные для воображаемых движений.

Локализация источников электрической активности мозга, наиболее значимых для управления ИМК Распределение вкладов в сигнал на ЭЭГ электродах компонент ц1 и ц2, имеющее два фокуса, характерно для единственного дипольного источника. Поэтому для данных распределений искалось однодипольное приближение. По результатам локализации двух данных компонент остаточная дисперсия составила в среднем 0.7±0.06% (минимум 0.4%, максимум 1.2%).

Нормализация анатомических изображений, полученных при помощи МРТ, с нанесенными на них позициями найденных диполей показала, что все они находятся в глубине центральной борозды, в поле ЗА по Бродману. На Рис. 5А и Рис. 5Б приводится пример локализации источников для компонент ц1 и ц2 у второго испытуемого. Эквивалентный диполь находится близко к фокусу фМРТ-активности в первичной моторной и соматосенсорной коре, однако положение диполя и центра фокуса близки, но не совпадают. В среднем расстояние от эквивалентного диполя до центра масс ближайшего фокуса фМРТ-активности составило 13±1.5 мм. Это может быть вызвано различными причинами. ЭЭГ и BOLD-ответ являются сигналами различной природы, кроме того, считается, что гемодинамический ответ является косвенным показателем нейронной активности. Различия между фокусами электрической и фМРТ активности (вплоть до 25 мм) наблюдались в работах с электрической стимуляцией медианного нерва. Источники, связанные с изменением мю-ритма в представительстве руки оказались локализованы в

17

глубине центральной борозды, в поле ЗА по Бродману, т.е. в первичной соматосенсорной коре. Это может быть связано с тем, что испытуемые выполняли кинестетическое представление сжатие кистей в кулак, достаточно сильно концентрируясь на своих ощущениях. Более того, в работах на кошках, утверждается, что мю-ритм отводится именно от первичных соматосенсорных областей. Таким образом, хотя вопрос, участвует или нет первичная соматосенсорная кора в представлении движений, не является решенным окончательно, наши данные говорят в пользу утвердительного ответа. В нашем случае видно, что представление движения обеспечивается распределенной нейронной сетью, причем мю-ритм в первичной соматосенсорной коре является своеобразным «выходным сигналом», который обеспечивает эффективное взаимодействие мозга с классификатором интерфейса.

А 4 ( \ б т ---- ■ /

Б \ л

Рис. 5. Локализация источника ^1(А) и ц2(Б) для второго испытуемого. Показано расположение диполя и его проекции на горизонтальную, сагиттальную и фронтальную плоскости, проходящие через точку, в которой он расположен. Цветом выделены воксели, ВОЬЭ-ответ в которых был достоверно выше при воображении сжатия правой руки, чем в состоянии покоя (¡-тест, Р<0.001).

ВЫВОДЫ

Результаты, полученные в данной работе, позволили нам сделать следующие выводы.

1. По эффективности Байесовский классификатор ИМК ЛМНО значимо не отличается от классификатора, основанного на использовании метода МСБР.

2. Большинство испытуемых оказалось в состоянии овладеть управлением ИМК J1MHO после 5-10 дней обучения. 75% испытуемых достигли точности распознавания трех выполняемых ментальных задач выше 60% при уровне случайного распознавания 33%.

3. Артефакты ЭЭГ, связанные с движениями глаз и морганиями, не влияют на точность классификации паттернов ЭЭГ, соответствующих воображению движения левой и правой кисти при управлении ИМК. Таким образом, частота морганий, а также направление и амплитуда движений глаз не зависят от выполняемой ментальной задачи.

4. Разработан метод выделения и локализации источников электрической активности мозга, наиболее значимых для управления ИМК, основанного на воображении движений. Локализация источников основана на решении обратной задачи ЭЭГ с учетом индивидуальной геометрии головы.

5. Источники электрической активности мозга, значимые для управления ИМК, локализованы в глубине центральной борозды (поле ЗА по Бродману) в первичной соматосенсорной коре близко к фокусам гемодинамической активности при воображении движения соответствующей кисти. Их активность отражает реакции десинхронизации и синхронизации мю-ритма в представительстве кисти, движение которой воображается.

6. Выделение трех значимых источников позволяет значительно увеличить точность классификации воображения движений при управлении ИМК.

7. Реакция десинхронизации мю-ритма в представительстве конечности, движение которой воображается, проявляется практически у всех испытуемых, которые достигли неплохих показателей при управлении ИМК (более 60% правильных распознаваний трех состояний). Реакция синхронизации мю-ритма при представлении движения другой конечности проявляется гораздо реже.

8. Групповой анализ данных фМРТ-исследований выявил обширную нейронную сеть, вовлеченную в воображение движения, которая включает области первичной моторной и соматосенсорной коры, мозжечок, дополнительную моторную кору, правое вентролатерального ядро таламуса, островки в левом и правом полушариях, цингулярную кору, хвостатое ядро и верхний височный полюс.

Список работ, опубликованных по теме диссертации: статьи в журналах,

рекомендованных ВАК Bobrov P. Frolov A., Cantor С., Fedulova I., Bakhnyan М., Zhavoronkov А. Brain-Computer Interface Based on Generation of Visual Images [Журнал] // PLOS ONE. - 2011 r. - 6 : T. 6. - стр. e20674. - DOI: 10.137 l/journal.pone.0020674.

Frolov A. Husek D., Bobrov P. Comparison of four classification methods for brain-computer interface [Журнал] // Neural Network World. - 2011 г.. - 21 : Т. 2.-стр. 101-115.

Бобров П.Д. Гусек Д., Коршаков А.В., Фролов А. А. Источники активности мозга, значимые и незначимые для классификации паттернов ЭЭГ, соответствующих воображению движений [Журнал] // Нейрокомпьютеры: разработка, применение. - 2011 г.. - 12. - стр. 3-15.

Бобров П.Д. Коршаков А.В., Рощин В.Ю., Фролов А.А. Байесовский подход к реализации интерфейса мозг-компьютер, основанного на представлении движений [Журнал] // Журнал высшей нервной деятельности. - 2012 г.. - 62 : Т. 1. - стр. 89-99.

Frolov A. Husek D., Bobrov P., Korshakov A., Chemikova L., Konovalov R., Mokienko O. Sources of EEG activity most relevant to performance of brain-computer interface based on motor imagery [Журнал] // Neural Network World. -2012 г.. - 22 : Т. 1. - стр. 21-37.

Список работ, опубликованных по теме диссертации: материалы

конференций

Korshakov A.V. Frolov A.A., Bobrov P.D. 10-th European Conference on Nondestructive Testing [Конференция] // On-line automatic suppression of artifacts in multi-dimensional signals using ICA. - Москва : [б.н.], 2010. - Т. 2. - стр. 370.

Pavel Bobrov Alexander A. Frolov, Dusan Husek roceedings of the Third International Conference on Intelligent Human Computer Interaction (IHCI2011), Advances in Intelligent Systems and Computing [Конференция] // Brain Computer Interface Enhancement by Independent Component Analysis. - Прага: [б.н.], 2012. - Т. 179. - стр. 51-60.

A. Frolov D. Husek, P. Bobrov, A. Korshakov, L. Chernikova, R. Konovalov, O. Mokienko. Advances in Neural Networks — ISNN 2012 [Конференция] // Localising sources of brain activity relevant to motor imagery brain-computer interface performance, using individual head geometry / ред. J. Wang G.G. Yen, M.M. Polycarpou. - 2012. - Т. 1. - стр. 369-378.

Бобров П.Д. Фролов А.А., Мокиенко О.А., Черникова JI.A., Гусек Д. VII Всероссийская с международным участием школа-конференция по

физиологии мышц и мышечной деятельности: новые подходы к изучению классических проблем [Конференция] // Локализация источников электрической активности мозга, наиболее значимых для управления интерфейсом мозг-компьютер, основанным на воображении движений. -2013.-стр. 44.

Формат 60x90/16. Заказ 1657. Тираж 100 экз. Усл.-печ. л. 1,1. Печать офсетная. Бумага для множительных аппаратов. Отпечатано в ООО "ФЭД+", Москва, Ленинский пр. 42, тел. (495)774-26-96

Текст научной работыДиссертация по биологии, кандидата биологических наук, Бобров, Павел Дмитриевич, Москва

Федеральное государственное бюджетное учреждение науки Институт Высшей Нервной Деятельности и Нейрофизиологии РАН

На правах рукописи

1

Бобров Павел Дмитриевич !

СО N.

а> ю ю

Выделение и локализация источников электрической активности мозга, наиболее значимых для управления интерфейсом мозг-компьютер, основанном на воображении движений

03.03.01 Физиология

Диссертация на соискание ученой степени кандидата со биологических наук

со 8

О °

(N1 N 4 7 см

Научный руководитель: д.б.н., проф. Александр Алексеевич ФроЛов

Москва, 2013

Оглавление

ВВЕДЕНИЕ 4

ГЛАВА 1. ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР: ТЕХНИЧЕСКИЕ И ФИЗИОЛОГИЧЕСКИЕ ПРЕДПОСЫЛКИ СОЗДАНИЯ. МЕТОДЫ ИССЛЕДОВАНИЯ АКТИВНОСТИ МОЗГА, СВЯЗАННОЙ С

УПРАВЛЕНИЕМ ИМК 9

1.1. Интерфейс мозг-компыотер 9

1.2. Природа электроэнцефалограммы и ее регистрация 13

1.3. Физиологические предпосылки создания ИМК, основанных на регистрации электроэнцефалограммы 16

1.4. Локализация источников активности мозга. Обратная задача электроэнцефалографии 26

1.4.1. Формулировка и методы решения прямой задачи ЭЭГ 27

1.4.2. Принцип взаимности (reciprocity principle) для прямой задачи ЭЭГ 32

1.4.3. Формулировка и методы решения обратной задачи ЭЭГ 33

1.5. Метод независимых компонент для выделения источников электрической активности мозга 37

ГЛАВА 2. МЕТОДИКА 39

2.1. Методы классификации паттернов ЭЭГ 39 2.1.1 Байесовский классификатор 39 2.1.2. Метод Multi-class Common Spatial Patterns 41

2.2. Оценка качества работы ИМК 44

2.2.1 Матрица ошибок.

2.2.2. Количественные показатели

44

45

2.3. Экспериментальная методика 47

2.3.1. Первая серия экспериментов 47

2.3.2. Вторая серия экспериментов 50

2.3.3. Третья серия экспериментов 52

2.4. Обработка экспериментальных данных 55

2.4.1. Первая серия экспериментов 56

2.4.2. Вторая серия экспериментов 56

2.4.3. Третья серия экспериментов 57

ГЛАВА 3. РЕЗУЛЬТАТЫ 61

3.1. Первая серия экспериментов 61

3.2. Вторая серия экспериментов 63

3.3. Третья серия экспериментов 72

3.3.1. Данные ЭЭГ 72

3.3.2. Анализ произвольного управления 79

3.3.3. Анализ данных фМРТ 82

3.3.4. Локализация источников электрической активности мозга, наиболее значимых для управления ИМК 87

ГЛАВА 4. ОБСУЖДЕНИЕ 90

ВЫВОДЫ 96

СПИСОК ЛИТЕРАТУРЫ 98

Введение

В настоящее время интенсивное развитие получила технология прямого сопряжения мозга человека или животного с внешним устройством. Система, обеспечивающая сопряжение, называется интерфейсом мозг-компьютер (ИМК), или интерфейсом мозг-машина, а иногда и прямым нейрональным интерфейсом или нейроинтерфейсом. Такая система позволяет человеку или животному взаимодействовать с окружением, минуя мышечную активность, и может служить для передачи информации как от мозга к устройству, так и в обратном направлении. В основе прямого управления устройством через ИМК лежит преобразование различных сигналов мозга в команды устройству. Практически всегда такое преобразование осуществляет компьютер, что дало название методу. Отличительной чертой ИМК является наличие обратной связи - тот, кто управляет устройством через интерфейс, видит результаты исполнения своих намерений в реальном времени или с очень небольшой задержкой.

Интерфейс такого типа был создан и в лаборатории математической нейробиологии обучения(ЛМНО) Института Высшей Нервной Деятельности и Нейрофизиологии РАН. В его основе лежит преобразование электрических сигналов, регистрируемых при помощи электроэнцефалографа, отражающих интегральную активность мозга при воображении различных движений. Подобный ИМК может также использоваться для управления движениями внешнего устройства, так как вполне естественно ассоциировать эти движения с движениями самого оператора. Таким образом, технология предоставляет возможность самостоятельного перемещения для парализованных людей.

Система ИМК ЛМНО относится к классу тех ИМК, в которых определенная задача ставится в соответствие выполнению определенной

ментальной задачи из фиксированного набора задач. Применение такого ИМК кажется целесообразным и при нейрофизиологических экспериментах. Успех в управлении зависит от того, насколько повторяемы и стабильны паттерны активности мозга, соответствующие выполнению той или иной ментальной задачи. Чем более эти паттерны стабильны, тем легче их легче выделить и исследовать. Однако следует отметить, что исследование выполнения ментальных задач требует применения многочисленных дополнительных методов анализа и, таким образом, не ограничивается проведением экспериментов с использованием ИМК.

Наиболее широко в настоящий момент обсуждается возможное применение ИМК для клинической реабилитации больных с двигательными нарушениями, вызванными инсультом или травмой головы. Поскольку было установлено, что при воображении движений активируются области мозга, которые участвуют в планировании и выполнении реального движения, ожидается, что реабилитация, подкрепленная обратной связью, позволяющей человеку понять, насколько хорошо он сконцентрировался на представлении движения, может увеличить эффективность реабилитационных процедур для пациентов, у которых имеется полная парализация конечности. Для таких людей нельзя интенсифицировать использование парализованной конечности, а значит, во многих случаях, запустить реабилитационный процесс.

С другой стороны, использование ИМК в реабилитационных целях должно подкрепляться исследованием механизмов воображения движения и соотнесением их с данными, касающимися совершения реальных движений. Также необходимо иметь представление о том, как изменяется активность мозга здоровых испытуемых при управлении ИМК. В связи с этим, цель и задачи работы можно сформулировать следующим образом.

Цель исследования. Изучить изменения в активности мозга, специфичные для воображения разнличных движений при управлении

интерфейсом мозг-компьютер и локализовать источники, активность которых отражает данные изменения. Задачи исследования.

1. Оценить эффективность классификатора, используемого в ИМК ЛМНО, на достаточно широкой группе испытуемых.

2. Выяснить, как на функционирование ИМК ЛМНО влияют артефакты ЭЭГ, связанные с движениями глаз и морганиями.

3. Выделить источники электрической активности мозга, значимые для управления ИМК ЛМНО

4. Локализовать значимые для управления источники путем решения обратной задачи ЭЭГ с учетом индивидуальной геометрии головы каждого испытуемого. Сопоставить результаты локализации с данными фМРТ-исследования.

Научная новизна исследования. Для выделения источников электрической активности мозга, значимых для управления ИМК, основанного на представлении движений, предложен метод, использующий анализ независимых компонент совместно с оценкой качества классификации.

Показано, что выделенные источники обеспечивают произвольное управление движением объекта при помощи ИМК, несмотря на то, что человек обучался работе с ИМК по обратной связи, основанной на совокупной активности мозга при представлении различных движений.

При помощи решения обратной задачи ЭЭГ, учитывающего индивидуальную геометрию головы каждого испытуемого, были получены новые данные о локализации источников электрической активности мозга, значимых для управления ИМК.

Научная и методологическая значимость работы. Обучение людей выполнению воображения движений с биологической обратной связью, обеспечиваемой интерфейсом мозг-компьютер, позволяет им стабилизировать паттерны электроэнцефалограммы, соответствующие выполнению указанных ментальных задач. Объединение обучения управлению ИМК с предложенной в работе процедурой выделения и локализации источников, обеспечивающих контроль интерфейса, дает эффективный инструмент для физиологических исследований. Его применение в данной работе позволило выделить паттерны электроэцефалограммы, соответсвующие представлению различных движений и произвести пространствнную локализацию их источников у здоровых испытуемых.

Предложенная методика анализа ЭЭГ может применяться в клинических исследованиях ИМК как технологии для реабилитации пост-инсультных больных. Сравнение временных и пространственных характеристик паттернов ЭЭГ, соответствующих воображению движений у этих больных и здоровых испытуемых, может дать дополнительные сведения о том, какие области мозга вовлечены в процесс восстановления после инсульта.

Следует отметить, что экспериментальная методика, включающая обучение управлению ИМК и выделение значимых источников, может быть применена к исследованию выполнения человеком ментальных задач, отличных от воображения движений.

Основные положения, выносимые на защиту: 1. Наиболее значимые для работы классификатора источники электрической активности мозга, связанной с представлением движений при управлении ИМК ЛМНО, можно выделить при помощи метода независимых компонент и перекрестной проверки. Данные источники отражают реакции десинхронизации и синхронизации мю-ритма в представительстве конечности, движение которой воображается.

2. Источники электрической активности мозга, наиболее значимые для управления ИМК ЛМНО, были локализованы в глубине центральной борозды (поле ЗА по Бродману) в первичной соматосенсорной коре.

3. Представление движения во время управления ИМК ЛМНО обеспечивается обширной нейронной сетью, включающей области первичной моторной и соматосенсорной коры, мозжечек, дополнительную моторную кору, правое вентролатерального ядро таламуса, островоки в левом и правом полушариях, цингулярную кору, хвостатое ядро и верхний височный полюс.

Глава 1. Интерфейс мозг-компьютер: технические и физиологические предпосылки создания. Методы исследования активности мозга, связанной с управлением

ИМК

1.1. Интерфейс мозг-компьютер

В основе прямого управления устройством через ИМК лежит

преобразование в команды различных сигналов мозга. В общем случае, ИМК состоит из системы регистрации активности мозга, системы предобработки получаемых сигналов (преобразование к заданному формату, пространственно-временная фильтрация, удаление артефактов), системы классификации, системы подачи команд на внешнее устройство и самого внешнего устройства. Общая схема ИМК приводится на Рис. 1, где для примера в качестве регистрируемого сигнала указана электроэнцефалограмма.

Усиление, дискретизация, фильтрация

ЭЭГ

Классификация

Формирование команды

Команда,

Обратная связь

Рис. 1. Общая схема ИМК, основанного на регистрации ЭЭГ. Сигналы активности мозга отводятся электродами, расположенными на поверхности головы, и оцифровываются. Предварительная обработка данных позволяет выделить значимые показатели активности, которые далее классифицируются для формирования команды управления. Обратная связь основана на наблюдении результатов выполнения команд. ИМК ЛМНО построен именно по такой схеме.

В последние годы улучшилось качество, и увеличилась разрешающая способность систем, регистрирующих сигналы мозга. Значительно возросла и мощность вычислительных систем, что позволяет быстрее обрабатывать большие объемы данных. Разработано множество методов обработки сигналов, в том числе и в смежных и даже сторонних областях. Нейрофизиологические исследования позволили выделить класс феноменов, позволяющих различать активность мозга в разных состояниях. Технология ИМК также стала социально востребованной: во-первых, для людей с серьезными двигательными нарушениями ИМК может стать едва ли не единственным каналом связи с внешним миром, во-вторых, активно исследуется возможность применения подобной технологии в целях реабилитации, в-третьих, ИМК может использоваться как контроллер в компьютерных играх. Управление объектом при помощи «силы мысли» является увлекательной задачей (МуИок А., 2009) и ее успешное решение рождает сильные положительные эмоции у человека.

ИМК можно разделить на несколько групп. Во-первых, это системы, которые обеспечивают непрерывный контроль устройства, т.е. задают соответствие между регистрируемыми сигналами и непрерывно изменяющимися свойствами управляемого объекта, например, его положением. Во-вторых, это системы, которые используют фиксированный набор команд. К последним относятся ИМК, использующие вызванную активность мозга в ответ на различные стимулы, а также те системы, в основе которых лежит методика, предложенная в работе (МШап I., 1998). Она заключается в том, что задается некоторый набор команд для внешнего устройства, и каждой команде ставится в соответствие некоторая ментальная задача, например, мысленно проиграть определенную мелодию, решить геометрическую задачу или представить определенное движение. Управление устройством заключается в том, что оператор выполняет ту или иную ментальную задачу, а система решает, какую именно из фиксированного набора, и посылает соответствующую команду

устройству. ИМК JIMHO относится именно к такому типу. В дальнейшем описании иногда будет употребляться термин «ментальное состояние испытуемого» или просто «состояние». Это будет означать то и только то, что испытуемый, как предполагается, в рассматриваемый промежуток времени выполняет определенную ментальную задачу так, как он был проинструктирован и как он ее понимает.

Для управления устройствами с помощью ИМК используются такие сигналы мозга, как активность отдельных нейронов или их групп, регистрируемая при помощи вживленных электродов, электро- и магнитоэнцефалограмма (ЭЭГ и МЭГ), электрокортикограмма (ЭКоГ), гемодинамический, или BOLD (Blood Oxygenation Level Dependent) ответ, т.е. локальные изменения отношения концентраций гемоглобина и дезоксигемоглобина, регистрируемые при помощи позитронно-эмиссионной томографии, функциональной магниторезонансной томографии или близкой инфракрасной спектроскопии (ПЭТ, фМРТ и NIRS). Предпочтение того или иного сигнала обусловлено, с одной стороны, его пространственным и временным разрешением, а с другой - доступностью оборудования и целью использования ИМК.

Считается, что наилучшее пространственное и временное разрешение дают инвазивные методы: регистрации нейронной активности при помощи микроэлектродов и регистрация электрокортикограммы. Использование микроэлектродов лежит в основе ИМК, обеспечивающих непрерывное управление положением курсора или рабочей точки манипулятора. Такой непрерывный контроль позволил обезьянам (Carmena V.J., 2003) и людям управлять искусственной рукой (Hochberg R.L., 2006) и даже непрерывно регулировать силу хватательного движения (Velliste М., 2008). Более того, данные ИМК могут использоваться для двусторонней передачи информации. Так, в экспериментах, описанных в статье (O'Doherty J.E., 2011), обезьяны, обученные контролировать положение виртуальной лапы, получали различную

стимуляцию сенсорной коры в зависимости от той цели, которую они достигали. Если подкрепление ассоциировалось с определенным стимулом, то обезьяны могли выбирать одну из трех внешне неотличимых целей, на основе «тактильных» ощущений.

Природа электрокортикограммы та же, что и у ЭЭГ, но на нее не влияют кости черепа и скальп, поэтому ее пространственное разрешение гораздо выше. ЭКоГ применяется как в рамках тех же парадигм, что и ЭЭГ, так и для непрерывного контроля положения курсора (Rouse A.G., 2009) или управления манипулятором (Yanagisawa Т., 2012). Также при помощи ЭКоГ удалось быстро и точно различать пары слов, мысленно произносимых человеком (Kellis S., 2007).

Тем не менее, инвазивные методы требуют серьезного хирургического вмешательства, которое у людей производится только по медицинским показаниям. Существует и проблема срока службы субкраниальных и микроэлектродов, а также опасность инфекционного заражения. Несмотря на частичное решение данных проблем путем использования электродов с длительным сроком службы и беспроводных систем, ИМК, основанные на инвазивных методах имеют пока очень ограниченную область применения.

Регистрация гемодинамического ответа дает отличное пространственное разрешение. В то же время, гемодинамический ответ является косвенным показателем нейронной активности и, как считается, отставлен по времени на 3-6 сек (Mulert С., 2010). К тому же, использование магниторезонансной или позитронно-эмиссионной томографии требует дорогостоящих стационарных устройств.

Близкая инфракрасная спектроскопия в этом отношении гораздо предпочтительнее: оборудование для ее регистрации дешевле и является портативным, ее временное разрешение выше, хотя пространственное несколько хуже. Но инфракрасный свет проникает лишь на глубину 1-3 см, поэтому, используя NIRS, нельзя оценить активность глубинных областей

мозга. Малое распространение ИМК, использующих данный метод, также объясняется его относительной новизной.

На сегодняшний день ИМК,