Интерфейс мозг-компьютер на волне Р300

Ганин, Илья Петрович

Бесплатный автореферат и диссертация по биологии на тему
Интерфейс мозг-компьютер на волне Р300
ВАК РФ 03.03.01, Физиология

Автореферат диссертации по теме "Интерфейс мозг-компьютер на волне Р300"

На правах рукописи

0055321=°

ГАНИН Илья Петрович

ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР НА ВОЛНЕ Р300: ИССЛЕДОВАНИЕ ЭФФЕКТОВ ПОВТОРЕНИЯ И ДВИЖЕНИЯ

СТИМУЛОВ

03.03.01 - физиология 03.03.06 - нейробиология

АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата биологических наук

1 г СЕН 2013

Москва-2013

005532798

Работа выполнена на кафедре физиологии человека и животных биологического факультета Московского государственного университета имени М.В.Ломоносова (заведующий кафедрой - доктор биологических наук, профессор A.A. Каменский)

Научный руководитель доктор биологических наук, заведующий

лабораторией Нейрофизиологии и нейрокомпьютерных интерфейсов кафедры физиологии человека и животных биологического факультета МГУ имени М.В.Ломоносова, профессор Каплан Александр Яковлевич

Официальные оппоненты доктор биологических наук, ведущий научный

сотрудник лаборатории высшей нервной деятельности человека ФГБУН Института Высшей Нервной Деятельности и Нейрофизиологии РАН Иваницкий Георгий Алексеевич

кандидат биологических наук, доцент кафедры высшей нервной деятельности МГУ имени М.В.Ломоносова Напалков Дмитрий Анатольевич

Ведущая организация НБИКС-Центр НИЦ «Курчатовский институт»

Защита состоится 30 сентября 2013 года в 15 часов 30 минут на заседании диссертационного совета Д501.001.93 при Московском государственном университете имени М.В.Ломоносова по адресу: 119234, Москва, Ленинские горы, д.1, корп. 12, МГУ, Биологический факультет, ауд. М-1.

С диссертацией можно ознакомиться в Фундаментальной библиотеке МГУ имени М.В.Ломоносова.

Автореферат разослан 29 августа 2013 г.

Ученый секретарь диссертационного совета, доктор биологических наук

Б.А. Умарова

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. Интерфейс мозг-компьютер (ИМК) - это новая нейрокомпьютерная технология, позволяющая на основе регистрации и расшифровки электроэнцефалограммы (ЭЭГ) человека дать ему возможность управлять внешними исполнительными устройствами или осуществлять коммуникацию с внешними объектами без посредства нервов и мышц, напрямую от мозга (Wolpaw et al., 2002). Трудно сейчас переоценить теоретическую и практическую значимость технологии ИМК, которая, с одной стороны, становится совершенно новой экспериментальной парадигмой в психофизиологии, а, с другой стороны, все более ориентируется на применение в медицине для целей реабилитации пациентов с тяжелыми нарушениями двигательной сферы, например, путем создания нейропультов для информационного контакта со средой (набор текстов, командных символов и др.) или нейроманипуляторов для реальных физических манипуляций (протезы, экзопротезы, тренажеры и др.).

На сегодняшний день достигнутые значительные успехи в области теоретических, экспериментальных и практических разработок технологии ИМК касаются преимущественно инвазивных подходов (Collinger et al., 2012; Hochberg et al., 2012), т.е. связанных с вживлением электродных систем непосредственно в мозг пациентов. В неинвазивных ИМК каждый электрод регистрирует активность не отдельных нервных клеток, и даже не отдельных их функциональных кластеров, а суммарную активность сотен тысяч функционально различных нервных клеток. Произвольно вызвать специфические изменения в такой суммарной активности ЭЭГ становится для пациента или здорового пользователя не такой простой задачей. Однако при успешном решении этих проблем пользователи смогут работать с технологиями ИМК без необходимости обращаться к медперсоналу, непосредственно в домашних условиях, а сами технологии смогут найти более широкое применение в повседневной жизни, как пациентов, так и здоровых пользователей. Таким образом, именно неинвазивные подходы к построению эффективных ИМК могут быть востребованы в гораздо больших масштабах, чем инвазивные, и потому в настоящее время их разработка особенно актуальна. Настоящая работа посвящена теоретической и экспериментальной разработке именно неинвазивных ИМК.

Принципиальным в технологии ИМК является привязка того или иного паттерна ЭЭГ к определенной функции, например, функции включения/выключения внешнего электронного устройства. В этом заключается одна из главных трудностей технологии ИМК, поскольку исходно электроэнцефалограмма не имеет функции для организма и является всего лишь внешним отражением естественной работы мозговых механизмов. Поэтому использование показателей естественных физиологических процессов организма, в данном случае ЭЭГ, в эволюционно неестественную функциональную систему управления в контуре ИМК оказывается

затруднительным при разработке этой технологии. В связи с этим в нейрофизиологии и психофизиологии становится все более актуальной разработка новых экспериментальных парадигм и теоретических подходов для изучения механизмов приобретения новых навыков и возможности произвольных сдвигов в ЭЭГ при работе человека в контуре ИМК.

Одним из направлений в разработке неинвазивных ИМК является их построение на волне Р300 - кратковременной реакции ЭЭГ на ожидаемый стимул, но более редкий, чем другие стимулы, появляющийся в поле внимания человека (Sutton et al., 1965). Реакцию ЭЭГ на конкретный ожидаемый стимул, распознаваемую специальными алгоритмами, можно использовать в качестве сигнала для исполнения во внешней среде заранее ассоциированной именно с этим стимулом конкретной команды. Если иметь целый набор стимулов-команд, каждый из которых последовательно предъявляется пользователю, то назначая для себя тот или иной стимул «ожидаемым» пользователь может с помощью ИМК-Р300 подавать в среду те или иные командные сигналы (Farwell et al., 1988; Wolpaw et al., 2002; Mak et al., 2011). В частности, пользователь сможет набирать буквы из кратковременно подсвечиваемой по отдельным символам виртуальной клавиатуры, или выбирать символы-команды из точно так же подсвечиваемого пульта управления. Таким образом, выбор команды происходит за счет детекции фокусирования внимания оператора на одном из стимулов, которыми служат кратковременные подсветки символов.

Алгоритмическое распознавание сделанного человеком выбора в ИМК Р300 основывается на сравнении реакций мозга на разные стимулы из имеющегося набора: более высокая амплитуда волны Р300 на определенный стимул указывает на то, что именно он выбран пользователем в качестве командного на данный момент (Farwell et al., 1988, Shishkin et al., 2009, Mak et al., 2011,Wolpaw et al., 2002). В последние годы, в том числе и в нашей лаборатории, показано, что значительный вклад в детектирование фокуса внимания человека на основе анализа реакций ЭЭГ могут вносить и другие компоненты потенциалов, связанных с событиямии (ПСС), например, компонент N1 (Krusienski et al., 2008; Shishkin et al., 2009; Bianchi et al., 2010; Kaufmann et al., 2011; Kaplan et al., 2013) учет которых еще более повышает эффективность ИМК РЗОО.

Однако эти и многие другие достижения в разработках ИМК любых типов не привели еще к созданию нейроинтерфейсов, органично реализующих способность мозга к выработке нового навыка, если этот навык реализуется не на привычных сенсомоторных путях, а в контуре управления реакциями ЭЭГ. Несмотря на имеющиеся в этом направлении отдельные результаты, свидетельствующие, в частности, о возможности неосознаваемого управления внешними объектами в контуре ИМК (Kaplan et al., 2005), до настоящего времени все существующие регламенты ИМК требуют от пользователя значительных ресурсов внимания для

надежной работы. Это означает, что известные прототипы ИМК еще не достигли того уровня взаимодействия с мозгом, чтобы их можно было уверенно использовать в практической деятельности человека и в медицине.

Вот почему особенно актуальными в настоящее время становятся исследования возможности создания практичных технологий ИМК, во-первых, защищенных от отвлекающих стимулов среды, во-вторых, требующих минимального времени для получения обратной связи по результатам управления в ИМК, т.е. наименьшего числа повторений стимулов, в третьих, способных работать в более естественных условиях, когда стимулы и сами пульты их расположения могут перемещаться в пространстве и, наконец, в целом, не требующих значительных ресурсов внимания человека и, по возможности, обладающих привлекательными свойствами для пользователя.

Цель исследования. Целью настоящего исследования было создание эффективных регламентов предъявления стимулов в контуре ИМК-Р300 для оптимизации работы пользователя.

Задачи исследования. В работе поставлены следующие конкретные задачи:

1. Выяснить возможность создания принципиально новых интерфейсов на волне РЗОО с использованием подвижных стимулов и оценить их эффективность.

2. Изучить возможности регламентов ИМК с минимальным числом повторений подсветок одного и того же символа, чтобы обеспечить испытуемому наиболее быструю обратную связь как результат его мыслительных действий. Тем самым может возникнуть основа для автоматизации навыка работы в ИМК.

3. Изучить динамику поведенческих и электрофизиологических (амплитуды компонентов РЗОО и N1) показателей работы испытуемых в ИМК-Р300 при многократной тренировке и разной скорости обратной связи, чтобы выявить возможные эффекты обучения испытуемых навыку работы в контуре ИМК.

4. Изучить возможность создания гибридных интерфейсов на волне РЗОО на основе совмещения подсветки и движения командных символов, а также оценить устойчивость таких интерфейсов к значительным вариациям пространственного расположения командных символов.

Научная новизна работы. В ходе данного исследования была разработана принципиально новая модификация ИМК-Р300 с подвижными позициями стимулов. Несмотря на большое число работ, посвященных оптимизации этого ИМК, во всех из них, даже наиболее радикальных решениях, стимулы располагались в фиксированных позициях в пространстве. Напротив, в нашем ИМК-Р300 позиции, где предъявлялись стимулы (подсветки объекта), были динамичными, т.е. находились в постоянном движении относительно друг друга. Результаты исследования имеют глубокий фундаментальный характер: известные до этого из литературы данные по исследованию процессов внимания и зрительного восприятия не давали возможности однозначно предсказать эффективность использования фактора движения в ИМК-

Р300. В ходе работы экспериментально была доказана эффективность такого нейроинтерфейса.

Кроме того, в первой части работы мы использовали минимальное число повторений стимулов (однократное и трехкратное) для выделения реакций внимания пользователя к целевой команде. Между тем, как правило, в ИМК-Р300 для надежного выделения реакций ЭЭГ применяется большое число предъявлений стимулов, что негативным образом может сказываться на внимании пользователя и, как следствие, результативности управления в ИМК. Помимо этого, минимальное число предъявлений стимулов обеспечивает наиболее быструю обратную связь для пользователя в виде выбранной команды, что может положительно влиять на процесс обучения навыку управления за счет более точной оценки пользователем своих действий. В исследовании показано, что применение в нашем ИМК минимального числа предъявлений целевого стимула обеспечило стабильный уровень управления в продолжение четырех сессий работы.

Научно-теоретическое и практическое значение работы.

Классический дизайн ИМК-Р300 со статичными стимулами не является оптимальным, поскольку не обеспечивает достаточной свободы для размещения в пространстве команд управления. Использование стимулов, предъявляемых на движущихся объектах, может значительно расширить внедрение ИМК-Р300, например, для управления подвижными роботами, являющимися вспомогательными устройствами для парализованного человека, или для создания и совершенствования видео игр на основе ИМК. Такие игры могут использоваться в том числе для тренировки внимания. Статичный интерфейс менее пригоден для игр, а внедрение движущихся управляющих команд позволяет поддерживать более высокий уровень интереса и внимания, что чрезвычайно важно при дальнейшей разработке и повышении эффективности ИМК.

Наше исследование также вносит весомый вклад в разработку «гибридных» ИМК, где сам момент начала движения символьной команды, наряду с подсветкой, используется в качестве управляющего стимула. Показанная нами эффективность такого ИМК представляется особенно высокой в условиях, где требуется применение компактного пульта управления с относительно небольшим числом команд (например, для управления подвижными роботами-манипуляторами). В этих случаях применение комплексных стимулов может быть компенсирующим фактором в условиях негативных эффектов внешней среды, ослабляющих внимание и затрудняющих управление.

В ходе работы также были выявлены особенности позиции целевого стимула в последовательностях их повторных предъявлений, обсуждаются возможности учета этих особенностей для оптимизации работы нейроинтерфейса.

Основные положения, выносимые на защиту:

1. Могут быть созданы интерфейсы мозг-компьютер на волне Р300 (ИМК-РЗОО), в которых командные стимулы располагаются на движущихся объектах, что существенно расширяет варианты различных приложений технологии.

2. Многократное применение здоровыми испытуемыми интерфейса с движущимися позициями стимулов не ухудшает со временем точности работы и не ведет к существенному снижению внимания при работе пользователей в нем.

3. Предложен новый «гибридный» ИМК-РЗОО, где в качестве стимула кроме подсветки используется также начало движения объекта. Такие комплексные стимулы могут быть более перспективными для применения в ИМК.

4. Режимы с минимальным числом повторений стимула могут обеспечить высокую скорость отклика интерфейса на действия пользователя, а компактность расположения командных символов позволяет создавать на основе ИМК мобильные пульты управления различными устройствами.

5. В парадигме ИМК-РЗОО могут иметь место эффекты позиции целевых стимулов в последовательности их предъявления, проявляющиеся в более высокой амплитуде компонентов потенциалов мозга в ответ на первые стимулы. Учет этих эффектов может служить основой для разработки более совершенных алгоритмов распознавания в ИМК-РЗОО.

Апробация работы. Материалы диссертационного исследования в виде научных докладов были представлены на XVI Международной конференции студентов, аспирантов и молодых учёных «Ломоносов» (Москва, 2009); II International Symposium: Topical Problems of Biophotonics (Нижний Новгород, 2009); Второй всероссийской научно-практической конференции «Количественная ЭЭГ и нейротерапия» (Санкт-Петербург, 2009); XV Международной конференции по нейрокибернетике (Ростов-на-Дону, 2009); XIII Научной конференции молодых ученых ИВНД и НФ РАН (Москва, 2009); 49th Annual Meeting of Society for Psychophysiological Research (Берлин, Германия, 2009); III Научно-практической конференции "Перспективы развития инноваций в биологии" (У.М.Н.И.К.) (Москва, 2009); XIV выставке-конференции «Телекоммуникации и новые информационные технологии в образовании» (Москва, 2010); XVII Международной конференции студентов, аспирантов и молодых учёных «Ломоносов» (Москва, 2010); XIV Научной конференции молодых ученых ИВНД и НФ РАН (Москва, 2010); IV Научно-практической конференции "Перспективы развития инноваций в биологии" (У.М.Н.И.К.) (Москва, 2010); XIII Всероссийской научно-технической конференции «Нейроинформатика-2011» (Москва, 2011); Первой конференции «Когнитивная наука в Москве: новые исследования» (Москва, 2011); 5th International BCI Conference (Грац, Автрия, 2011); Международной научной конференции и молодежной школе «На пути к нейроморфному интеллекту: эксперименты, модели и технологии» (Нижний Новгород, 2011); XIV Международной телекоммуникационной

конференции молодых ученых и студентов «Молодежь и наука» (Москва, 2011); XVI Международной конференции по нейрокибернетике (Ростов-на-Дону, 2012); Второй конференции «Когнитивная наука в Москве: новые исследования» (Москва, 2013).

Диссертация апробирована на заседании кафедры физиологии человека и животных Биологического факультета МГУ имени М.В.Ломоносова 27 мая 2013 года.

Публикации.

По теме диссертации опубликовано 24 печатные работы, среди которых 5 статей в журналах, рекомендованных ВАК РФ, и в приравниваемых к ним периодических изданиях, входящих хотя бы в одну из библиографических баз цитирования (PubMed, Scopus, Web of Knowellege и др.), в том числе с международным импакт-фактором (IF).

Структура и объем диссертации.

Текст диссертации изложен на 190 страницах и состоит из введения, обзора литературы, глав с описанием методики исследования и полученных результатов, обсуждения результатов, выводов, списка литературы. Диссертация содержит 36 рисунков и 26 таблиц. Список литературы включает 147 источников, 7 из которых -на русском языке, 140 - на иностранных.

Список сокращений ИМК - интерфейс мозг-компьютер

ИМК-Р300 - ИМК на основе волны РЗОО потенциалов мозга ПСС - потенциалы, связанные с событиями ЭЭГ - электроэнцефалограмма

МАТЕРИАЛЫ И МЕТОДЫ ИССЛЕДОВАНИЯ

Участники исследований. В исследовании приняли участие здоровые испытуемые обоих полов, подписавшие информированное согласие, согласованное с этическим комитетом биологического факультета МГУ. Общий ход исследования выполнялся в соответствии с принципами Хельсинской декларации о правах человека. Всего было выполнено более 80 полномасштабных исследований, в которых приняли участие 45 человек в возрасте от 19 до 28 лет.

Во время исследования испытуемые сидели в удобном кресле внутри затемненной (общая освещенность - 4-6 люкс) и относительно звукоизолированной камеры для записи ЭЭГ. Помимо основной инструкции (в зависимости от задач исследования) испытуемых просили сидеть спокойно-расслаблено и в то же время постараться сконцентрироваться на предъявляемых стимулах. Испытуемых также просили по возможности воздерживаться от морганий и каких-либо движений во время циклов предъявления стимулов.

Регистрация ЭЭГ. ЭЭГ регистрировалась монополярно с помощью шести скальповых электродов (Cz, Pz, Р07, Р08, OI, 02). Частота дискретизации сигнала -500 Гц. Встроенный частотный фильтр для ЭЭГ - 0,3-70 Гц. Для средней точки

(«земля») использовался электрод в позиции Fpz. В качестве референтного электрода использовался электрод, устанавливаемый на мочке правого уха. Для регистрации вертикальных движений глаз в качестве ЭОГ относительно референта также регистрировался сигнал от электрода, расположенного на 3 см выше наружного угла левой глазной щели.

Процесс записи ЭЭГ и управление ходом эксперимента (предъявление стимулов, настройка классификатора и пр.) осуществлялся на одном компьютере с использованием двух мониторов (один у экспериментатора, второй - для предъявления стимулов испытуемому) с помощью специально разработанного программного обеспечения (А.А. Преображенский), написанного на языке Python (www.python.org). Синхронизация записываемых вместе с ЭЭГ меток начала стимулов с моментом их реального начала обеспечивалась этим же программным обеспечением.

Часть 1. Многодневная работа испытуемых в ИМК-Р300 со стимулами, предъявляемыми на движущихся объектах. 12 испытуемых (из них трое мужчин) участвовали каждый в 4 сессиях, проводимых в разные дни (минимальный интервал -2 дня). Все испытуемые случайным образом были поделены на две группы: одни всегда работали в режиме с однократным предъявлением стимулов (группа «1»), другие - с трехкратным (группа «3»),

Использовалась разработанная нами игровая модификация ИМК-Р300 (Ganin et al., 2011) В каждой сессии после настройки (обучения) классификатора на основе линейного дискриминанта Фишера (Krusienski et al., 2006) в режиме с предъявлением 8 стимульных последовательностей (общая длительность 3,5 минуты) начиналась основная часть, где испытуемым предлагалось собирать картинки из отдельных элементов. Каждая картинка состояла из 9 элементов, из которых вырезались круги диаметром 2,15°. Эти круги («шары») двигались со скоростью 5,47с внутри игрового поля размером 14x14°, изменяя направление движения при соударениях. Стимулом служила подсветка шара на 125 мс - увеличение яркости картинки. Одна стимульная последовательность состояла из подсветок одного целевого и восьми нецелевых шаров в случайном порядке без пауз между подсветками, причем один шар никогда не подсвечивался два раза подряд. Целевой шар указывался справа от основного поля. Для удобства нахождения целевого шара и слежения за ним на каждом шаре была буква русского алфавита. Работа с одним целевым шаром составляла один блок, в котором была либо одна (группа «1»), либо три (группа «3») стимульных последовательности.

Как только испытуемый находил целевой шар внутри поля, он нажимал на кнопку мыши, и через 3 секунды начиналась стимуляция. Испытуемые должные были внимательно следить за целевым шаром и мысленно отметить единственную подсветку целевого шара (группа «1»), либо мысленно отсчитывать каждую из трех подсветок целевого шара (группа «3»). Если классификатор правильно определял

целевой шар, общая картинка дополнялась соответствующим элементом (шар при этом оставался в поле) и происходил переход к следующей цели, в противном случае засчитывалась ошибка, и целью оставался этот же шар. Испытуемые всегда должны были собирать картинку, заполняя ее элементами слева направо и сверху вниз. Одна игра предполагала работу с одной картинкой, которая продолжалась до помещения в картинку последовательно всех девяти ее элементов, либо после набора 10 ошибок. Каждый испытуемый в каждой сессии проходил 10 таких игр, причем картинки не повторялись для одного испытуемого в течение всех сессий.

Часть 2. Использование начала движения объекта в качестве стимула в ИМК-Р300. В этой части работы приняли участие 21 испытуемый: 8 мужчин и 13 женщин. Использовалась разработанная нами модификация ИМК-Р300 с шестью объектами-кнопками, на которых были изображены условные команды управления некоторым устройством (стрелки и пр.). Объекты были помещены в светло-синем поле размером 7,4x7,4 угловых расположенном по центру на темно-сером фоне экрана компьютера размером 23,6x18,9°. Объекты имели форму равносторонних треугольников высотой 2,2° и располагались по кругу, так, что вершины треугольников сходились в условном центре. Стимулом могла служить подсветка объекта (увеличение его яркости), или кратковременное движение объекта в направлении от центра к периферии. Длительность подсветки составляла 100 мс, интервал между двумя соседними стимулами - 50 мс. Движение представляло собой быстрое смещение объекта на 9 мм (0,55°) от своего начального положения со скоростью 7,47сек и мгновенное возвращение к первоначальному положению с той же скоростью; весь маневр занимал 150 мс. Всего в исследовании было три режима стимуляции - только подсветка объекта («П»), только движение («Д»), а также комбинированный вариант с подсветкой и движением объекта одновременно («П+Д»), Режимы стимуляции чередовались в случайном порядке для каждого испытуемого (для отдельного испытуемого заново генерировалась случайная очередность трех режимов).

Для каждого режима стимуляции строился отдельный классификатор (линейный дискриминант Фишера), после чего начиналась основная часть, где испытуемым предлагалось поочередно «выбирать» с помощью интерфейса указанные объекты, концентрируя на них внимание и мысленно считая число подсветок или движений целевого объекта. Текущий целевой объект указывался в нижней части экрана. Одна стимульная последовательность состояла из одного целевого и пяти нецелевых стимулов, предъявляемых в случайном порядке. И для настройки классификатора, и в основной части использовалось пять стимульных последовательностей, т.е. каждый целевой объект подсвечивался или двигался по пять раз. В одном блоке записи ЭЭГ нужно было выбрать последовательно 8 объектов. В каждом из трех режимов стимуляции было три таких блока.

Часть 3. Исследование эффекта расстояния между стимулами в ИМК-Р300 с началом движения в качестве стимула. В этой части работы изучалось влияние расстояния между стимулами при использовании испытуемыми ИМК-РЗОО, описанного во второй части работы. Для этого было использована два варианта расположения элементов матрицы. В первом из них (режима «компактная матрица») размеры и взаимное расположение объектов в матрице соответствовало описанному в предыдущей части ИМК. Во втором варианте (режим «разреженная матрица») размер объектов сохранялся прежним (2,2°), однако, они располагались на значительном расстоянии друг от друга (расстояние между двумя соседними объектами составляло 2,2°), что исключало попадание в фовеальную область зрения других стимулов при фиксации только на целевом стимуле. В каждом из двух вариантов расположения стимулов было три режима стимуляции, как и в предыдущей части работы: только подсветка объекта («П»), только движение («Д»), а также комбинированный вариант с подсветкой и движением объекта одновременно («П+Д»), Таким образом, всего было шесть режимов, чередующихся в случайном порядке между собой, для каждого из которых строился отдельный классификатор. Задание испытуемых и схема всего эксперимента соответствовали описанным во второй части работы, за исключением небольшого сокращения объема записываемых данных, чтобы чрезмерно не увеличивать длительность эксперимента при увеличении числа режимов вдвое.

Анализ результатов. По результатам работы каждого испытуемого рассчитывалась средняя точность его управления с помощью данного ИМК как отношение общего числа правильно введенных команд к общему числу попыток. Для анализа ПСС отдельно усреднялись эпохи в ответ на целевые и нецелевые стимулы. Перед разбиением на эпохи ЭЭГ подвергалась полосной фильтрации в полосе 0.5-20 Гц (фильтр Баттерворта с компенсацией сдвига фазы). Амплитуда волны Р300 определялась как максимальное значение амплитуды сигнала ЭЭГ в целевых или разностных ПСС (целевые минус нецелевые) в окне [250 500] мс, либо окно подбиралось индивидуально для отдельных испытуемых. Амплитуда компонента N1 определялась как минимальное значение амплитуды сигнала ЭЭГ в целевых или разностных ПСС в окне [120 250] мс (усреднение в отведениях Р07, POS, OI, 02).

Статистический анализ полученных данных осуществлялся в среде MATLAB 7.1 (MathWorks) с помощью специально написанных программ, а также в пакете STATISTICA 7.0 (StatSoft). Использовались критерии Стьюдента, Вилкоксона, Манна-Уитни, а также однофакторный (ANOVA) и многофакторный (MANOVA) дисперсионный анализ.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ И ОБСУЖДЕНИЕ

Часть 1. Многодневная работа испытуемых в ИМК-РЗОО со стимулами, предъявляемыми на движущихся объектах. В нашем исследовании мы впервые показали, что ИМК-РЗОО обеспечивает стабильный контроль в случае, если позиции стимулов не фиксированы в пространстве, как в стандартном подходе, а находятся в постоянном движении, т.е. их позиции постоянно меняются относительно друг друга. Усредненная по испытуемым точность в группе «1» в течение четырех сессий варьировала от 64 до 68%. В группе «3» средняя точность в течение сессий варьировала от 79 до 82% (рисунок 1).

100

Однократное предъявление

Трехкратное предъявление

Рис. 1. Точность

классификации в эксперименте для группы «1» с однократным предъявлением (п=6) и группы «3» с трехкратным предъявлением (п=6) в течение четырех сессий.

12 3 4 Сессии

Таким образом, точность в нашем ИМК многократно превышала случайный уровень, который составлял 11% (поскольку происходил выбор из 9 объектов). Несмотря на то, средний уровень точности, достигнутый испытуемыми в нашем исследовании, ниже, чем во многих работах по ИМК-РЗОО (Farwell et al., 1988; Sellers et al. 2006b; Guger et al., 2009; Townsend et al., 2010), важно помнить, что точность эта была достигнута при минимально возможном числе предъявлений стимулов: при трех усреднениях эпох ЭЭГ (группа «3»), либо совсем по единичной эпохе (группа «1»). Время на выбор команды в этих случаях составляло всего 3,4 и 1,1 секунды, соответственно. В то время как в указанных работах детектирование цели осуществлялось на основе усреднения от 5 до 20 целевых эпох ЭЭГ, что при различной длительности межстимульных интервалов соответствовало времени на выбор одной команды от 15 до 108 секунд, что на 1-2 порядка больше, чем в нашем случае.

В других работах, где также использовалось минимальное (вплоть до одного) число предъявлений целевого стимула, были достигнуты схожие по точности результаты (Finke et al., 2009; Blankertz et al., 2011). Однако дизайн в этих ИМК оставался статичным: стимулы предъявлялись в индивидуальных позициях матрицы, а в нашем случае стимулы предъявлялись на движущихся объектах-шарах. Это могло привести к ухудшению управления в ИМК по сравнению с неподвижными объектами за счет осложнения детекции целевого стимула и отвлечению на нецелевые стимулы,

что могло бы приводить к снижению внимания к целевому стимулу. Однако мы показали, что даже в условиях движения позиций стимулов точность сохраняется на приемлемом уровне, сравнимом с указанным исследованием, где движение отсутствовало.

т ги

< -5

о о.е

Время, сек

Рг

(Р07+Р08+01+02)/4

(Р07+Р08+01+02У4

Рис. 2. Усредненные по группе и по четырем сессиям целевые (черный) и нецелевые (серый пунктир) ПСС: (А) - группа «1» (п=5), (Б) - группа «3» (п=5). Момент начала стимула соответствует 0 мс.

На рисунке 2 представлены ПСС, усредненные по испытуемым каждой из групп, а также по всем четырем сессиям. При сравнении ПСС в ответ на целевые и нецелевые стимулы обращает внимание на себя тот факт, что реакции на нецелевые стимулы практически отсутствовали. Показано, что предъявление стимулов случайными группами или по-отдельности может приводить к тому, что подсветки нецелевых стимулов значительно меньше отвлекают внимание (Тоштепс! й а1., 2010), чем подсветки, сгруппированные в строки и столбцы, как в классическом ИМК-Р300, что ведет к значительно меньшей амплитуде в ответах на нецелевые стимулы и, следовательно, уменьшенному числу ошибок. В нашем случае эффект предъявления стимулов на отдельных не сгруппированных объектах усиливался еще тем, что эти объекты находились в постоянном движении. При слежении за движущейся целью на сетчатке фиксируется только ее изображение, в то время как изображения всех остальных стимулов при их движении постоянно проецируются в разные точки сетчатки. Это могло также способствовать отсутствию устойчивого паттерна реакций

в нецелевых ПСС. Такой дизайн с движущимися стимулами, по-видимому, является наиболее прогрессивным для наилучшей дискриминации реакций в ответ на целевые и нецелевые стимулы, что на практике может отражаться в более точном распознавании целевых команд интерфейсом.

Другим важным эффектом в отношении ПСС, зарегистрированных в нашем исследовании, является более высокая амплитуда ПСС в группе «1» с однократным предъявлением по сравнению с группой «3» с трехкратным предъявлением (рисунок 3). Различия были обнаружены для амплитуды РЗОО в отведении Рг, где она была выражена лучше всего (Р(1,7)=6,0, р=0,04), а в отведении Сг различия отсутствовали (Р(1,7)=0,02, р=0,89). Также, несмотря на отсутствие значимых различий для амплитуды N1 (Р(1,9)=0,9, р=0,37), из рисунка 3 видно, что в группе «1» она также была больше, чем в группе «3» (различия могли не достичь уровня значимости из-за небольших размеров групп). Полученные эффекты более высокой амплитуды ПСС при однократном предъявлении целевого стимула можно рассматривать как преимущество данного режима стимуляции по сравнению с многократным предъявлением, поскольку это может свидетельствовать о более высокой дискриминирующей способности ПСС в отношении целевых и нецелевых команд, что можно использовать в дальнейшем при разработке более эффективных ИМК.

10,0

ш 8,0

6,0

I 5 4,0

Ц С

< 2,0

0,0

12 3 Сессии

ьс

10,0 8,0 6,0 4,0 2,0 0,0

2 3 Сессии

Однократное предъявление

Трехкратное предъявление

Рис. 3. Амплитуда компонента N1 (А) и волны РЗОО (Б) для группы «1» с однократным предъявлением (п=6 для N1 и п=5 для РЗОО) и группы «3» с трехкратным предъявлением (п=6 для N1 и п=5 для РЗОО) в течение четырех сессий. Для N1 приведены абсолютные значения амплитуды. Показаны среднее и стандартное отклонение.

При анализе динамики ПСС в четырех сессиях не было обнаружено эффектов роста амплитуды ПСС ни в одной из групп испытуемых. Амплитуда компонента N1 не менялась на протяжении сессий (Х=0,8, F(3,7)=0,7), а для амплитуды волны Р300, наоборот, даже была обнаружена тенденция к уменьшению (^.=0,3, F(3,5)=4,9, р=0,06). Причем при однократном предъявлении целевого стимула уменьшение амплитуды было не таким значительным, как при трехкратном предъявлении (рисунок 3). Возможным объяснением таких различий в динамике РЗОО между группами может быть больший уровень внимания, обусловленный лучшей вовлеченностью в задачу и азартом, у испытуемых с однократным предъявлением, чем с трехкратным. Несмотря на более высокую амплитуду РЗОО и N1 в группе «1», точность работы в ней была ниже, чем в группе «3» (рисунок 1), что логично следует из методики: в первом случае отсутствие усреднений стимулов приводило к большему числу ошибок, в то время как вариации во внимании и амплитудах ПСС в группе «3» нивелировались за счет усреднения реакций на три стимула. Вероятно, в этих условиях для испытуемых группы «1» был характерен более высокий уровень внимания к единственной подсветке целевого стимула, а у испытуемых группы «3» внимание могло шире распределяться на отдельные подсветки. Это может также объяснять более высокую амплитуду компонентов ПСС в группе «1» по сравнению с группой «3» (рисунки 2 и 3).

Согласно одному из наших предположений, тренировка в течение нескольких сессий в режиме с более быстрой обратной связью (группа «1») может быть более эффективной по сравнению с более отставленной и «усредненной» обратной связью (группа «3»), Чтобы проверить данное предположение, во второй половине четвертой сессии мы предложили испытуемым обеих групп работать в ИМК-РЗОО с более стандартным числом стимульных последовательностей (5 предъявлений целевого стимула на одну попытку - вместо одного или трех). Средняя точность работы в группе «1» в этом режиме, действительно, была несколько выше, чем в группе «3» (88% и 83%, соответственно), однако различия были незначимы. Возможно, данный эффект был незначимым из-за малого числа испытуемых в каждой группе. Также в пользу отсутствия эффектов обучения говорит и отсутствие какой-либо динамики в точности работы испытуемых в течение сессий (рисунок 1, Х=0,8, F(3,18)=l,4, р=0,28). Можно также предположить, что отсутствие эффектов обучения, может объясняться недостаточным числом сессий. В двух других работах, где оценивалась динамика работы испытуемых в ИМК-РЗОО, число сессий было равно трем, и рост показателей либо не наблюдался (Wang et al., 2012), либо был незначительным и объяснялся лишь первичным привыканием к задаче, поскольку отдельные сессии были очень коротки (Arico et al, 2011). Наконец, отсутствие положительных эффектов как на точность, так и на ПСС, на протяжении четырех сессий может быть связано с весьма трудным заданием испытуемых в нашей модификации ИМК-РЗОО. Все испытуемые отмечали, что некоторые фрагменты изображений, помещенные на шарах, были особенно

«трудными», и часто вызывали ошибки. Не исключено, что параметры движения и взаимодействия шаров (при столкновениях) были не оптимальны, и поэтому могли, наоборот, способствовать ослаблению внимания из-за отвлечения его на нецелевые объекты-дистракторы, вместо того, чтобы способствовать более высокому уровню внимания, как нами предполагалось исходно. Кроме того, мы не использовали в нашей работе специальных алгоритмов обработки сигнала, способных лучше выделить реакции на целевые стимулы из общего шума и реакций на нецелевые стимулы, поэтому обратная связь в виде распознанного классификатором объекта могла несколько «загрязняться». Все отмеченные факторы могли вести к тому, что наш дизайн ИМК-РЗОО мог оказаться не достаточно эффективным для тренировки пользователей.

В числе прочих результатов можно также отметить высокий и стабильный (отсутствие изменений: Х,=0,8, Р(3,8)=0,7, р=0,57) уровень интереса испытуемых к задаче в течение всех четырех сессий, несмотря на одно и то же задание во все дни. Анализ динамики интереса на протяжении многодневного использования ИМК-РЗОО немаловажен для оценки его потенциала при использовании здоровыми испытуемыми. Работая в ИМК на протяжении многих сессий и выполняя каждый раз однообразные инструкции, испытуемые могут постепенно терять интерес к задаче, что будет отрицательно сказываться на уровне внимания и амплитуде ПСС. Поэтому сохранение интереса в нашем исследовании на постоянном уровне в течение четырех сессий говорит в пользу эффективности применения всех особенностей нашего дизайна ИМК-РЗОО.

Использование стандартного режима с многократным предъявлением стимула в ИМК-РЗОО обычно подразумевает идею о том, что реакции на все стимулы одинаковы (например, В1апкег1г й а1., 2011). Но есть основания ожидать, что у реакций на первые целевые стимулы при их многократном предъявлении существует своя специфика, и их вклад в ПСС при усреднении всех целевых стимулов довольно значимый. На сегодняшний момент нам не известно работ, где эффекты позиции стимулов изучались бы именно в рамках ИМК-РЗОО, где предъявление стимулов имеет свою специфику по сравнению с не-ИМК исследованиями по изучению эффектов позиции стимулов и межстимульных интервалов. В нашей работе были впервые проанализированы особенности потенциалов мозга, связанных с событиями (ПСС), в ответ на первые предъявления стимулов в парадигме ИМК-РЗОО (рисунок 4). Нам не удалось найти значимых отличий амплитуды компонента N1 между первым, вторым и третьим предъявлениями стимулов. Напротив, амплитуда волны Р300 в ответ на первый стимул была значимо выше, чем в ответах на второй и третий стимул (р<0,05 во всех случаях по парному критерию Стьюдента), а в отведении Рг, где РЗОО была наиболее выражена, ее амплитуда также была наиболее высокой в режиме с однократным предъявлением стимулов по сравнению с трехкратным (1(8)=2,55, р=0,03). В целом полученные нами данные согласуются с известными из литературы

эффектами снижения амплитуды компонентов ПСС при последовательных предъявлениях стимулов - явление габитуации (Fruhstorfer et al., 1970; Lew et al., 1993; Murphy et al., 2004). Однако наличие и мощность этих эффектов в рамках ИМК-Р300 не могли быть предсказаны только на основе существующих работ, условия которых обычно значительно отличаются от парадигмы ИМК-Р300, следовательно, для ответа на данный вопрос требовались соответствующие эксперименты. Кроме того, полученные нами данные могут быть интерпретированы в свете большого количества исследований, где показано увеличение амплитуды компонентов при удлинении межстимульных интервалов (Gonsalvez et al., 1999; Strilber et al., 2002; Gonsalvez et al., 2002; Croft et al., 2003). На интервал между целевыми стимулами косвенно влияют вероятность появления целевого стимула, межстимульный интервал и число предшествующих нецелевых стимулов. В нашей работе в режиме с трехкратным предъявлением стимулов (группа «3») средний интервал между всеми целевыми стимулами был около 1 секунды, в то время как интервал между последним целевым стимулом предыдущего блока и первым целевым стимулом следующего блока был гораздо больше - не менее 9 секунд. Такое соотношение интервалов может объяснять более высокую амплитуду ПСС в ответ на первый стимул по сравнению с остальными стимулами, разделенными более короткими интервалами. В режиме с однократным предъявлением фокус внимания к первому и единственному стимулу мог быть выше, чем при трехкратном предъявлении, где внимание может распределяться для реагирования на три последовательных стимула, поэтому амплитуда ПСС в группе «1» могла быть выше, чем в ответ на первые целевые стимулы в группе «3», несмотря на примерно одинаковые интервалы перед целевым стимулом в обоих случаях.

(Р07+Р08+01+02) / 4

Однократное предъявление

Первый целевой " Второй целевой Третий целевой .

Трехкратное предъявление

Рис. 4. Амплитуда волны Р300 (в Сг и и N1 (в затылочных отведениях) в группе «1» с однократным предъявлением (п=6), суммарно в группе «3» с трехкратным предъявлением (п=6), а также при усреднении отдельно по каждому из трех целевых стимулов в группе «3». Для N1 приведены абсолютные значения амплитуды. * - р<0,05.

Кроме анализа ПСС, мы аналогично рассчитали оффлайн точность классификации для каждого из трех целевых стимула в отдельности в режиме с трехкратным предъявлением (т.е. по неусредненным данным). В отличие от амплитуд ПСС, здесь мы не обнаружили значимых различий как между точностью для отдельных целевых стимулов в группе «3», так и по сравнению с точностью в группе «1» с однократным предъявлением стимула. Поэтому очевидно, что описанные эффекты для ПСС не оказывали существенного воздействия на работу ИМК в нашем случае. Однако классификатор в наших экспериментах настраивался на ПСС, регистрируемых при предъявлении большого числа стимулов (восьми), которые могли иметь и другие отличия, вследствие чего он мог оказываться менее эффективным при малом числе стимулов. Вполне возможно также, что целенаправленный подбор условий для еще большего выделения значимости первого и/или даже последнего стимула в ИМК-РЗОО мог бы позволить еще больше увеличить амплитуду ПСС в ответ на соответствующие предъявления стимулов либо в ответ на однократные предъявления целевых стимулов. Полученные данные по анализу эффекта позиции стимулов свидетельствуют о возможности повышения эффективности ИМК-РЗОО за счет модификации алгоритмов распознавания целевых ПСС в направлении их дифференциального оценивания в ответах на первый и последующие целевые стимулы.

Часть 2. Использование начала движения объекта в качестве стимула в ИМК-РЗОО. В отличие от первой части работы, где дизайн ИМК включал движение стимульных позиций, а само движение не связано с моментами начала стимулов, во второй части исследования мы разработали модификацию ИМК-РЗОО, где стимулом может являться непосредственно момент начала движения объекта. Целью этого исследования было оценить пользовательские характеристики и ПСС в созданной нами модификации ИМК-РЗОО с комбинированными стимулами «подсветка+движение», а также показать возможность размещения стимулов-символов в таком ИМК в компактном формате, облегчающем его встраивание в различные системы управления внешними техническими устройствами. Главным результатом было то, что все испытуемые уже после пятиминутной настройки классификатора сразу смогли вводить команды с помощью нашего интерфейса. При этом при использовании в качестве стимулов подсветок либо комбинации подсветок с движением точность была выше, чем при использовании только движения в качестве стимулов (рисунок 5, р<0,05, тест Фишера для post hoc сравнений).

Также испытуемые отвечали на ряд вопросов об их субъективных предпочтениях относительно трех режимов стимуляции и сложностей работы с ними. По результатам опросов для каждого испытуемого выставлялись баллы по трем режимам («баллы предпочтения»): за самый удобный и комфортный для работы режим выставлялось 3 балла, за самый неудобный и трудный - 1 балл. Для режима с комбинированным типом стимулов сумма баллов была наибольшей (46, среднее

2,19±0,18), хотя отличия от режимов с подсветками и движением не были значимы (37, среднее 1,76±0,17 и 42, среднее 2,00±0,19, соответственно). Тем не менее, основываясь на этих данных, можно предположить, что для дизайна ИМК с компактным расположением стимулов, когда роль нецелевых объектов-дистракторов внимания особенно возрастает, использование в качестве стимула начала движения объекта, наряду с его подсветкой, может способствовать лучшей фиксации внимания на целевом объекте и предотвращению ошибок, связанных с его смещением к нецелевым объектам.

Рис. 5. Точность работы испытуемых (п=21) в разных режимах стимуляции: только подсветки («П»), одновременно подсветки и движение («П+Д»), только движение («Д»). Показаны среднее и стандартная ошибка среднего. * -р<0,05.

была одинаковой в режимах с комбинированными стимулами и только с подсветками, однако в режиме только с движением Р300 была ниже. Амплитуда компонента N1 была максимальна в режиме с подсветками, а в режимах с комбинацией «подсветка+движение» и с движением N1 был примерно вдвое ниже (рисунок 6, р<0,05, тест Фишера для post hoc сравнений).

Рис. 6. Амплитуды компонентов Р300 (отведении Pz) и N1 (усреднение по отведениям Р07, Р08, OI, 02) в трех режимах стимуляции: режим с подсветками («П»), режим с подсветками и движением («П+Д»), режим с движением («Д»). Для N1 приведены абсолютные значения амплитуды. Показаны среднее и стандартная ошибка среднего. * - р<0,05.

* 60

П + Д

Как и точность, амплитуда Р300

Известно несколько работ по построению ИМК-Р300 со стимулами на основе начала движения вместо подсветок. Однако в них либо не производилось прямого сравнения использования подсветок и движения, а также их комбинации в качестве стимулов (Hong et al., 2009; Liu et al., 2010), либо за основу была взята объемная буквенная матрица с большим числом символов (Jin et al., 2012). Представляется вероятным, что подсветки стимулов (либо с движением, либо в его отсутствии) способствуют лучшему захвату внимания, и, следовательно, более высокой амплитуде волны Р300 по сравнению только с движущимися стимулами. Этим может объясняться более низкая амплитуда РЗОО и точность в режиме с движением. Более низкая амплитуда компонента N1 в обоих режимах, где присутствовало движение, может объясняться чувствительностью данного компонента к направлению взгляда (Шишкин и соавт., 2011; Treder et al., 2010; Frenzel et al., 2010). В случае движущихся стимулов фиксация взгляда на целевом стимуле менее устойчива по сравнению с неподвижными стимулами, поэтому компонент N1 может уменьшаться, а волна РЗОО меняться в меньшей степени, поскольку она может быть получена в таких вариантах ИМК-Р300, где фиксация на целевом стимуле не требуется (Liu et al., 2011).

Разработанная нами модификация ИМК-РЗОО представляет собой достаточно компактный вариант интерфейса, который может быть использован для управления различными робототехническими устройствами. Стимулы предъявлялись в поле размером чуть больше 11x11 см, размер которого может быть еще больше уменьшен, например, для размещения на портативном дисплее. Пользователю доступно шесть команд, которых может быть достаточно для управления, например, нейропротезом или роботом. Хотя в нашей работе движущиеся стимулы и не обеспечили результатов, превосходящих обычный тип стимуляции в ИМК-РЗОО с подсветками, мы показали, что использование движения в комбинации с подсветками дает не худшие результаты, чем подсветки в отдельности, а по некоторым параметрам даже превосходит стимуляцию с подсветками (на 3% более высокая точность и на 24% баллы предпочтения). Кроме того, использование в ИМК-РЗОО движущихся стимулов предположительно может быть менее утомительным и более интересным для пользователя (Hong et al., 2009, Ganin et al., 2011), что может способствовать поддержанию более высокого уровня внимания при работе. Последнее является выигрышным положением при разработке компактного варианта ИМК-пульта управления, поскольку в этом случае могут возникать негативные эффекты, связанные с небольшим размером стимулов и их близким расположением друг к ДРУГУ-

Аналогично проведенному в первой части работы анализу по исследованию эффекта позиции стимулов в ИМК-РЗОО, в этой части работы также был проведен подобный анализ. Он выявил влияние эффекта позиции на амплитуду РЗОО: она постепенно снижалась от первого предъявления целевого стимула к последующим, однако это было характерно лишь для двух режимов, где в составе стимула

присутствовало движение. Казалось бы, такое снижение амплитуды Р300 при использовании движущихся стимулов может говорить о меньшей эффективности этих стимулов по сравнению с обычными подсветками, амплитуда РЗОО для которых оставалась на примерно одинаковом уровне. Однако в режиме с комбинированными стимулами амплитуда РЗОО снижалась лишь до уровня режима с подсветками, исходно же РЗОО для первых двух позиций была даже выше, чем при подсветках, хотя и незначимо. Вместе с тем этих различий в амплитуде оказалось не достаточно, чтобы привести заметным различиям в точности классификации для соответствующих позиций стимулов. Возможно, при меньшем числе предъявлений стимулов (как в первой части работы) требуется больше затрат внимания и более точная реакция, поскольку достичь высокой точности при небольшом числе усреднений стимула сложнее. Это может приводить к тому, что субъективная оценка значимости всех стимулов при пяти предъявлениях будет меньше, а внимание к разным стимулам может распределяться более равномерно, поэтому эффект значимости первого стимула может быть более слабым. В этих условиях, можно было бы, например, попытаться подобрать условия стимуляции, при которых эффект превосходства первых целевых стимулов «подсветка+движение» оказался бы более выраженным, а в сочетании с уменьшенным числом повторений целевого стимула (например, трех) это могло бы выделить значимость первой позиции еще больше, что позволило бы повысить эффективность ИМК.

Часть 3. Исследование эффекта расстояния между стимулами в ИМК-РЗОО с началом движения в качестве стимула. В связи с дизайном ИМК в нашем эксперименте в виде компактного пульта управления, стимулы в нем располагались крайне близко друг к другу, таким образом, что нецелевые объекты, схожие с целевым, могли отвлекать внимание пользователя, т.е. быть «дистракторами», что могло также негативно влиять на реакции мозга на целевые стимулы. Чтобы проверить, связана ли пониженная амплитуда ПСС в режимах с движением с особенностями восприятия движущихся стимулов, или является результатом сниженной реакции на целевые стимулы из-за наличия дистракторов, мы решили сравнить ПСС при компактном и более далеком расположении стимулов друг от друга. Кроме того, при разработке компактного пульта управления на основе описанного «гибридного» ИМК-РЗОО важно было исключить наличие негативных эффектов на управление, связанных с близостью расположения стимулов в нем. В результатам проведенной экспериментальной серии было выявлено отсутствие эффекта расстояния между стимулами на точность управления в ИМК. Мы также не обнаружили значимого влияния эффекта расстояния между стимулами в ИМК-РЗОО на амплитуды компонентов РЗОО и N1. Из этого можно сделать вывод о том, что более низкая амплитуда РЗОО и особенно N1 в режимах с движением, наблюдавшаяся еще во второй части работы, обусловлена именно особенностями восприятия

движущихся стимулов, а не отвлекающей ролью объектов-дистракторов, возрастающей при плотном расположении стимулов.

Отсутствие значимых различий, как в точности, так и в амплитудах ПСС между «компактным» и «разреженным» форматами матрицы создает перспективу для дальнейшего развития такого рода пультов управления с плотным расположением команд без снижения эффективности таких ИМК. Такой дизайн ИМК-РЗОО, как уже было отмечено, позволяет располагать стимульную матрицу на портативных мобильных дисплеях, что важно для прикладного аспекта применения технологии ИМК. Помимо этого, небольшой размер матрицы, основная часть которой проецируется на фовеальную и ближайшую к ней парафовеальную область сетчатки, может быть полезен в интерфейсах, нацеленных на использование пациентами с нарушениями фиксации взгляда, когда выбор команды может быть основан только на реакции внимания к целевому стимулу без обязательной фиксации на нем.

ЗАКЛЮЧЕНИЕ

В ходе проведенного исследования были предложены различные регламенты предъявления стимулов и организации самого контура ИМК-РЗОО. Целью всех этих модификаций была оптимизация работы пользователя в интерфейсе и поиск возможных перспектив, а также ограничений для развития этой нейротехнологии.

Мы впервые показали, что построение ИМК-РЗОО на основе движущихся позиций стимулов обеспечивает стабильное управление в виде выбора из предлагаемых команд тех, на которые направлено внимание пользователя. Достаточный уровень надежности управления сохранялся даже при минимальном числе предъявлений стимулов (однократном и трехкратном). Несмотря на отсутствие эффектов обучения при длительной работе в нашем ИМК, он обеспечил стабильный и достаточно высокий уровень интереса для всех испытуемых в течение четырех сессий, проходивших в разные дни. По-видимому, негативные эффекты движения позиций стимулов, наличие которых можно было предположить из литературных данных, в нашей работе могли отсутствовать, или частично компенсироваться игровым дизайном и элементами движения в нашем ИМК, что могло обеспечивать высокий уровень внимания при работе в нем. Несмотря на отмеченные возможные причины отсутствия эффектов обучения при длительной работе в ИМК, результаты нашего исследования создают положительную перспективу для последующей оптимизации и внедрения подобного ИМК в самые разнообразные системы управления.

Также мы исследовали применение в ИМК-РЗОО комплексного типа стимуляции, где в качестве управляющего стимула используется начало движения символьной команды наряду с ее подсветкой. Показанная нами эффективность такого ИМК представляется особенно высокой в условиях, где требуется применение компактного пульта управления с относительно небольшим числом команд (например, для

управления подвижными роботами-манипуляторами). В этих случаях применение комплексных стимулов может быть компенсирующим фактором в условиях негативных эффектов внешней среды, ослабляющих внимание и затрудняющих управление.

В обоих разработанных вариантах ИМК-Р300 мы изучили эффект позиции целевых стимулов в последовательности их предъявления на характеристики работы ИМК. Были выявлены особенности позиции преимущественно первых стимулов, для которых была характерна повышенная амплитуда Р300. Учет этих особенностей при модификации алгоритмов классификации может способствовать повышению эффективности интерфейсов на волне РЗОО, в особенности при использовании комплексных стимулов «подсветка+движение» по сравнению с обычными подсветками.

В последней части работы были исследованы эффекты расстояния между стимульными командами в ИМК-Р300 со стимулами на основе движения. Было показано отсутствие значимых различий при компактном и очень далеком расположении стимулов в стимульной матрице, что создает перспективу для дальнейшего развития такого рода ИМК-пультов управления с плотным расположением команд без снижения их эффективности.

ВЫВОДЫ

1. Впервые разработан высокоэффективный интерфейс мозг-компьютер на волне РЗОО (ИМК-РЗОО), в котором командные стимулы располагаются на движущихся объектах, что существенно расширяет варианты различных приложений технологии.

2. Разработанный ИМК обеспечил всем испытуемым рекордно высокую скорость ввода команды: при трехкратном предъявлении целевого стимула выбор команды возможен за 3,4 секунды, а точность при этом была выше, чем при однократном предъявлении, где время на выбор команды составляет 1,1 секунды. Амплитуды компонентов ПСС были выше при однократном предъявлении стимула, чем при трехкратном, свидетельствуя о более высоком уровне внимания в этом режиме.

3. Многократное применение здоровыми испытуемыми интерфейса с движущимися позициями стимулов не ухудшает показателей его работы: в четырех последовательных сессиях не было обнаружено значимого снижения точности работы испытуемых в ИМК и амплитуд компонентов РЗОО и N1 потенциалов мозга, а оцененный с помощью визуальных шкап уровень интереса испытуемых к задаче оставался на высоком и стабильном уровне, несмотря на идентичность задания во всех сессиях.

4. Предложен новый «гибридный» ИМК-РЗОО в виде компактного пульта управления, где в качестве стимула кроме подсветки используется также начало движения объекта. Этот ИМК обеспечил сравнимую со стандартной стимуляцией точность работы и был выбран многими испытуемыми как наиболее удобный и простой режим работы по сравнению с другими типами стимулов.

5. Амплитуда волны РЗОО в этом ИМК была максимальной для стимулов-подсветок, а также для нового типа стимулов «подсветка+движение», обеспечивающих поддержание внимания на более высоком уровне за счет уменьшения монотонности задачи испытуемого. Амплитуда компонента N1 была максимальной для стимулов-подсветок.

6. В обоих разработанных вариантах ИМК-РЗОО с движением стимулов были выявлены эффекты позиции целевых стимулов в последовательности их предъявления: амплитуда РЗОО для первых стимулов была более высокая, чем для последующих. Учет этих особенностей позволит разработать более совершенные алгоритмы распознавания в ИМК-РЗОО.

7. Была показана устойчивость «гибридных» ИМК с движущимися стимулами к значительным вариациям пространственного расположения командных символов, что создает перспективу для дальнейшего развития такого рода ИМК-пультов управления с плотным расположением команд без снижения их эффективности.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

Публикации в журналах, рекомендованных ВАК РФ

1. Ganin I.P., Shishkin S.L., Kaplan A.Ya. A РЗОО-based brain-computer interface with stimuli on moving objects: four-session single-trial and triple-trial tests with a game-like task design. PLOS ONE. 2013 (accepted with minor revision).

2. Ганин И.П., Каплан А.Я. Интерфейс мозг-компьютер на основе волны РЗОО: предъявление комплексных стимулов «подсветка + движение». Журн. высш. нерв. деят. 2013 (принято в печать).

3. Ганин И.П., Шишкин C.JL, Кочетова А.Г., Каплан А.Я. Интерфейс мозг-компьютер «на волне РЗОО»: исследование эффекта номера стимулов в последовательности их предъявления. Физиология человека. 2012;38(2):5-13.

4. Каплан А.Я., Кочетова А.Г., Шишкин СЛ., Басюл И.А., Ганин И.П., Васильев А.Н., Либуркина С.П. Экспериментально-теоретические основания и практические реализации технологии интерфейс мозг-компьютер. Бюллетень Сибирской медицины. 2013. Т.12, №2, С. 21-29.

5. Kaplan A.Ya., Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Y. Adapting the РЗОО-based brain-computer interface for gaming: a review. IEEE Transactions on Computational Intelligence and AI in Games. 2013. 5(2):141-149. [ doi: 10.1109/TCIAIG.2012.2237517 ]

6. Shishkin S.L., Ganin I.P., Kaplan A.Y. Event-related potentials in a moving matrix modification of the P300 BCI paradigm. Neuroscience Letters. 2011;496(2):95-99.

7. Shishkin S.L., Ganin I.P., Basyul I.A., Zhigalov A.Yu., Kaplan A.Y. N1 wave in the P300 BCI is not sensitive to the physical characteristics of stimuli. J. of Integrative Neuroscience. 2009;8(4):471-485.

Публикации в других изданиях

8. Ганин И.П., Половицкая М.М., Каплан А.Я. Интерфейс мозг-компьютер на волне РЗОО с комплексными стимулами «подсветка+движение». В сб.: Когнитивная наука в Москве: новые исследования. Москва. 19 июня 2013 г. С. 79.

9. Ганин И.П., Шишкин СЛ., Григорян Р.К., Басюл И.А., Каплан А.Я. Интерфейс мозг-компьютер на волне РЗОО со стимулами, предъявляемыми на движущихся объектах. В сб.: Материалы XVI Междунар. конф. по нейрокибернетике. Ростов-на-Дону, 24-28 сентября 2012 г. Изд-во ЮФУ, 2012. Т. 2. Симпозиум «Интерфейс мозг-компьютер». С. 22-25.

10. Ganin I.P., Shishkin S.L., Kaplan A.Y. А РЗОО BCI with stimuli presented on moving objects. In: Proceedings of the Fifth International BCI Conference. Graz, Austria, 22-24 September, 2011. P. 308-311.

11. Shishkin S.L., Nikolaev A.A., Nuzhdin Y.O., Zhigalov A.Y., Ganin I.P., Kaplan A.Y. Calibration of the P300 BCI with the single-stimulus protocol. In: Proceedings of the Fifth International BCI Conference. Graz, Austria, 22-24 September, 2011. P. 256-259.

12. Шишкин СЛ., Ганин И.П., Николаев А.А., Каплан А.Я. Психофизиологические и вычислительные перспективы использования компонента N1 мозговых потенциалов в интерфейсе мозг-компьютер «на волне РЗОО». Труды XIII всероссийской научно-технической конференции «Нейроинформатика-2011» (МИФИ, 24 января - 28 января 2011 г.). С. 192-201.

13. Ганин И.П. Интерфейс мозг-компьютер на волне РЗОО с однократным предъявлением стимулов. В сб.: Международная научная конференция и молодежная школа «На пути к нейроморфному интеллекту: эксперименты, модели и технологии». Нижний Новгород. 3-7 октября 2011 г. С. 7.

14. Шишкин СЛ., Ганин И.П., Каплан А.Я. Ваше внимание жмет на кнопки! Сможете ли вы стать внимательнее? В сб.: Когнитивная наука в Москве: новые исследования. Москва. 16 июня 2011 г. С. 287.

15. Ганин И.П. Анализ компонентов N1 и Р300 потенциалов мозга в новых модификациях интерфейса мозг-компьютер "на волне Р300". Научная сессия НИЯУ МИФИ-2011.14-я Международная телекоммуникационная конференция молодых ученых и студентов «Молодежь и наука». Секция 24. Биофизика и когнитивные исследования. Москва, 2011. (http://www.mephi.ru/molod/docs.php)

16. Каплан А.Я., Шишкин C.JL, Басюл И.А., Ганин И.П., Жигалов А.Ю. Демонстрация игрового интерфейса мозг-компьютер, основанного на дискриминации целевых объектов в зрительном поле. Сборник научных трудов. XIV выставка-конференция «Телекоммуникации и новые информационные технологии в образовании». Москва, НИЯУ МИФИ, 2010. С. 110-111.

17. Ганин И.П.. Устойчивость компонента N1 потенциалов коры мозга в интерфейсе мозг-компьютер «на волне Р300» к вариациям пространственных характеристик стимулов. XVII Международная конференция студентов, аспирантов и молодых учёных «Ломоносов». Москва. 12-15 апреля 2010 г. С. 219.

18. Ганин И.П.. Компонент N1 потенциалов коры мозга и пространственные факторы в интерфейсе мозг-компьютер «на волне РЗОО». В сб.: Материалы XIV Науч. конф. молодых ученых ИВНД и НФ РАН. Москва. 21-22 октября 2010 г. С. 37.

19. Ганин И.П.. Позиционный интерфейс мозг-компьютер с движущимися элементами. В сб.: IV Научно-практическая конференция "Перспективы развития инноваций в биологии" (У.М.Н.И.К.). Москва. 8-10 декабря 2010 г.

20. Шишкин С.Л., Ганин И.П., Басюл И.А., Каплан А.Я. Интерфейс мозг-компьютер на основе волны РЗОО: волна N1 и проблема дистракторов. В сб.: Материалы XV Между нар. конф. по нейрокибернетике. Ростов-на-Дону, 23-25 сентября 2009 г. Изд-во ЮФУ, 2009. Т. 2. Симпозиум «Интерфейс мозг-компьютер». С. 30-33.

21. Kaplan A.Y., Shishkin S.L., Zhigalov A.Yu., Ganin I.P., Basyul I.A.. On the way to symbiotyc brain-computer interface. In: II International Symposium: Topical Problems of Biophotonics - 2009. Proceedings. Nizhny Novgorod, 19-24 July, 2009. P. 208-209.

22. Ганин И.П.. Nl-компонент электрических потенциалов мозга в интерфейсе мозг-компьютер. XVI Международная конференция студентов, аспирантов и молодых учёных «Ломоносов». Москва. 13-18 апреля 2009 г. С. 202.

23. Басюл И.А., Ганин И.П., Шишкин С.Л., Каплан А.Я.. Устойчивость работы в "символьном" интерфейсе мозг-компьютер при наличии дистракторов. Вторая всероссийская научно-практическая конференция «Количественная ЭЭГ и нейротерапия». Санкт-Петербург, 27-30 апреля 2009 г.

24. Ганин И.П.. Использование компонента N1 потенциалов коры мозга в интерфейсе мозг-компьютер. В сб.: Материалы XIII Науч. конф. молодых ученых ИВНД и НФ РАН. Москва. 14-16 октября 2009 г. С. 43.

25. Shishkin S.L., Ganin I.P., Kaplan A.Y. The P300 BCI is more than an oddball and more than a P300 BCI. In: Society for Psychophysiological Research. 49th Annual Meeting. Berlin. 21-24 October 2009. Psychophysiology, 2009. V. 46, Suppl. 1. P. S47.

26. Ганин И.П.. Позиционный интерфейс мозг-компьютер с движущимися элементами. В сб.: Материалы III Научно-практической конференции "Перспективы развития инноваций в биологии" (У.М.Н.И.К.). Москва. 11-13 ноября 2009 г. С. 43-45.

Заказ № 45-Р/08/2013 Подписано в печать 27.08.2013 Тираж 100 экз. Усл. п.л. 1.2

.."Цифровичок", тел. (495) 649-83-30 www.cfr.ru; e-mail: info@cfr.ru

Tif

Текст научной работыДиссертация по биологии, кандидата биологических наук, Ганин, Илья Петрович, Москва

МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени М. В. ЛОМОНОСОВА

БИОЛОГИЧЕСКИЙ ФАКУЛЬТЕТ Кафедра физиологии человека и животных

04201361478

На правах рукописи

Ганин Илья Петрович

ИНТЕРФЕЙС МОЗГ-КОМПЬЮТЕР НА ВОЛНЕ Р300: ИССЛЕДОВАНИЕ ЭФФЕКТОВ ПОВТОРЕНИЯ И ДВИЖЕНИЯ СТИМУЛОВ

03.03.01 - физиология 03.03.06 - нейробиология

Диссертация на соискание ученой степени кандидата биологических наук

Научный руководитель: д.б.н., профессор Каплан Александр Яковлевич

Москва - 2013

Оглавление

СПИСОК СОКРАЩЕНИЙ...........................................................................................................5

ВВЕДЕНИЕ И ЦЕЛИ РАБОТЫ...................................................................................................6

ОБЗОР ЛИТЕРАТУРЫ...............................................................................................................10

Интерфейс мозг-компьютер на основе волны Р300.....................................................10

Суть ИМК-Р300 и общий принцип работы.........................................................10

Электрофизиологическая основа ИМК-Р300......................................................11

Алгоритмы классификации...................................................................................15

Свойства стимульного материала в ИМК-Р300..................................................17

Организация стимулов и схемы предъявления...................................................19

Частотно-временные характеристики стимулов.................................................22

Позиции электродов...............................................................................................24

Возможность тренировки/обучения пользователя в ИМК-Р300................................25

Проблема многократных предъявлений стимулов.............................................25

Предъявление небольшого числа стимулов и режим однократного

предъявления в ИМК-Р300....................................................................................26

Предпосылки возможности тренировки испытуемых на предмет контроля

физиологических показателей..............................................................................28

Продолжительная работа в ИМК-Р300 как фактор обучения...........................30

Значение мотивации и роль игрового дизайна ИМК для обучения в

ИМК-Р300 ..........................................................................................................31

Особенности реакций мозга в ответ на первые стимулы при их многократном

предъявлении..........................................................................................................32

Движение в стимульной среде ИМК-Р300....................................................................35

Целесообразность использования движущихся объектов в ИМК-Р300...........35

Использование начала движения как самостоятельного стимула для

получения ПСС в ИМК-Р300................................................................................37

Восприятие движущихся объектов и представление этого процесса в мозге.. 38

МЕТОДИКА.................................................................................................................................43

Часть 1. Многодневная работа испытуемых в ИМК-Р300 со стимулами,

предъявляемыми на движущихся объектах.............................................................43

Часть 2. Использование начала движения объекта в качестве стимула в

ИМК-Р300....................................................................................................................53

Часть 3. Исследование эффекта расстояния между стимулами в ИМК-Р300 с

началом движения объекта в качестве стимула.......................................................59

РЕЗУЛЬТАТЫ.............................................................................................................................63

Часть 1. Многодневная работа испытуемых в ИМК-Р300 со стимулами,

предъявляемыми на движущихся объектах.............................................................63

Точность классификации.......................................................................................63

Интерес....................................................................................................................69

Общий обзор потенциалов, связанных с событиями..........................................72

Сравнение ПСС на протяжении четырех сессий в группах с однократным и

трехкратным предъявлением стимула.................................................................74

Сравнение индивидуальных показателей на протяжении четырех сессий......81

Исследование эффекта позиции стимулов в последовательности их

предъявления..........................................................................................................83

Точность классификации для каждого из трех целевых стимулов в

отдельности в группе «3» с трехкратным предъявлением стимулов.........83

ПСС в ответ на каждый из трех целевых стимулов в отдельности в группе

«3» с трехкратным предъявлением стимулов..............................................86

Точность классификации в зависимости от положения целевого стимула в

последовательности нецелевых.....................................................................93

Исследование возможного влияния характеристик стимулов на

результативность работы в ИМК-Р300................................................................97

Часть 2. Использование начала движения объекта в качестве стимула в

ИМК-Р300..................................................................................................................108

Точность классификации.....................................................................................108

Баллы предпочтения............................................................................................111

Связь точности работы в трех режимах и их субъективной оценки...............113

Общий обзор потенциалов, связанных с событиями........................................116

Сравнение ПСС в режимах с разными типами стимулов................................118

Исследование эффекта позиции стимулов в последовательности их

предъявления........................................................................................................125

Точность классификации для каждого из пяти целевых стимулов в

отдельности....................................................................................................125

ПСС в ответ на каждый из пяти целевых стимулов в отдельности.........128

Часть 3. Исследование эффекта расстояния между стимулами в ИМК-Р300 с

началом движения объекта в качестве стимула.....................................................135

Точность классификации.....................................................................................135

Сравнение ПСС в режимах при различном расстоянии между стимулами в матрице..................................................................................................................138

ОБСУЖДЕНИЕ.........................................................................................................................144

Часть 1. Многодневная работа испытуемых в ИМК-Р300 со стимулами,

предъявляемыми на движущихся объектах...........................................................144

Точность работы в разработанном ИМК...........................................................144

Оценка ПСС в парадигме с движущимися позициями стимулов...................146

Особенности ПСС в ответ на целевые и нецелевые стимулы..................146

Компонент N1 в ИМК-Р300 с движущимися позициями стимулов........149

Сравнение ПСС в группах с однократным и трехкратным предъявлением

стимулов.........................................................................................................150

Динамика показателей работы испытуемых в течение четырех сессий.........151

Исследование возможного влияния характеристик стимулов на

результативность работы в ИМК-Р300..............................................................155

Исследование эффекта позиции стимулов в последовательности их

предъявления........................................................................................................157

Часть 2. Использование начала движения объекта в качестве стимула в

ИМК-Р300..................................................................................................................164

Сравнение характеристик ИМК-Р300 с тремя различными типами

стимулов................................................................................................................164

Исследование эффекта позиции стимулов в последовательности их

предъявления........................................................................................................171

Часть 3. Исследование эффекта расстояния между стимулами в ИМК-Р300 с

началом движения объекта в качестве стимула.....................................................174

Заключение.....................................................................................................................178

ВЫВОДЫ...................................................................................................................................180

СПИСОК ЛИТЕРАТУРЫ.........................................................................................................182

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ............................195

БЛАГОДАРНОСТИ..................................................................................................................199

СПИСОК СОКРАЩЕНИЙ

Дов.инт. - доверительный интервал ИМК - интерфейс мозг-компьютер

ИМК-Р300 - интерфейс мозг компьютер «на волне Р300»

Макс. - максимум

Мин. - минимум

Ош.сред. - ошибка среднего

ПСС - потенциалы, связанные с событиями

Ст.откл. - стандартное отклонение

ЭОГ - электроокулограмма

ЭЭГ - электроэнцефалограмма

ВВЕДЕНИЕ И ЦЕЛИ РАБОТЫ

Интерфейс мозг-компьютер (ИМК) - это новая нейрокомпьютерная технология, позволяющая на основе регистрации и расшифровки электроэнцефалограммы (ЭЭГ) человека дать ему возможность управлять внешними исполнительными устройствами или осуществлять коммуникацию с внешними объектами без посредства нервов и мышц, напрямую от мозга (Wolpaw et al., 2002). Трудно сейчас переоценить теоретическую и практическую значимость технологии ИМК, которая, с одной стороны, становится совершенно новой экспериментальной парадигмой в психофизиологии, а, с другой стороны, все более ориентируется на применение в медицине для целей реабилитации пациентов с тяжелыми нарушениями двигательной сферы, например, путем создания нейропультов для информационного контакта со средой (набор текстов, командных символов и др.) или нейроманипуляторов для реальных физических манипуляций (протезы, экзопротезы, тренажеры и др.).

Масштабные научно-исследовательские опытно-конструкторские работы в области ИМК начались в 90-х годах прошлого столетия и к настоящему времени вышли уже на уровень реальных научных и практических достижений: по версии журнала Science одним из 10 прорывных достижений 2012 года было создание действующих нейрокомпьютерных интерфейсов (Каплан, 2012), о чем свидетельствовали успешные клинические испытания на пациентах, лишенных возможности движений (Collinger et al., 2012; Hochberg et al., 2012).

Однако следует отметить, что достигнутые значительные успехи в области теоретических, экспериментальных и практических разработок технологии ИМК касаются преимущественно инвазивных подходов, т.е. связанных с вживлением электродных систем непосредственно в мозг пациентов. Если не принимать во внимание значительную сложность этих подходов, связанную с необходимостью выполнения нейрохирургической операции, то открывающиеся возможности непосредственного контакта электродов с нервной тканью и достаточно точного их анатомического позиционирования значительно упрощают технологию ИМК в ее информационно-аналитической части, по сравнению с неинвазивными подходами, когда электроды устанавливаются на кожной поверхности головы для регистрации суммарной электрической активности.

В неинвазивных ИМК каждый электрод регистрирует активность не отдельных нервных клеток, и даже не отдельных их функциональных кластеров, а суммарную активность сотен тысяч функционально различных нервных клеток. Произвольно вызвать

специфические изменения в такой суммарной активности ЭЭГ становится для пациента или здорового пользователя не такой простой задачей. Между тем, именно такие стабильные сдвиги в ЭЭГ нужно научиться вызывать пользователю, чтобы использовать их в качестве команд для внешних исполнительных устройств, т.е. чтобы управлять этими устройствами, манипулируя собственной ЭЭГ. При успешном решении этих проблем пользователи смогут работать с технологиями ИМК без необходимости обращаться к медперсоналу, непосредственно в домашних условиях. Более того, технологии ИМК войдут в жизнь здорового человека в управлении электромеханическими и роботизированными устройствами, в игровой индустрии и, быть может, в производственных процессах.

Таким образом, именно неинвазивные подходы к построению эффективных ИМК могут быть востребованы в гораздо больших масштабах, чем инвазивные, и потому в настоящее время их разработка особенно актуальна, и разработки в этой области еще ожидают своих прорывных решений. Настоящая работа посвящена теоретической и экспериментальной разработке именно неинвазивных ИМК.

Одним из направлений в разработке неинвазивных ИМК является их построение на волне РЗОО - кратковременной реакции ЭЭГ на ожидаемый стимул, но более редкий, чем другие стимулы, появляющийся в поле внимания человека (Sutton et al., 1965). Реакцию ЭЭГ на конкретный ожидаемый стимул, распознаваемую специальными алгоритмами, можно использовать в качестве сигнала для исполнения во внешней среде заранее ассоциированной именно с этим стимулом конкретной команды. Если иметь целый набор стимулов-команд, каждый из которых последовательно предъявляется пользователю, то назначая для себя тот или иной стимул «ожидаемым» пользователь может с помощью ИМК-РЗОО подавать в среду те или иные командные сигналы (Farwell et al., 1988; Wolpaw et al., 2002; Mak et al., 2011). В частности, пользователь сможет набирать буквы из кратковременно подсвечиваемой по отдельным символам виртуальной клавиатуры, или выбирать символы-команды из точно так же подсвечиваемого пульта управления. Таким образом, выбор команды происходит за счет детекции фокусирования внимания оператора на одном из стимулов, которыми служат кратковременные подсветки символов.

Алгоритмическое распознавание сделанного человеком выбора в ИМК РЗОО основывается на сравнении реакций мозга на разные стимулы из имеющегося набора: более высокая амплитуда волны РЗОО на определенный стимул указывает на то, что именно он выбран пользователем в качестве командного на данный момент (Farwell et al., 1988, Shishkin et al., 2009, Mak et al., 2011,Wolpaw et al., 2002). В последние годы, в том числе и в нашей лаборатории, показано, что значительный вклад в детектирование фокуса

внимания человека на основе анализа реакций ЭЭГ могут вносить и другие компоненты ПСС, например, компонент N1 (Krusienski et al., 2008; Shishkin et al., 2009; Bianchi et al., 2010; Kaufmann et al., 2011; Kaplan et al., 2013, in press) учет которых еще более повышает эффективность ИМК Р300.

Однако эти и многие другие достижения (см. обзор литературы) в разработках ИМК любых типов не привели еще к созданию нейроинтерфейсов, органично реализующих способность мозга к выработке нового навыка, если этот навык реализуется не на привычных сенсомоторных путях, а в контуре управления реакциями ЭЭГ. Несмотря на имеющиеся в этом направлении отдельные находки, свидетельствующие, в частности, о возможности неосознаваемого управления внешними объектами в контуре ИМК (Kaplan et al., 2005), до настоящего времени все существующие регламенты ИМК требуют от пользователя значительных ресурсов внимания для надежной работы. Это означает, что известные прототипы ИМК еще не достигли того уровня взаимодействия с мозгом, чтобы их можно было уверенно использовать в практической деятельности человека и в медицине.

Вот почему особенно актуальными в настоящее время становятся исследования возможности создания практичных технологий ИМК, во-первых, защищенных от отвлекающих стимулов среды, во-вторых, требующих минимального времени для получения обратной связи по результатам управления в ИМК, т.е. наименьшего числа повторений стимулов, в третьих, способных работать в более естественных условиях, когда стимулы и сами пульты их расположения могут перемещаться в пространстве и, наконец, в целом, не требующих значительных ресурсов внимания человека и, по возможности, обладающих аттрактивными свойствами для пользователя.

В теоретической части настоящей работы подробно проанализированы возможные причины недостаточной практичности современных неинвазивных ИМК и намечены пути возможных решений построения высокоэффективных ИМК.

Таким образом, целью диссертационного исследования был поиск эффективных регламентов предъявления стимулов в контуре ИМК-Р300 для оптимизации работы его пользователя.

Для реализации этой цели были поставлены следующие задачи:

Задачи исследования:

1. Выяснить возможность создания принципиально новых интерфейсов на волне Р300 с использованием подвижных стимулов и оценить их эффективность.

3. Изучить динамику поведенческих и электрофизиологических (амплитуды компонентов Р300 и N1) показателей работы испытуемых в ИМК-Р300 при многократной тренировке и разной скорости обратной связи, чтобы выявить возможные эффекты обучения испытуемых навыку работы в контуре ИМК.

4. Изучить возможность создания гибридных интерфейсов на волне Р300 на основе совмещения подсветки и движения командных символов, а также оценить устойчивость таких интерфейсов к значительным вариациям пространственного расположения командных символов.

ОБЗОР ЛИТЕРАТУРЫ

Интерфейс мозг-компьютер на основе волны Р300

Суть ИМК-Р300 и общий принцип работы

Многими исследованиями (например, Davis et al., 1939 - цит. по Luck, 2005, p. 5; Sutton et al., 1965; Polich, Kok, 1995) показано, что когда испытуемому предлагается задание, в котором необходимо реагировать на появляющиеся стимулы или события (любой модальности), то в ответ на эти стимулы выявляется ответ, называемый потенциалом, связанным с событием - ПСС (ERP - event related potential). Если в таком задании испытуемый должен реагировать не на все стимулы, а лишь на определенные значимые, или «целевые»

Информация о работе

Ганин, Илья Петрович
кандидата биологических наук
Москва, 2013
ВАК 03.03.01

Диссертация

Интерфейс мозг-компьютер на волне Р300 - тема диссертации по биологии, скачайте бесплатно

Автореферат

Похожие работы

Бесплатный автореферат и диссертация по биологии на тему Интерфейс мозг-компьютер на волне Р300 ВАК РФ 03.03.01, Физиология

Автореферат диссертации по теме "Интерфейс мозг-компьютер на волне Р300"

Текст научной работыДиссертация по биологии, кандидата биологических наук, Ганин, Илья Петрович, Москва

Бесплатный автореферат и диссертация по биологии на тему
Интерфейс мозг-компьютер на волне Р300
ВАК РФ 03.03.01, Физиология