Бесплатный автореферат и диссертация по биологии на тему

Распознавание типов мыслительной деятельности по ЭЭГ при решении пространственных и вербально-логических задач

ВАК РФ 03.03.01, Физиология

Автореферат диссертации по теме "Распознавание типов мыслительной деятельности по ЭЭГ при решении пространственных и вербально-логических задач"

На правах рукописи

Наумов Роман Александрович

РАСПОЗНАВАНИЕ ТИПОВ МЫСЛИТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ ПО ЭЭГ ПРИ РЕШЕНИИ ПРОСТРАНСТВЕННЫХ И ВЕРБАЛЬНО-ЛОГИЧЕСКИХ ЗАДАЧ

Специальность 03.03.01 - физиология

Автореферат диссертации на соискание ученой степени кандидата биологических наук

2 5 НОЯ 2010

МОСКВА-2010

004614159

Диссертация выполнена в Лаборатории высшей нервной деятельности человека (заведующий - чл.-корр. РАН А.М. Иваницкий) Учреждения Российской Академии Наук Института высшей нервной деятельности и нейрофизиологии РАН (директор - доктор биологических наук, профессор П.М. Балабан)

Научный руководитель:

доктор биологических наук Г.А. Иваницкий

Официальные оппоненты:

доктор биологических наук В.Б. Дорохов кандидат психологических наук A.B. Вартанов

Ведущая организация:

Институт мозга человека РАН

Защита состоится «

2010 года в

часов на заседании

Диссертационного совета Д-002.044.01 при Институте высшей нервной деятельности и нейрофизиологии РАН по адресу: 117485, г. Москва, ул. Бутлерова, д.5а.

С диссертацией можно ознакомиться в библиотеке ИВНД и НФ РАН.

Автореферат разослан «_ » _2010_г.

Ученый секретарь Диссертационного совета доктор биологических наук,

профессор В.В. Раевский

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы

Интерес к исследованиям электрической активности мозга проявлялся еще в XIX веке. В 1849 году Д. Реймон впервые показал, что мозг, так же как нерв и мышца, обладает электрогенными свойствами. Через 30 лет в конце XIX века известный российский ученый И.М.Сеченов опубликовал свои знаменитые работы «Гальванические явления на продолговатом мозгу лягушки» и «Рефлексы головного мозга». Он впервые установил факт наличия ритмической электрической активности мозга. В начале XX века В.В. Правдич-Неминским с помощью струнного гальванометра была впервые проведена регистрация электрической активности мозга собаки. Регистрация биотоков мозга человека не заставила себя долго ждать. В 1929 году австрийский психиатр Ганс Бергер впервые осуществил запись электрических потенциалов с поверхности скальпа человека и предложил в дальнейшем называть такую запись «электроэнцефалограмма» (Berger, 1929). Метод получил широкое признание и по сей день является одним из основных методов регистрации мозговой активности.

С тех пор, как была получена первая ЭЭГ человека, ученые пытаются ее расшифровать. Спустя некоторое время после опытов Ганса Бергера английские ученые Эдриан и Мэттьюс описали так называемый «ритм Бергера» (Adrian, Mattews, 1934), ныне известный как альфа-ритм. Из этой, и впоследствии многих других работ (например, Lehman, 1980; Gath et al., 1983, Шишкин, 1997), стало ясно, что ритмы ЭЭГ обладают веретенообразным характером и весьма подвижной динамикой. В течение XX века для анализа ЭЭГ было разработано немалое количество различных математических методов, однакр до сих пор функциональное значение многих ритмов, проявляющихся во время когнитивной деятельности, остается невыясненным.

В настоящем исследовании была предпринята попытка связать ритмы мозга человека с выполнением различных пространственно-образных и вербально-логических когнитивных заданий. Для анализа полученных записей ЭЭГ мы применяли спектральные методы, такие как преобразование Фурье и вейвлет-анализ. Мы использовали математические алгоритмы искусственных нейросетей для статистического и количественного анализа данных. Мы также рассматривали возможность применения упомянутых методов обработки ЭЭГ в интерфейсах мозг-компьютер.

Цели и задачи исследования

Цель исследования состояла в том, чтобы показать возможность распознавания принципиальных типов мышления по пространственно-частотным характеристикам ритмов ЭЭГ с помощью искусственной нейронной сети. Предстояло выяснить, существуют ли в ЭЭГ человека индивидуальные устойчивые характерные признаки базовых типов мышления (вербально-логического и пространственно-образного) при выполнении заданий, требующих вовлечения этих типов мышления.

В ходе исследования предстояло выполнить следующие задачи:

1. Разработать экспериментальную модель и провести серию экспериментов для выявления характерных признаков ЭЭГ, возникающих при выполнении пространственно-образных и вербально-логических заданий.

2. На основе экспериментальных данных определить возможность распознавания принципиальных типов мышления по коротким отрезкам ЭЭГ с помощью искусственной нейросети.

3. Используя метод вейвлет-анализа, исследовать частотно-временную динамику ЭЭГ сигнала при выполнении пространственно-образных и вербально-логических заданий.

Научная новизна

В работе впервые доказана возможность распознавания принципиальных типов мышления, осуществляемого человеком, на основе анализа единичных реализаций ЭЭГ с помощью искусственной нейронной сети. Впервые обнаружено, что в ходе выполнения человеком когнитивных заданий характерные ритмы ЭЭГ появляются несколько раз на короткое время (порядка нескольких сотен миллисекунд), т.е., демонстрируют фазическую природу.

Теоретическая и практическая значимость

Работа вносит вклад в изучение связи ритмов мозга с процессами мышления, а также в понимание того, что происходит в мозге человека при выполнении когнитивных заданий. Результаты настоящего исследования расширяют наши знания о частотно-временной динамике ЭЭГ сигнала при выполнении когнитивных заданий человеком, что предоставляет новые возможности для разработки новых математических методов «декодирования» ЭЭГ сигнала и понимания физиологической природе ритмов ЭЭГ.

Данная работа имеет ярко выраженную практическую значимость, а именно, результаты исследования могут быть использованы в будущем для разработки систем

реального времени, связанных с контролем операторской деятельности, а также систем «интерфейс мозг-компьютер».

Положения, выносимые на защиту

1. Имеются определенные электроэнцефалографические признаки вербально-логического и пространственного типов мышления, инвариантные относительно конкретного вида когнитивных заданий. Эти признаки высоко индивидуальны и сохраняются на протяжении длительного времени (как минимум, нескольких месяцев).

2. Принципиально разные типы мышления можно различать с достаточно высоким процентом правильного распознавания по ритмическому рисунку ЭЭГ, используя короткие (длительностью в несколько секунд) единичные реализации сигнала.

3. Конкретные виды заданий внутри одного типа мышления можно различать по ЭЭГ с меньшей надежностью, но в некоторых случаях выше порога достоверно неслучайной классификации.

4. Характерные ритмы ЭЭГ, отражающие тип мышления, имеют фазическую (не тоническую) природу, т.е. появляются в ходе выполнения когнитивного задания несколько раз в коротких интервалах времени.

Апробация работы

Результаты работы были доложены на конференциях Молодых ученых в ИВНД и НФ РАН в Москве в 2007 и 2008 году, на 13-м Европейском конгрессе по Клинической нейрофизиологии в Стамбуле в 2008 году, Турция, на конференции по Нейроинформатике в г. Плзень, Чешская Республика в 2009 году, а также апробированы на совместном заседании Лаборатории высшей нервной деятельности человека, Лаборатории математической нейробиологии обучения и Лаборатории нейробиологии сна и бодрствования в ИВНД и НФ РАН 4 декабря 2009 года.

Объем и структура диссертации

Диссертация состоит из следующих основных разделов: введение, обзор литературы, методы исследования, результаты исследования, обсуждение результатов, выводы, список литературы (149 ссылок), приложение, список сокращений. Диссертация изложена на 102 страницах, содержит 4 таблицы и 25 рисунков.

МЕТОДЫ ИССЛЕДОВАНИЯ

Испытуемые, характер предъявляемых задач и ход эксперимента

В Лаборатории высшей нервной деятельности человека ИВНД и НФ РАН в 2007 году были поставлены 4 предварительных исследования на 2 испытуемых (для отладки методики), а в течение 2008-2009 гг. - 38 исследований на 19 здоровых испытуемых в возрасте от 20 до 32 лет (средний возраст испытуемых 25 лет). В исследованиях приняли участие 9 испытуемых женского пола и 10 испытуемых мужского пола, из которых трое были леворукими, остальные праворукими. В большинстве случаев лица, участвовавшие в исследованиях, были студентами московских высших учебных заведений либо молодыми специалистами.

Во время исследований испытуемым предъявлялись на экране монитора 8 видов различных заданий, которые относились к двум типам мыслительной деятельности -пространственно-образному и вербально-логическому, по 4 вида каждого типа. В каждом исследовании предъявлялось 240 заданий, по 30 заданий каждого вида. Каждый испытуемый принимал участие в двух исследованиях, длительностью около 1.5 часов, которые проводились в разные дни. Такая схема проведения исследований была необходима для того, чтобы испытуемый не утомлялся в ходе чрезмерно длительного эксперимента. Условия проведения исследований в разные дни были одинаковыми. В исследованиях предъявлялись пространственно-образные задания следующих видов (см. рис. 1): 1) «Вращение фигур» (БР); 2) «Сложная фигура» (СБ); 3) «Дорожная развязка» (Ш); 4) «Сечение куба» (ОТ). Вербально-логические задания были следующих видов (см. рис. 2): 1) «Петя и Вася» (РУ); 2) «Рита и Таня» (ЯТ); 3) «Анаграмма» (АИ); 4) «Сложное слово» (С\¥).

Задания всех видов предъявляли в случайной последовательности с интервалами между предъявлениями, случайно распределенными в пределах от 1 до 3 с. В промежутке между предъявлениями заданий в центре экрана появлялся небольшой серый крестик на черном фоне. Испытуемые располагались в кресле в темной, электрически экранированной камере. Экран монитора находился на расстоянии 1,5 м от их глаз, уровень яркости изображения был минимальным. Решив задание, испытуемый нажимал кнопку мыши в соответствии с ответом или нажимал левую кнопку и давал ответ вслух (в зависимости от вида задания). Время решения заданий было ограничено 30 с: если в течение этого времени ответа не было, то задание убиралось с экрана и предъявлялось следующее. Проводился систематический контроль правильности решения заданий в ходе эксперимента. Перед началом опыта проводили тренировочную серию в свободном

режиме без записи электроэнцефалограммы; тренировку продолжали, пока испытуемый не начинал решать задачи достаточно уверенно.

Как говорилось выше, в основной серии экспериментов испытуемые принимали участие в исследованиях дважды, в разные дни. Время, через которое проходило второе исследование, строго не контролировалось, и было разным для разных испытуемых. Часть испытуемых участвовали в двух исследованиях, дни которых следовали друг за другом. Некоторые испытуемые приняли участие в двух исследованиях, промежуток времени между которыми составлял не меньше месяца, а иногда достигал и полугода.

Регистрация данных

Во всех исследованиях вели запись ЭЭГ от 31 электрода, расположенного по расширенной системе 10-20 (Fpl, Fp2, F3, F4, СЗ, С4, РЗ, Р4, 01,02, F7, F8, ТЗ, Т4, Т5, Т6, Fz, Cz, Pz, Oz, FPz, FT7, FC3, FCz, FC4, FT8, TP7, CP3, CPz, CP4, TP8) с референтными электродами на мочках ушей и электродом заземления в вертексе. Использовали электродную шапочку с залуженными железными электродами фирмы Electro-Cap (США) и усилитель Neurotravel-24D фирмы ATES Medica (Италия/Россия). Помимо биопотенциалов мозга записывали два канала электроокулограммы от двух пар электродов, расположенных перпендикулярно друг к другу (выше/ниже левого глаза и латерально от углов глаз), и один технический канал, в который помещались идентификационный номер и тип задания, информация о времени предъявления и снятия стимула, правильности решения и о том, уложился ли испытуемый в отведенное время. Данные оцифровывали в реальном времени и непрерывно записывали на жесткий диск персонального компьютера. Частота опроса во всех исследованиях была 250 Гц.

Отбор данных и отстройка от артефактов

Из непрерывной записи ЭЭГ с помощью специальной полуавтоматической программы вырезали отрезки, соответствовавшие решению задач в уме. Из ЭЭГ вырезались отрезки от момента 0,5 с после предъявления задания до нажатия кнопки мыши. Все вырезанные участки записи, в том числе и участки с движениями глаз и моргательными движениями, отфильтровывались в диапазоне частот 1 - 40 Гц. Затем все полученные отрезки ЭЭГ визуально проверяли на наличие в них артефактов, отличных от глазодвигательного, например мускульного или связанного с разрядом поляризованного электрода. Загрязненные артефактами отрезки отбраковывались. От глазодвигательного артефакта (ГДА) отстраивались с помощью процедуры, идея которой почерпнута из (Gratton et al., 1983).

Рисунок 1. Примеры заданий на пространственно-образный тип мышления. В задаче №1 необходимо подобрать к верхней фигуре одну из фигур в нижней части экрана так, чтобы они вместе образовали квадрат, и сообщить ответ. В задаче №2 необходимо в уме собрать одну из фигур, представленных в нижней части экрана, из элементов, представленных в верхней части экрана, и сообщить правильный ответ. В задаче №3 на экране предъявляется схема московской дорожной развязки. На ней указаны 4 точки: О, А, В, С. Необходимо найти единственно возможный вариант движения из точки О в одну из точек А, В, С согласно указанным на рисунке стрелкам разрешенного направления движения и сообщить правильный ответ. В задаче №4 на экране предъявляется куб с тремя точками на его ребрах. Необходимо в уме построить сечение плоскостью, проходящей через указанные три точки, и, сопоставив полученную фигуру с одной из предъявленных в нижней части экрана, сообщить правильный ответ.

Во всех случаях ответ сообщается нажатием кнопки мыши. Правильные ответы для данных примеров: 1 - левая фигура, 2 - фигура №2, 3 - точка С, 4 - правая фигура.

Саша старше Пети Лена выше Тани и

и младше Васи. ниже Риты.

Петя младше Васи? Рита ниже Тани?

овпоср ме(***)олад

3 4

Рисунок 2. Примеры заданий на вербально-логический тип мышления. В заданиях №1 и №2 необходимо определить, правильно ли второе утверждение, если справедливо первое. Ответ в обоих заданиях сообщается нажатием кнопки мыши. В задании №3 необходимо решить анаграмму, т.е. подобрать слово (существительное), задействовав все предъявленные буквы. В задании №4 необходимо заменить буквами звездочки в скобках, так чтобы эти буквы стали окончанием первого слова и началом второго. В заданиях №3 и №4 испытуемый сообщает ответ вслух. Правильные ответы для данных примеров: 1 - да, 2 - нет, 3 - вопрос, 4 - ме(шок)олад.

Формирование обучающей и контрольной выборок данных для целей классификации

Полученные электроэнцефалографические данные подвергали классификации по типу решаемых задач. Эту процедуру проводили раздельно для разных испытуемых с помощью обучаемого классификатора, в качестве которого выступала простая искусственная нейронная сеть. Полученные от каждого испытуемого данные разбивали на обучающую и контрольную выборки. Как говорилось выше, каждый испытуемый принял участие в двух исследованиях.

Разбиение данных на обучающую и контрольную выборки осуществляли следующим способом: данные одного исследования, соответствовавшие решению заданий, разбивали случайным образом на две половины, одна из которых становилась половиной учебной, а другая - половиной контрольной выборки. Аналогично разбивались данные другого исследования того же испытуемого. Затем соответствующие половинные выборки объединялись, образуя окончательные учебную и контрольную выборки.

Предобработка

На вход обучаемого классификатора подавали не сами электроэнцефалографические кривые, а наборы чисел, полученные в результате предварительной обработки отрезков ЭЭГ и описывающие их свойства. Основным методом предобработки было вычисление спектров мощности единичных реализаций ЭЭГ сигнала (более конкретно - квадратов модуля быстрого преобразования Фурье, БПФ) для каждого электрода в заданном диапазоне частот. Временное окно БПФ имело длительность 16,384 с, или 4096 временных отсчетов. В случае, когда длина окна была больше времени решения задачи, лишние временные отсчеты дополняли нулями, в противном случае отбрасывали начало отрезка ЭЭГ. Полученные спектры сглаживали простым трехточечным фильтром в три прохода. На стадии обработки использовали только 14 каналов ЭЭГ из 31 первоначально записанных - переднелобные электроды Бр1, Рр2, Трг, электроды вдоль средних линий Сг, Рг, Ог и дополнительные электроды РТ7, ИСЗ, ¥Сг, РС4, РТ8, ТР7, СРЗ, СРг, СР4, ТР8 не использовали. Таким образом, в результате предобработки каждый отрезок ЭЭГ сигнала оказывался представлен набором из четырнадцати спектров единичных реализаций сигнала в разных каналах. Такой набор описывал распределение ритмов ЭЭГ по поверхности скальпа, характерное для заданного отрезка времени, и состоял из А'-т чисел, где N - число каналов, а т - количество спектральных отсчетов в заданном частотном диапазоне. Вектора длиной Ы т, которые мы называли входными паттернами, служили входами обучаемого классификатора при анализе данных. Как уже упоминалось

выше, использовались частоты от 5 до 20 Гц. При этом общее число величин, подаваемых на вход классификатора, составило 3374. В результате примененной предварительной обработки сигнала отрезок ЭЭГ описывается в частотной области максимально детально и по всем возможным параметрам - частоте, мощности и топографии.

Распознавание типа решаемой задачи с помощью обучаемого классификатора

В представленной работе проводили классификацию паттернов, полученных в результате предварительной обработки отрезков ЭЭГ, по типу мыслительной деятельности испытуемого. Классификацию осуществляли с помощью обучаемого классификатора, в качестве которого использовали двухслойную нелинейную нейросеть с обучением по дельта-правилу, описанную в (Rumelhart, 1986 б) под названием "The Pattern Associator". Сеть может работать в двух принципиально разных режимах - в режиме обучения правильному распознаванию на учебной выборке, т.е. некотором массиве данных, класс которых заранее известен, и в режиме тестирования контрольной выборки, т.е. новых данных, класс которых неизвестен.

Классификатор обучали на учебной выборке данных, после чего проводили распознавание типа выполняемой мыслительной операции по единичным реализациям ЭЭГ из контрольной выборки. Обучение классификатора и распознавание новых данных проводили раздельно для каждого испытуемого.

Показателем успешности распознавания служил процент правильно распознанных паттернов. Процент правильного распознавания (ППР) сравнивался с пороговой величиной достоверности неслучайного распознавания, которая зависела от объема контрольной выборки и числа классов и определялась следующим образом: вероятность того, что в результате случайной классификации ППР будет выше этой пороговой величины, равна некоторой заданной вероятности. Для выборки из 30 заданий каждого класса и двух классов (случай, имевший место в настоящем исследований) и принятом в биологии уровне достоверности р<0,05 порог достоверно неслучайной классификации равен 60%. Для р<0,01 - 67%; р<0,005 - 70%; р<0,001 - 73%.

Вейвлет-анализ полученных данных

В представленном исследовании также использовался метод вейвлет-анализа ЭЭГ данных с целью получить больше информации о частотно-временной структуре ЭЭГ сигнала при выполнении когнитивных заданий испытуемыми. По сравнению с Фурье-методом, метод вейвлет-преобразования дает более полную картину описания сигнала, а именно, предоставляет информацию не только о частотных составляющих сигнала, но и

об их временном развитии.

В настоящем исследовании применялась методика вейвлет-преобразования с материнской функцией Морле, наиболее подходящей для описания короткоживущих ритмов ЭЭГ. С помощью данной методики были построены вейвлет-спектры ЭЭГ, которые затем были проанализированы на предмет выявления характерных ограниченных во времени ритмов ЭЭГ при выполнении когнитивных заданий.

Выходной (эффекторный) слой элементов

веса связей I

Рисунок 3. Схема двухслойной искусственной нейронной сети "Pattern Associalor". Активность элементов нижнего слоя передается элементам верхнего слоя через связи переменной силы. Взвешенная сумма активирующих воздействий от нижних элементов связана с уровнем активации верхних элементов нелинейным образом, в результате чего последние могут принимать значения активации в пределах от 0 до 1.

РЕЗУЛЬТАТЫ

Результаты классификации когнитивных состояний по ЭЭГ с помощью ИНС

Как уже упоминалось в разделе "Методы исследования", в качестве распознающей

системы-классификатора принципиальных типов мышления использовалась

искусственная нейросеть. 12

Вначале, обучение нейросети проводилось по заданиям двух видов, принадлежащих разным типам мыслительной деятельности (пространственный и вербально-логический), а тестирование - по другим реализациям тех псе видов заданий. При таком варианте обучения и тестирования процент правильного распознавания (ППР) оказался больше порога достоверно неслучайной классификации, и это было справедливо для всех испытуемых, приявших участие в наших исследованиях, и всех видов заданий.

Затем обучение проводилось по заданиям двух видов, принадлежащих разным типам мыслительной деятельности (пространственный и вербально-логический), а тестирование классификатора проводилось по реализациям других видов заданий. При этом правильным распознаванием считалось правильное определение типа осуществляемого мышления. Значения ППР при такой классификации для большинства заданий оказались выше порога достоверно неслучайной классификации, что свидетельствует о возможности распознавать тип мышления инвариантно конкретных видов заданий.

На следующем этапе исследования обучение проводилось по заданиям двух видов, принадлежащих одному типу мыслительной деятельности, а тестирование классификатора проводилось по другим единичным реализациям ЭЭГ тех же видов заданий. Значения ППР при таком тестировании были на пороге достоверно неслучайной классификации. Дисперсия значений ППР оказалась достаточно высокой для разных видов заданий, что говорит о высокой индивидуальности испытуемых. Тем не менее, полученный результат свидетельствует о том, что во многих случаях распознавание конкретного вида заданий внутри одного базового типа мышления также возможно.

В табл. 1 приведены сводные данные по результатам классификации для всех 19 испытуемых, принявших участие в нашем исследовании. В представленной таблице отражены следующие значения ППР при классификации (по колонкам): 1. обучение -задания вербалыю~логического типа мыслительной деятельности, разных видов, тестирование - задания того псе типа мыслительной деятельности, тех же видов, что и при обучении, но другие реализации ЭЭГ (сокращение в табл. 1 У+У-яате); 2. обучение - задания пространственного типа мыслительной деятельности, разных видов, тестирование - задания того же типа мыслительной деятельности, тех же видов, что и при обучении, но другие единичные реализации ЭЭГ (сокращение в табл. 1 8+5-5ате); 3. обучение - задания пространственного и вербалыю-логического типов мыслительной деятельности, разных видов, тестирование - задания разных типов мыслительной деятельности, тех же видов, что и при обучении, но другие единичные реализации ЭЭГ (сокращение в табл. 1 Б+У-зате); 4. обучение - задания

13

пространственного и вербалыю-логического типов мыслительной деятельности, разных видов, тестирование - задания разных типов мыслительной деятельности, других видов, чем были при обучении (сокращение в табл. 1 5+У=оШег). В последнем случае распознавался тип мышления инвариантно конкретного вида заданий. Представленные цифры - это средние значения ППР по всем типам и видам заданий, возможным при данном способе обучения/тестирования, и по всем испытуемым.

Из табл. 1 видно, что значения ППР при классификации по заданиям разных типов мыслительной деятельности (8+У=5аше и 8+\'=оЛег) оказались выше порога достоверно неслучайной классификации (р<0,05) для всех испытуемых, что свидетельствует о принципиальном различии пространственного и вербально-логического мышления с точки зрения ритмов ЭЭГ. При классификации заданий разных видов одного типа мыслительной деятельности (З+Б^ате и У+У=5ате) значения ППР оказались в некоторых случаях ниже порога достоверно неслучайной классификации (р<0,05) (у двух и одного испытуемого, соответственно). Средние цифры ППР для ситуаций Б+Б и У+У оказались значительно ниже, чем для ситуации Э+У.

По результатам анализа данных мы можем наблюдать, что для всех испытуемых, участвовавших в нашем исследовании, при обучении ИНС по заданиям разных типов мыслительной деятельности и разных конкретных видов и тестировании по тем же типам и видам заданий, что при обучении, но по другим единичным реализациям ЭЭГ, значения ППР были значительно выше порога достоверно неслучайной классификации (во всех случаях больше 73%, что соответствует р<0,001). Этот результат показывает очень высокую способность нейросети классифицировать единичные реализации ЭЭГ по двум конкретным видам заданий, относящимся к разным типам мыслительной деятельности. Более важным результатом, полученным в настоящем исследовании, является то, что обнаружена возможность классификации заданий по типам мыслительной деятельности безотносительно конкретного вида заданий. А именно, при обучении ИНС по заданиям разных типов мыслительной деятельности (и разных видов) и тестировании по заданиям тех же типов, но других видов (отличных от тех, что были использованы при обучении), ППР в большинстве случаев также был существенно выше порога достоверно неслучайной классификации. Он был выше 73% (р<0,001) для 12 испытуемых из 19 и выше 60% (р<0,05) для всех. Этот результат свидетельствует о принципиальном различии паттернов ЭЭГ при осуществлении двух разных типов мыслительной деятельности (вербально-логической и пространственной), что говорит, в свою очередь, о существовании принципиально различных процессов в мозге при выполнении заданий двух разных типов. 14

Испытуемые У+У = вате %, еггог Б+Б = вате %, еггог 8+У = Бате %, еггог 8+У = оШег %, еггог

1Ш 78,59 23,53 76,14 14,24 87,37 8,35 65,05 24,69

ТО 53,15* 30,90 74,67 15,01 89,75 10,53 83,42 13,57

КА 63,03 13,51 68,51 14,65 83,27 9,10 75,48 14,39

ЕЕ 66,75 16,40 66,04 10,61 81,47 10,90 77,23 12,29

гк 56,40* 11,89 71,16 13,07 74,72 10,57 61,34 15,76

ер 65,31 19,39 64,97 7,69 88,68 7,84 81,05 13,94

км 71,59 17,74 72,91 13,19 91,31 6,63 80,82 17,14

те 83,68 20,71 71,13 10,86 91,23 11,23 77,20 28,13

ТА 64,68 16,23 66,38 17,39 90,56 6,69 87,44 10,45

ЭУ 72,96 15,33 65,98 14,94 80,69 10,83 64,66 19,72

БУ 67,74 19,21 59,31* 14,38 89,16 8,59 83,30 14,47

Рв 70,67 20,45 73,11 11,21 85,49 14,16 78,55 18,48

ИМ 75,61 13,45 67,54 14,15 92,71 7,92 85,59 16,42

ки 71,57 16,91 69,57 15,96 81,21 12,19 65,48 23,32

М1 65,28 15,74 65,99 19,17 79,54 9,39 65,63 13,02

ю 69,68 15,42 66,41 17,38 79,74 10,86 66,56 18,77

АУ 71,54 18,45 69,17 12,24 88,00 7,10 73,42 18,94

кь 68,65 21,57 66,71 14,25 78,98 12,30 65,48 22,59

В1 65,53 12,47 60,87 11,81 80,68 7,34 73,23 13,87

Среднее значение 68,55 17,86 68,24 13,80 84,98 9,61 74,26 17,37

Таблица 1. Сводные данные по результатам классификации для испытуемых, принявших участие в исследовании. Звездочкой отмечены ППР ниже порога достоверно неслучайной классификации для р<0,05 (60%).

Различия в паттернах ЭЭГ, проявляющиеся при решении заданий

На рисунках с 4 по 7 приведены усредненные спектры при решении некоторых видов заданий для двух испытуемых (ИМ и КА).

Обращают на себя внимание различия в спектрах при решении заданий, относящихся к разным типам мыслительной деятельности. У испытуемого 1Ш можно видеть мощный ритм нижнего альфа-диапазона (8,3 Гц) при решении пространственного задания «Сечение куба» практически во всех отведениях, особенно в центральных, фронтальных, височных и теменных (см. рис. 4). В то же время, при решении вербально-логического задания «Анаграмма» ритм на этой частоте не проявляется. Другой ритм альфа-диапазона на частоте 10,2 Гц проявляется в основном в центральных и париетальных отведениях при решении как пространственных, так и вербально-логических заданий (см. рис. 4). При этом амплитуды пиков на частоте 10,2 Гц различаются для двух заданий существенно в центральных и париетальных отведениях в левом полушарии (в правом амплитуды практически совпадают). Также можно отметить ритмы бета-диапазона на частотах 17 и 20,5 Гц. Ритм небольшой амплитуды на частоте 17 Гц проявляется в отведениях БЗ, Б4 и СЗ только при выполнении пространственных заданий, что также служит явным признаком различия ритмических свойств ЭЭГ при выполнении вербально-логических и пространственных заданий. Ритм на частоте 20,5 Гц проявляется как в задании «Анаграмма», так и в задании «Сечение куба», с небольшой разницей в амплитуде в отведении СЗ. У испытуемого ЯМ присутствует также тета-ритм во фронтальных, центральных и теменных отведениях на частоте 6 Гц при решении заданий обоих типов.

Паттерны ритмов ЭЭГ, наблюдаемые при решении заданий разных видов, но одного типа мышления, оказались сходными. На рис. 5 представлены спектрограммы ЭЭГ при решении двух видов пространственных заданий «Дорожная развязка» и «Сечение куба» для испытуемого ]Щ. Можно видеть их принципиальное сходство между собой. Небольшие различия видны, в основном, в амплитуде некоторых частотных компонент. Аналогично, мы наблюдали сходство ритмических паттернов при сравнении различных видов заданий внутри вербального типа мышления. Таким образом, мы можем сделать вывод, что паттерны ЭЭГ разных типов мыслительной деятельности хорошо различаются между собой инвариантно конкретного вида заданий, что подтверждается как визуальным сравнением спектрограмм, так и результатами классификации на нейросети. Виды заданий, принадлежащие одному типу мыслительной деятельности, визуально различимы хуже, что согласуется с относительно низким ППР при классификации (в среднем на пороге достоверно неслучайной классификации, см. табл. 1).

На рис. 6 и 7 представлены спектрограммы испытуемого КА для тех же пар заданий, что для испытуемого 1Ш на рис. 4 и 5. Необходимо отметить сильное различие в спектрах между разными испытуемыми: у испытуемого КА совсем иная картина спектрограмм ЭЭГ, чем у ИМ. У испытуемого КА можно заметить два ритма альфа-диапазона (8 и 10,5 Гц) и слабовыраженный тета-ритм на частоте 6,5 Гц. При решении заданий вербально-логического типа усиливается ритм нижнего альфа-диапазона на частоте 8 Гц (см. рис 6), в то время как при решении заданий пространственного типа этот ритм слабо выражен. Ритм на частоте 6.5 Гц также проявляется сильнее в вербальных задачах, чем в пространственных. Наконец, ритм частотой 10,5 Гц имеет большую амплитуду в право-центральном отведении при решении пространственных задач. Различия в амплитуде перечисленных ритмов у испытуемого КА можно рассматривать как дискриминационные признаки различных когнитивных состояний. Весовые функции, полученные при классификации единичных реализаций ЭЭГ на нейросети, подтверждают значимость различий паттернов ЭЭГ для разных видов заданий, а, главное, устойчивость характерных признаков, т.е. их присутствие в большинстве единичных реализаций. Далее, на рис. 6 и 7 можно видеть, что ритм альфа-диапазона частотой около 10,5 Гц, проявляющийся в центральных отведениях при решении и пространственного, и вербального заданий, имеет свой максимум в этих двух случаях на несколько различной частоте, а именно 1 ОД Гц в вербальном и 10,8 Гц - в пространственном задании. Таким образом, имеет место не только разница в мощности ритма при решении заданий двух разных типов, но и наблюдается смещение максимума спектрального пика по частоте, что тоже явилось дискриминационным признаком для нейросети.

Подводя итоги анализа усредненных спектров для двух испытуемых КМ и КА, можно отметить, что у испытуемого ИМ больше разнообразие ритмов, проявляющихся при решении когнитивных заданий, по сравнению с испытуемым КА. Это свидетельствует о межиндивидуальных различиях, что в очередной раз доказывает, что при усреднении данных по всем испытуемым может потеряться важная индивидуальная информация.

Как видно из табл. 1, у обоих испытуемых, КМ и КА, наблюдается высокий ППР при классификации между заданиями, принадлежащими разным типам мыслительной деятельности, в то время как задания одного типа мыслительной деятельности классифицируется хуже (у КА на пороге достоверно неслучайной классификации, у ИМ выше этого порога, но существенно хуже, чем в случае заданий разного типа).

Таким образом, на основании анализа данных всех 19 испытуемых (см. таб. 1), принявших участие в наших исследованиях, можно сделать уверенный вывод о том, что паттерны ритмов ЭЭГ для разных видов заданий и разных типов мышления хорошо

различаются между собой (с ППР существенно выше порога достоверно неслучайной классификации). Паттерны ритмов ЭЭГ также хорошо различаются между базовыми типами мышления инвариантно конкретного вида заданий. Однако паттерны ритмов ЭЭГ для разных видов заданий внутри одного типа мышления различаются вблизи порога достоверно неслучайной классификации, при этом значения ППР имеют достаточно высокую дисперсию, что свидетельствует о неустойчивости результатов в этом случае.

Частотно-временной анализ полученных ЭЭГ данных

Как упоминалось в разделе «Методы исследования», мы использовал вейвлет-анализ для обработки полученных ЭЭГ данных. Вейвлет-анализ предоставляет нам возможность взглянуть на сигнал ЭЭГ с другой стороны, а именно проанализировать сигнал в частотно-временной плоскости. Для каждого случая решения задания мы построили вейвлет-преобразование соответствующего сигнала ЭЭГ, используя комплексный материнский вейвлет Морле. На рис. 8 представлены вейвлет-спектры для 14 каналов ЭЭГ при решении задания «Сечение куба» испытуемым КМ. Как видно из спектров, характер возникновения тех или иных ритмов в разных отведениях не тонический, а фазический, то есть ритмы ЭЭГ то появляются, то исчезают в процессе решения задания.

.V2.

.О О Нг 2 5

!М

Ш1

Ш

Р 3 Р -4

в]

Испытуемый "ЯГ^Л"

"' Анагра1%*ьла" "Сечение куба"

И

Щ]

Рисунок 4. Усредненные спектры для испытуемого 1Ш при решении заданий «Анаграмма» и «Сечение куба». Пунктирные линии проведены через 1 Гц.

.V2.

5 . О а НЕ 2 5

Г7

л

Ш11

ши

Испьггуемьш "НТуГ"

"Дорожная

развязка" "Сечение куба"

ш

ЙЁ1и 111

щ

Рисунок 5. Усредненные спектры для испытуемого ЯМ при решении заданий «Дорожная развязка» и «Сечение куба». Пунктирные линии проведены через 1 Гц.

4 О . О □ 40 . ОО

М"^2 /Н2

Испытуемый "КА"

5 . О О НИ 2 Е

-А.

ншЩ.

"Анаграмма" "Сечение куба"

,—

Рисунок 6. Усредненные спектры для испытуемого КА при решении заданий «Анаграмма» и «Сечение куба». Пунктирные линии проведены через 1 Гц.

Испытуемый "КА"

"Дорожная

развязка" " Сечение куба"

ШШ1

1Ш!мШ1ШН шшш.

Рисунок 7. Усредненные спектры для испытуемого КА при решении заданий «Дорожная развязка» и «Сечение куба». Пунктирные линии проведены через 1 Гц.

I ♦ ■ ♦

ЕЕб ТЗ-НЕР

ЕЕБ РЗ-РЕР

2 4 6 ЕЕв СИ-ЯЕР

ЕЕЭ Р4-[ЗЕР

2 4 Е 8 ЕЕЭ С4-ИЕР

ЕЕС; Р8-ЯЕР

ЕЕ© Т4-РЕР

ЕЕ6 ТБ РЕР

2 4 Б 8 ЕЕЭ СЭ-ЙЕР

Рисунок 8. Вейвлет-спектры сигнала ЭЭГ для испытуемого ЯМ при решении задания «Сечение куба», для 14-ти отведений. Вейвлет-спектр изображен в двумерной плоскости - по оси абсцисс время в секундах, по оси ординат частота в Гц. Цветом изображена мощность сигнала: синим — нулевое значение мощности, красным - максимальное значение мощности.

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Природа характерных ритмических паттернов

В литературных источниках существует множество данных о функциональной роли ритмов мозга. Это стробирование информационных потоков, удержание информационных паттернов в кратковременной памяти и интегрирование частной информации в целое. Наиболее доказаны эти функции ритмов для сенсорных систем. Вероятно, что три вышеперечисленные функции ритмов должны осуществляться в мозге и во время выполнения когнитивных заданий, причем на разных частотах. В зрительной коре эти процессы протекают при восприятии стимула, предъявляемого на экране. В ассоциативных областях коры - во время выполнения собственно когнитивных операций. В дополнительной моторной коре и в моторной коре - при планировании и осуществления испытуемыми ответов; в коре больших полушарий и в лимбической системе одновременно - при оценке биологической значимости стимула и задания, при включении внимания, активации среднесрочной памяти, и т.д. Таким образом, широкий спектр самых разных информационных процессов в мозге может быть связан с его ритмами.

Результаты настоящей работы не предоставляют нам возможности однозначно судить о том, какие именно психофизиологические механизмы лежат в основе наблюдаемых нами характерных воспроизводящихся ритмических паттернов, однако мы постараемся оценить степень участия тех или иных физиологических процессов в их формировании.

Значительный вклад в формирование ритмических паттернов вносит мю-ритм, а именно подготовка или планирование движения проявляется появлением мю-ритма на спектрах. Действительно, мысленное вращение и перемещение фигур, которые испытуемый производит во время решения пространственных задач, представляют собой скрытый моторный акт. Эти действия сходны с воображаемыми движениями, когда планирование движений в моторной коре осуществляется, но команды на их исполнение тормозятся другими отделами коры. Таким образом, при мысленном или реальном выполнении движения наблюдается десинхронизация мю-ритма, однако при планировании движения наблюдается синхронизация этого ритма (РИтвсЬеПег е! а1, 1997).

Также вклад мю-ритма в общий спектр Фурье может наблюдаться, когда испытуемый мысленно проговаривает ход рассуждений про себя. При этом активируется зона Брока, примыкающая к моторной коре, что тоже может вызывать изменение параметров мю-ритма.

В целом, можно упомянуть работу Форд и Маталона, где они высказывают свой взгляд на то, что такое мышление: «абстрактное мышление есть высший моторный акт» (Ford & Mathalon, 2004), и эта фраза находится в очень хорошем соответствии с результатами современных исследований.

Эмоциональные процессы играют, по-видимому, одну из ключевых ролей в формировании характерных ритмических паттернов. Согласно проведенному опросу испытуемых, разные типы заданий получали у них разную эмоциональную окраску. Задания одного типа мышления некоторым испытуемым решать интересно, а другого -скучно; другим же испытуемым - наоборот. По результатам психологических тестов проявляется индивидуальная эмоциональная окраска тех или иных заданий. Таким образом, возможно, что при выполнении определенных заданий конкретными испытуемыми, у них проявлялся вполне определенный эмоциональный фон, что отражалось в спектрах ЭЭГ.

Значительный вклад в формирование характерных ритмических паттернов вносят также ритмы тета- и альфа-диапазонов, отражающие процессы памяти и внимания.

В соответствии с данными В. Климеша, процессы внимания и активации процедурной памяти находят свое отражения в изменении ритмов верхнего тета- и нижнего альфа-диапазонов, а активация семантической памяти - в изменении параметров ритмов верхнего альфа- и нижнего бета-диапазонов (Klimesch, 1997). На спектрах и весовых функциях некоторых испытуемых мы можем видеть эти процессы. Вернемся к усредненным спектрам испытуемого RM (рис. 4). Ранее упоминались наиболее заметные ритмы у этого испытуемого: ритмы альфа диапазона 8,3 Гц и 10,2 Гц, а также ритм тета-диапазона 6 Гц. Можно предположить, что у данного испытуемого решение пространственной задачи было в большей степени связано с процессами внимания и процедурной памяти, а решение вербальной задачи - с семантической обработкой. Тета-ритм связывают с влиянием лимбической системы на кору больших полушарий мозга (Симонов, 1981; Miller, 1991), поэтому ритм 6 Гц на рис. 4 можно ассоциировать с мотивационными и эмоциональными процессами, которые у данного испытуемого оказались одинаково выражены при решении заданий обоих типов мышления.

Индивидуальные спектры, очевидно, отражают особенности индивидуальных схем вовлечения мотивационных, эмоциональных ресурсов, а также ресурсов памяти и внимания, которые вырабатываются у каждого человека в ходе его развития. Конкретные схемы вовлечения указанных ресурсов окончательно формируются и приобретают устойчивый характер в процессе выполнения заданий, предъявляемых испытуемым в течение эксперимента.

Фазический характер процессов, отраженных в характерных ритмах.

Характерная ритмическая активность носит фазический характер, т.е. предположение о том, что в процессе решения задания устанавливаются несколько ритмов и эта активность преобладает, пока задание не исчезнет с экрана монитора, неверно. Оказывается, ритмическая активность определенной частоты проявляется в какие-то моменты времени, а затем исчезает. Внимательно анализируя вейвлет-спектры, можно заметить, что большую часть времени решения задания наблюдается отсутствие какой-либо активности, и только в некоторые короткие интервалы времени мы наблюдаем мощную активность того или иного ритма. Таким образом, на спектрах Фурье мы наблюдаем усредненный по эпохе анализа индикатор какого-либо ритмического процесса, который, в свою очередь, является проявлением мозговой активности определенного рода в отдельные, короткие интервалы времени. Естественным образом возникает вопрос: в какие интервалы времени испытуемый совершает когнитивные операции, а в какие имеет место «отдых» от когнитивной нагрузки?

Возможно, ответ на поставленный вопрос таков: процесс выполнения когнитивного задания состоит из интервалов готовности к выполнению конкретных когнитивных актов (тогда мы наблюдаем всплеск активности ритмов определенных частот, их синхронизацию) и интервалов выполнения самих когнитивных актов (тогда ритмы десинхронизированы вследствие того, что порождающие их структуры мозга находятся под «нагрузкой» выполнения когнитивных операций). Моменты перехода между различными когнитивными операциями проанализировать без помощи дополнительных алгоритмов достаточно сложно. В работах А.Я. Каплана с соавторами был предложен принципиально новый подход к сегментному анализу, суть которого заключается в нахождении моментов резких перестроек ритмов мозга. Как было показано авторами, такие моменты часто проявляются синхронно в разных структурах мозга и при этом могут касаться ритмов разных частот (Каплан, 1999; Каплан & Борисов, 2003; Шишкин, 1998; Фингелькурц Ан. и Ал., 1998). Авторы вводят понятие операциональной синхронности, смысл которой можно представить следующим образом. Допустим, несколько структур мозга, являющихся источниками ритмической активности, осуществляют какую-либо конкретную когнитивную операцию. Для выполнения другой когнитивной операции этими же структурами необходимо сменить частоту генерации постсинаптических токов. Для этого источники ритмов на какое-то время должны быть инактивированы, а затем должны перейти в состояние готовности к выполнению следующей операции. Эти процессы сопровождаются резкими изменениями в локальной синхронизации ритмической активности и, как следствие, в амплитуде порождаемых источниками

ритмов. При этом в процессе перехода к осуществлению следующей когнитивной операции несколько источников могут изменить параметры порождаемых ими ритмов одновременно. Такая картина взаимодействия источников ритмов, возможно, наблюдается и в наших исследованиях, что проявляется в форме полученных вейвлет-спектров. Мы наблюдаем появление ритмов различных частотных диапазонов в один и тот же момент времени в различных отведениях, иногда в одном отведении, что может говорить об операциональной синхронизации различных структур мозга.

Особенности метода классификации с помощью искусственной нейронной сети

Примененный нами обучаемый классификатор производит взвешенную оценку одновременно нескольких признаков, характеризующих ментальное состояние. Это придает методике помехоустойчивость, а помехоустойчивость, в свою очередь, позволяет различать когнитивные состояния по нескольким секундам записи ЭЭГ, т.е. практически в реальном времени.

Важно отметить, что классификатор с настраиваемыми в процессе обучения весами сам по себе может оказаться полезным исследовательским инструментом. Анализ графиков весовых функций позволяет выявить наиболее значимые для классификации (а, следовательно, и наиболее важные по существу) признаки состояний. Так, например, визуальный анализ позволяет выявить наиболее выраженные признаки на спектрах Фурье, такие как мощность ритма или его смещение по частоте, однако эти признаки не всегда могут быть значимыми. В некоторых случаях мало заметные на усредненных спектрах ритмы вносили значимый вклад в настройку весовых функций. Таким образом, для классификации важна не мощность ритма, а его повторяемость в одинаковых экспериментальных условиях.

выводы

1. Различным типам когнитивной деятельности человека (пространственно-образному и вербально-логическому) соответствуют принципиально различные индивидуальные пространственно-частотные паттерны ритмов ЭЭГ.

2. Паттерны, соответствующие различным конкретным видам когнитивных заданий, принадлежащим одному типу когнитивной деятельности, различаются между собой в деталях. Различия между такими паттернами существенно меньше, чем между паттернами, принадлежащими различным типам когнитивной деятельности.

3. Применение искусственной нейронной сети в качестве обучаемого классификатора позволяет различать как принципиальные типы, так и конкретные виды (внутри одного типа) когнитивной деятельности по коротким (несколько секунд) единичным реализациям ЭЭГ. Надежность различения первых много выше, чем надежность различения вторых.

4. Два конкретных вида заданий, принадлежащие разным типам когнитивной деятельности, распознаются по ритмам единичных реализаций ЭЭГ с наибольшей надежностью (85% в среднем по испытуемым). Принципиальные типы когнитивной деятельности (пространственно-образный и вербально-логический) распознаются инвариантно конкретного вида заданий со средней надежностью 74%. Конкретные виды заданий, принадлежащие одному типу когнитивной деятельности, распознаются на пороге достоверно неслучайной классификации (69% и 68% в среднем по испытуемым для вербально-логического и пространственно-образного типов когнитивной деятельности, соответственно).

5. На протяжении выполнения когнитивного задания характерные ритмы ЭЭГ проявляются несколько раз в коротких интервалах времени (порядка нескольких сотен миллисекунд), демонстрируя фазическую, а не тоническую, природу. Временная динамика ритмического рисунка может соответствовать этапам выполнения когнитивного задания.

ПУБЛИКАЦИИ АВТОРА ПО ТЕМЕ

1. Иваницкий Г.А., Наумов Р.А. Иваницкий A.M. (2007) Технология определения типа совершаемой в уме мысленной операции по рисунку электроэнцефалограммы. Технологии живых систем. Т. 4. В. 5-7. С. 20-27.

2. Иваницкий Г.А., Наумов Р.А., Роик А.О., Иваницкий A.M. (2008) Как определить, чем занят мозг, по его электрическим потенциалам? Устойчивые паттерны ЭЭГ при выполнении когнитивных заданий. Вопросы искусственного интеллекта. Т. 1, № 1, С. 93-102.

3. Naumov R.A., Ivanitsky G.A., Ivanitsky A.M. (2008) The recognition of mental activity type with EEG during spatial and verbal tasks solving. 13 European congress of clinical neurophysiology. Istanbul, Turkey. International Journal of Psychophysiology, V. 69. No 3. p. 180.

4. Naumov R.A., Ivanitsky G.A., Ivanitsky A.M. (2009) Mental activity type recognition with few seconds of on-going EEG. 2nd INCF Congress of Neuroinformatics 2009, Pilsen, Czech Republic. Abstract book, p. 146.

Формат 60 х 90 '/)6 Тираж 100 экз. Объем 1,75 п.л. Заказ 2745

Отпечатано с готовых оригинал-макетов в типографии Издательского Дома МИСиС, 119049, Москва, Ленинский пр-т, 4

Содержание диссертации, кандидата биологических наук, Наумов, Роман Александрович

Введение.

Обзор литературы.

Что мы измеряем, регистрируя ЭЭГ?.

Ритмы ЭЭГ - современная классификация.

Ритмы 3 — диапазона.

Ритмы в — диапазона.

Ритмы а-диапазона.

Ритмы Р - диапазона.

Ритмы у— диапазона.

Функциональная роль ритмов ЭЭГ.

Методы анализа нестационарного ЭЭГ сигнала.

Нестационарная природа ЭЭГ.

Преобразование Фурье ЭЭГ сигнала.

Вейвлет-анализ ЭЭГ сигнала.

Сегментация ЭЭГ и ее физиологическое значение.

Искусственные нейросети в нейрофизиологических исследованиях.

История возникновения методологии искусственных нейронных сетей.

Наиболее известные типы искусственных нейросетей.

Применение ИНС для анализа ЭЭГ и ПСС.

Методы исследования.

Испытуемые, характер предъявляемых задач и ход эксперимента.

Регистрация данных.

Отбор данных и отстройка от артефактов.

Формирование обучающей и контрольной выборок данных для целей классификации.

Предобработка.

Распознавание типа данных с помощью обучаемого классификатора.

Искусственная нейросеть.

Усредненные спектры.

Вейвлет-анализ полученных данных.

Непрерывное вейвлет-преобразование.

Материнский (анализирующий) вейвлет.

Понятие масштаба вейвлет-преобразования.

Процедура преобразования.

Частотно-временная локализация вейвлет-анализа.

Результаты исследования.

Результаты, полученные при применении ИНС в качестве обучаемого классификатора.

Различия в паттернах ЭЭГ, проявляющиеся при решении различных заданий.

Межиндивидуальные различия паттернов ЭЭГ человека.

Частотно-временной анализ полученных ЭЭГ данных.

Обсуждение результатов.

Природа характерных ритмических паттернов.

Вклад гамма- и дельта- активности в формирование характерных ритмических паттернов и классификацию.

Вклад бета-активности в формирование характерных ритмических паттернов и классификацию.

Вклад мю-ритма в формирование характерных ритмических паттернов и классификацию.

Вклад ритмов тета- и альфа-диапазонов, коррелированных с эмоциями, памятью, вниманием и мотивацией.

Фазический характер процессов, отраженных в характерных ритмах.

Специфические неспецифические» процессы.

Воспроизводимость ритмических паттернов.

Инвариантные признаки у разных испытуемых. Инвариантные признаки при решении различных видов заданий.

Особенности метода классификации с помощью искусственной нейронной сети.

Выводы.

Библиография Диссертация по биологии, кандидата биологических наук, Наумов, Роман Александрович, Москва

1. Болдырева Г.Н. (2000) Электрическая активность мозга человека при поражении диэнцефальных и лимбических структур. М.: Наука, 2000.

2. Витязев В.В. (2001) Вейвлет-анадиз временных рядов. Спб. Изд-eo С.-Петер. ун-та.

3. Глейзер В.Д. (1985) Зрение и мышление. JL. 246 с.

4. Гутман A.M. (1980) Биофизика внеклеточных полей мозга. М. 184 с.

5. Дремин И.М., Иванов О.В., Нечитайло В.А. (2001) Вейвлеты и их использование // Успехи физических наук, т. 171, №5, с. 564-601

6. Иваницкий А.М. (1976) Мозговые механизмы оценки сигналов. М: Медицина, 1976.

7. Иваницкий AM., Стрелец В.Б., Корсаков И.А. (1984) Информационные процессы мозга и психическая деятельность. М: Наука, 1984

8. Иваницкий А.М. (1993) Фокусы взаимодействия, синтез информации и психическая деятельность. Журн. высш. нервн. деят. Т.43, с. 219-227.

9. Иваницкий Г.А. (1997) Распознавание типа решаемой в уме задачи по нескольким секундам ЭЭГ с помощью обучаемого классификатора. ЖВНД им. И.П.Павлова. Т. 47, с. 743-747.

10. Ильюченок И.Р., Савостьянов А.Н., Валеев Р.Г. (2001) Динамика спектральных характеристик тета- и альфа-диапазонов ЭЭГ при негативной эмоциональной реакции. Журн. высш. нервн. деят. Т. 51, с. 563-571.

11. Каплан А.Я., Дарховский Б.С., Фингелькурц АлЛ., Фингелькурц Ан.А. (1997) Топологическое картирование процесса синхронизации моментов резких перестроек в мультиканальной ЭЭГ у человека. Журн. высш. нервн. деят. Т. 47, вып. 1. с. 32-37.

12. Ливанов М.Н., Поляков КЛ. (1945) Изв. АН СССР. Сер. Биол. Т. 3. С. 286.

13. Ливанов М.Н. (1972) Пространственная организация процессов головного мозга. М.: Наука, 1972.

14. Николаев А.Р. (1994) Исследование этапов мысленной ротации сложных фигур методом картирования внутрикоркового взаимодействия. Журн. высш. нервн. деят. Т. 44, с. 441-447.

15. Николаев А.Р. (1995) Корковые механизмы невербального мышления на модели решения пространственных задач. Диссертация на соискание ученой степени кандидата медицинских наук. Москва, 1995.

16. Николаев А.Р., Иваницкий Г.А., Иваницкий А.М. (2000) Исследование корковых взаимодействий в коротких интервалах времени при поиске вербальных ассоциаций. ЖВНД им. И.П.Павлова. Т. 50, с. 44-61.

17. Переберин A.B. (2001) О систематизации вейвлет-преобразований. Вычислительные методы и программирование, т.2, с. 15-40

18. Подвигин И.Ф. (1979) Динамические свойства нейронных структур зрительной системы. JI.

19. Симонов П.В. (1981) Эмоциональный мозг. М: Наука, 1981.

20. Фарбер Д.А., Семенова, Л.К., Алферова, iB.B. (1990) Структурно-функциональная организация развивающегося мозга. JI. Наука. С. 198.

21. Фролов АЛ., Муравьев И.П. (1988) Информационные характеристики нейронных сетей. М.: Наука, 1988.

22. Шарова Е.В., Образцова Е.Р., Зайцев О.С., Куликов М.М., Ураков С.В. (2001) Особенности ЭЭГ при посттравматическом Корсаковском синдроме. Ж. неврологии и психиатрии им. С.С. Корсакова. Т. 101, с. 32-38.

23. Шевелев ИЛ. (2001) Волновые процессы в коре мозга и зрительное восприятие. Природа. №12 за 2001 г., с. 28-35.

24. Шишкин СЛ., Бродский Б.Е., Дарховский Б.С., Каплан А.Я. (1997) ЭЭГ как нестационарный сигнал: подход к анализу на основе непараметрической статистики. Физиология человека. Т. 23, N 4. С.124-126.

25. Abeyratne U.R., Kinouchi К, Oki Н., Okada J., Shichijo F., Maisumoto K. (1991) Artificial neural networks for source localization in the human brain. Brain Topogr. V. 4, p. 3-21.

26. Abeyratne U.R., Zhang G., Saratchandran P. (2001) EEG source localization: a comparative study of classical and neural network methods. Int. J. Neural Syst. V. 11, p. 349-360.

27. Adrian E.D., Matthews B.H.C. (1934) The Berger rhythm: potential changes from occipital lobes in man. Brain. V. 57. N 2. P. 355-385.

28. Bankman I.N., Sigilliti V.G., Wise ЯЛ., Smith P.L. (1992) Feature-based detection of the K-complex wave in the human electroencephalogram using neural networks. IEEE Trans. Biomed. Eng. V. 39, p. 1305-1310.

29. Barlow J.S. (1979) Computerized clinical electroencephalography in perspective. IEEE Trans. Biomed. Engng. V. BME-26. P. 377-391.

30. BasarE., Bullock Т.Н. (1992) Induced rhythms in the brain. Birkhaeuster, Boston-BaselBerlin.

31. BergerH. (1929) Über das Elektrenkephalogramm des Menschen. Arch. Psychiat. Nervenkr. V. 87, p. 527-570.

32. Bickford R.G., Fleming N.I., Billinger T.W. (1971) Compresion of EEG data. Trans. Am. Neurol Asoc. V. 36. P. 118-122.

33. Blankertz B, Dornhege G, KrauledatM, Curio G„ Mutter K-R. (2006) The Berlin brain-computer interface: Machine learning based detection of user specific brain states.

34. Burgess A.P., Gruzelier J.H. (1993) Individual reliability of amplitude distribution in topographical mapping of EEG. Electrenceph. Clin. Neurophysiol. V. 86, p. 218-223.

35. Burgess A.P., Gruzelier J. (1997) How reproducible is the topographical distribution of EEG amplitude? Int. J. Psychophysiol. V. 26, p. 113-119.

36. Coen, R.J. Tharp, B.R. (1985) Neonatal electroencephalography. Adv. Perinatal Med. London. V.4. P. 267-297.

37. Cooley J.W.y Lewis PA.W., Welch P.D. (1967) Historical notes on the fast Fourier transform. IEEE Trans. Audio Electroacoust. V. AU-15. P. 76-79.

38. Donchin E, Smith DB. (1970) The contingent negative variation and the late positive wave of the average evoked potential. Electroenceph clin Neurophysiol 29:201-203.

39. Donogltue J.P. (2002) Connecting cortex to machines: recent advances in brain interface. Nature Nauroscience. V.5, 1085-1088

40. Dummermuth G. (1971) Electronic data processing in pediatric EEG research. Neuropediatric. V. 4. P. 349-374.

41. Engel A.K., Singer W. (2001) Temporal binding and the neural correlations of sensory awareness. Trends in cognitive sciences. V. 5, p. 16-26.

42. Ferber G. (1987) Treatment of some nonstationarities in the EEG. Neuropsyhobiology. V. 17. P. 100-104.

43. Ford J.M., Mathalon D.H. (2004) Schizophrenia and hallucinations: evidence from event related brain potentials and functional magnetic resonance imaging. Int. J. Psychophysiol. V. 54, p. 3.

44. Fukuda O., Tsuji T., Kaneko M. (1995) Pattern classification of EEG signals using a log-linearized Gaussian mixture neural network. Proc. IEEE Int. Conf. Neural Networks, Perth Western Australia, 27 Nov-1 Dec, 1995. pp. 2479-2484.

45. Gabor A.J., Leach R.R., Dowla F.U. (1996) Automated seizure detection using a self-organizing neural network. Electroencephalography and Clinical Neurophysiology. V. 99, p. 257-266.

46. Gatli I., Lehmann D., Bar-On E. (1983) Fuzzy clustering of the EEG signal and vigilance performance. Intern. J. Neuroscience. V. 20, N 3-4. P. 303-312.

47. Georgopoulos AP, Lurito JT, Petrides M, Schwartz AB, Massey JT (1989) Mental rotation of the neuronal population vector. Science 243: 234-236

48. Gevins A.S., Yeager C.L., Diamond S.L., Spire J.P., Zeitlin G.M., Gevins A.H. (1975) Automated analysis of the electrical activity of the human brain (EEG): a progress report. Proc IEEE. V. 63. P. 1382-1399.

49. Gevins A.S., Smith M.E. (1997) Detecting transient cognitive impairment with EEG pattern recognition method. Aviation and Space Environmental Medicine. V. 70, p. 10281024.

50. Grass A.M., Gibbs F.A. (1985) A Fourier transform of the electroencephalogram. J. Neurophysiol. V. 2. P. 521-526.

51. Hari R., Salmelin R., Makela J.P., Salenius S, Helle M. (1997) Magnetoencphalographic cortical rhythms. Int. J. Psychophysiol. V. 26, p. 51-62.

52. HebbD.O. (1949) The organization of behavior. New-York: Wiley, 1949.

53. Hinton G.E., Sejnowsky T.J., Ackley D.H. (1984) Boltzmann machines: Constraint satisfaction networks that learn. Tech. Rep. CMU-CS-84-119. Pittsburgh: Carnegie-Mellon University, Department of Computer Science.

54. Hopfield J.J. (1982) Neural networks and physical systems with emergent collective computational abilities. Proc. Nat. Acad. Sci. USA. V. 79, p. 2554-2558.

55. I.Huang J.W., Lu Y.Y., Nayak A., Roy R.J. (1999) Depth of anesthesia estimation and control. IEEE Transactions on Biomedical Engineering. V. 46, p. 71-81.

56. Huuponen E., Varri A., Himanen S.L., Hasan J., Lehtokangas M., Saarinen J. (2000) Autoassociative MLP in sleep spindle detection. J. Med. Syst. V. 24, p. 183-193.

57. Jansen B.H., Cheng W.-K. (1988) Structural EEG analysis: an explorative study. Internat. J. Bio-Med. Comput. V. 23, N 3-4. P. 221-237.

58. Kaplan A.Ya., Byeon J-G., Lim J-J., Jin K-S.f Park B-W. (2005) Unconscious operant conditioning in the paradigm of brain-computer interface based on color perception. Intern. J. Neuroscience. V. 115, p. 781-802.

59. Kleiner B. (1973) Some comments on the use of an EEG autoregressive model for the time-saving calculation of spectral power density distributions with a digital computer. EEG Clin. Neurophysiol. V. 35. P. 331-332.

60. Klimesch W. (1997) EEG-alpha rhythms and memory processes. Int. J. Psychophysiol. V. 26, p. 319-340.

61. Klimesch W., Sauseng P., Hanslmayr S. (2007) EEG alpha oscillations: The inhibition-timing hypothesis. Brain Research Rewiews. V. 53. P. 63-88.

62. Klöppel B. (1994) Classification by neural networks of evoked potentials. Neuropsychology. V. 29, p. 47-52.

63. Knyazeva M.G., Fornari E., Meuli R., Innocenti G., Maeder P. (2006) Imaging of a synchronous neuronal assembly in the human visual brain. Neuroimage. V. 29, p. 593604.

64. Kohonen T. (1995) Self-Organizing Maps. Springer-Verlag, Heidelberg, 1995.

65. Kubier A, Kotclioubey B, Kaiser J, Wolpaw JR, Birbaumer N. (2001) Brain-computer communication: unlock the locked-in. Psychol Bull 127:358-375.

66. Lashley KS. (1950) In search of the engram. In: Society of experimental biology symposium No. 4: Psychological mechanisms of animal behavior. London: Cambridge University Press, 1950. p. 478-505.

67. Laubach M. (2004) Wavelet-based processing of neuronal spike trains prior to discriminant analysis. J. Neurosci. Methods, v. 134, pp. 159-168

68. Lopes da Silva F.H., Dijk A., Smits H. (1975) Detection of non-stationarities in EEGs using thy autoregressive model — an application to the EEG of epileptics. CEAN-computerizedEEG analysis. (Eds.) G. Dolce, H. Kunkel. Stuttgart: Fischer. P. 180-199.

69. Lopes da Silva F.H., Vos J.E., Mooibroek J., Van Rotterdam A. (1981) Relative contributions of intracortical and thalamocortical processes in the generation of alpha rhythms, revealed by partial coherence analysis. EEG Clin. Neuroph. V. 50, p. 449-456.

70. Lopes da Silva F.H. (1982) EEG analysis: theory and practice. Electroencephalography -basic principles, clinical applications and related fields. (Eds.) E. Niedermeyer, F.H. Lopes da Silva. Baltimore: Urban & Schwarzenberg. P. 685-711.

71. Lopes da Silva F.H., Mars N.J.I. (1987) Parametric methods in EEG analysis. EEG handbook: Revised series. V. 1. Methods of analysis of brain electrical and magnetic signals. A.S.Gevins, A.Remond (Eds.). Amsterdam: Elsevier. P. 243-260.

72. Lopes da Silva F. (1991) Neural mechanisms underlying brain waves: from neural membranes to networks. EEG Clin. Neuroph. V.79, p. 81-93.

73. Miller A.S., Blott B.H., Hames T.K. (1992) Review of neural network applications in medical imaging and signal processing. Medical and Biological Engineering and Computing. V. 30, p. 449-464.

74. Miller R. (1991) Cortico-hippocampal interplay and the representation of contexts of the brain. Springer Verlag, Berlin Heidelberg New York, 1991.

75. Mitra S., Sarbadhikan S.N., Pal S.K. (1996) An MLP-based model for identifying qEEG in depression. Int. J. Biomed. Comput. V. 43, p. 179-187.

76. Morrel F. (1967) The Neurosciences. A study program. N.Y. Rockfeller Univ. Press. P. 452.

77. Morrell L.K. (1966) Some characteristics of stimulus-provoked alpha activity. Electroencephalogr. clin. Neurophysiol. V. 21, N 6. P. 552-561.

78. Mulcholland T., Goodman D. (1980) Hypotesis of background EEG. Rhytmic EEG activities and cortical functioning. Amsterdam ect.: Elsevier. P. 277-286.

79. Murthy V.N., Fetz E.E. (1992) Coherent 25- to 35-Hz oscillations in the sensorimotor cortex of awake behaving monkeys. Proc. Natl. Acad. Sci. U SA. V. 89, p. 5670-5674.

80. Nashmi R., Mendonca A. J., MacKay W.A. (1994) EEG rhythms of the sensorimotor region during hand movements. Electroencephalogr. Clin. Neurophys. V. 91, p.456-467.

81. Niedermeyer N. (1997) Alpha rhythms as physiological and abnormal phenomena. Int. J. Psychophysiol. V. 26, p. 31-49.

82. Peltoranta M., Pfurtscheller G. (1994) Neural network based classification of non-averaged event-related EEG responses. Medical & Biological Engineering & Computing. V. 32, p. 189-196.

83. Penny W.D., Roberts S.J. (1999) EEG-based communication via dynamic neural network models. Proc. Int. Joint Conf. Neural Networks, 1999. p. 5.

84. Peters B.O., Pfurtscheller G., Flyvbjerg H. (1998) Mining multi-channel EEG for its information content: an ANN-based method for a brain-computer interface. Neural Networks. V. 11, p. 1429-1433.

85. Peters B.O., Pfurtscheller G., Flyvbjerg H. (2001) Automatic differentiation of multichannel EEG signals. IEEE Trans. Biomed. Eng. V. 48, p. 111-116.

86. Petrosian AA., Prokhodov D.V., Lajara-Nanson W., Schiffer R.B. (2001) Recurrent neural network based approach for early recognition of Alzheimer's disease in EEG. Clinical Neurophysiology. V. 112, p. 1378-1387.

87. Petsche H., Rappelsberger P. (1992) Is there any message hidden in the human EEG? Induced Rhythms in the Brain. E.Basar, T.H.Bullock (Eds.). Boston: Birkhauser. P. 103-116.

88. Pfurtscheller G., Flotzinger D., Mohl W., Peltoranta M. (1992) Prediction of the side of hand movements from single trial multi-channel EEG data using neural networks. Electroencephalogr. Clin. Neurophysiol. V. 82, p. 313-315.

89. Pfurtscheller G, Flotzinger D, Pregenzer W, Wolpaw JR, McFarland J)J. (1996) EEG-based brain-computer interface (BCI): search for optimal electrode positions and frequency components. Med Prog Technol 21:111—121.

90. Pfurtscheller G., Neuper Ch., Andrew C., Edlinger G. (1997) Foot and hand area mu rhythms. Int. J. Psychophys. V. 26, p. 121-135.

91. Pfurtscheller G., Lopes da Silva F.H. (1999) Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. V. 110, p. 1842-1857.

92. Posner M.I., Raichle M.E. (1994) Images of mind. New York.

93. Robert G, Karasinski P., Natowitz R., Limoge A. (1996) Adalt rat vigilance states discrimination by artificial neural network using a single EEG channel. Physiology & Behavior. V. 59, p. 1051-1060.

94. Robert C., Gaudy J.F., Limoge A. (2002) Electroencephalogram processing using neural networks. Clinical Neurophysiology. V. 113, p. 694-701.

95. Roberts SJ, Penny WD. (2000) Real-time brain-computer interfacing: a preliminary study using Bayesian learning. Med Biol Eng Comput 38:56-61.

96. Roschke J., Fell J., Mann K. (1997) Non-linear dynamics of alpha and theta rhythm: correlation dimensions and Lyapunov exponents from healthy subject's spontaneous EEG. Int. J. Psychophysiol. V. 26, p. 251-261.

97. Rosenblatt F. (1958) The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychol. Rev. V. 65, p. 386-408.

98. Rosenblatt F. (1962) Principles of neurodynamics. New-York, Spartan, 1962.

99. Rougeul-Buser A., Buser P. (1997) Rhythms in the alpha band in cats and their behavioral correlates. Int. J. Psychophysiol. V. 26, p. 191-203.

100. Rumelhart D.E., Hinton C.E., Williams R.J. (1986 a) Learning representations by back-propagating errors. Nature. V. 323, p. 533-536.

101. Rumelhart D.E., McClelland J.L., and the PDP research group. (1986 6) Parallel distributed processing. Cambridge, Mass.: MIT Press, 1986.

102. Salmelin R., Mamalainen M., Kajola M., Hari R. (1995) Functional segregation of movement-related rhythmic activity in the human brain. Neuroimage. V. 2, p. 237-243.

103. Saunders M. (1963) Amplitude probability density studies of alpha and alpha-like patterns. EEG and Clin. Neurophysiol. V. 15. No 5. P. 761-777.

104. Schack B., Weiss S., Rappelsberger P. (1996) Dynamic topographic methods of coherence analysis of cognitive processes. Medical & Biological Engineering & Computing. V. 34, p. 207-208.

105. Sun M., Sclabassi R.J. (2000) The forward EEG solutions can be computed using artificial neural networks. IEEE Trans. Biomed. Eng. V. 47, p. 1044-1050.

106. Suzuki H. (1974) Phase relationships of alpha rhythm in man. Japan J. Physiol. V. 24, N 6. P. 569-586.

107. Sveinsson J.R., Benediktsson J^A., Stefansson S.B., Davidsson K. (1997) Parallel principal component neural network for classification of event-related potential waveforms. Med. Eng. Phys. V. 19, p. 15-20.

108. Tallon-Baudry C., Bertrand O., Fischer C. (2001) Oscillatory synchrony between human extrstriate areas during visual short-term memory maintenance. J. Neurosci. V. 21, p. RC177- 1-RC177-5.

109. Tallon-Baudry C. (2003) Oscillatory synchrony and human visual cognition. Journal of Physiology Paris V. 97, p. 355-363.

110. Thatcher R.W., Krause P.J., Hrybyk M. (1986) Cortico-cortical associations and EEG coherence: a two-compartmental model. Electroenceph. clin. Neurophysiol. V. 64. P. 123-143.

111. Tuulik K, Raja A., Meister A., Lossmann E. (1997) Neural network method to determine the vigilance levels of the central nervous system, related to occupational chronic chemical stress. Technology of Health Care. N 5 (1997), p. 243-251.

112. Van Hoey G., de Clercq J., Vanrumste B., van de Walle R., Lemahieu I., D'Have M., Boon P. (2000) EEG dipole source localization using artificial neural network. Physics in Medicine and Biology V. 45, p. 997-1011.

113. Varela F., Lachaux J-P., Rodriguez E. and Martinerie J. (2001) The brainweb: phasesynchronization and large-scale integration. Nature rewiews. v. 2, pp. 229-239

114. Vargha-Khadent F., Gadian D. G., Mislikin M. (2001) Dissociation in cognitive memory: the syndrom of developmental amnesia. Phil. Trans. R. Soc. Lond. V. 356, p. 1435-1440.

115. Walczak S., Novak W.J. (2001) An artificial neural network approach to diagnosing epilepsy using lateralized bursts of theta EEGs. Journal of Medical Systems. V. 25, p. 920.

116. Walter D.O., Rhodes J.M., Adey W.P. (1967) Discriminating among states of consciousness by EEG measurements: a study of four subjects. EEG and Clin. Neurophysiol. V. 22. No 1. P. 22-29.

117. Webber W.R.S., Lesser R.P., Richardson R., Wilson K. (1996) An approach to seizure detection using an artificial neural network (ANN). Electroencephalography and Clinical Neurophysiology. V. 98, p. 250-272.

118. Weiss T.F. (1960) Masters thesis. Dept Electr Engng. M.I.T. P. 132.

119. Whitham EM, Pope KJ, Fitzgibbon SP, et al (2007). "Scalp electrical recording during paralysis: quantitative evidence that EEG frequencies above 20 Hz are contaminated by EMG". Clin Neurophysiol 118 (8): 1877-88.

120. Whitham EM, Lewis T, Pope KJ, et al (2008). "Thinking activates EMG in scalp electrical recordings". Clin Neurophysiol 119 (5): 1166-75.

121. Wilson S.B. (2005) A neural network method for automatic and incremental learning applied to patient-dependent seizure detection. Clinical Neurophysiology. V. 116 p. 1785-1795.

122. Wolpaw J.R, McFarland DJ. (2004) Control of two-dimensional movement signal by a noninvasive brain-computer interface in humans. PNAS. V. 101, N 51, 17849-17854.

123. Wu F.G., Slater J.D., Ramsay R.E. (1994) Neural network approach in multichannel auditory event-related potentials analysis. Int. J. Biomed. Comput. V. 35, p. 157-168.

124. YoshiiN., Yamaguchi V. (1962) Med. J. Osaka Univ. V. 13. No 1. P. 11.

125. Yuasa M., Zhang Q., Nagashino H., Kinouchi Y. (1998) EEG source localization for two dipoles by neural networks. Proc. IEEE 20th Ann. Int. Conf. IEEE/EMBS. Hong Kong, 1998. p. 2190-2192.

126. Yuval-Greenberg S, Tomer O, Keren AS, Nelken I, Deouell LY (2008). "Transient induced gamma-band response in EEG as a manifestation of miniature saccades". Neuron 58 (3): 429-41.

127. Yylmaz Y.K., Demiralp T., Giilcur H.O. (1998) Classification of P300 component in single trial event related potentials using artificial neural network classifier. Int. J. Psychophysiology. V.30, p. 226.

128. Zhang X.S., Roy R.J. (2001) Derived fuzzy logic model for estimating the depth of anesthesia. IEEE Transactions on Biomedical Engineering. V. 48, p. 312-323.h