Методы распознавания аномальных событий на временных рядах в анализе геофизических наблюдений

Соловьев, Анатолий Александрович

Бесплатный автореферат и диссертация по наукам о земле на тему
Методы распознавания аномальных событий на временных рядах в анализе геофизических наблюдений
ВАК РФ 25.00.10, Геофизика, геофизические методы поисков полезных ископаемых

Автореферат диссертации по теме "Методы распознавания аномальных событий на временных рядах в анализе геофизических наблюдений"

На правах рукописи

Соловьев Анатолий Александрович

МЕТОДЫ РАСПОЗНАВАНИЯ АНОМАЛЬНЫХ СОБЫТИЙ НА ВРЕМЕННЫХ РЯДАХ В АНАЛИЗЕ ГЕОФИЗИЧЕСКИХ НАБЛЮДЕНИЙ

Специальность 25.00.10 Геофизика, геофизические методы поисков полезных ископаемых

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора физико-математических наук

13 ФЕ8 2014

005545165

Москва-2013

005545165

Работа выполнена в Федеральном государственном бюджетном учреждении науки Геофизическом центре Российской академии наук.

Научный консультант:

академик РАН, доктор физико-математических наук, профессор Алексей Джерменович Гвишиани, Федеральное государственное бюджетное учреждение науки Геофизический центр Российской академии наук, директор

Официальные оппоненты:

доктор физико-математических наук, профессор Юрий Анатольевич Копытенко, Санкт-Петербургский филиал Федерального государственного бюджетного учреждения науки Института земного магнетизма, ионосферы и распространения радиоволн им. Н.В. Пушкова Российской академии наук (СПбФ ИЗМИРАН, г. Санкт-Петербург), директор

доктор физико-математических наук Равиль Анатольевич Рахматулин, Федеральное государственное бюджетное учреждение науки Институт солнечно-земной физики Сибирского отделения Российской академии наук (ИСЗФ СО РАН, г. Иркутск), заЕ;едующий обсерваторией

доктор физико-математических наук Владимир Григорьевич Кособокое, Федеральное государственное бюджетное учреждение науки Институт теории прогноза землетрясений и математической геофизики Российской академии наук (ИТПЗ РАН, г. Москва), главный научный сотрудник

Ведущая организация:

Федеральное государственное бюджетное учреждение Институт прикладной геофизики имени академика Е.К. Федорова Федеральной службы по гидрометеорологии и мониторингу окружающей среды (ИПГ РОСГИДРОМЕТ, г. Москва)

Диссертационного ,, , ... зм государственном

бюджетном учреждении науки Институте физики Земли им. О.Ю. Шмидта Российской академии наук (ИФЗ РАН) по адресу: 123995, Москва Д-242, Большая Грузинская ул.. д. 10, конференц-зал.

С диссертацией можно ознакомиться в библиотеке ИФЗ РАН и на сайте института http://www.ifz.ru/. Автореферат размещен на официальном сайте Высшей аттестационной комиссии при Министерстве образования и науки Российской Федерации http://vak.ed.gov.ru/ и на сайте ИФЗ РАН.

Автореферат разослан « 73, » Я Я 2014 г.

Отзывы на автореферат, заверенные печатью, в 2-х экземплярах направлять по адресу: 123995, Москва, Д-242, Большая Грузинская ул., д. 10, ИФЗ РАН, ученому секретарю Диссертационного совета Олегу Григорьевичу Онищенко.

Ученый секретарь Диссертационного совета —

Защита состоится

часов на заседании

доктор физико-математических наук

Общая характеристика работы

Актуальность темы исследования

Последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целью удовлетворения потребностей более широкого круга научных и практических интересов. Так, переход с минутной на секундную регистрацию геомагнитных данных является одной из актуальных, трудных и обсуждаемых задач в геомагнитном сообществе. Объемы информации о Солнце, регулярно передаваемые с искусственных спутников Земли, также непрерывно растут, позволяя изучать более детально солнечную активность. Например, спутник SDO (Solar Dynamics Observatory) передает ежедневно на Землю порядка 1.5 терабайт данных о солнечной атмосфере на малых пространственно-временных масштабах и во многих длинах волн единовременно. Кроме того, происходит переход от накопленных ранее аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль автоматизации сбора и анализа данных и математических методов их обработки.

Статистика показывает, что не менее стремительно растет и количество запросов к цифровым данным. При небольших объемах данных опытному эксперту не составляет труда извлечь из них полезную информацию. Но для эффективного использования объемных массивов данных и получения на этой основе качественно новых результатов актуальной является задача создания адекватных автоматизированных методов комплексного анализа и обработки данных. В этом случае автоматизированное извлечение полезной информации должно быть формализовано, происходить единообразно и объективно.

Одной из важнейших проблем современной геофизики является распознавание, изучение, классификация аномальных событий на длинных одномерных и многомерных временных рядах геофизических наблюдений. Несмотря на огромное многообразие и разнородность типов наблюдаемых рядов геофизических наблюдений эта проблема может рассматриваться в общей постановке, достаточно инвариантной к выбору того или иного типа информации. Тем самым, возникает необходимость создания общей теории и методов распознавания аномалий на рядах геофизических наблюдений различной природы. Этот общий метод должен адаптироваться к конкретному выбору типа геофизических данных в виде нетривиальной самостоятельной реализации.

Актуальной является задача распознавания и классификации различных форм сигнала на временных рядах. Эта непростая задача требует соответствующих алгоритмов детального анализа исходных данных и большого числа свободных параметров, подгоняемых в процессе настройки. Например, проблема выделения таких аномалий на временных рядах, как «спайки» (выбросы), до сих пор остается нерешенной. Помимо

геофизики, эта проблема актуальна в целом ряде других дисциплин, включая медицину, радиофизику и др. При этом, выбросы могут носить как техногенный, так и природный характер.

Вероятностно-статистические методы выделения возмущений, частотно-временной анализ, вейвлет-анализ и нейронные сети являются эффективными при наличии априорной информации. Во многих случаях априорная информация об искомых возмущениях весьма ограничена и касается только общих представлений об их форме. Форма аномалии является достаточно нечетким понятием, а корреляционные свойства ее неизвестны. Поскольку природа явлений, отраженных в регистрируемых данных, априори не известна и изменчива во времени, то и методы должны быть в большой степени адаптивными. Требуются такие методы анализа временных рядов, которые бы позволяли решать задачи распознавания аномальных событий в самом общем случае. Обеспечить подобную гибкость при автоматизации распознавания аномальных событий способен эффективный учет в соответствующем методе знаний экспертов, осуществляющих анализ данных вручную. Моделирование деятельности и логики интерпретатора (эксперта) может быть достигнуто путем применения методов на базе нечеткой логики, которые были разработаны в последнее время.

Одной из актуальных проблем анализа геофизических данных является распознавание физических и техногенных аномалий на рядах геомагнитных наблюдений и обнаружение всплесков магнитной активности. В то же время, крайне актуальной задачей является развитие сетей наблюдения магнитного поля Земли. Изучение состояния геомагнитного поля позволяет предотвратить такие чрезвычайные ситуации национального масштаба, как сбои в авиационной и космической навигации и радиосвязи, перегрузка линий электропередач, повреждение трубопроводов, сбои в работе ж/д-автоматики и др., вызванные магнитными бурями. Непрерывная регистрация характеристик магнитного поля лежит в основе высокотехнологичных процессов освоения природных ресурсов (напр., наклонное бурение скважин), где точность данных достаточно критична. Результаты измерения магнитных аномалий в земной коре являются важной информацией, используемой при поиске полезных ископаемых и уточнении геологической истории планеты Земля. При решении всех вышеперечисленных задач необходимым условием является наличие геомагнитных данных, предварительно очищенных от техногенных аномалий. Причинами таких аномалий на магнитограммах могут быть близость аэродромов, железных дорог, линий электропередач или других техногенных элементов, воздействующих на магнитную обстановку, резкие перепады температуры, нарушения калибровки измерительных приборов и др. Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным

препятствием для адекватного использования данных и развития систем геомагнитных наблюдений.

Кроме того, при стремительном росте объема данных использование единичных мер для описания характеристик наблюдаемых процессов представляется устаревшим и неэффективным. В геомагнетизме такими единичными мерами являются геомагнитные планетарные индексы. Они предназначены для оценки общей интенсивности магнитных бурь и рассчитываются по данным фиксированного набора станций. Современный этап развития сетей наблюдений требует перехода к новой парадигме в анализе геомагнитных данных, подразумевающей обработку целиком массива наблюдений на многих станциях, как единого целого. В геомагнитных исследованиях требуется введение меры комплексного анализа данных, позволяющей в единой шкале оценивать относительную магнитную активность в разных регионах Земли. Такая мера позволила бы получать мгновенные «снимки» распределения магнитной бури в каждый момент времени для изучения динамики распространения возмущений по земному шару. Методы, предлагаемые в данной работе, служат решению этой задачи. Их использование автоматизирует и существенным образом ускоряет обработку и анализ данных.

Создание общей формализованной методологии обеспечивает независимость результатов обработки от субъективных факторов (напр., отличия в подходах различных экспертов к анализу данных). В то же время решается актуальная задача значительного сокращения задержки в получении обработанных данных мировым научным сообществом. Математическая формализация распознавания временных возмущений будет способствовать значительному повышению качества обработки данных геомагнитных измерений, что внесет существенный вклад в расширение и углубление знаний о магнитном поле Земли.

В настоящее время главными задачами по преодолению отставания российской сети магнитных наблюдений от мирового уровня являются:

1. развитие пунктов геомагнитных наблюдений в России;

2. создание национального центра геомагнитных данных, который будет служить ядром российского сегмента ИНТЕРМАГНЕТ;

3. преобразование результатов наблюдений российских обсерваторий в окончательные данные, предоставляемые научной общественности, вместо передачи «сырых» данных в различные зарубежные центры.

Диссертационная работа направлена на решение этих актуальных задач.

Целью работы является развитие математических методов автоматизированной обработки данных и их применение к анализу дискретных временных рядов геомагнитных и других геофизических наблюдений. В рамках диссертации анализ временных рядов направлен на распознавание таких природных явлений, как магнитные бури, землетрясения и цунами, а также явлений, носящих техногенный характер. Кроме того, в работе решаются задачи разработки систем сбора геомагнитных данных.

Методология работы основана на новом подходе, заключающемся в моделировании дискретных аналогов фундаментальных понятий математического анализа, таких как связность и монотонность, экстремум, перегиб, выпуклость и т.д. Этот подход носит название «Дискретный математический анализ» (ДМА). Диссертационная работа направлена на его применение к распознаванию и изучению аномалий на временных рядах геофизических наблюдений. Математической базой для этого являются элементы ДМА. Диссертация продолжает цикл работ школы исследователей, возглавляемой академиком А.Д. Гвишиани, к которой причисляет себя и автор.

Отправной точкой такого математического моделирования служит достаточно «мягкий», в смысле создателя «нечеткой» математики Л. Заде, характер восприятия человеком свойств дискретности. Действительно, опытный исследователь, как правило, интуитивно и эффективно кластеризует, выделяет сгущения, трассирует, находит аномалии в двух- и трехмерных массивах и на временных рядах небольших объемов. Использование ДМА позволяет перенести это умение на большие размерности и большие объемы обрабатываемых данных.

Основные задачи исследования

1. Создание на базе ДМА алгоритмической системы автоматизированного, адаптивного распознавания аномальных событий произвольной природы на длительных временных рядах различных геофизических наблюдений.

2. Системно-математическая и алгоритмическая реализация разработанного общего метода для распознавания аномальных событий на временных рядах минутных, секундных и полусекундных магнитограмм, зарегистрированных наземными обсерваториями и искусственными спутниками Земли. Оптимизация системы обучения и математическая формализация критериев эффективности разработанного метода. Создание формализованного метода оценки эффективности работы алгоритмов в задаче распознавания аномальных событий техногенной природы на магнитограммах в периоды спокойного магнитного поля и повышенной активности.

3. Программно-алгоритмическая реализация метода ДМА для автоматизированного, формализованного и единообразного распознавания аномальных событий техногенной природы на магнитограммах наземных сетей наблюдений; доведение качества распознавания до уровня, сравнимого с работой эксперта вручную; сравнение созданного метода с классическими статистическими методами распознавания.

4. Разработка модели и технологической схемы функционирования межрегионального центра геомагнитных данных по обслуживанию российско-украинского сегмента сети ИНТЕРМАГНЕТ.

5. Создание нового метода распознавания и мониторинга геомагнитной активности на основе данных всей глобальной сети наземных наблюдений с использованием ДМА и ГИС-технологий для возможности изучения динамики распространения магнитных бурь по земному шару в режиме реального времени; разработка меры, дающей оценку

геомагнитной активности в различных регионах Земли в единой шкале, и ее сравнение с классическими индексами геомагнитной активности. Оценка эффективности разработанного метода в задаче внутреннего анализа сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ.

6. Реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане; применение реализованной алгоритмической системы для решения задачи распознавания на записях наблюдений системы ВА11Т-2 (глубоководная система обнаружения волн цунами) временных участков, соответствующих сигналам от подводных землетрясений (Р-волн) и волн цунами; оценка работы системы с работой эксперта.

Научная новизна

1. Разработан новый подход к распознаванию и изучению аномальных событий на больших временных рядах различных геофизических данных. Подход отличается универсальностью, позволяя решать широкий спектр геофизических задач. В отличие от существующих методов распознавания аномальных событий, в его основе лежит моделирование естественных рассуждений и действий человека при поиске аномалий.

2. Впервые создана автоматизированная алгоритмическая система для распознавания техногенных аномальных событий в геомагнитных измерениях с применением аппарата нечеткой логики и распознавания образов. Система по эффективности и точности превосходит соответствующие методы, которые применяются в рамках программы ИНТЕРМАГНЕТ.

3. Впервые при помощи разработанной алгоритмической системы проведено автоматизированное распознавание техногенных аномалий на секундных магнитных данных и выработаны критерии качества, применимые к секундным и полусекундным данным.

4. Применение разработанной алгоритмической системы распознавания техногенных аномалий в непрерывном режиме впервые позволяет получать окончательные данные в режиме, близком к реальному времени, вместо задержки более года.

5. Разработанные алгоритмы впервые позволяют распознавать и изучать низкоамплитудные магнитные пульсации диапазона 5-45 секунд (РсЗ) по совокупности секундных данных, зарегистрированных целым кластером обсерваторий на приэкваториальных широтах.

6. На базе ГЦ РАН впервые в России создан межрегиональный центр геомагнитных данных. Центр является ядром российско-украинского сегмента сети ИНТЕРМАГНЕТ, в котором развернута единая система магнитных наблюдений формата ИНТЕРМАГНЕТ. Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий на поступающих магнитограммах. Распознавание

возмущений форм:шизовано и выполняется единообразно, что позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными узлами магнитных данных ИНТЕРМАГНЕТ. Подход к хранению данных при помощи реляционной системы управления базами данных (СУБД), реализованный в центре, также является его отличительной чертой, поскольку обеспечивает широкие возможности поиска данных, гибкость запросов любой сложности и быстроту их выполнения. Геомагнитная БД предназначена для хранения как минутных, так и секундных данных. Создание геомагнитного центра имеет фундаментальное значение, т.к. открывает возможность решения задач на большом объеме данных с большим территориальным охватом в режиме реального времени.

7. Впервые разработан метод распознавания и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли с использованием ДМА и ГИС-технологий. Метод, осуществляя распознавание, позволяет следить за динамикой распространения магнитных бурь в режиме реального времени. Оценка геомагнитной активности в различных регионах Земли дается в единой шкале.

8. На базе ДГ*1А разработана новая мера аномальности, которая дает возможность более детального и наглядного изучения развития геомагнитной активности по сравнению с геомагнитными индексами. Мера позволяет анализировать внутреннюю тонкую структуру магнитных бурь, динамику их развития, как по всему земному шару, так и в пределах отдельны* регионов. На высоких широтах, где измеряемое магнитное поле намного более изменчиво в силу воздействия внешнего магнитного поля, такое региональное изучение динамики активности становится еще более интересным.

9. Разработанный алгоритмический метод ДМА реализован для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Созданная система впервые позволяет обнаруживать в накопленных данных события, не отраженные в имеющихся мировых каталогах землетрясений и цунами в силу их небольшой магнитуды.

10. Впервые создан и опубликован в электронном виде Атлас магнитного поля Земли (МПЗ) за 1500-2010 гг. Атлас представляет собой унифицированный набор физических, общегеографических, тематических, в том числе исторических карт МПЗ, а также справочных (текстовых и табличных) материалов, позволяющих детально и разносторонне изучать МПЗ с 1500 по 2010 гг. Он представляет собой фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками картографируемого явления - геомагнетизма. Он содержит научные результаты как исторического, так и современного состояния изучения МПЗ. Атлас не имеет ни отечественных, ни зарубежных аналогов.

Основные защищаемые положения

1. Разработанное на основе математической теории ДМА новое направление в распознавании и изучении аномалий на временных рядах геофизических наблюдений позволяет создать инструментарий для решения широкого круга задач анализа геофизических временных рядов. Достоверность этого нового направления подтверждается апробацией методов на данных наблюдений магнитного поля Земли и цунами.

2. Разработанная на базе конструкции нечетких сравнений строгая формализация понятий, необходимых для анализа временных рядов: нечеткая мера аномальности, нечеткие грани и нечеткая мера скачкообразности.

3. Развитие и реализация метода ДМА для распознавания и анализа аномальных событий на наземных и спутниковых магнитных данных, формализованные критерии его эффективности и оценка достоверности результатов распознавания.

4. Новый метод определения и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли. Метод базируется на ДМА и ГИС-технологиях. Он позволяет осуществлять распознавание и следить за динамикой распространения магнитных бурь в режиме реального времени. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале.

5. Развитие и реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане.

Научная и практическая значимость полученных результатов

В рамках алгоритмического подхода ДМА построена конструкция нечетких сравнений, позволяющая сравнивать различные характеристики объектов с учетом их относительных шкал изменений, тем самым, формализуя экспертную оценку. Такая конструкция дает нормированное представление сравнений, что позволяет в дальнейшем агрегировать их в единой шкале при помощи аппарата нечеткой логики. Иными словами, в нормированном виде появляется возможность соединять методами нечеткой логики разные точки зрения экспертов в единую, агрегированную точку зрения. На базе конструкции нечетких сравнений в рамках диссертации строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, оценивающая в шкале от -1 до 1 степень аномальности того или иного фрагмента временного ряда на общем фоне, нечеткие грани, позволяющие выявлять наиболее характерные диапазоны изменения значений на фрагментах временных рядов, и нечеткая мера скачкообразности, оценивающая степень значительности перепада базового уровня.

Созданные алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных

при этом отражены в результатах обучения (значениях свободных параметров). Все это делает алгоритмы универсальным инструментарием, позволяющим рещать широкий круг задач, связанных с анализом временных рядов и распознаванием отраженных на них аномальных событий.

Разработанная алгоритмическая система распознавания аномалий техногенной природы позволяет повысить достоверность очищенных от техногенных аномалий магнитограмм, в частности, сети ИНТЕРМАГНЕТ и получать их из предварительных минутных, секундных и нолусекундных записей практически без участия человека. Система дает та!:же возможность проведения единообразного формализованного ретроспективного анализа огромных архивов цифровых и оцифрованных магнитограмм, накопленных в Мировой системе данных Международного совета по науке (1С8Ц). Таким образом, улучшая качество и повышая достоверность как вновь поступающих, так и исторических исходных данных, она вносит вклад в развитие геомагнитных исследований.

Применение созданной системы в непрерывном режиме для контроля качества магнитных данных позволяет сократить время подготовки окончательных данных с года до месяца. Основные задачи, которые требуют наличия таких данных, включают в себя краткосрочное моделирование геомагнитного поля, расчет оперативных версий индексов геомагнитной активности, оперативная оценка геомагнитной обстановки, краткосрочный прогноз магнитных бурь и др.

На базе ГЦ РАН создан межрегиональный геомагнитный информационный центр по обслуживанию российско-украинского сегмента сети ИНТЕРМАГНЕТ, налажена передача данных из 14 пунктов наблюдений магнитного поля Земли. В центре внедрена автоматизированная система, предназначенная для формализованного и единообразного распознавания техногенных аномалий на магнитограммах по мере их поступления. В центре реализовано хранение данных в реляционной СУБД, обеспечивающее широкие возможности поиска данных, гибкость и быстрое выполнение запросов любой сложности.

Внедрение автоматизированной системы распознавания техногенных возмущений в непрерывном режиме в российско-украинском центре магнитных данных дает возможность доступа к очищенным магнитным данным с минимальной задержкой, по мере их поступления в центр. Наряду с обработкой наземных наблюдений, созданный алгоритмический комплекс в настоящий момент также внедряется в систему спутниковых геофизических наблюдений, которую разрабатывает Институт прикладной геофизики имени академика Е. К. Федорова РОСГИДРОМЕТ.

На базе поступающих в центр данных решена задача непрерывной интерполяции полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени. Следует ожидать, что с ростом числа российских пунктов наблюдений магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля.

Разработанная система оценки магнитной активности в приложении к поступающим в российско-украинский центр магнитным данным, которые проходят процедуру автоматизированного контроля качества и привязки к базовой линии, открывает возможность для достоверного изучения и оценки распределения магнитных возмущений по территории России и Украины в режиме, близком к реальному времени. В отличие от существующих индексов магнитной активности, предложенный метод осуществляет оценку геомагнитной возмущенности на основе всей совокупности наземных наблюдений магнитного поля Земли. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале.

Разработанные алгоритмы, примененные к секундным магнитным данным, открывают новые возможности по решению научных задач космической физики. К ним относятся оперативное распознавание и оценка солнечной активности, распознавание и изучение магнитных пульсаций в диапазоне от нескольких секунд до нескольких минут.

Разработанный на базе ДМА алгоритмический комплекс RTFL (Recognition of Tsunamis based on Fuzzy Logic) успешно применен для решения задачи распознавания на записях наблюдений системы DART-2 временных участков, соответствующих сигналам от подводных землетрясений (Р-волн) и волн цунами. Тем самым комплекс может быть использован для мониторинга цунами, обнаружения в накопленных данных событий, не отраженных в имеющихся мировых каталогах землетрясений и цунами и моделирования систем предупреждения о цунами. Кроме того, его компоненты в значительной степени гибки и адаптивны к другим задачам распознавания аномальных событий на временных рядах.

Созданный Атлас магнитного поля Земли, включающий обширный материал, предназначен для широкого круга пользователей, представляющих различные научные и прикладные области знания. Атлас представляет собой оригинальный фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками МПЗ за период с 1500 по 2010 гг. Его преимуществом является картографическое представление материалов по геомагнетизму.

Научная и практическая значимость выполненных автором исследований подтверждается тем, что часть работ, вошедших в диссертацию, проводилась при поддержке Программы фундаментальных исследований ОНЗ РАН № 7, РФФИ (гранты 12-05-90428-Укр_а, 12-05-00583-а, 11-05-06000-г, 11-05-05024-6, 10-05-90441-Укр_а, 09-07-91051-НЦНИ_а, 09-05-00789-а), Программы сотрудничества между ИФЗ РАН и Парижским институтом физики Земли, Программы сотрудничества между NOAA, NESDIS, NGDC, ИФЗ РАН, ГЦ РАН и ИКИ РАН под эгидой GEOSS и Благотворительного Кауффман-Фонда.

Личный вклад

Все результаты, представленные в диссертации, получены автором самостоятельно или при его непосредственном участии в коллективе соавторов. В большинстве

публикаций, относящихся к теме диссертации, автору принадлежала ведущая роль в постановке задачи, поиске путей решения, выполнении соответствующих расчетов и интерпретации результатов.

Апробация работы

Результаты работы докладывались и обсуждались на научных семинарах ГЦ РАН, ИФЗ РАН, ИЗМИРАН, ИПГ им. академика Е.К. Федорова, ААНИИ, Парижского института физики Земли (Франция), Национального центра геофизических данных НОАА (США). Основные положения работы были также доложены на отечественных и международных семинарах и конференциях (более 30 докладов). Автор являлся приглашенным докладчиком на конференции POLAR-2011 в ИЗМИРАН (г. Троицк) и Генеральной Ассамблее Международного Союза Геодезии и Геофизики (IUGG) 2011 г. в г. Мельбурне (Австралия). Автор был награжден за лучший стендовый доклад на международной конференции CODATA Международного совета по науке (ICSU) 2012 г. в г. Тайбэе (Тайвань). Полный список семинаров и конференций включает: 9-я международная конференция INFOBALT "Информационное общество: инновационные технологии для бизнеса и образования" октября 2007 г. (Вильнюс, Литва); Всероссийский съезд геологов 2008 г. (Москва, Россия); Международная конференция «Итоги Электронного Геофизического Года» 2009 г. (Переславль-Залесский, Россия); IAGA 11th Scientific Assembly 2009 (Sopron, Hungary); IV Фестиваль науки 2009 г. (Москва, Россия); Всероссийский семинар «Современные информационные технологии для фундаментальных научных исследований РАН в области наук о Земле» 2010 г. (Владивосток, Россия); International Workshop "Artificial Intelligence in the Earth's Magnetic Field Study. INTERMAGNET Russian Segment" 2011 (Uglich, Russia); Первая и Вторая научные конференции «Базы данных, инструменты и информационные основы полярных геофизических исследований» (POLAR-2011, POLAR-2012) 2011-2012 гг. (Троицк, Россия); XXV IUGG General Assembly "Earth on the Edge: Science for a Sustainable Planet" 2011 (Melbourne, Australia); The 1st ICSU World Data System Conference "Global Data for Global Science" 2011 (Kyoto, Japan); European Seismological Commission 33-rd General Assembly 2012 (Moscow, Russia); 23rd CODATA International Conference "Open Data and Information for a Changing Planet" 2012 (Taipei, Taiwan); IAGA 12th Scientific Assembly 2013 (Merida, Yucatan, Mexico); Partnership Conference "Geophysical observatories, multifunctional GIS and data mining" 2013 (Kaluga, Russia).

В ходе подготовки диссертации были получены следующие свидетельства о государственной регистрации программ для ЭВМ: (1) Агаян С.М., Соловьев А.А. «Кристалл». Свидетельство № 2010616341 от 24.9.2010; (2) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SP». Свидетельство № 2011616021, от 3.8.2011; (3) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SPs». Свидетельство № 2012619415 от 18.10.2012.

Публикации

По теме диссертации опубликованы 30 научных работ, из которых 20 статей в изданиях, рекомендованных ВАК РФ для публикации материалов докторских и кандидатских диссертаций, а также получены 3 свидетельства о государственной регистрации программ для ЭВМ.

Структура и объем работы

Диссертация состоит из введения, шести глав, четырех приложений и заключения; содержит 310 страниц машинописного текста, в том числе 146 рисунков, 31 таблицу и 44 формулы (пронумерованные); список использованной литературы составляет 163 наименования. Главы, посвященные геофизическим приложениям разработанных методов, предваряются постановкой задачи. В конце каждой главы, начиная со второй, приведены выводы.

Благодарности

Работа выполнялась автором в Лаборатории геоинформатики и геомагнитных исследований ГЦ РАН. Свою глубокую признательность за постоянное внимание к проводившимся исследованиям автор выражает своему научному консультанту академику РАН, проф. А.Д. Гвишиани. Автор также благодарен д.ф.-м.н. С.М. Агаяну, который является одним из основных создателей теории ДМА. Автор выражает благодарность к.ф.-м.н. Ш.Р. Богоутдинову за ценные консультации по программированию на всех этапах работы. Автор признателен академику А.О. Глико за поддержку развития направления исследования. Автор также благодарен академику французской Академии наук, проф. Ж,-Л. ЛеМоуэлю, А. Шулья (Парижский институт физики Земли, Франция), Г.-И. Линте (GFZ Потсдам, Германия), д.ф.-м.н. Н.Г. Кпеймоновой (ИФЗ РАН), д.ф.-м.н. Р.Ю. Лукьяновой (ААНИИ) и проф. К. Мурсула (Университет Оулу, Финляндия) за любезно предоставленные консультации в области физической интерпретации полученных результатов распознавания, а также за введение в обсерваторскую практику геомагнитных наблюдений. Автор благодарен к.г.-м.н. Е.П. Харину и Р.В. Кульчинскому (ГЦ РАН) за консультации в области применения индексов магнитной активности и помощь в создании программного обеспечения с использованием ГИС-технологий. В ходе совместных работ по моделированию магнитного поля Земли автор многому научился у д.ф.-м.н. A.B. Хохлова (ИТПЗ РАН), С. Мауса (NGDC NOAA, США) и М. Мандеа (CNES, Франция). Автор выражает благодарность Дж. Лову (USGS, США), М. Нозе (Киотский университет, Япония) и сотрудникам магнитной обсерватории Шамбон-ля-Форе (Франция) за детальное ознакомление с функционированием официальных геомагнитных узлов ИНТЕРМАГНЕТ. Этот опыт явился отправной точкой в создании российско-украинского центра геомагнитных данных. Автор признателен к.ф.-м.н. М.Н. Добровольскому, Д.П. Медведеву и Р.В. Сидорову (ГЦ РАН) за помощь в создании российско-украинского центра и, в особенности, за высоко профессиональные консультации в области разработки базы геомагнитных данных и программных модулей для взаимодействия с ней.

Краткое содержание работы

Во Введении сформулированы актуальность, цели и задачи исследования, научная новизна полученных результатов, дана общая характеристика работы.

В первой главе приведен исторический экскурс и описано современное состояние исследуемой проблемы. Дан обзор предшествующих работ по теме диссертации, приведено описание методов, используемых в решении поставленной задачи. В разделе 1.1 показано, что применение в геофизике методов распознавания образов имеет долгую историю. Главными представителями этого направления являются такие ученые как И.М. Гельфанд, В.И. Кейлис-Борок, Ф. Пресс, Л. Кнопов, В.Г. Кособокое и др. В разделе 1.2 приведены описание и принципы функционирования современной международной системы наблюдения магнитного поля Земли (МПЗ) ИНТЕРМАГНЕТ. Эта система представляет собой мировую сеть наземных обсерваторий, регистрирующих характеристики МПЗ. Вот уже более 20 лет ИНТЕРМАГНЕТ предоставляет геомагнитные данные наивысшего стандарта качества. Приводятся основные сложности в области геомагнитных измерений, являющиеся предпосылками для разработки методов в рамках настоящей диссертации. Данные сети ИНТЕРМАГНЕТ являлись основой приложений разработанных автором алгоритмов. В разделе 1.3 описываются источники и методы оценки геомагнитной активности. Приведена информация об основных механизмах воздействия солнечного ветра на геомагнитное поле. Описаны магнитосферные явления, порождающие токи в ионосфере и магнитосфере, которые отражаются в наблюдениях магнитного поля Земли во время солнечной активности. Также дана общая информация о широко используемых методах оценки активности при помощи геомагнитных индексов. В разделе 1.4 рассматриваются основные подходы к наблюдениям и исследованию цунами. На базе приведенного материала в разделе 1.5 формулируются задачи, на решение которых нацелена диссертация, и обосновывается их важность.

Вторая глава посвящена математическому аппарату, на базе которого разработаны методы, составившие основу диссертации и примененные в геофизике. Методы разрабатывались в течение последних нескольких лет по мере появления соответствующих геофизических задач. Все разработанные алгоритмы предназначены для распознавания аномальных событий различной природы на временных рядах геофизических данных. Поскольку математический аппарат опирается на элементы нечеткой математики, в разделе 2.1 даны базовые положения теории нечетких множеств.

В разделе 2.2 приведены результаты научной школы А.Д. Гвишиани, с 1990 г. развивающей методы распознавания на базе математических аспектов искусственного интеллекта. Большой вклад в эти исследования внесли С.М. Агаян, Ш.Р. Богоутдинов, В.О. Михайлов, а также французские ученые Ж. Боннин, М. Диаман, акад. Ж.-Л. ЛеМоуэль и др. В результате была создана математическая теория «дискретный математический анализ» (ДМА), формализующая элементы классического математического анализа для случая дискретных данных.

В разделе 2.2.1 приведены общие принципы алгоритмического подхода в рамках ДМА. Общепринятые алгоритмы выделения аномалий на временных рядах основываются преимущественно на статистическом и частотно-временном анализе. Созданные в рамках ДМА алгоритмы поиска аномалий на временных рядах представляют собой иной подход к моделированию рассуждений и действий человека при поиске аномалий, по сравнению с подходами к распознаванию аномальных событий, приведенными в историческом экскурсе. В рамках ДМА делается попытка построения модели логики интерпретатора, распознающего «на глаз» аномалии на записи, с целью ее дальнейшего автоматизированного использования для анализа больших массивов данных, не поддающихся ручной обработке. Трактовка аномальности является свободным параметром алгоритмов, а потому они способны работать с очень широким пониманием аномальности на временных рядах и могут моделировать практически любое экспертное мнение по этому вопросу. Упрощенно работа интерпретатора, визуально определяющего аномалии на записи, понимается следующим образом. Сначала, анализируя запись, он оценивает для себя в терминах положительных чисел активность ее небольших фрагментов. При этом выработанные числовые оценки «мысленно» присваиваются фрагментам или центрам фрагментов записи. Так от исходной записи интерпретатор переходит к неотрицательной функции, которую естественно назвать «выпрямлением» записи. Действительно, ее точкам, более активным с точки зрения искомых сигналов, будут соответствовать большие значения этой функции (выпрямления). Далее, поиск интерпретатором аномалий на записи сводится к поиску возвышенностей на ее выпрямлении, отвечающим наиболее активным участкам записи. Таким образом, интерпретатор работает на двух уровнях: локальном -выпрямлении записи, и глобальном — поиске возвышенностей на выпрямлении.

В разделе 2.2.2 приводятся формальное определение и примеры выпрямлений. Пусть дана дискретная положительная полуось = {г = £/г,/г>0Д = 1,2,...} и конечный временной ряд у = {у,= >'(/)}, определенный на отрезке (периоде регистрации) Гей,*. Введем параметр локального обзора Д>0, кратный /г: Ле. Назовем выпрямлением "осцилляция" Оу(1,Д) конструкцию вида 0^(г,Д) = тах|| —>»(Г) |: г",Г е [г—Д,г+А]}.

Выпрямление можно считать определенным удачно, если то, что интерпретатор объявляет аномалиями на записи, переходит к возвышенности на выпрямлении. Соответственно для построения выпрямления крайне полезным оказывается наличие материала обучения, т.е. обработки достаточно длительной части записи экспертом. Алгоритмический подход ДМА требует наличия эффективной меры превосходства одного числа над другим. Обычная мера в виде их разности оказывается не эффективной во многих случаях. В рамках ДМА были разработаны более тонкие конструкции сравнения чисел - нечеткие сравнения. Их формальное определение приведено в разделе 2.2.3.

Нечеткое сравнение п(а,Ь) действительных чисел а и Ь измеряет в знакопеременной шкале отрезка [-1,1] степень превосходства "Ь" над "а":

n(a,b) = mes(a<b) e [—1,1]. В разработанных алгоритмах ДМА для анализа временных рядов достаточно использовать нечеткие сравнения, определенные на положительных числах. Действительно, обработка записей этими алгоритмами ведется через их выпрямления, принимающими только положительные значения. Пример конструкции нечеткого

сравнения: nv(a,b) = —-—^—¡т, а> О, Ь> О, v> 0; иД0,0) = 0. (а" +Ь"У"

Далее дается математическое описание алгоритмов, разработанных в рамках диссертации:

1. SP (SPIKE) для распознавания выбросов на минутных магнитограммах (раздел 2.3, рис. 1);

2. SPs (SPIKEsecond) для распознавания выбросов на секундных магнитограммах (раздел 2.4, рис. 2);

3. JM (JUMP) для распознавания скачков на магнитограммах (раздел 2.5);

4. мера аномальности для оперативной оценки магнитной активности (раздел 2.6);

5. RTFL (Recognition of Tsunamis based on Fuzzy Logic) для распознавания аномалий на данных о цунами (раздел 2.7).

Построение выпрямления _«Осцилляция» Q,(t)

"Свободные параметры: |)е[0.5.| ] уровень значительности произаодной_

' Нечеткие сравнения значений -. производной

Нечеткие сравнения значений ..выпрямления

aE[0.7S.l] уровень экстремальное™ осцилляции

Рис. 1. Блок-схема алгоритма SP.

Исходная запись y(t)

«Большие» значения выпрямления

«Большие» значения производной

Определение сингулярной динамики s

Выбор выбросов среди сингулярных динамик

«Большая» осцилляция s (нет смещения базовой линии)

Нечеткое сравнение «Осцилляций» A"uA+ и s

Определение левого А' и правого Л* крыльев сингулярной динамики s

Cgofoflnij*? nqp^MQTPW; AefV обзор динамики

Локальный уровень

Глобальный уровень

Л>Д близость между динамиками

Понятия выпрямлений и нечетких сравнений являются центральными во всех разработанных алгоритмах. В рамках алгоритма Л\4 вводятся понятия нечетких граней (раздел 2.5.2) и нечеткой меры скачкообразности (раздел 2.5.3), формализованные на базе конструкции нечетких сравнений. Нечеткие грани с разной степенью жесткости разбивают числовую прямую Я относительно множества А на несколько частей, например, малые, слабомалые, слабобольшие, большие. Свободный параметр степени жесткости позволяет в разной степени учитывать специфику А. Применительно к магнитограммам, использование нечетких граней дает нам оценку характерных нижней и верхней границ для разных фрагментов записи. Как следствие, появляется возможность оценивать степень вертикального смещения между двумя соседними фрагментами записи (рис. 3).

Выбор вершины 1=1(Б) возможного выброса Б в виде локального экстремума на исходной записи у

Построение линейных регрессий для фрагментов записи Д=1,...,Ю

Нечеткие сравнения значений линейных регрессий

Г" ' /

Свободные параметры: v>0 параметр нечеткого сравнения

Классификация левого4 Б1 и правого Б' склонов возможного выброса Б на «энергичные» и \не «энергичные»^

Свободные параметры: 0<р,£1 уровень экстремальности

Склоны - «энергичные» тренды

Классификация левого Б и правого Бг склонов возможного выброса Б на «возрастающий» и «убывающий» и определение формы и границ возможного выброса Б

Выбор выбросов из множества квазивыбросов

Крылья - «спокойные» фрагменты

Рис. 2. Блок-схема алгоритма 57^. В соответствующем разделе приведены формальные определения перечисленных понятий: вершина ¿(З'), энергичность, стороны 5' и 6"", спокойствие, крылья м/(5) и V/ (£).

Классификация левого ' W'(S) и правого W(S) крыльев квази-выброса S=(S',t,Sr) на «спокойные» / n и не «спокойные»..

Рис. 3. Оценка потенциальных скачков (красный цвет). Слева и справа на крыльях (зеленый) показаны нечеткие грани (черный цвет).

Понятие нечетких граней, в свою очередь, позволяет формализовать нечеткую меру скачкообразности (рис. 4), которая представляет собой функционал исходной записи с областью значений от 0 до 1. Введенная мера вычисляется через нечеткое сравнение внутренних и внешних отрезков нечетких граней (см. рис. 3). Большие значения этого функционала соответствуют резкому изменению уровня исследуемой записи, а их выбор происходит с использованием нечетких сравнений.

х 10е

о.8|—i..........¡.......I................I................i................i................i!................i.................!................!................!................1...............-

0.41—:...............j................-:................¡...............;................H'...............!...........................ï.................!................:..............1

0.2 — ................;................j.................................;................■;................?................;...............;.................i................I...............

n_¡ _J_i__i i___i_i_U-1-i-i-

U 4.9 5 5.1 5 2 5 3 5.4 5 5 5.6 57 5 8 5.9

X 10*

Рис. 4. На верхнем графике приведен фрагмент исследуемой записи, на нижнем -соответствующая записи мера скачкообразности.

Мера аномальности (раздел 2.6), используемая для оценки магнитной активности по данным обсерваторских наблюдений, является модификацией разработанных ранее алгоритмов. В заданной точке она определяется как нечеткое сравнение образа некоторого выпрямления с его значением в данной точке. Для адекватного моделирования локальной аномальности в алгоритме применяется открытый к пополнению набор выпрямлений. В результате точки исходного ряда разбиваются на фоновые (множество vB), аномальные (vA) и потенциально-аномальные (vP). На рис. 5 приведена рассчитанная мера аномальности на примере магнитограммы обсерватории Chambón la Foret (компонента X за январь 2005 г.).

—I- ! ! ! 1 ! — ж !

¡ i V *

1 I

Рис. 5. Сверху приведена магнитная запись, посередине приведено выпрямление записи Ф,, (в данном случае «Длина»), снизу приведена вертикальная мера аномальности

/л" (к) е [—1,1]. На всех трех графиках синим цветом помечены точки, принадлежащие множеству уВ , зеленым и фиолетовым - точки множества уР , красным - точки множества VА.

Алгоритм ЮТЪ (раздел 2.7) предназначен для поиска на записях системы ВАЯТ-2 (глубоководная система обнаружения волн цунами) событий двух видов: соответствующих приходу Р-волны и приходу цунами. Поставленная задача решается в три этапа. На первом этапе выполняется одномерное вейвлет-преобразование исходного сигнала с помощью симлет-вейвлетов 6-го порядка, принадлежащих семейству модифицированных вейвлетов Добеши. Затем реконструируются вейвлет-коэффициенты с 1-го по 5-ый уровни. В результате мы получаем наборы коэффициентов аппроксимации и детализации. По результатам реконструкции вейвлет-коэффициентов вычисляются два ряда с использованием вектора коэффициентов детализации 1-го и 5-го уровней. Назовем Выпрямлением 1 (Д1) модуль значений первого ряда и Выпрямлением 2 (Я2) модуль значений второго ряда. Эти две записи и предназначены для дальнейшего анализа. Большие значения соответствуют характерному сигналу Р-волны на исходной записи, а большие по модулю значения на Я2 - характерному сигналу волны цунами. Поэтому на втором этапе осуществляется поиск аномалий (больших значений) на полученных выпрямлениях. Для этого рассчитывается вертикальная мера аномальности алгоритма РСЛИЗ на и Я2 (рис. 6). Из рис. 6 видно, что сегменты аномальности образуют разрывные отрезки. Для объединения подобных сегментов и уточнения границ начала и конца аномалии служит третий этап алгоритма.

Исходная запись

Выпрямление 1

Выпрямление 2

Рис. 6. Примеры выпрямлений и расчета вертикальной меры аномальности согласно алгоритму РСАЯЗ (красная линия).

В разделе 2.8 кратко сформулированы основные результаты главы, показывающие,

что на базе ДМА создан новый метод распознавания и изучения аномальных событий на

временных рядах ргивличных геофизических данных. На базе конструкции нечетких

сравнений строго формализованы понятия, необходимые для анализа временных рядов:

нечеткая мера аномальности, оценивающая в шкале от -1 до 1 степень аномальности того

или иного фрагмента временного ряда на общем фоне, нечеткие грани, позволяющие

выявлять наиболее характерные диапазоны изменения значений на фрагментах временных

рядов, и нечеткая мера скачкообразности, оценивающая в шкале от -1 до 1 степень

значительности перепада базового уровня. Эти формализации позволяют эффективно

решать поставленные в рамках диссертации задачи методом ДМА. Описанные в главе

алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия

свободных параметров. Используя конкретный набор значений параметров, алгоритмы

осуществляют единообразное формализованное распознавание аномальных событий на

временных рядах произвольной природы. Специфика и морфология данных при этом

отражены в результатах обучения (значениях свободных параметров).

Третья глава посвящена распознаванию на магнитограммах аномальных событий

техногенного происхождения: выбросов на минутных и секундных наземных

магнитограммах и выбросов на полусекундных спутниковых магнитограммах.

В разделе 3.1 излагается общее описание проблемы. Приводится информация о

техногенных сбоях на магнитограммах и причинах их возникновения.

Раздел 3.2 посвящен задаче распознавания выбросов на минутных магнитограммах

сети ИНТЕРМАГНЕТ при помощи алгоритма 8Р. В начале (раздел 3.2.1) сформулирована

постановка задачи. Далее (раздел 3.2.2) приводится формальная схема обучения алгоритма

и вводится критерий общей оценки качества распознавания следующего вида:

Кл (5Л(я-)) = Щ (£Р.фг)) + (1 - *)Рг (5Р*(я-)),

где £Р(?г) - результат работы алгоритма при некоторой комбинации значений

свободных параметров ж, состоящий в выделении набора отрезков на временной оси,

определяющих распознанные события, Рх - вероятность ошибки первого рода (пропуск цели), Р2 - вероятность ошибки второго рода (ложная тревога) и 0 < А< 1. В критерии К. значение X принималось равным 0.9, что выражало большую степень важности мнения эксперта по сравнению с алгоритмом. Обучение алгоритма БР может происходить на выборках самой разной конфигурации, но самыми естественными представляются следующие уровни обучения: глобальный уровень, уровень компоненты, уровень обсерватории и уровень фрагмента. В разделе 3.2.3 подробно описывается обучение алгоритма ЯР на данных, полученных за период пониженной магнитной активности. При обучении использовались данные, зарегистрированные на 7 обсерваториях ИНТЕРМАГНЕТ в период с 1 января по 31 декабря 2007 г. Выбранные обсерватории репрезентативны с точки зрения природы регистрируемых данных, трасположены на разных широтах в северном полушарии. При обучении было исследовано 4600 наборов значений свободных параметров алгоритма. Из них была выбрана оптимальная комбинация значений согласно введенному критерию качества работы алгоритма.

В разделе 3.2.4 приводятся результаты внутреннего экзамена алгоритма, применительно к обучающей выборке (рис. 7). Показано, что при обучении индивидуально для каждой обсерватории и каждой компоненты наблюдается незначительное повышение качества распознавания, чем при обучении по магнитограммам всех рассматриваемых обсерваторий и по всем компонентам в совокупности (раздел 3.2.5, табл. 1). Это свидетельствует об устойчивости процесса распознавания алгоритмом вР относительно выбора материала обучения. Выбор свободных параметров слабо изменяется при изменении уровня обучения. Тем самым БР оказывается робастным алгоритмом относительно своих свободных параметров.

£ 4.195 х

419

08^01 07 27-02-07 18-04-07 07-06-07 27-07-07 15-09-07 04-11-07 24-12-07 08-01-07 27-02-07 18-04-07 07-05-07 27-07-07 15-09-07 04-11-07 24-12-07

Рис. 7. Примеры выделения выбросов (черный цвет) на данных обсерваторий ИНТЕРМАГНЕТ.

Таблица 1. Зависимость качества распознавания от уровня обучения алгоритма.

Уровень обучения Вероятность ошибки 1-ого рода (пропуск цели) Вероятность ошибки 2-ого рода (ложное событие)

Глобальный уровень 0% 5.5%

Уровень компоненты 0% 5.1%

Уровень обсерватории 0% 3.3%

Уровень фрагмента 0% 2.5%

В разделе 3.2.6 приведены результаты внешнего экзамена алгоритма на данных, полученных в период пониженной магнитной активности. В качестве материала экзамена использованы записи с тех же обсерваторий ИНТЕРМАГНЕТ, но за 2008 г. При внешнем

мСК»* '"ц'Ч 1 м т эф

1 ¡

сюи V

!. 1 ; ! ! ! !

; ; ; ; ; 1 : ;

экзамене применялся оптимальный алгоритм, полученный в результате обучения на глобальном уровне. Вероятность ошибки первого рода составила 1%, а вероятность ошибки второго рода — 9%.

Для испытания алгоритма в условиях повышенной магнитной активности, он был подвергнут дополнительному экзамену на данных за 2003 и 2005 гт. (раздел 3.2.7). Вероятности ошибок первого рода составили 0.0% (2003 г.) и 0.2% (2005 г.). Вероятность ошибки второго рода составила 15.4% (2003 г.) и 14.6% (2005 г.). Некоторое увеличение ошибок второго рода вполне естественно, т.к. алгоритм обучался на данных за период пониженной активности. При оценке всех результатов работы алгоритма 8Р отдельно проанализированы выделенные им лишние события (раздел 3.2.8). В большинстве случаев они представляют собой геомагнитные пульсации.

Раздел 3.3 погвящен задаче автоматизированного распознавания выбросов на секундных магнитограммах ИНТЕРМАГНЕТ алгоритмом 8Рб. В начале раздела приведена постановка задачи (раздел 3.3.1). Автоматизация выделения выбросов на секундных магнитограммах существенно актуальнее, чем на минутных, поскольку на высокочастотных записях малые возмущения, как правило, визуально плохо различимы. При переходе от минутной регистрации к секундной, количество возмущений на магнитограммах становится несравнимо большим. На секундных данных появляются короткопериодные геомагнитные пульсации, имеющие схожую морфологию с искусственными выбросами. Источником секундных данных послужила обсерватория ИНТЕРМАГНЕТ на о. Пасхи. В разделе 3.3.2 приведены описания обсерватории и исходных данных.

В разделе 3.3.3 описана процедура обучения алгоритма ЗРв. Для обучения использованы неочищенные предварительные данные за 20 дней, зарегистрированные на обсерватории о. Пасхи в период с 1 по 20 июля 2009 г. К процессу обучения привлекались также окончательные магнитограммы, т.е. тот же массив данных, но уже прошедший ручной контроль качества. Сравнение результатов распознавания на предварительных магнитограммах с окончательными позволяет оценивать качество результата применения алгоритма и выбирать оптимальные значения его свободных параметров. Для формальной оценки качества распознавания использовался критерий Кх (Я =0.8), описанный в разделе 3.2.2. Процедура поиска оптимальных значений свободных параметров состояла из грубой настройки и тонкой настройки алгоритма. После чего, оценивалась устойчивость обучения относительно выбора свободных параметров (раздел 3.3.4). В разделе 3.3.5 описаны результаты применения алгоритма к обучающей выборке (внутренний экзамен), в разделе 3.3.6 — результаты внешнего экзамена. Показано, что степень эффективности распознавания, достигнутая на этапе обучения, сохраняется и для материала экзамена.

Раздел 3.3.7 посвящен описанию контрольного теста алгоритма ЯРя «вслепую». В этом тесте использованы другие фрагменты записей, зарегистрированные с 1 по 31 августа 2009 г. Особенность теста «вслепую» заключалась в том, что на момент обработки данных

в распоряжении имелись только предварительные, необработанные данные, т.е. априори не было известно, как должны выглядеть окончательные данные, обработанные экспертами вручную. Ручная обработка данных, детальный анализ и оценка результатов алгоритмического распознавания проводились экспертами после применения алгоритма. Таким образом, тест «вслепую» использовался для проверки работоспособности алгоритма ЙРя в реальных условиях обсерваторской практики. Результаты экзаменов и теста приведены в табл. 2.

Таблица 2. Статистика распознавания выбросов алгоритмом SPs.

X Y Z F

Период (2009 г.) События Пропуск цели Ложная тревога События Пропуск цели Ложная тревога События Пропуск цели Ложная тревога События Пропуск цели Ложная тревога

Обучение 01-20/07 1168 4.7% 8.7% 1224 3.5% 11.5% 1007 17.1% 18.0% 1146 11.8% 12.7%

Экзамен 21-31/07 854 5.9% 6.0% 884 4.3% 8.6% 731 14.0% 8.9% 789 14.7% 8.5%

Тест вслепую 01-31/08 2057 3.7% 0.7% 2150 1.1% 1.4% 1780 5.8% 5.5% 1996 2.0% 3.6%

Отдельно в разделе 3.3.8 проанализированы ложные события, выделенные алгоритмом. В разделе 3.3.9 приведено сравнение работы алгоритма SPs со статистическими методами выделения выбросов. Результаты сравнения показали, что при всей своей простоте статистические методы позволяют получить неплохие результаты в детектировании выбросов (выделение вершин), но не в тщательном и полном их выделении. Напомним, что алгоритм SPs задумывался как инструмент для автоматизации работы эксперта по выделению техногенных выбросов на секундных магнитограммах. И он действительно решает поставленную задачу, почти так же, как эксперт, выделяя целиком тот или иной выброс на записи. Относительно простых статистических методов выделения выбросов такой уверенности нет.

Раздел 3.4 посвящен задаче автоматизированного распознавания скачков на полусекундных спутниковых магнитограммах (2 Гц) алгоритмом JM. Приводится описание исходных магнитных данных и формулируется постановка задачи (раздел 3.4.1). В качестве исходных данных используются вариации трех компонент магнитного поля, регистрируемые геостационарным спутником наблюдений окружающей среды (GOES). Эти данные характеризуются большим количеством скачков базовой линии. В большинстве случаев причиной скачков являются автоматические включения и отключения нагревательных систем, сопровождающих каждый магнитометр. Ситуация осложняется тем, что в большинстве случаев скачки настолько малы, что их весьма трудно распознать визуально. Апробация алгоритма осуществлялась на суточных магнитограммах трех компонент магнитного поля (Вх, Br, Bz), полученных спутником GOES-15 3 апреля

2010 г. В результате распознавания алгоритмом Ш были выделены все скачки (рис. 8). Примеры приведены в разделе 3.4.2.

Channel Z (03-Ap*-2010)

Рис. 8. Распознавание скачков (красный цвет) на спутниковых магнитных данных (GOES, 2 Гц). На графике приведены вариации компоненты Z за один час.

В конце третьей главы приведены основные выводы (раздел 3.5). Главным результатом этой главы является создание конкретной реализации алгоритмического метода ДМА. Эта ре;шизация включает в себя алгоритмы SP, SPs и JM распознавания и анализа аномальных событий на временных рядах наблюдений МПЗ. Формализованы критерии эффективности метода и проведена оценка результатов распознавания. Алгоритмы позволяют практически без участия человека получать очищенные от техногенных аномалий магнитограммы из предварительных записей: минутных и секундных данных наземных наблюдений и полусекундных спутниковых данных. Эффективность реализованных алгоритмов достигается, в частности, благодаря созданной системе обучения и оценки качества их работы. Такая автоматизированная система создана для магнитных измерений впервые с применением аппарата нечеткой логики и распознавания образов. Сравнение алгоритма SPs с наиболее универсальными статистическими методами продемонстрировало его явные преимущества. Т.о., создан полезный инструмент для эксперта геомагнитной обсерватории, дающий возможность подготовки более качественных окончательных данных в более короткие сроки.

В четвертой главе описывается созданный на базе ГЦ РАН российско-украинский центр геомагнитных данных. В работу центра была внедрена алгоритмическая система предварительной обработки магнитных данных, построенная на базе алгоритмов SP, SPs и JM. Система работает в автоматическом режиме, осуществляя распознавание техногенных аномалий на магнитограммах по мере их поступления в центр.

В разделе 4.1 приведено обоснование создания национального центра геомагнитных данных и сформулирована постановка задачи.

В разделе 4.2 приведено общее описание работы центра. На октябрь 2013 г. в центр передаются данные из 14 магнитных обсерваторий и станций России и Украины в режиме, близком к реальном}' времени. Центр является ядром российско-украинского сегмента ИНТЕРМАГНЕТ. В главные задачи центра входят: обеспечение передачи данных, хранение данных в исходном виде, хранение данных в СУБД, осуществление

автоматизированного распознавания техногенных аномалий на поступающих данных, подготовка квазиокончательных данных, обеспечение интерактивного доступа к данным, визуализация данных на видео-стенде. Исходные данные, поступающие из обсерваторий и станций, хранятся в виде файлов на отдельном сервере. Параллельно поступающие данные преобразуются в БД, управляемую СУБД MySQL на другом сервере. На нем же установлена алгоритмическая система обработки поступающих данных. Результаты распознавания техногенный возмущений также хранятся в БД. Реализованная система хранения данных обеспечивает полную синхронизацию БД с хранилищем исходных файлов. В случае выхода из строя БД или потери части ее содержимого, содержимое БД будет всегда полностью восстановлено в соответствии с текущим состоянием файлового хранилища данных. Для пользователей организован интерактивный доступ к данным через разработанные веб-сервисы и веб-сайт. Кроме того, данные визуализируются на видеостенде в ГЦ РАН, состоящем из 15 дисплеев.

Раздел 4.3 посвящен описанию геомагнитной базы данных, являющейся важнейшей отличительной особенностью по сравнению с зарубежными центрами геомагнитных данных. Перед разработкой структуры БД были опробованы разные подходы к хранению данных с целью выбора наиболее оптимального. Основным критерием при выборе подхода была скорость доступа к произвольной выборке данных. Было показано, что максимальная производительность БД достигается при группировке данных по часам. База геомагнитных данных включает в себя 10 таблиц: таблицу с метаданными по каждой обсерватории, 3 таблицы для хранения минутных данных (предварительные, квазиокончательные и окончательные данные), 3 таблицы для хранения секундных данных (предварительные, квазиокончательные и окончательные данные), таблицу для хранения абсолютных данных, таблицу с температурными значениями в вариационном павильоне и служебную таблицу для хранения списка импортированных файлов данных. Таблица для хранения абсолютных данных содержит значения, рассчитанные по результатам абсолютных измерений, проводимых на обсерваториях. К ним относятся полное описание вектора магнитного поля и значения базовых линий для компонент, измеряемых вариометром. Таблицы для хранения предварительных, квазиокончательных и абсолютных данных содержат поля для хранения результатов распознавания техногенных возмущений алгоритмической системой. Для работы с БД была разработана библиотека Java-классов, предоставляющая весь спектр функциональных возможностей взаимодействия с БД.

В разделе 4.4 приводится описание разработанных веб-сервисов для удаленной работы с геомагнитной БД. Веб-сервисы представляют собой набор Java-сервлетов, позволяющих запрашивать данные из БД как в цифровом, так и в графическом виде, с использованием различных критериев поиска. Этот набор веб-сервисов служит своего рода интерфейсом, позволяющим пользователю создавать запросы и получать данные из БД в удобном, интерактивном режиме. При этом, клиентским приложением может служить любая среда, поддерживающая передачу данных по протоколу HTTP (веб-браузер, MatLab

и др.). Частным случаем использования разработанных веб-сервисов является веб-портал для доступа к данным.

В разделе 4.4.1 описаны веб-сервисы для ввода результатов абсолютных измерений в режиме онлайн и вывода рассчитанных значений. Веб-сервисы поддерживают ввод измерений, проводимых как офсетным, так и нуль-методами. По введенным измерениям на сервере рассчитываются абсолютные значения компонент вектора магнитного поля и значения базовых линий для вариометра. Рассчитанные значения и соответствующие времена привязок сохраняются в БД.

В разделе 4.4.2 описаны веб-сервисы, предназначенные для интерактивного доступа к данным, и приведены параметры запроса и поиска данных. Веб-сервисы включают в себя: графическое отображение данных, генерацию цифровых массивов данных в форматах IAGA-2002 и CSV, графическое и текстовое отображение абсолютных данных и базовых линий, предоставление метаданных с указанием доступных временных интервалов данных для каждой обсерватории и станции. Результаты графического отображения данных и генерации цифровых массивов в формате CSV содержат результаты распознавания техногенных аномалий.

В разделе 4.5 приведены используемые в настоящий момент средства доступа к данным. Раздел 4.5.1 посвящен описанию функционала веб-портала центра геомагнитных данных, построенного на базе разработанных веб-сервисов для интерактивной работы с данными (рис. 9). Адрес разработанного веб-портала http://geomag.gcras.ru. В разделе 4.5.2 описывается видео-стенд, установленный в ГЦ РАН, на котором отображаются магнитные данные по мере их поступления в центр. Источником информации служат исходные файлы данных, присылаемые из обсерваторий и станций.

пш Цифровые данные с результатами распознавания • Формат IAGA-2002 • Формат CSV Ф I у Графики с результатами распознавания

— ЮТЯРЗЯ ——« —--*

0*1* PlOJ ш «.—та*«.,-»".".. 1

ARS

Рис. 9. Иллюстрация интерактивного доступа к данным через веб-портал геомагнитного центра данных.

В разделе 4.6 приводится сравнение распознавания выбросов методом "ёекаР" и алгоритмической системой, внедренной в работу центра. В обсерваторской практике

одним из главных методов оценки записей на предмет наличия техногенных выбросов является анализ записи "ёеНаР". Эта запись представляет собой разницу между модулем магнитного вектора, измеренным скалярным магнитометром, и вычисленным по значениям его компонент, которые регистрируются вариометром. Показано, что такая запись содержит большое количество ложных выбросов, а иногда и не содержит в себе искомых. Выявлены характерные для этого причины. Для секундных данных приведены соответствующие примеры в пределах часового промежутка времени. Сделан вывод о том, что алгоритм ЙРэ существенно более эффективен в решении поставленной задачи.

В разделе 4.7 описывается решение задачи моделирования полной напряженности магнитного поля по всей территории России на базе данных центра. Для этой цели был разработан метод, позволяющий генерировать карты магнитного поля за каждый момент времени. Генерация карт происходит на базе получаемых данных российских обсерваторий, по мере их поступления в центр. Фактически, решается задача интерполяции характеристик магнитного поля на равномерной географической сетке в режиме квазиреального времени. В результате, была создана непрерывно обновляемая база цифровых данных по геомагнитной обстановке на всю территорию России. Метод перенесения значений с нерегулярной плоской сетки с вершинами в точках наблюдений на регулярную основан на триангуляции пространства и предположении о том, что в каждом треугольнике значение искомой величины есть линейная функция. Для построения такой триангуляции использовался метод Делоне. Он применялся к значениям разности (Гц -Рм), где - измеренные среднечасовые значения на каждой обсерватории, /ч, -среднегодовые модельные значения главного магнитного поля для точек, где находятся обсерватории. Таким образом, в результате работы алгоритма в узлах регулярной сетки вычисляются значения отклонений наблюденного поля от нормального.

В разделе 4.8 сформулированы основные результаты главы. Создание центра геомагнитных данных на базе ГЦ РАН позволило объединить геомагнитные наблюдения России и Украины в единую межнациональную сеть, а сам центр служит ее ядром. Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий, построенной на базе алгоритмического подхода ДМА. Система позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными центрами магнитных данных ИНТЕРМАГНЕТ. Подход к хранению данных в реляционной СУБД является важным преимуществом по сравнению с некоторыми официальными узлами сбора данных ИНТЕРМАГНЕТ. Такой подход обеспечивает широкие возможности поиска данных, гибкость запросов любой сложности и быстродействие их выполнения. В российско-украинском центре сбора магнитных данных реализованы хранение и обработка не только вариационных данных, но и результатов абсолютных измерений, проводимых вручную на обсерваториях. Это дает возможность осуществлять привязку вариационных данных к абсолютным значениям фактически по мере их поступления. Данные, имеющие привязку к абсолютным

значениям, прошедшие процедуру автоматизированного контроля качества и доступные с задержкой в несколько часов, являются крайне ценным материалом для научного сообщества в области геомагнетизма и космофизики. Внедренная алгоритмическая система более эффективна в решении распознавания аномалий техногенной природы, чем один из наиболее популярных в обсерваторской практике методов фильтрации записей от техногенных шумов, связанный с анализом записи "ёеКаР". На базе поступающих в центр данных решена задача непрерывной интерполяции полной напряженности МПЗ на территории России в режиме квазиреального времени. Следует ожидать, что с ростом числа российских пунктов наблюдений магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля.

В пятой главе рассматривается задача распознавания магнитной активности при помощи нечеткой меры аномальности, построенной на базе ДМА. В разделе 5.1 сформулирована постановка задачи и ее обоснование. На сегодняшний день не существует другого метода оценки магнитной активности, кроме использования геомагнитных индексов. Большинство индексов предназначено для ретроспективной оценки активности. Почти все индексы рассчитываются путем усреднения данных за час и большие интервалы времени, приводя к потере информации об истинных вариациях поля. Показано, что использование индексов, которые разрабатывались несколько десятилетий назад, является устаревшим методом. В первую очередь, это связано со стремительным ростом объема данных о МПЗ и расширением площади, покрываемой наблюдениями. Происходит переход на более высокочастотную регистрацию данных (с 1 минуты до 1 секунды в случае сети ИНТЕРМАГНЕТ), что позволяет решать более широкий круг задач (прежде всего, из области космической физики). Все это требует новых методов, которые должны существенно повысить оперативность оценки магнитной активности на основании анализа всей совокупности доступных данных. Разработке такого метода и его применению ко всем данным сети ИНТЕРМАГНЕТ посвящена данная глава.

В разделе 5.2 приводится описание разработанной меры оценки магнитной активности ц(/), способной работать в режиме реального времени. Она зависит от записи и от времени и характеризует в непрерывной шкале отрезка [-1, 1] степень аномальности данной записи в данный момент времени. Если имеется сеть станций, в частности ИНТЕРМАГНЕТ, то меры аномальности, построенные по записям на этих станциях, дают возможность следить за совокупной аномальностью в сети. В результате алгоритм разбивает исходную запись на три типа фрагментов: фоновый (голубой), потенциально аномальный (зеленый) и аномальный (красный). Пример одновременной работы меры на магнитных записях нескольких обсерваторий приведен на рис. 10.

Работа меры сравнивалась с классическими индексами геомагнитной

активности, в частности, с трехчасовым индексом К на возмущенном фрагменте магнитной записи. Значение коэффициента корреляции составило 0.9061, однако мера р(г)

гораздо тоньше реагировала на магнитные возмущения. Для более корректного сравнения мера как и индекс К, рассчитывалась для трехчасовых промежутков времени. В

общем случае мера ц(?) способна работать на минимальном промежутке времени, соответствующем временному шагу регистрации исходных данных (1 минута в случае данных ИНТЕРМАГНЕТ).

1.45

2.27 226 2-25 224 2 015 2.01

1 995

1.0в 1.06

Рис. 10. Пример одновременного выделения аномалий на множестве записей, полученных с разных обсерваторий ИНТЕРМАГНЕТ.

Раздел 5.3 посвящен глобальному мониторингу геомагнитной активности при помощи меры и анализу его результатов. Предлагаемый метод был опробован на примере двух сильных магнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ. Перед применением разработанного метода выбранные бури были детально изучены. Исходным материалом служили данные сети ИНТЕРМАГНЕТ, значения индекса Эх, (исправленная версия параметры солнечного ветра и межпланетного магнитного поля и данные по солнечным событиям. Первая буря (8-11 ноября 2004 г.) состояла из двух частей в связи с тем, что имели место два корональных выброса массы. В первой части бури наблюдалось традиционное симметричное развитие геомагнитных возмущений в экваториальных регионах. Иными словами, максимальные отклонения среднечасовой вариации Н для каждой из четырех обсерваторий, на базе которых рассчитывается Д-Гиндекс, и его максимальное значение наблюдались в пределах небольшого интервала времени (~ 5 часов). Наоборот, во второй части бури 10 ноября 2004 г. наблюдалось неодновременное, асимметричное развитие магнитных возмущений в экваториальных зонах. В четырех обсерваториях зарегистрированы большие задержки между пиками активности. Вторая магнитная буря, произошедшая 15 мая 2005 г., характеризовалась классическим развитием основной фазы. Изменение горизонтальной компоненты магнитного поля вдоль экватора

происходило практически одновременно и симметрично. Это свидетельствует о вкладе кольцевого тока.

На рис. 11 приведена иллюстрация оценки глобальной магнитной активности во время первой бури (8-11 ноября 2004 г.) при помощи разработанной меры аномальности. Визуализация выполнена в среде ГИС. В качестве исходных данных рассматривались записи горизонтальной компоненты Н, полученные всеми обсерваториями ИНТЕРМАГНЕТ. Данный инструмент визуализирует на карте мира распределение параметра аномальности по всему множеству обсерваторий ИНТЕРМАГНЕТ в режиме анимации.

(а) (б)

□ Я -0.1<М0<0.1 Ш 0.8</|(()<1.0

Рис. 11. Оценка глобальной магнитной активности при помощи меры аномальности. Две иллюстрации соответствуют работе метода в два момента времени: 04:27 иТ 8/11/2004 (а) и 06:09 11Т 9/11/2004 (б). Точками на карте помечены обсерватории ИНТЕРМАГНЕТ. Разные цвета соответствуют разным диапазонам значений Западная Европа показана отдельно в виде всгавки. Вариации компоненты В2 межпланетного магнитного поля показаны в нижнем левом углу. Динамическая гистограмма, показанная в нижнем правом углу, отражает распределение обсерваторий в соответствии со значениями ц(0 от-1 (нет аномалии) до 1 (сильная аномалия).

Гистограмма наблюдаемой аномальности показывает, что резкие изменения компоненты В2 межпланетного магнитного поля служат причиной перехода большинства обсерваторий в аномальное состояние. При нулевом значении В2 и невозмущенном солнечном ветре геомагнитная активность может также наблюдаться по всему земному шару из-за сильных суббурь. Такие динамические карты и гистограммы позволяют изучать тонкую структуру и распределение активности как локально, так и глобально. На высоких широтах, где магнитное поле намного более изменчиво в силу воздействия внешнего магнитного поля, изучение динамики активности становится еще более интересным.

В разделе 5.4 приводится сравнение предложенного метода с инструментарием для мониторинга магнитной активности, доступным на сайте ИНТЕРМАГНЕТ с конца 2012 г. Как и предложенный метод, данный инструментарий также работает на совокупности всех данных ИНТЕРМАГНЕТ. Алгоритм рассчитывает максимальный разброс значений в пределах каждого часа для каждой обсерватории и наносит значения на карту мира. В

наших терминах, речь идет о значениях выпрямления «Осцилляция» в часовом окне Оу (I, Д), где Д=30 мин. Последовательность таких карт отображается в виде анимации. Разработанная система имеет узкое прикладное значение в области изучения индуцированных токов в Земле. Такой мониторинг направлен на защиту трубопроводов и электросетей от геомагнитного влияния. Инструмент разработан в Канаде после техногенной катастрофы 1989 г., которая произошла в результате магнитной бури. Канадские исследователи для локального анализа в этом направлении дополнительно привлекают модель электропроводимости Земли. Инструментарий основан на обработке предварительных данных, поэтому следует ожидать множество ложных аномалий в случае некачественных исходных данных.

В разделе 5.5 сформулированы основные результаты главы. Разработан новый метод распознавания и мониторинга геомагнитной активности на основе данных всей сети обсерваторий ИНТЕРМАГНЕТ с использованием ДМА и ГИС-технологий. Оценка геомагнитной активности в различных регионах Земли дается в единой шкале, с учетом региональной специфики. Предложенный метод позволяет осуществлять распознавание и следить за динамикой распространения магнитных бурь в режиме реального времени. Тестирование предложенной меры геомагнитной активности показало ее высокую корреляцию с региональным А'-индексом геомагнитной активности. Знания экспертов, осуществляющих анализ геомагнитных данных вручную, эффективно инкорпорированы в разработанные алгоритмы за счет обучения. Предлагаемый метод был опробован на примере сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ. Разработанная мера аномальности дает возможность более детального и наглядного изучения развития геомагнитной активности по сравнению с геомагнитными индексами. Помимо мониторинга магнитной активности, метод позволяет изучать внутреннюю тонкую структуру магнитных бурь, динамику их развития, как по всему земному шару, так и в пределах отдельных регионов. На высоких широтах, где магнитное поле намного более изменчиво в силу воздействия внешнего магнитного поля, региональное изучение динамики активности при помощи предложенного метода становится еще более интересным. Разработанная система оценки магнитной активности в приложении к магнитным данным, которые поступают в российско-украинский центр, проходят процедуру автоматизированного контроля качества и привязки к базовой линии, открывает возможность для достоверного изучения и оценки распределения магнитных возмущений по территории России и Украины в режиме, близком к реальному времени.

В шестой главе рассматривается задача распознавания аномалий на данных о цунами алгоритмом ЯТИ,, построенным на базе ДМА.

В разделе 6.1 приведены постановка и обоснование задачи. Разработанный алгоритм ЮТЬ предназначен для поиска на записях событий двух видов: приход Р-волны и приход цунами. Исходным материалом служили данные сети придонных датчиков

гидростатического давления в открытом океане DART-2. Апробация алгоритма проводилась на данных DART-2, полученных с одной станции около западного побережья США за период с 23/07/2006 г. по 2/05/2010 г. Рассматриваемые данные представляют собой два временных ряда: абсолютные значения давления воды (в метрах водяного столба), измеренного на дне океана (Time Series 1 - TS1), и значения разности между измеренными и модельными значениями давления (Time Series 2 - TS2). В обоих случаях шаг наблюдений по времени составляет 15 с, а длина записи - 7 942 215 значений. Задача состояла в автоматизированном распознавании всех SPW и STW, отраженных на TS2.

В разделе 6.2 приводятся результаты распознавания. Предварительная оценка эффективности работы метода осуществлялась путем сравнения результатов распознавания, полученных при помощи алгоритма RTFL, с результатами ручной обработки данных. Вероятность пропуска цели составила 5%, а вероятность ложной тревоги составила 9.5%. Эти результаты были получены в ходе грубого выбора параметров настройки алгоритма. При проведении оптимизации следует ожидать еще более низких значений вероятностей ошибок 1-го и 2-го родов. Было показано, что главное достоинство метода состоит в его способности обнаружения в накопленных данных событий, не отраженных в имеющихся мировых каталогах землетрясений и цунами. Метод может работать в режиме реального времени, обрабатывая данные по мере их поступления.

В разделе 6.3 приведены основные выводы. Алгоритмический метод ДМА реализован в виде алгоритма RTFL для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Разработанный комплекс применялся для решения задач распознавания на записях наблюдений системы DART-2 временных участков, соответствующих сигналам от подводных землетрясений (Р-волн) и волн цунами. Алгоритм позволяет в автоматическом режиме объективно, единообразно и оперативно обрабатывать огромные массивы данных, полученные со всей сети мировых наблюдений цунами за продолжительный период времени, что практически невозможно сделать вручную. При этом, его функционирование не требует сверхбольших вычислительных затрат. Разработанный алгоритм может работать в режиме реального времени, обрабатывая данные по мере их поступления. Алгоритм может быть применен в задачах мониторинга цунами, обнаружения в накопленных данных событий, не отраженных в имеющихся мировых каталогах землетрясений и цунами, и моделирования систем предупреждения о цунами. Алгоритм RTFL позволяет отфильтровывать посторонний шум в данных DART-2, вызванный, например, криками китов. Кроме того, компоненты алгоритма в значительной степени гибки и применимы к другим задачам, которые могут возникать при изучении данных DART-2, а также к задачам распознавания аномальных событий на временных рядах иного происхождения.

В Приложении 1 приведены технические аспекты магнитометрических измерений, проводимых на магнитных обсерваториях. Описаны определения магнитного склонения,

магнитного наклонения и скалярные измерения магнитного поля Земли. Приводится описание принципов действия наиболее распространенных магнитометров для измерения абсолютных значений магнитного поля и методы обсерваторских наблюдений. В приложении также приведена информация об устройстве и принципах работы феррозондовых магнитометров, которые предназначены для измерения относительных вариаций пространственных компонент вектора МПЗ. Описаны принципы абсолютных измерений, проводимых на магнитных обсерваториях вручную. Приведена информация о специфике проведения магнитной съемки с подвижных объектов.

Приложение 2 посвящено описанию основных индексов ретроспективной оценки магнитной активности и схеме их вычисления. В настоящее время геомагнитные индексы являются главным инструментом для оценки магнитной активности. Существующие индексы геомагнитной активности можно условно разделить на три группы. Первая группа индексов информирует нас о локальной величине геомагнитной возмущенности: С, К, ак, rH, Q. Вторая группа индексов характеризует геомагнитную активность на всей Земле. Это так называемые планетарные индексы: С„ Ср, С9, Кр, Кт, Ks, К,„ ар, Ар, ат, А„„ аа, Аа. Третья группа индексов отражает интенсивность магнитной возмущенности от вполне определенного источника. Например, индекс Dsl характеризует интенсивность симметричной части кольцевого тока, Л£-индекс (авроральная электроструя) — возмущенность в овале полярных сияний, индекс PC, который получают по геомагнитным данным обсерваторий Восток или Thüle, расположенных в полярных шапках, и спутниковым данным, характеризует возмущенность в полярных шапках. Всего существует более 20 индексов. Все индексы геомагнитной активности, перечисленные выше, вычисляются по тому или иному набору обсерваторий и привязаны к всемирному времени UT.

Приложение 3 посвящено задачам моделирования и картографирования МПЗ. Приведены результаты работ в этом направлении с участием автора. Описаны основные сложности моделирования главного магнитного поля Земли (ГМПЗ) с 1500 по 2010 гг. При моделировании и картографировании магнитных данных важной является задача пространственной и временной интерполяции данных. Основной метод принадлежит К.Ф. Гауссу и практически без изменений используется на протяжении полутора веков. Основными источниками данных служат палео- и археомагнитные данные (за период 15001600 гг.), геомагнитные измерения, полученные мореплавателями и первыми исследователями геомагнетизма (за период 1600-1900 гг.), обсерваторские и спутниковые наблюдения (за период 1900-2010 гг.). По наблюдениям магнитного поля в интервале времени сначала восстанавливают вид разложения потенциала этого поля по сферическим гармоникам на поверхности сферы, далее используют продолжение значений со сферической поверхности на пространство. Подбор коэффициентов разложения ведется методом наименьших квадратов, точность которого существенно зависит от распределения точек на сфере. Из соответствующих моделей наибольшее признание в научной среде

получили модель £ийп1 и САЬ83к,3, позволяющие рассчитывать компоненты вектора ГМПЗ за периоды 1590-1990 гг. и 1000 г. до н. э. - 1990 г. н. э., соответственно, и модель ЮЯБ для расчета компонент вектора за период 1900-2010 гг. Разработка алгоритма восстановления вектора магнитного поля была выполнена в рамках создания Атласа магнитного поля Земли за 1500-2010 гг. [Соловьев и др., 20126]. Атлас представляет собой унифицированный набор физических, общегеографических, тематических, в том числе исторических карт МПЗ, а также справочных (текстовых и табличных) материалов, позволяющих детально и разносторонне изучать проблему МПЗ с 1500 по 2010 гг. Подобный Атлас создан впервые и представляет собой фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками картографируемого явления - геомагнетизма. Он содержит результаты как исторического, так и современного состояния изучения МПЗ. Карты исторического раздела Атласа, начиная с мировой карты 1603 г. с нанесенным впервые геомагнитным экватором до серии карт характеристик МПЗ 1862 г., представляют интерес как сами по себе, с научной и исторической точек зрения, так и в сравнении с современными картами.

В Приложении 4 приведен полный список публикаций автора по теме диссертации.

В Заключении приведены основные результаты, которые были получены в процессе работы над решением задач, поставленных в диссертации:

1. На базе ДМА создан новый метод распознавания и изучения аномальных событий на временных рядах различных геофизических данных. На базе конструкции нечетких сравнений строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, нечеткие грани и нечеткая мера скачкообразности. Эти формализации позволяют эффективно решать поставленные в рамках диссертации задачи методом ДМА. Разработанные алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных при этом отражены в результатах обучения.

2. Создана конкретная реализация алгоритмического метода ДМА в виде алгоритмов БР, БРв и .1М для распознавания и анализа аномальных событий на временных рядах наблюдений МПЗ. Формализованы критерии эффективности метода и проведена оценка результатов распознавания. Алгоритмы позволяют получать очищенные от техногенных аномалий магнитограммы из предварительных записей практически без участия человека. Эта задача успешно решается на минутных и секундных данных наземных наблюдений и на полусекундных спутниковых данных. Эффективность реализованных алгоритмов также достигается благодаря созданной системе обучения и оценки качества работы алгоритмов. Такая автоматизированная система создана для магнитных измерений впервые. Работа алгоритма ЯРя сравнивалась с наиболее универсальными статистическими методами. Продемонстрированы явные преимущества предлагаемого алгоритма.

3. Создан центр геомагнитных данных на базе ГЦ РАН, что позволило объединить геомагнитные наблюдения России и Украины в единую межнациональную сеть. Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий, построенной на базе алгоритмического подхода ДМА. Система позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными центрами магнитных данных ИНТЕРМАГНЕТ. Подход к хранению данных в реляционной СУБД обеспечивает важные преимущества по сравнению с некоторыми официальными узлами сбора данных ИНТЕРМАГНЕТ: широкие возможности поиска данных, гибкость запросов любой сложности и быстродействие их выполнения. В созданном центре реализованы хранение и обработка не только вариационных данных, но и результатов абсолютных измерений. Это дает возможность осуществлять привязку вариационных данных к абсолютным значениям фактически по мере их поступления. Такие данные, имеющие привязку к абсолютным значениям, прошедшие процедуру автоматизированного контроля качества и доступные с задержкой в несколько часов, являются ценным материалом для научного сообщества в области геомагнетизма и космофизики. На базе поступающих в центр данных решена задача непрерывной интерполяции полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени.

4. Разработан новый метод распознавания и мониторинга геомагнитной активности на основе данных всей сети обсерваторий ИНТЕРМАГНЕТ с использованием ДМА и ГИС-технологий. Оценка геомагнитной активности в различных регионах Земли дается в единой шкале, с учетом региональной специфики. Предложенный метод позволяет осуществлять распознавание и следить за динамикой распространения магнитных бурь в режиме реального времени. Тестирование предложенной меры геомагнитной активности показало ее высокую корреляцию с региональным /¿-индексом геомагнитной активности. Метод опробован на примере сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ.

5. Алгоритмический метод ДМА реализован в виде алгоритма RTFL (Recognition of Tsunamis based on Fuzzy Logic) для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Алгоритм применялся для решения задач распознавания на записях наблюдений системы DART-2 временных участков, соответствующих сигналам от подводных землетрясений (Р-волн) и волн цунами. Алгоритм позволяет в автоматическом режиме единообразно обрабатывать огромные массивы данных, полученные со всей сети мировых наблюдений цунами за продолжительный период времени, что практически невозможно сделать вручную. Алгоритм дает возможность работать в режиме реального времени, обрабатывая данные по мере их поступления, и может быть применен в задачах фильтрации постороннего шума в данных DART-2, мониторинга цунами, обнаружения в накопленных данных событий, не

отраженных в имеющихся мировых каталогах землетрясений и цунами, и моделирования систем предупреждения о цунами.

Список публикаций по теме диссертации

Статьи в журналах, входящих в список ВАК:

1. A.A. Соловьев, Д.Ю. Шур, А.Д. Гвишиани, В.О. Михайлов, С.А. Тихоцкий. Определение вектора магнитного момента при помощи кластерного анализа результатов локальной линейной псевдоинверсии аномалий ДТ // Доклады Академии наук — 2005. -том 404. -№1- С. 109-112

2. А.Е. Березко, A.A. Соловьев, А.Д. Гвишиани, Е.А. Жалковский, Р.И. Краснопёрое, С.А. Смагин, Э.С. Болотский. Интеллектуальная географическая информационная система "Данные наук о Земле по территории России" // Инженерная экология. 2008. № 5. С.32-40

3. Belov S.V., Burmistrov A.A., Soloviev A.A., Kedrov E.O. "Carbonatites and Kimberlites of the World" database and geoinformation system: Experience of creation and use for solving geological tasks // 4th International Conference 'GIS in Geology&Earth Sciences', Queretaro, Mexico, 2007. Conference Proceedings, Vol. 1009, 2008, pp. 113-122

4. Soloviev, A. A., Sh. R. Bogoutdinov, S. M. Agayan et al. (2009), Detection of hardware failures at INTERMAGNET observatories: application of artificial intelligence techniques to geomagnetic records study, Russ. J. Earth Sei., 11, ES2006, doi:10.2205/2009ES000387

5. Zhalkovsky, E. A., T. N. Bondar, V. P. Golovkov, A. V. Khokhlov, V. I. Nikiforov, A. E. Berezko, A. A. Soloviev, and E. S. Bolotsky (2009), Initial data for Atlas of Earth's main magnetic field, Russ. J. Earth. Sei., 11, ES2008, doi:10.2205/2009ES000412

6. Жалковский, E. А., В. И. Никифоров, A. M. Мерзлый, A. E. Березко, A. A. Соловьев, А. В. Хохлов, О. В. Никифоров, В. В. Снакин, Г. Ф. Митенко, П. А. Шарый, В. Р. Хрисанов, В. П. Головков, Т. Н. Бондарь и Е. Е. Жалковский (2009), Технология создания цифровых карт Главного магнитного поля Земли, Росс. ж. наук о Земле, 11, RE2007, doi : 10.2205/2009ES000398

7. Гвишиани А. Д., Жалковский Е. А., Березко А. Е., Соловьев А. А., Хохлов А. В., Снакин В. В., Митенко Г. В. Атлас Главного магнитного поля Земли // Геодезия и картография. №4 апрель, 2010. С. 33-38

8. Ш.Р.Богоутдинов, А.Д.Гвишиани, С.М.Агаян, А.А.Соловьев, Э.Кин. Распознавание возмущений с заданной морфологией на временных рядах. I. Выбросы на магнитограммах всемирной сети ИНТЕРМАГНЕТ // Физика Земли. 2010. №11. С. 99-112

9. С.В.Белов, И.П.Шестопалов, Е.П.Харин, А.А.Соловьев, Ю.В.Баркин. Вулканическая и сейсмическая активность Земли: пространственно-временные закономерности и связь с солнечной и геомагнитной активностью // Новые технологии. 2010. №2. С. 3-12

10. Березко А.Е., Гвишиани А.Д., Жалковский Е.А., Соловьев A.A., Хохлов A.B., Мандеа М. Атлас магнитного поля Земли и технология картографирования Главного магнитного поля Земли // Открытое образование. 2010. № 5(82). С.24-30

11. А.Д. Гвишиани, С.М. Агаян, Ш.Р. Богоутдинов, А.А. Соловьев. Дискретный математический анализ и геолого-геофизические приложения // Вестник КРАУНЦ. Науки о Земле. 2010. №2. Выпуск № 16. С. 109-125

12. Beriozko, A., A. Lebedev, A. Soloviev, R. Krasnoperov, and A. Rybkina (2011), Geoinformation system with algorithmic shell as a new tool for Earth sciences, Russ. J. Earth. Sci., 12, ES1001, doi: 10.2205/2011ES000501

13. Berezko, A. E., A. V. Khokhlov, A. A. Soloviev, A. D. Gvishiani, E. A. Zhalkovsky, and M. Mandea (2011), Atlas of Earth's magnetic field, Russ. J. Earth. Sci., 12, ES2001, doi: 10.2205/2011ES000505

14. А.А. Соловьев, С.М. Агаян, А.Д. Гвишиани, Ш.Р. Богоутдинов, А. Шулья. Распознавание возмущений с заданной морфологией на временных рядах. II. Выбросы на секундных магнитограммах // Физика Земли. 2012. № 5. С. 37-52

15. Р. В. Сидоров, А. А. Соловьев, Ш. Р. Богоутдинов. Применение алгоритма SP к магнитограммам ИНТЕРМАГНЕТ в условиях неспокойной геомагнитной обстановки // Физика Земли. 2012. №5. С. 53-57

16. A. Soloviev, A. Chulliat, S. Bogoutdinov, A. Gvishiani, S. Agayan, A. Peltier, B. Heumez (2012), Automated recognition of spikes in 1 Hz data recorded at the Easter Island magnetic observatory, Earth Planets Space, Vol. 64 (No. 9), pp. 743-752, 2012, doi: 10.5047/eps.2012.03.004

17. И. П. Шестопалов, С. В. Белов, А. А. Соловьев, Ю. Д. Кузьмин. О генерации нейтронов и геомагнитных возмущениях в связи с чилийским землетрясением 27 февраля и вулканическим извержением в Исландии в марте-апреле 2010 г. // Геомагнетизм и аэрономия, 2013, том 53, № 1, с. 130-142

18. A. Soloviev, S. Bogoutdinov, A. Gvishiani, R. Kulchinskiy, and J. Zlotnicki (2013), Mathematical Tools for Geomagnetic Data Monitoring and the INTERMAGNET Russian Segment, Data Science Journal, Vol. 12 (2013), p. WDS114-WDS119, doi:10.2481/dsj.WDS-019

19. H. Г. Клейменова, H. P. Зелинский, О. В. Козырева, Л. М. Малышева, А. А. Соловьев, Ш. Р. Богоутдинов. Геомагнитные пульсации РсЗ на приэкваториальных широтах в начальную фазу магнитной бури 5 апреля 2010 г. // Геомагнетизм и аэрономия, 2013, том 53, № 3, с. 330-336

20. Н.Р. Зелинский, Н.Г. Клейменова, О.В. Козырева, С.М. Агаян, Ш.Р. Богоутдинов, А.А. Соловьев. Алгоритм распознавания геомагнитных пульсаций РсЗ на секундных данных экваториальных обсерваторий сети ИНТЕРМАГНЕТ // Физика Земли, 2014. №2. С. 249-257

Свидетельства о государственной регистрации программ для ЭВМ:

(1) Агаян С.М., Соловьев А.А. «Кристалл». Свидетельство № 2010616341 от 24.9.2010; (2) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SP». Свидетельство № 2011616021, от 3.8.2011; (3) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SPs». Свидетельство № 2012619415 от 18.10.2012.

Другие публикации:

1. Агаян С.М., Соловьев А.А. Выделение плотных областей в метрических пространствах на основе кристаллизации // System Research & Information Technologies — 2004, — №2, — С. 7-23

2. Белов С.В., Бурмистров А.А., Соловьев А.А., Кедров Э.О. Информационная база данных «Карбонатиты и кимберлиты мира»: опыт создания и использования для решения геолого-прогнозных задач // Геошформатика. 2007. № 2. С.48-67

3. А.А.Соловьев, А.Е.Березко и др. Разработка и создание интегральной геоинформационной аналитической системы "Данные наук о Земле по территории России". Проблемы рационального использования природного и техногенного сырья Баренцева региона в технологии строительных и технических материалов: Матер. III Межд. научн. конф. Сыктывкар, Ин-т геологии Коми НЦ УрО РАН. 2007. С. 247-249

4. Mandea, М., Korte, М., Soloviev, A., and Gvishiani, A.: Alexander von Humboldt's charts of the Earth's magnetic field: an assessment based on modern models, Hist. Geo Space. Sci., 1, 2010, pp. 63-76, doi: 10.5194/hgss-1 -63-2010

5. Березко A.E., Гвишиани А.Д., Соловьев A.A. и др. Интеллектуальная ГИС «Данные наук о Земле по территории России» // Проблемы защиты населения и территорий от чрезвычайных ситуаций. ФГУ ВНИИ ГОЧС (ФЦ). 2010. С. 210-218

6. Березко А.Е., Гвишиани А.Д., Соловьев А.А. и др. Многодисциплинарная ГИС для наук о Земле // Материалы Международной научно-практической конференции «Прикладные аспекты геологии, геофизики и геоэкологии с использованием современных информационных технологий», 16-20 мая 2011 г., г. Майкоп (Россия). 2011. С. 37-43

7. А.Д. Гвишиани, А.А. Соловьев, С.М. Агаян, Ш.Р. Богоутдинов, Р.В. Сидоров. Алгоритмическая система распознавания выбросов на магнитограммах // Динамика физических полей Земли. - М.: Светоч Плюс, 2011. - 312 с. - с. 297-309

8. Kleimenova, N.G., O.V. Kozyreva, L.M. Malysheva, A.A. Soloviev, S.P. Bogoutdinov, N.R. Zelinsky, Storm-associated equatorial Pc3 geomagnetic pulsations based on the one-second INTERMAGNET multi-station measurements, Proceedings of the 9th International Conference "Problems of Geocosmos", October 08-12, 2012, Saint-Petersburg, 2012, pp. 261-266

9. Рыбкина, А. И., А. А. Соловьев, А. И. Каган, А. А. Шибаева, О. О. Пятыгина и О. В. Никифоров (2013), Интерполяция данных обсерваторских измерений и визуализация полной напряженности магнитного поля Земли, Вестник ОНЗ РАН, 5, NZ3002, doi:10.2205/2013NZOOO116

Монографии:

1. Соловьев А. А., А. В. Хохлов и др. (2012), Атлас магнитного поля Земли (под ред. А. Д. Гвишиани, А. В. Фролова, В. Б. Лапшина). Публ. ГЦ РАН, Москва, 364 е., doi: 10.2205/2012Atlas MPZ

Текст научной работыДиссертация по наукам о земле, доктора физико-математических наук, Соловьев, Анатолий Александрович, Москва

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ ГЕОФИЗИЧЕСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК

На правах рукописи

05201450672

Соловьев Анатолий Александрович

МЕТОДЫ РАСПОЗНАВАНИЯ АНОМАЛЬНЫХ СОБЫТИЙ НА ВРЕМЕННЫХ РЯДАХ В АНАЛИЗЕ ГЕОФИЗИЧЕСКИХ НАБЛЮДЕНИЙ

Специальность 25.00.10 Геофизика, геофизические методы поисков полезных ископаемых

Диссертация на соискание ученой степени доктора физико-математических наук

Научный консультант академик РАН, доктор физико-математических наук, профессор Гвишиани Алексей Джерменович

Москва-2013

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ...................................................................................................................................5

ГЛАВА 1. Исторический экскурс и современное состояние проблемы. Постановка задачи...........................................................................................................................................17

1.1. Распознавание аномальных событий на временных рядах..........................................17

1.1.1. Краткий очерк истории развития методов поиска аномалий физических полей 17

1.1.2. Действующие системы обнаружения аномалий в сейсмологии...........................18

1.1.3. Статистические методы выделения аномалий на временных рядах....................20

1.1.4. Распознавание аномалий временных рядов на основе вейвлет-анализа..............25

1.1.5. Нейросетевой подход к анализу временных рядов................................................29

1.2. Современная система наблюдений магнитного поля Земли ИНТЕРМАГНЕТ.........31

1.2.1. Общее описание.........................................................................................................31

1.2.2. Принципы работы и взаимодействия геомагнитного оборудования...................36

1.2.3. Подготовительные работы по созданию геомагнитной обсерватории................38

1.2.4. Абсолютные измерения офсетным методом..........................................................40

1.2.5. Расчет базовой линии и временная привязка..........................................................42

1.2.6. Квазиокончательные данные....................................................................................45

1.2.7. Регистрация секундных данных...............................................................................49

1.3. Источники и методы оценки геомагнитной активности..............................................51

1.3.1. Воздействие солнечного ветра на геомагнитное поле...........................................51

1.3.2. Магнитосферные явления.........................................................................................54

1.3.3. Солнечносуточная вариация....................................................................................59

1.3.4. Индексы геомагнитной активности.........................................................................61

1.4. Наблюдения и исследование цунами.............................................................................65

1.4.1. Общее описание.........................................................................................................65

1.4.2. Механизмы образования цунами.............................................................................66

1.4.3. Наблюдения цунами. Российская служба предупреждения о цунами.................70

1.4.4. Система DART...........................................................................................................78

1.4.5. Прогноз цунами.........................................................................................................82

1.5. Обоснование и постановка задачи диссертации...........................................................84

ГЛАВА 2. Метод и алгоритмы дискретного математического анализа геофизических данных.........................................................................................................................................89

2.1. Базовые элементы теории нечетких множеств..............................................................89

2.1.1. Основные определения.............................................................................................89

2.1.2. Операции над нечеткими множествами..................................................................93

2.1.3. Нечеткие бинарные отношения................................................................................95

2.2. Общие принципы дискретного математического анализа...........................................97

2.2.1. Алгоритмический подход ДМА...............................................................................97

2.2.2. Выпрямления и их примеры...................................................................................104

2.2.3. Нечеткие сравнения.................................................................................................106

2.3. Алгоритм распознавания выбросов на минутных данных SP (SPIKE).....................110

2.4. Алгоритм распознавания выбросов на секундных данных SPs (SPIKEsecond).......117

2.5. Алгоритм распознавания скачков JM (JUMP).............................................................125

2.5.1. Неформальная логика..............................................................................................125

2.5.2. Нечеткие грани........................................................................................................126

2.5.3. Нечеткая мера скачкообразности...........................................................................128

2.6. Мера аномальности........................................................................................................131

2.7. Алгоритм распознавания событий на данных о цунами RTFL (Recognition of Tsunamis Based on Fuzzy Logic)...........................................................................................133

2.8. Выводы............................................................................................................................137

ГЛАВА 3. Распознавание на магнитограммах аномальных событий техногенного происхождения алгоритмами дискретного математического анализа........................139

3.1. Техногенные сбои на магнитограммах.........................................................................139

3.2. Автоматизированное распознавание выбросов на минутных магнитограммах......141

3.2.1. Постановка задачи распознавания выбросов на минутных магнитограммах (1/60 Гц) ИНТЕРМАГНЕТ.........................................................................................................141

3.2.2. Обучение алгоритма SP. Формальная схема........................................................142

3.2.3. Обучение алгоритма SP в период пониженной магнитной активности............145

3.2.4. Контрольные эксперименты для оценки достоверности полученных результатов (внутренний экзамен)........................................................................................................149

3.2.5. Обсуждение результатов обучения........................................................................157

3.2.6. Экзамен алгоритма SP в период пониженной магнитной активности (внешний экзамен)..............................................................................................................................158

3.2.7. Экзамен алгоритма SP в период повышенной магнитной активности..............160

3.2.8. Обсуждение результатов экзаменов......................................................................163

3.3. Автоматизированное распознавание выбросов на секундных магнитограммах.....165

3.3.1. Постановка задачи распознавания выбросов на секундных магнитограммах (1 Гц) ИНТЕРМАГНЕТ.........................................................................................................165

3.3.2. Магнитная обсерватория на острове Пасхи. Исходные данные для распознавания....................................................................................................................168

3.3.3. Обучение алгоритма SPs.........................................................................................169

3.3.4. Устойчивость обучения относительно выбора свободных параметров............173

3.3.5. Оценка результатов обучения................................................................................174

3.3.6. Экзамен алгоритма SPs...........................................................................................178

3.3.7. Контрольный тест обученного алгоритма SPs для оценки достоверности распознавания....................................................................................................................180

3.3.8. Анализ ложных тревог............................................................................................182

3.3.9. Сравнение алгоритма SPs со статистическими алгоритмами выделения выбросов.............................................................................................................................183

3.4. Автоматизированное распознавание скачков на полусекундных магнитограммах 184

3.4.1. Описание магнитных данных спутника GOES (2 Гц) и постановка задачи......184

3.4.2. Распознавание скачков базовой линии на спутниковых магнитограммах........187

3.5. Выводы............................................................................................................................188

ГЛАВА 4. Автоматизированная алгоритмическая система предварительной обработки и контроля качества магнитных данных. Российско-украинский центр

магнитных данных..................................................................................................................190

4.1. Обоснование и постановка задачи................................................................................190

4.2. Общее описание работы российско-украинского центра геомагнитных данных.... 191

4.3. База геомагнитных данных............................................................................................195

4.4. Веб-приложения для удаленной работы с геомагнитными данными.......................200

4.4.1. Ввод абсолютных измерений.................................................................................202

4.4.2. Веб-сервисы для интерактивного доступа к данным...........................................204

4.5. Доступ к данным и их визуализация............................................................................207

4.5.1. Веб-портал центра геомагнитных данных............................................................207

4.5.2. Видео-стенд для отображения геомагнитных данных.........................................211

4.6. Сравнение распознавания выбросов методом ДБ и алгоритмической системой, внедренной в центре..............................................................................................................213

4.7. Моделирование полной напряженности магнитного поля на территории России в режиме квазиреального времени.........................................................................................215

4.8. Выводы............................................................................................................................218

ГЛАВА 5. Распознавание магнитной активности методами дискретного математического анализа......................................................................................................220

5.1. Постановка задачи и ее обоснование............................................................................220

5.2. Апробация меры ц^) оценки геомагнитной активности в реальном времени.........223

5.3. Глобальный мониторинг геомагнитной активности в период магнитных бурь 23-го солнечного цикла...................................................................................................................225

5.3.1. Анализ бури 8-11 ноября 2004 г.............................................................................226

5.3.2. Анализ бури 15 мая 2005 г......................................................................................234

5.3.3. Обсуждение результатов анализа..........................................................................239

5.4. Сравнение с онлайн-мониторингом геомагнитной активности ИНТЕРМАГНЕТ ..240

5.5. Выводы............................................................................................................................241

ГЛАВА 6. Применение метода дискретного математического анализа к распознаванию аномалий на данных о цунами.................................................................243

6.1. Обоснование и постановка задачи................................................................................243

6.2. Автоматизированное распознавание алгоритмом ЯТРЬ сигналов Р-волн и волн цунами на данных системы ОА11Т-2...................................................................................246

6.3. Выводы............................................................................................................................248

ЗАКЛЮЧЕНИЕ.......................................................................................................................250

БЛАГОДАРНОСТИ................................................................................................................252

ПРИЛОЖЕНИЯ.......................................................................................................................253

ПРИЛОЖЕНИЕ 1. Магнитометрические измерения.........................................................253

ПРИЛОЖЕНИЕ 2. Индексы ретроспективной оценки геомагнитной активности.........260

ПРИЛОЖЕНИЕ 3. Моделирование и картографирование магнитного поля Земли......280

ПРИЛОЖЕНИЕ 4. Основные публикации и доклады автора по теме диссертации......289

СПИСОК ЛИТЕРАТУРЫ.....................................................................................................298

ВВЕДЕНИЕ

Актуальность темы исследования

Последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целыо удовлетворения потребностей более широкого круга научных и практических интересов. Так, переход с минутной на секундную регистрацию геомагнитных данных является одной из актуальных, трудных и обсуждаемых задач в геомагнитном сообществе. Объемы информации о Солнце, регулярно передаваемые с искусственных спутников Земли, также непрерывно растут, позволяя изучать более детально солнечную активность. Например, спутник SDO (Solar Dynamics Observatory) передает ежедневно на Землю порядка 1.5 терабайт данных о солнечной атмосфере на малых пространственно-временных масштабах и во многих длинах волн единовременно. Кроме того, происходит переход от накопленных ранее аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль автоматизации сбора и анализа данных и математических методов их обработки.

очищенных от техногенных аномалий. Причинами таких аномалий на магнитограммах могут быть близость аэродромов, железных дорог, линий электропередач или других техногенных элементов, воздействующих на магнитную обстановку, резкие перепады температуры, нарушения калибровки измерительных приборов и др. Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным препятствием для адекватного использования данных и развития систем геомагнитных наблюдений.

Информация о работе

Соловьев, Анатолий Александрович
доктора физико-математических наук
Москва, 2013
ВАК 25.00.10

Диссертация

Методы распознавания аномальных событий на временных рядах в анализе геофизических наблюдений - тема диссертации по наукам о земле, скачайте бесплатно

Автореферат

Похожие работы