Бесплатный автореферат и диссертация по наукам о земле на тему

Исследование и разработка методологии создания баз пространственных метаданных

ВАК РФ 25.00.35, Геоинформатика

Автореферат диссертации по теме "Исследование и разработка методологии создания баз пространственных метаданных"

005045103

На правах рукописи

у);

—-

РЕБРИЙ АЛЕКСАНДР ВАЛЕРЬЕВИЧ

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОЛОГИИ СОЗДАНИЯ БАЗ ПРОСТРАНСТВЕННЫХ МЕТАДАННЫХ

Специальность 25.00.35 — «Геоинформатика»

Автореферат диссертации на соискание ученой степени кандидата технических наук

о 1 ¡'.¡мм ¿и¡2

Москва-2012

005045103

Работа выполнена на кафедре информационно-измерительных систем Федерального государственного бюджетного образовательного учреждения высшего профессионального образования Московского государственного университета геодезии и картографии (МИИГАиК).

Научный руководитель: доктор технических наук, профессор Майоров Андрей Александрович.

Официальные оппоненты:

Цветков Виктор Яковлевич - доктор технических наук, профессор, кафедра экономики и предпринимательства Федерального государственного бюджетного образовательного учреждения высшего профессионального образования Московского государственного университета геодезии и картографии (МИИГАиК).

Бровко Елена Алексеевна - кандидат технических наук, ученый секретарь, начальник сектора научно-технической информации ФГУП Государственный научно-исследовательский и производственный центр «Природа»

(ФГУП «Госцентр Природа»).

Ведущая организация: ФГУП Уральский региональный информационно-аналитический центр «Уралгеоинформ» (ФГУП Уралгеоинформ»),

Защита состоится «14» июня 2012 года, в 10.00 на заседании диссертационного совета Д 212.143.03 при Московском государственном университете геодезии и картографии по адресу: 105064, Москва, Гороховский пер., д. 4, зал заседаний Ученого совета.

С диссертацией можно ознакомиться в библиотеке МИИГАиК.

Автореферат разослан «14» мая 2012 г.

Ученый секретарь

диссертационного совета З^М^Щ -"""Клим ко в Юрий Михайлович.

Общая характеристика работы

Актуальность темы.

Пространственные данные в современных условиях являются важнейшим, уникальным, а в некоторых случаях и единственным фактором реализации задач управления и развития территории страны, обеспечения ее обороноспособности, устойчивого политического, экономического и социального развития. Во всем мире объемы накапливаемых, обрабатываемых и используемых пространственных данных возрастают, расширяется номенклатура продукции и услуг, основанных на пространственно-привязанной информации.

В США, Канаде, Дании, Германии, Великобритании, Китае и многих других странах задачи накопления, хранения, обработки и использования пространственных данных решаются в рамках правительственных программ в целях создания инфраструктур пространственных данных (ИПД).

В 2006 году Правительством Российской Федерации была принята «Концепция создания и развития инфраструктуры пространственных данных в Российской Федерации» (№ 1157-р от 21.08.2006), определяющая основные цели, задачи и этапы формирования ИПД. В концепции, наряду с другими положениями, отражена важность и необходимость создания и использования метаданных в целях исключения дублирования работ по созданию пространственных данных, повышения качества и эффективности управления на государственном и муниципальном уровнях, создания Государственных информационных ресурсов, стимулирования рынка пространственных данных и т.д.

На сегодняшний день в Российской Федерации отсутствуют доступные информационные ресурсы, отражающие наличие и характеристики различных пространственных данных на территорию страны. Огромное количество пространственных данных Федерального картографо-геодезического фонда

(ФКГФ) имеют ограниченное распространение на рынке Российской Федерации, в том числе по причине отсутствия опубликованных и доступных метаданных.

Цель диссертационной работы состоит в разработке методологии формирования, накопления, обработки и публикации в сети интернет метаданных пространственных данных (пространственных метаданных) в составе информационных ресурсов, образующих основу для формирования инфраструктуры пространственных данных в Российской Федерации.

Достижение поставленной цели потребовало решения следующих основных задач:

1. Исследование и анализ отечественного и зарубежного опыта в сфере формирования, накопления и распространения метаданных;

2. Проведение сравнительного анализа способов и технологий работы с метаданными в различных ГИС средах;

3. Разработка универсальной функциональной схемы формирования и ведения базы метаданных пространственных данных;

4. Разработка концептуальной и логической структуры базы метаданных;

5. Разработка алгоритмов и методики работы с базой метаданных через сеть Интернет.

Научная новизна работы заключается в следующем:

• Разработана логическая структура базы метаданных пространственных данных,

• Разработана организационно-функциональная схема формирования и ведения базы метаданных,

• Разработаны алгоритмы формирования и ведения базы метаданных.

Используемые методы исследования включают в себя анализ,

моделирование, экспериментальный и проектный методы. В ходе работы выполнялся анализ методических, нормативно-правовых и нормативно-технических документов в сфере геоинформатики.

Информационную основу работы составляют результаты научно-исследовательских, опытно-конструкторских работ, результаты проведённых экспериментов и исследований по теме диссертационной работы. В работе использовались материалы отраслевых, региональных научно-практических конференций с представителями картографо-геодезических служб ряда стран Европы и СНГ.

Практическая значимость работы состоит в выработке системы научно-практических рекомендаций, типовых проектных решений, обеспечивающих эффективное решение задач сбора, накопления и распространения метаданных и позволяющих приступить к формированию информационных ресурсов - баз метаданных, предназначенных для формирования ИПД.

Результаты исследования были апробированы в научной и производственной деятельности ФГУП «ГОСГИСЦЕНТР», доложены и одобрены на научно-практических конференциях, семинарах и совещаниях.

По теме диссертации опубликовано 13 работ, в том числе 6 в журналах, рекомендованных ВАК.

Автор непосредственно принимал участие в разработке стандарта ГОСТ Р «Географическая информация. Метаданные», а также являлся руководителем проектов отраслевого и федерального значения, в которых на практике использовались представленные в диссертации методики и проектные решения.

Основные результаты работы, выносимые на защиту:

1. Организационно-функциональная схема формирования и ведения базы метаданных.

2. Логическая структура базы метаданных.

3. Алгоритмы обработки метаданных при формировании базы метаданных и ее публикации в сети интернет.

Объем и структура работы.

Диссертация состоит из четырех глав, заключения и списка литературы, а также одного приложения. Работа изложена па 117 страницах, включая

39 рисунков и 39 таблиц. Список используемой литературы включает 64 наименования.

Основное содержание работы.

ГЛАВА 1. Анализ состояния проблемы сбора, накопления, обработки и распространения пространственных метаданных содержит определение и обоснование значимой роли метаданных в процессах создания, сбора, накопления, обработки и распространения пространственных данных различного характера.

Доступность, полнота, достоверность и непротиворечивость метаданных позволяет потенциальному потребителю пространственных данных оценить их пригодность для использования в целях решения задач прикладного характера.

Учитывая колоссальные объемы создаваемых пространственных данных, применение единых подходов и методик формирования метаданных позволяет минимизировать информационные потери в процессе передачи информации, а также открывает новые возможности по интеграции метаданных и их совместной обработке.

На сегодняшний день в этом направлении имеются существенные достижения, особенно в зарубежных странах в рамках создания национальных ИПД. В Российской Федерации наблюдается серьезное отставание в вопросах формирования единой политики по работе с пространственными данными. В процессах производства, накопления и распространения пространственных данных, создание и использование метаданных не является обязательным. На этот счет отсутствуют нормативно-технические н методические документы. Современные отечественные геоинформационные программные продукты (ГИС) не поддерживают международные стандарты на представление метаданных.

Разработанная в 2001 г. база метаданных для сбора, хранения и учета метаданных Федерального картографо-геодезического фонда (ФКГФ) морально и технически устарела, не соответствует современным стандартам и не позволяет эффективно решать стоящие на сегодняшний день задачи.

В связи с этим представляется необходимым:

• Разработать и предложить к использованию методики и алгоритмы формирования и ведения базы метаданных пространственных данных;

• Разработать концептуальную и логическую структуру базы метаданных;

• Разработать методику работы с базой метаданных в целях использования базы метаданных при формировании инфраструктуры пространственных данных.

ГЛАВА 2. Разработка логической структуры базы метаданных.

В этой главе описан процесс разработки логической структуры базы метаданных, основанный на использовании международной практики, и с учетом современных требований, предъявляемым к функциям и задачам базы метаданных (рис.1).

I Эпдиект 2 | | Зпе«*ект 2 |

Рис. 1. Описание метаданных в виде набора пакетов, сущностей и элементов.

Международная практика формирования и представления метаданных основывается на применении формализованных методик описания метаданных при помощи языка иМЬ.

В соответствии с методикой международной организации по стандартизации ISO, структура метаданных представлена в виде отдельных блоков - UML пакетов. Каждый пакет состоит из сущностей, имеет определенное смысловое наполнение и характеризует тот или иной аспект метаданных (рнс. 2).

Рис. 2. Концептуальная схема базы метаданных.

На основе проведенного анализа применяемого в международной практике подхода, была разработана концептуальная схема базы метаданных.

представляющая собой набор взаимосвязанных сущностей, определяющая связи между ними и описывающая основные элементы их содержания.

Далее, на основе созданной концептуальной модели, выполнено логическое проектирование структуры базы метаданных, в ходе которого, сущности, указанные на концептуальной схеме, преобразованы в таблицы базы данных (рис. 3).

•н.................{...........-!-----.

ЕХ_С-їС>егггп.оЕіИ<М (О- ГГК;

о-

С*-- ->■■<} П^Р^ИКЛ

¿О]

МГ) Зі^ЛіПіуСа'іій^ІІІІ^ (Оі!»-К;

¡О; іГ * і

у

' ' '

СОГІПГІІГ^С» (О; ¡НО »»¡•('С} ¡РК} «:0Г8 (О)

Іі:*7гР* (О)

Р»К" І" Уч.-р и г-г> ти С І»

Сп.х:(> аг»

4-

((Мпг'иЗЛ/гмЦЫсО ¡и Тиго (С) иигіїодпа -О;

М "> и г:>п& (О: і Г к і

кч> оіха-.ісч ¡ел (і-ю

Рис.3. Логическая схема базы метаданных.

Характеристики сущностей на логической схеме представляют собой поля таблиц базы данных с указанием ключевых полей, типа хранимых данных, а также обязательности или необязательности их заполнения.

Разработанная на основе концептуальной модели логическая структура базы метаданных отвечает требованиям стандарта ГОСТ Р 52573-2006 «Географическая информация. Метаданные», совместима со стандартом ISO 19115 «Географическая информация. Метаданные» и позволяет перейти к созданию (физическому проектированию) базы метаданных на любой программной платформе.

ГЛАВА 3. Разработка методики и алгоритмов формирования и ведения базы метаданных. В этой главе содержится описание процесса разработки унифицированного подхода к решению задачи формирования и ведения базы метаданных в свете формирования инфраструктуры пространственных данных (ИПД).

За основу разработки организационно-функциональной схемы формирования и ведения базы метаданных взят абстрактный социум -административно-территориальная единица, отрасль, корпорация и т.п., а также приняты следующие положения:

• в социуме существует базы разнородных по составу и структуре пространственных данных,

• информационные системы, обрабатывающие (содержащие) пространственные данные, не совместимы друг с другом,

• переход на единую технологию создания, хранения и публикации пространственных данных в ближайшей перспективе невозможен.

В общем случае именно так выглядит ситуация в части создания ИПД в Российской Федерации.

Ввиду того, что работы по сбору, накоплению, обработке и публикации метаданных имеют критически важное значение для формирования ИПД, предлагается возложить эти задачи на уполномоченную организацию -«провайдер» (рис.4).

Пользователь

ч

рО1

Провайдер метаданных

Аналоговые 0 >. »І пространственные " данные

Базы пространственных данных

Автоматизированные

системы (ГИС) ,_.

Рис.4. Принципиальная схема формирования базы метаданных.

Для описания процесса формирования и ведения базы метаданных, а также для определения основных функций участников этого процесса, разработана следующая организационно-функциональная модель (рис.5).

Организационно - функциональная схема формирования базы метаданных

Рис. 5. Организационно-функциональная модель.

В целях формирования метаданных и их передаче к провайдеру, поставщик пространственных данных выполняет работы по формированию метаданных по следующему алгоритму (рис.6).

с

ПРОСТРАНСТВЕННЫЕ ДАННЫЕ

Рис.6. Алгоритм формирования метаданных изготовителем.

Автоматизация процессов формирования метаданных играет важнейшую роль при обработке больших массивов пространственных данных с целью формирования баз метаданных. В случаях, когда объемы единиц хранения пространственных данных достигают десятков и сотен тысяч (кадастровая информация, цифровые топографические карты, данные дистанционного зондирования и т.п.), формирование и ведение баз метаданных вручную является практически невыполнимой задачей.

После получения метаданных, перед их загрузкой в базу метаданных провайдера, необходимо выполнить проверку целостности и качества метаданных по следующему алгоритму (рис.7):

Рис. 7. Алгоритм обработки метаданных на стороне провайдера.

Ввиду того, что все метаданные имеют пространственную привязку, интернет-сайт с опубликованной базой метаданных должен предоставлять инструментарий для поиска метаданных как по заданным характеристикам (атрибутам), так и посредством интерактивной карты местности.

Для взаимодействия с базой метаданных посредством интернет-сайта предлагается использовать следующий алгоритм (рис.8):

( ii-.v-i.V10 рдооты )

Рис. 8. Общий алгоритм работы с базой метаданных в интернете.

В целях формирования логики работы программного обеспечения и проектирования пользовательского интерфейса базы метаданных в сети интернет, определены основные виды запросов к базе метаданных, а именно: Виды запросов по карте:

• Найти пространственные данные в районе указанной точки на карте,

• Найти данные вдоль линии заданной на карте,

• Найти данные внутри заданного полигона (прямоугольника) на карте. Виды запросов по базе метаданных:

• Найти пространственные данные на территорию административно-территориальной единицы,

• Найти данные по выбранному значению,

• Найти данные по заданному условию, накладываемому на значения. Алгоритм обработки запросов представлен на рис.9.

Результатом обработки всех запросов является выдача перечня метаданных, удовлетворяющих условиям запроса.

Рис. 9. Алгоритм работы с базой метаданных в сети интернет.

В целях реализации созданных алгоритмов формирования и ведения базы метаданных необходимо выбрать формат представления и обмена метаданными, который имеет широкое распространение, универсален и не зависит от используемой программной платформы. В качестве такого формата выбран формат XML.

В разработанных алгоритмах работы с базой метаданных через сеть интернет в качестве пользователя фигурирует человек, напрямую взаимодействующий через пользовательский интерфейс с содержимым базы метаданных.

В случае, когда требуется интегрировать информацию из базы метаданных в пользовательские программные продукты, предлагается

использовать технологию веб-сервисов, чтобы потребители могли получать метаданные в режиме «он-лайн» и встраивать их в прикладные программы.

Интерфейсный модуль веб-сервиса для доступа к базе метаданных публикуется провайдером в виде \¥80Ь-файла. Этот файл загружается разработчиками в среду разработки приложений и затем преобразуется в используемый язык программирования (рис.10). Это позволяет тесно интегрировать опубликованные через веб-сервис метаданные в пользовательские бизнес-процессы.

.МЕТДАУА.О+,Ое!рЫ...

Интерфейсный модуль (■«¡б-сервиса

Разработчики ПО

Пользовательская информационная система

Рис. 10. Интеграция веб-сервиса метаданных в пользовательскую информационную систему.

ГЛАВА 4. Результаты практического внедрения методологии формирования и ведения базы метаданных. В этой главе приведены результаты практического впедрения разработанных в главах 2-3 алгоритмов и структур данных в рамках решения задачи по созданию и ведению базы метаданных цифровых топографических карт Федерального картографо-геодезического фонда.

В рамках практической реализации разработанной методологии были созданы следующие программные продукты:

• Программная оболочка автоматизированного формирования метаданных цифровых топографических карт формата БХР,

• База метаданных ФКГФ,

• Действующий макет интернет-сайта базы метаданных,

В целях автоматизации и унификации процесса формирования метаданных у поставщиков метаданных (изготовителей картографической продукции) была разработана автоматизированная технология (рис.11), позволяющая решать следующие задачи:

• Считывать метаданные из паспорта файла цифровой карты формата SXF,

• Загружать метаданные в доступном для чтения и редактирования виде в программную оболочку,

• Выполнять выгрузку метаданных в обменный формат XML для последующей передачи в организацию-фондодержатель (провайдер).

Файл метаданных

Исходные данпыб j Пространственные xapasffepncT*KM| Материаль. [ Технология j «ТС ] Координаты [ ОТК

Масштаб 1: I söOOOQ -

Номенклатуре листа N-37-056

Наименование РЯЗАНЬ

Административная принадлежность Рязанслоя область

Дата цифрования 131G2CGS

Формат хранения SXF

Наименование и версия СПО Рапогатз 10

Кл ассифика тор l0ötC3g rsc

Организация изготовитель ФГУП"ГОСГИСЦЕНТР"

Информация по госконтракту № госконтракта ГЦ02-СЗ № доп соглашения

Дата госконтракта 02.02.2010 Дата доп соглашения

Гриф секретности Несекретно

Вид продукции ЦТКОП

Количество объектов 13294

1 Отмена 1 \ Загрузить из файла 8XF ! 1 Сохранить файл метаданных

Рис. 11. Окно программной оболочки для создания метаданных листа карты в

формате ЗХБ.

В целях автоматизации процессов формирования и ведения базы метаданных цифровых карт была разработан программный комплекс (рис.12) «База метаданных ФКГФ» (далее - БМД).

БМД состоит из совокупности взаимосвязанных подсистем, обеспечивающих унификацию, документирование, контроль всех этапов жизненного цикла листов цифровых карт: от создания - до выдачи потребителям.

Основными внешними пользователями БМД являются:

• потребители, получающие сведения об имеющихся в ФКГФ цифровых картах и их характеристиках,

• центральный аппарат Росреестра, получающий сведения статистического и аналитического характера по всем этапам формирования и ведения ФКГФ.

і Лтишътт

: | нзборз І Ъ-'Е' г ; «збсрз ¿анных 8 состав кірть- їжжг сзкярсаи«сяса ргста^гяазость я грунчьг. здогвеннь» {м&вгв&яью а гтр&ыхжчяжж саеружент аеовдн?» сет». СМ * йО&Ш&С ГІЬТуїЯ<<х-0 {-¿»ЯН*» 5ЙЭВ. П!ЯГг«НІ&

{ | Огрштжя і НІ« гэпггсекгямескгя касті стада» в рздаак: сгггласоезннагз ппзда

1 I ......................................................... 100863 Ряветдонюв

1 Форма псосггрг чЬ^шя«! ПО к-*нв««мог© псеаст гакзе^йР Бектг© -г К»рга с ндошкев "?ипгк*М ашсив

йшсяте нжзора СЬссоб« («гх>?ь5е«а^» Огштт мдоводовдоя ядамьас Оаденй 83»««щ?увм&й я»ег Іі'К час-***« гкжЕьдеж* ча^шорв» фмсмвях: * Воду***««: Сила* РФ

і Дяіаг>«£№

Не

і і М&ЗК>83Т8Я»

і Кяе-^евые СР

І Крвсхркхг

і ГрАрійХЗ

і Имя <ийяз «ййЄ_?«Єб1.Є5Нг 45 Оисэмйе ФЗЙЯЗ Расфзза« копая нок^енклатурнгго дастг ЇЕ&ПЬ

І

Рис. 12. Окно работы с метаданными.

Программное обеспечение БМД разработано в соответствии с архитектурой «клиент-сервер» и предназначено для функционирования, как на отдельном компьютере, так и в локальных вычислительных сетях (ЛВС).

Выборка информации из БМД осуществляется путем формирования запроса с наложением условий на любые характеристики метаданных. Результат выполнения запроса представляется в табличном виде (рис. 13) и может быть выгружен в форматы HTML или XML для дальнейшей обработки.

0-37-131 То-37-132 " ІО-38-121 ІО-38-122 0-37-115

Наличие е ФКГ<Р Год обновлення

..........1993..........

1998

есть

есть есть есть sab есть есть

1993 1SSS

2306 2005

Гпаеный г&йфафйчесхяя йбъег. Изготовителе

.............................................................................<й.................

ЮРЬЕВ-ПОЛЬСКИИ

Суздаль

гиш ГОРЬКОГО

ШвршГ".......

"УСТЁРЯ"""

ЮЖА.

фрояищи

РЯЗАНЦЕВО

ФГУП1

"Ц "Природа* ■ц-Природа"

ФГУП 'ГЦ "Природа'

' ФГУП тцтіркрода* ФГУП "БерїН^еолжское АГП" ФГУП "EepsHSBonsictsoe АГП" ФГУП "ГЦ "Природа"

прощ оте ПР-ОШОТй

Рис. 13. Результат запроса к базе метаданных.

В целях решения задачи публикации метаданных в сети интернет, на основе алгоритмов, разработанных в главе 3, был создан действующий макет интернет-сайта, основной задачей которого является информирование потенциальных потребителей о наличии в Федеральном картографо-геодезическом фонде (ФКГФ) цифровых карт различных масштабов, предоставление информации об их качестве и способе приобретения.

На интернет-сайте публикуются метаданные на каждый номенклатурный лист цифровой топографической карты открытого пользования, помещенной в ФКХФ. В соответствии с методикой, описанной в главе 3, для удобства работы с базой метаданных используется цифровая векторная карта (рис.14) Российской Федерации масштаба 1:1 ООО ООО .

В соответствии с разработанными в главе 3 алгоритмами, для удобства пользования сайтом, запросы к базе метаданных сгруппированы по типам и отнесены к различным интерфейсным компонентам интернет-сайта.

Разработанный интернет-сайт базы метаданных доступен по адресу http://maps.ggc.ru в сети интернет.

Рис.14. Фрагмент бланковой карты на интернет-сайте базы метаданных.

В целях анализа эффективности разработанных алгоритмов, методик, структур данных, было проведено нагрузочное тестирование интернет-сайта базы метаданных с целью наблюдения за показателями производительности системы при определенной нагрузке. Результаты тестирования отражают: количество просмотров (запросов к базе метаданных), количество уникальных посетителей сайта и время, потраченное посетителями сайта на работу с базой метаданных.

Рис.15. Количество просмотров

Анализ результатов тестирования (рис.15) показывает, что в среднем количество просмотров (запросов) в минуту за период тестирования, равно 400, при этом нагрузка не процессор системы составляла не более 15 %. За время тестирования не было зафиксировано ни одного отказа и существенных задержек в работе базы метаданных не наблюдалось.

Практическая реализация алгоритмов и методик формирования, ведения и публикации базы метаданных, разработанных в Главе 3, показала их работоспособность, а также позволила:

• автоматизировать и унифицировать процессы сбора метаданных цифровых топографических карт ФКГФ,

• повысить эффективность централизованного формирования и ведения базы метаданных цифровых карт ФКГФ,

• выполнить публикацию метаданных в сети интернет, доведя информацию до потенциальных потребителей цифровой картографической продукции.

Заключение.

В диссертационной работе выполнен анализ и обзор основных проблем создания и использования метаданных пространственных данных в Российской Федерации, определены сферы применения метаданных, указана и обоснована необходимость их использования в целях создания Государственных информационных ресурсов и формирования инфраструктуры пространственных данных.

На основе анализа имеющейся международной практики, выполнено концептуальное и логическое проектирование, результатом которого является структура базы метаданных.

Предложены и проработаны с точки зрения формализации и оптимизации алгоритмы и организационно-функциональные схемы создания и наполнения баз метаданных.

Разработанная методология формирования баз пространственных метаданных представляет собой совокупность алгоритмов, структур данных, и сценариев их совместного использования в целях решения задач сбора, накопления и публикации пространственных метаданных.

Результаты практического внедрения разработанной методологии показывают ее работоспособность, эффективность и основаны на ее использовании в работах по созданию и обновлению цифровых топографических карт различного вида в рамках реализации ФЦП «ГЛОНАСС» в 2009-2011 г.

Список опубликованных работ по теме диссертации:

1. Плешков В.Г., Ребрий A.B., Степанова Я.В. «Национальные атлась зарубежных стран». // Геодезия и картография. 2004. №11.

2. Плешков В.Г., Ребрий A.B., Степанова Я.В. «О концепции создали» электронной версии Национального атласа России» // Геодезия и картография. 2004. № 12.

3. Плешков В.Г., Ребрий A.B., Степанова Я.В. «Инфраструктур; пространственных данных - архитектура, ориентированная на сервисы» // Геодезия и картография. 2005. № 5.

4. Плешков В.Г., Ребрий A.B. «Роль международных стандартов в созданир инфраструктуры пространственных данных». // Тез. докл. Международны? конгресс «Великие реки 2004» 18-21 мая 2004г. Нижний Новгород 2004.

5. Плешков В.Г., Ребрий A.B. «Электронная версия Национального атласг России как фундаментальное картографическое произведение».// Тез. докл Международный конгресс «Великие реки 2005» 17-20 мая 2005г Нижний Новгород 2005.

1. Плешков В.Г., Ребрий A.B. «О создании цифровой картографической продукции для систем навигации». // Геодезия и картография. 2006. № 4.

2. Плешков В.Г., Ребрий A.B. «О создании геоинформационной системы органов государственной власти Республики Татарстан».

// Геодезия и картография. 2006. № 7.

3. Ребрий A.B. «О создании цифровой картографической продукции для решения задач навигации и диспетчеризации». // Автоматизированные технологии изысканий и проектирования. № 1 (28) 2008 г.

4. Ребрий A.B. «О новой технологии формирования базы метаданных Федерального картографо-геодезического фонда»

// Геодезия и картография. 2008. № 5.

5. Ребрий A.B. «О создании и развитии отраслевого картографического портала».// Геодезия и картография. 2009 . №4.

6. Ребрий A.B. «О ходе работ по созданию интернет-портала Федеральной: картографо-геодезического фонда». // Тез. докл. Международный конгресс «Великие реки 2009» Нижний Новгород 2009.

7. Плешков В.Г., Ребрий A.B. «Разработка картографического Интернет-портала Федерального картографо-геодезического фонда». // Геопрофи № 4, 2009 г.

8. Плешков В.Г., Ребрий A.B. «Создание и развитие картографического портала Федерального картографо-геодезического фонда». // Пространственные данные № 3, 2009 г.

Текст научной работыДиссертация по наукам о земле, кандидата технических наук, Ребрий, Александр Валерьевич, Москва

61 12-5/3925

Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования Московский государственный университет геодезии и картографии

(МИИГАиК)

На правах рукописи

РЕБРИЙ АЛЕКСАНДР ВАЛЕРЬЕВИЧ

ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОЛОГИИ СОЗДАНИЯ БАЗ ПРОСТРАНСТВЕННЫХ МЕТАДАННЫХ

Специальность 25.00.35 - «Геоинформатика»

ДИССЕРТАЦИЯ

на соискание ученой степени кандидата технических наук

Научный руководитель:

Доктор технических наук, профессор

Майоров Андрей Александрович

Москва-2012 г.

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ..................................................................................4

ГЛАВА №1. АНАЛИЗ СОСТОЯНИЯ ПРОБЛЕМЫ СБОРА, НАКОПЛЕНИЯ, ОБРАБОТКИ И РАСПРОСТРАНЕНИЯ МЕТАДАННЫХ................................9

1.1. Метаданные пространственных данных...............................................9

1.2. Сбор, накопление и распространение метаданных пространственных данных в Российской Федерации................................10

1.3. Роль и место метаданных в формировании инфраструктуры пространственных данных............................................................................16

1.4. Анализ и обзор способов формирования, накопления и применения метаданных в ГИС..........................................................................................19

1.5. Выводы по главе № 1............................................................................26

ГЛАВА №2. РАЗРАБОТКА ЛОГИЧЕСКОЙ СТРУКТУРЫ БАЗЫ МЕТАДАННЫХ....................................................................................................27

2.1. Анализ методики представления метаданных в соответствии с международной практикой............................................................................27

2.2. Разработка концептуальной схемы базы метаданных.......................35

2.3. Логическое проектирование базы метаданных..................................38

2.4. Выводы по главе № 2............................................................................40

ГЛАВА №3. РАЗРАБОТКА МЕТОДИКИ И АЛГОРИТМОВ ФОРМИРОВАНИЯ И ВЕДЕНИЯ БАЗЫ МЕТАДАННЫХ.............................41

3.1. Разработка организационно-функциональной схемы формирования и ведения базы метаданных..........................................................................41

3.2. Разработка алгоритмов и схемы информационных потоков формирования и ведения базы метаданных................................................46

3.3. Разработка алгоритмов работы с базой метаданных посредством сети интернет. Определение базовых функций интернет-ресурса базы метаданных.....................................................................................................52

3.4. Обоснование и выбор формата представления метаданных............58

3.5. Разработка методики интеграции базы метаданных с внешними информационными ресурсами в рамках формирования инфраструктуры пространственных данных............................................................................60

3.6. Выводы по главе № 3............................................................................66

ГЛАВА № 4. РЕЗУЛЬТАТЫ ПРАКТИЧЕСКОГО ВНЕДРЕНИЯ МЕТОДОЛОГИИ ФОРМИРОВАНИЯ И ВЕДЕНИЯ БАЗЫ МЕТАДАННЫХ

.................................................................................................................................67

4.1. Разработка автоматизированной технологии формирования метаданных номенклатурных листов цифровых

топографических карт....................................................................................67

4.2. Разработка программного комплекса формирования и ведения базы метаданных цифровых карт..........................................................................71

4.3. Разработка действующего макета интернет ресурса для публикации базы метаданных......................................................................76

4.4. Результаты нагрузочного тестирования базы метаданных...............82

4.5. Выводы по главе № 4............................................................................85

ЗАКЛЮЧЕНИЕ.....................................................................................................86

СПИСОК ЛИТЕРАТУРЫ.....................................................................................88

ПРИЛОЖЕНИЯ...................................................................................................ЮЗ

ВВЕДЕНИЕ

Пространственные данные в современных условиях являются важнейшим, уникальным, а в некоторых случаях и единственным фактором реализации задач, решаемых органами государственной власти и органами местного самоуправления в целях сохранения суверенитета, территориальной целостности, обеспечения устойчивого политического, экономического и социального развития Российской Федерации.

В министерствах, ведомствах, в коммерческих структурах накоплены и постоянно пополняются значительные объемы пространственных данных, доступ к которым, их обработка, восприятие и анализ затруднены из-за их разобщенности и разнородности, что снижает эффективность использования пространственных данных при принятии управленческих решений.

Отсутствие сведений о наличии пространственных данных (т.е. метаданных) зачастую приводит к дублированию работ по их созданию, неоправданным затратам времени и средств [87].

Из-за отсутствия развитой инфраструктуры пространственных данных дублирование работ в данной сфере достигло колоссальных размеров. Одни и те же объекты представлены в десятках различных документов в различающихся между собой описаниях и формах. В этих условиях, чем больше будут бюджетные вложения в конкретные отрасли, тем больше будет создано конфликтующих между собой правовых координатных и адресных описаний объектов, и тем менее благоприятным будет складывающийся в результате инвестиционный климат, выше издержки производства, ниже уровень правовой защищенности вложений [107,108].

Необходимо также отметить, что огромное количество топографо-геодезических и картографических материалов в Российской Федерации являются закрытыми и недоступными для большинства потребителей. И хотя существующая нормативно-правовая база позволяет создавать

открытую информацию, этому препятствуют межведомственные барьеры и отсутствие специальных технологий.

В ряде развитых зарубежных стран задачи накопления, хранения, обработки и использования пространственных данных решаются в рамках правительственных программ. В частности, в США работа по созданию национальной инфраструктуры пространственных данных проводится с 1994 года во исполнение Указа Президента. Работы по созданию инфраструктуры пространственных данных ведутся также в Канаде, Великобритании, Японии, Китае и других странах. Отставание России в этой сфере представляет большую угрозу национальной и информационной безопасности государства.

В настоящее время в Российской Федерации базовые пространственные данные накапливаются в Федеральном и отраслевых картографо-геодезических фондах.

Материалы и данные Федерального картографо-геодезического фонда (ФКГФ) насчитывают более 70 млн. единиц хранения, сосредоточены в 53 хранилищах, расположенных по всей территории России. Около 60 организаций-фондодержателей занимаются вопросами формирования и ведения ФКГФ [57].

Отраслевые картографо-геодезические фонды накапливают данные земельного, градостроительного, лесного, водного и других кадастров. Эти данные создаются, приобретают правовой статус и используются в результате деятельности тысяч предприятий, имеющих различные формы собственности, и насчитывают сотни миллионов единиц хранения [74-76].

Однако наличие больших объемов пространственных данных становится преимуществом только тогда, когда появляются механизмы их эффективного использования. Для того чтобы управлять процессами создания, хранения, обновления и обработки пространственных данных, необходимо, прежде всего, научиться эффективно работать с метаданными -данными о пространственных данных.

При этом необходимо принимать во внимание колоссальные объемы пространственных данных, и реализовать задачи по работе с метаданными, опираясь на методики, алгоритмы и структуры данных, которые могут быть обработаны посредством ЭВМ.

Работа с метаданными пространственных данных состоит из совокупности процессов создания, сбора, накопления, обработки и публикации метаданных.

Задача осложняется тем, что на сегодняшний день не существует разработанной системы (совокупности) правил, методик, алгоритмов, позволяющих решать эти задачи в различных сферах научной, образовательной, производственной деятельности.

Вопросы формирования, ведения баз пространственных метаданных решаются в каждом ведомстве (субъекте, отрасли) уникальным образом, зачастую без учета совместимости с другими источниками метаданных и перспективы интеграции в рамках инфраструктуры пространственных данных. Количество таких разнородных и обособленных информационных ресурсов растет с каждым годом, по мере того, как увеличивается потребность в пространственных данных различного вида и масштаба [72].

Таким образом, разработка методологии создания баз пространственных метаданных является актуальной научной проблемой, решение которой позволит минимизировать потери информации, избежать дублирования работ по созданию пространственных данных и открыть новые возможности по их интеграции и совместной обработке в рамках формирования инфраструктуры пространственных данных в Российской Федерации.

Целью настоящей диссертационной работы является разработка методологии формирования, накопления и обработки пространственных метаданных в составе информационных ресурсов, образующих основу для формирования инфраструктуры пространственных данных в Российской Федерации.

Для достижения поставленной цели были сформулированы конкретные научные задачи, решаемые в процессе диссертационного исследования:

• Исследование и анализ отечественного и зарубежного опыта в сфере формирования, накопления и распространения метаданных;

• Исследование и анализ технологий работы с метаданными в различных ГИС средах;

• Разработка функциональной схемы формирования и ведения базы метаданных;

• Разработка логической структуры базы метаданных;

• Разработка алгоритмов и методики работы с базой метаданных.

Научная новизна диссертационной работы заключается в том, что на основании анализа проблемы, связанной с формированием пространственных метаданных, а также существующих методов и программных средств и обеспечивающих создание баз данных и метаданных, впервые применительно к задачам отрасли геодезии и картографии разработаны:

• логическая структура базы метаданных пространственных данных;

• организационно-функциональная схема формирования и ведения базы метаданных,

• алгоритмы формирования и ведения базы метаданных, позволяющие реализовать построение баз пространственных метаданных на основе единых принципов и методик.

Основные научные результаты работы, выносимые на защиту:

• Организационно-функциональная схема формирования и ведения базы метаданных.

• Логическая структура базы метаданных.

• Алгоритмы обработки метаданных при формировании базы метаданных и ее публикации в сети интернет.

Практическая значимость работы состоит в выработке системы научно-практических рекомендаций, типовых проектных решений, обеспечивающих эффективное решение задач сбора, накопления и распространения метаданных и позволяющих приступить к формированию информационных ресурсов - баз метаданных, предназначенных для создания инфраструктуры пространственных данных.

Результаты исследования были апробированы в научной и производственной деятельности Федеральных государственных унитарных предприятий Федеральной службы государственной регистрации, кадастра и картографии (что подтверждено актами о внедрении результатов диссертационной работы), доложены и одобрены на научно-практических конференциях, семинарах и совещаниях.

По теме диссертации опубликовано 13 работ, в том числе 6 в журналах, рекомендованных ВАК.

ГЛАВА №1. АНАЛИЗ СОСТОЯНИЯ ПРОБЛЕМЫ СБОРА, НАКОПЛЕНИЯ, ОБРАБОТКИ И РАСПРОСТРАНЕНИЯ

МЕТАДАННЫХ

1.1. Метаданные пространственных данных.

Объемы накапливаемых, обрабатываемых и используемых пространственных данных возрастают, расширяется номенклатура продукции и услуг, основанных на пространственно-привязанной информации.

Развитие рынка пространственных данных и услуг, связанных с их предоставлением пользователям, является следствием прогресса индустрии информационных технологий. Именно они сделали возможным появление новых видов пространственных данных, их обработку, анализ и применение в различных сферах деятельности.

Метаданные в процессах информационного обмена играют значительную роль: они используются при каталогизации, учете, статистической обработке и анализе данных. Именно с помощью метаданных потенциальный потребитель продукции или услуги может оценить ее пригодность для использования [14, 20].

Кроме описания метаданных, существует задача согласования различных по структуре и синтаксису метаданных. Для решения этой задачи необходимо установить определенные правила, позволяющие сформировать и представить метаданные в виде, понятном и пригодном для обработки, а также однозначно идентифицировать продукцию или услугу с необходимым и достаточным уровнем детализации.

Применение единых подходов и методик формирования метаданных, позволяет минимизировать информационные потери в процессе передаче

информации, а также открывает новые возможности по интеграции метаданных и их совместной обработке [23,24].

На сегодняшний день в вопросах унификации подходов к формированию метаданных есть значительные результаты, особенно в зарубежных странах.

Консорциумом OPENGIS, техническим комитетом ISO № 211 «Географическая информация. Геоматика», Федеральным комитетом США по географическим данным (FGDC) - этими и другими организациями разработан целый пакет нормативно-методических документов, определяющих структуру и форматы представления пространственных метаданных [19,20].

В Российской Федерации национальный стандарт «географическая информация. Метаданные» ГОСТ Р 52573-2006 введен в действие в 2006 году. Этот стандарт разработан на основе международного стандарта ISO ТС 211 №19115 «Geographic Information. Metadata» [98,105].

Производители современных геоинформационных программных продуктов (например, ESRI , Autodesk, Pitney Bowes и т.п.) предлагают встроенные в ГИС инструменты создания, обработки и использования метаданных в соответствии с существующими стандартами.

Все это делает метаданные неотъемлемой частью всего жизненного цикла пространственных данных: от их создания - до помещения в архивные фонды на постоянное хранение [20,21].

1.2. Сбор, накопление и распространение метаданных пространственных данных в Российской Федерации.

Началом работ по упорядочению пространственных данных, разработке регламентов, технологий их сбора, накопления и распространения метаданных, можно считать поручение Правительства Российской

10

Федерации от 01.09.99г. № ВЩ-П.9-28984, в котором была поставлена задача создания Государственной базы геопространственных данных.

Позднее, 08.09.2000 г., Правительство Российской Федерации утверждает «Положение о Федеральном картографо - геодезическом фонде» (ФКГФ), в котором регламентируются вопросы его создания, ведения и определяется перечень материалов и данных, включаемых в состав ФКГФ.

В целях реализации указанных правительственных документов в 2000 - 2001 гг. Федеральная служба геодезии и картографии (Роскартография) разрабатывает базу метаданных Федерального картографо-геодезического фонда.

База метаданных должна была наполняться предприятиями Роскартографии по закрепленной за ними территории, как организациями-фондодержателями ФКГФ. Централизованное формирование и ведение всей базы метаданных было поручено Центральному картографо-геодезическому фонду (ЦКГФ). За программно-техническую реализацию, внедрение и сопровождение отвечал Госгисцентр и лично автор диссертационной работы.

Понимая значимость и необходимость создания базы метаданных, Роскартографией, в качестве основных направлений работ были сформулированы:

• формирование и ведение базы метаданных о топогеодезической и картографической продукции, включенной в ФКГФ,

• осуществление централизованного учета информации о наличии, характеристиках и ценах материалов и данных ФКГФ,

• оперативное обеспечение пользователей современной и достоверной информацией о топогеодезической и картографической продукции Роскартографии;

• повышение осведомленности широких кругов потенциальных потребителей геодезической и картографической продукции и облегчение доступа к информации;

• сокращение дублирования в геодезической, фототопографической и картографической деятельности различных министерств, ведомств и их организаций;

• систематизация и унификация данных о топографо-геодезической и картографической продукции;

В результате выполнения этой работы был создан опытный образец базы метаданных ФКГФ (рис. 1.1.)., включающий в себя следующие компоненты:

• автоматизированное рабочее место для ввода метаданных (АРМ 1);

• автоматизированное рабочее место для ведения отраслевой базы метаданных (АРМ 2);.

• автоматизированное рабочее место для подготовки метаданных к публикации в сети интернет (АРМ 3).

Разбивка системы на т�