Бесплатный автореферат и диссертация по наукам о земле на тему

Компьютерная технология распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера

ВАК РФ 25.00.35, Геоинформатика

Автореферат диссертации по теме "Компьютерная технология распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера"

На правах рукописи

МАРКОВ Кирилл Николаевич

КОМПЬЮТЕРНАЯ ТЕХНОЛОГИЯ РАСПРЕДЕЛЁННОЙ ОБРАБОТКИ ГЕОИНФОРМАЦИИ В ПРИРОДОПОЛЬЗОВАНИИ НЗСОСНОВЕ МНОГОФУНКЦИОНАЛЬНОГО ГЕОИНФОРМАЦИОННОГО СЕРВЕРА

Специальность 25.00.35 - Геоинформатика

АВТОРЕФЕРАТ диссертации на соискание учёной степени кандидата технических наук

О046О2792

Москва, 2010

004602792

Работа выполнена в Государственном научном центре Российской Федерации - Всероссийском научно-исследовательском институте геологических, геофизических и геохимических систем (ВНИИгеосистем, Москва).

Научный руководитель:

Официальные оппоненты:

Черемисина Евгения Наумовна, доктор технических наук, профессор (ВНИИгеосистем, Москва)

Никитин Алексей Алексеевич, доктор физико-математических наук, профессор (РГГРУ, Москва) Веселовский Александр Владимирович, доктор технических наук, профессор (ИГЕМ РАН, Москва)

Ведущая организация:

Федеральное государственное унитарное научно-производственное предприятие «Российский федеральный геологический фонд» (ФГУНПП «Росге-олфонд», Москва)

Защита состоится 20 мая 2010 года в 14 часов на заседании диссертационного совета Д.216.011.01 при Всероссийском научно-исследовательском институте геологических, геофизических и геохимических систем в конференц-зале ВНИИгеосистем по адресу: Варшавское шоссе, дом 8, в городе Москве, М-105, Россия, 117105; телефон +7(495)954-37-28, факс +7(495)958-31-11.

С диссертацией можно ознакомиться в библиотеке ВНИИгеосистем.

Автореферат разослан 19 апреля 2010 года.

Учёный секретарь диссертационного совета, у

доктор геолош-минералогических наук ^аь-» у В. В. Муравьёв

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В современных исследованиях в области геологического изучения недр, геоэкологии и смежных областях природопользования задействованы большие массивы исходных, расчётных и результирующих данных, на основе которых решаются задачи оценки, прогноза и моделирования. Основными средствами обработки являются универсальные или специализированные географические информационные системы, а также функционирующие в их среде (либо в тесном взаимодействии с ними) пакеты прикладных программ. В подавляющем большинстве случаев указанные средства обработки функционируют на локальной персональной ЭВМ пользователя, либо реже - на более мощных вычислительных серверах.

Одновременно, в последние годы в результате бурного развития интернет-технологий, прежде всего, таких как динамическое управление интерфейсом в веб-броузере, асинхронное взаимодействие клиент-сервер, веб-службы, использование универсальных средств языка XML и его специализированных подмножеств, было создано второе поколение веб-приложений, реализующее ранее недоступные в среде интернета возможности, традиционно присущие локальным программным приложениям. Так, в области интернет-ГИС появилось большое количество отечественных и зарубежных, в том числе свободно распространяемых и с открытым кодом, программных решений, реализующих задачи по управлению визуализацией картографической информации, формированию пространственно-атрибутивных запросов и отображению их результатов, простейших пространственных измерений, ввода и редактирования данных. Уровень распространения интернет-технологий позволяет говорить об их доступности для широкого круга пользователей и наличии достаточного числа специалистов для их поддержки.

Однако, к настоящему времени практически отсутствуют программные решения, реализующие распределённую обработку пространственно привязанной геоинформации и решение на её основе в среде интернета задач в области геологического изучения недр, геоэкологии и других сферах природопользования. Актуальность работы заключается в том, что создание таких средств позволит более эффективно использовать имеющиеся вычислительные мощности, обрабатывать большие объёмы исходных, расчётных и результирующих данных, по-новому организовать рабочий процесс исследований в природопользовании.

Целью работы является разработка компьютерной технологии распределённой обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

Основные задачи работы:

1) Анализ существующих средств и подходов к распределённой обработке пространственно привязанной информации на базе геоинформационных систем.

2) Разработка программно-технологической платформы многофункционального геоинформационного сервера в среде интернета.

3) Разработка компьютерной технологии распределённой обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

4) Разработка алгоритмов и программная реализация построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов, позволяющих адекватно воспроизводить геометрический образ исходных пространственных данных и обеспечивающих контроль точности получаемых результатов.

5) Апробация разработанной компьютерной технологии распределённой обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера при создании прикладных систем.

Научная новизна:

1) Впервые разработана компьютерная технология распределённой обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера, позволяющая на единой программно-технологической платформе осуществлять решение прогнозно-диагностических задач методами пространственного моделирования, требующих оперативной обработки большого объёма разнородных пространственных данных.

2) Разработаны новые алгоритмы построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов, позволяющих адекватно воспроизводить геометрический образ исходных пространственных данных и обеспечивающих контроль точности получаемых результатов.

Практическая значимость определяется использованием разработанных программно-технологической платформы многофункционального геоинформационного сервера и на её основе компьютерной технологии распределённой обработки геоинформации в природопользовании при создании прикладных систем: информационной системы обеспечения работ по геологическому изучению недр и воспроизводству минерально-сырьевой базы, информационной системы сейсмической и буровой изученности территории Российской Федерации и её континентального шельфа, картографической информационно-поисковой системы государственного банка цифровой геологической информации, а также при решении задач гидрологического и гидрогеологического районирования территории Таиланда.

Защищаемые положения:

1) Разработанная программно-технологическая платформа многофункционального геоинформационного сервера обеспечивает создание приложений в природопользовании и представляет собой средства распределённой обработки геоинформации с динамически настраиваемым интерфейсом пользователя в среде интернета.

2) Реализованная компьютерная технология распределённой обработки геоинформации в природопользовании обеспечивает основные этапы пространственного моделирования объектов/процессов/ситуаций: формирование модели,

наполнение её данными на исследуемую территорию, расчёт факторов и целевой функции, анализ и интерпретацию результатов.

3) Разработанные алгоритмы построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов позволяют воспроизводить геометрический образ исходных пространственных данных, обеспечивая заданную точность получаемых результатов.

Реализация и апробация работы.

Основные результаты работы докладывались на XXIII, XXIV и XXV Международных конференциях «Математика. Компьютер. Образование» (Дубна-Пущино, 2006, 2007 и 2008), рабочем семинаре «Проблемы организации решения задач в области наук о Земле в распределённой среде: распределение данных, вычислений, использование сервисов» (ГГМ РАН, 2007), научно-практической конференции молодых учёных и специалистов (ВИМС, 2008), отраслевых семинарах «Информационные технологии при производстве геологоразведочных работ» (ВНИИгеосистем, 2007 и 2009), XXII Международном симпозиуме по электронике в ядерных исследованиях и распределённым вычислениям (Варна, 2009).

Публикации и личный вклад в решение проблемы.

Диссертация основана на теоретических, методических и экспериментальных исследованиях, выполненных автором в 2003-2010 годах.

Основные теоретические, методические и технологические результаты получены непосредственно автором. По результатам выполненных исследований опубликовано 7 печатных работ, в том числе 4 статьи в журналах, рекомендованных ВАК для публикации результатов кандидатских и докторских диссертаций.

Объём и структура работы.

Диссертация состоит из введения, четырёх глав, заключения, списка литературы и содержит 105 страниц текста, включая 35 иллюстраций. Список литературы содержит 84 наименования.

Автор выражает глубокую признательность научному руководителю Е. Н. Черемисиной, научному консультанту П. Д. Ширкову, благодарит А. В. Любимову, М. Г. Суханова и М. Я. Финкелынтейна за ценные советы при обсуждении работы, А. А. Блискавицкого, К. В. Деева, В. А. Спиридонова, Е. Р. Толмачёву, Е. М. Юона и других участников совместных исследований, а также В. С. Ваксина и С. С. Трусова за помощь в оформлении материалов.

СОДЕРЖАНИЕ РАБОТЫ

Глава 1. Анализ существующих средств и подходов к распределённой обработке пространственно привязанной информации на базе геоинформационных систем

В первом разделе анализируются современные тенденции развития вычислительной техники, телекоммуникаций и программного обеспечения и их влияние на подходы к созданию распределённых геоинформационных систем и распределённой обработке пространственно привязанной информации для задач природопользования в среде Интернета.

В ходе своего развития к концу первого десятилетия XXI века традиционные ГИС вступили в завершающую стадию, когда большинство их функций, обеспечивающих сбор, хранение, визуализацию и обработку пространственных данных были, наконец, реализованы, объединены в универсальные (ArcGIS, Maplnfo, AutoCAD Map, Bentley Map, Intergraph, ГИС «Карта» и другие), либо специализированные (в области недропользования - Schlumberger GeoFrame, Halliburton Open Works, ГИС INTEGRO и другие) пакеты прикладных программ, покрывая большинство потребностей пользователей. Уровень производительности современной вычислительной техники (основная аппаратная база современных ГИС -персональные компьютеры), пропускная способность телекоммуникаций (локальных и глобальных вычислительных сетей - Интернета), специализированные возможности программного обеспечения (размещение пространственных данных в СУБД, разделение доступа, многопользовательский режим работы) позволил обрабатывать всё большие объёмы данных.

В последние годы для большинства вышеперечисленных ГИС стало обязательным наличие подсистем, работающих по протоколам интернета. Причём если вначале реализовывались лишь простейшая картографическая визуализация и некоторые информационно-справочные функции, то последние разработки (ArcGIS Server) предполагают перенос в режим удалённого распределённого доступа и многих функций ввода и обработки геоинформации.

Особую тенденцию в развитии современного программного обеспечения, не исключая и сферу распределённых ГИС, формируют свободно распространяемые программные продукты и продукты с открытым кодом (FOSS - free and open source software). Они представляют при разработке последующих программных пакетов такие преимущества, как повторное использование и интеграцию ранее созданных модулей, распределение процесса создания систем между несколькими разработчиками, оперативную доработку выявленных ошибок в программном обеспечении.

Во втором разделе рассматриваются существующие свободно распространяемые интернет-ГИС, их структура, функциональность и т.д. в применении к задачам данной работы. Выделяются основные преимущества и особенности каждой из них.

Наиболее современными свободно распространяемыми пакетами для разработки интернет-ГИС представляются рассмотренные в обзоре пакеты р.шаррег, OpenLayers, MapFish, KvwMap. Все они предоставляют не только возможности картографической визуализации и базовые информационно-справочные функции, но и дополнительные инструменты для ввода пространственных данных, а также подключения дополнительных модулей расширения. Все указанные программные средства построены по технологии AJAX (asynchronous JavaScript and XML) и используют в серверной части высокопроизводительные картографические сервера типа MapServer и GeoServer, а в клиентской части - либо стандартные средства веб-броузеров, либо работающие под их управлением модули расширения Java и Flash.

Однако непосредственное использование этих пакетов для построения компьютерной технологии распределённой обработки пространственно привязанной геоинформации для задач природопользования не представляется возможным вследствие их ориентированности исключительно на картографический интерфейс, отсутствия в них многих необходимых функций, относительной замкнутости групп разработчиков и, как следствие, длительного цикла разработки. Более предпочтительным представляется использование наиболее перспективных подходов и особенностей, а также базовых библиотек, в собственных программных средствах, наиболее приближенных к требованиям отрасли.

В третьем разделе на основе обзора существующих систем пространственного анализа и моделирования делается вывод, во-первых, о возможности переноса существующих функциональных возможностей в среду интернет-ГИС и, во-вторых, о необходимости дополнительного включения в разрабатываемую технологию специализированных алгоритмов обработки информации.

Среди свободно распространяемого программного обеспечения обработки пространственно привязанной информации рассматриваются пакеты GRASS, SAGA, SavGIS, а также ГИС INTEGRO, разработанная во ВНИИгеосистем. Основные решаемые ими задачи лежат в области геометрической обработки пространственной информации (векторной, растровой, пересчёты вектор-растр), обработки данных дистанционного зондирования, построение моделей рельефа, решения гидрологических и геоморфологических задач.

Эти пакеты являются локально работающими программными системами, ориентированными на обработку пространственных данных. Средства построения иерархических моделей природных ситуаций, а также последовательности их расчётов в них отсутствуют.

Напротив, создаваемая компьютерная технология распределённой обработки геоинформации в природопользовании, функционирующая в распределённой вычислительной среде, позволит получить дополнительные преимущества при обработке больших объёмов пространственной информации.

В четвёртом разделе проводится обзор математических методов приближения поверхностей.

На практике многие кривые и поверхности имеют довольно сложную форму, не допускающую универсального аналитического задания в целом при помощи элементарных функций. Поэтому их собирают из сравнительно простых гладких фрагментов кривых или поверхностей, каждый из которых может быть вполне удовлетворительно представлен в виде элементарной функции одной или двух переменных.

Для того, чтобы получающаяся в результате составная кривая или поверхность была достаточно гладкой, естественно потребовать, от гладких функций, графики которых используются при построении частичных кривых или поверхностей, иметь подходящую структуру, например, быть многочленами одинаковой степени. Получающиеся при этом гладкие кусочно-многочленные функции с однородной структурой называются сплайн функциями или сплайнами.

В теории численных методов рассматривают задачи интерполяции и сглаживания, когда требуется построить тот или иной сплайн по заданному массиву точек.

Чаще всего на практике используются:

1) В-сплайны, позволяющие генерировать кривые произвольного вида;

2) рациональные сплайны и NURBS-кривые (NURBS - non-uniform rational B-spline), представляющие большую степень контроля над формой кривой, в результате чего являются сложнее, чем В-сплайны, однако они включают их как частный случай и способны в точности представлять конические сечения;

3) функции радиального вида (RBF - radial based functions) по сравнению со сплайнами инвариантен относительно структуры входных данных и были специально разработаны для сглаживания и восстановления данных, заданных на нерегулярных сетках.

Первые два подхода являются интерполяционными и используют регулярные сетки. Метод RBF применяется как на регулярных, так и на нерегулярных сетках и является сглаживающим сплайном. К его особенностям относится то, что строгий вид задания функции не существует и пользователь должен её «угадать».

Традиционно сглаживающие сплайны строят расщеплением по направлениям, то есть сводя задачу к серии одномерных. Адаптация таких алгоритмов для работы на неравномерных сетках с нерегулярными данными является очень трудоёмкой, а иногда неосуществимой вовсе. Таким образом, задача построения сглаживающего сплайна для неравномерных сеток с нерегулярными данными до сих пор является актуальной, так как на данный момент в различных областях возникает потребность сглаживания поверхностей, когда описывающие их данные задаются на неравномерных сетках с определённой погрешностью.

В заключении первой главы делается вывод о том, что рассмотренные геоинформационные системы не в полной мере обеспечивают разработку компьютерной технологии распределённой обработки геоинформации в природопользовании по причине отсутствия необходимой функциональности, а также наличия только локально выполняемых вычислительных модулей. Однако, их элементы

могут быть частично использованы для разработки программно-технологической платформы, удовлетворяющей требованиям, которые будут сформулированы далее в работе.

Глава 2. Разработка программно-технологической платформы многофункционального геоинформационного сервера в среде интернета

В первом разделе на основе проведённого в первой главе анализа существующих средств и подходов к распределённой обработке пространственно привязанной информации на базе геоинформационных систем формулируются требования, которым должна удовлетворять разработанная технология. Они включают:

1) Компьютерная технология обработки пространственно привязанной геоинформации должна обеспечивать распределённое функционирование в среде интернета, распределение вычислительной нагрузки, удалённое управление запуском и выполнением задач, совместный доступ к большим объёмам данных и возможность интеграции внешних информационных ресурсов.

2) Система распределённой обработки пространственно привязанной геоинформации должна представлять единую программную платформу, построенную по модульному принципу на базе интернет-ГИС, в целях взаимоиспользования функциональных возможностей всех модулей и их конфигурацию для построения конечных приложений различного назначения.

3) Широкий спектр применения разрабатываемой технологии в различных задачах природопользования должен обеспечиваться большим набором вычислительных модулей, выполненных в виде единых пакетов прикладных программ как для локальной, так и для интернет-версии ГИС, включая разработку ранее не реализованных алгоритмов.

4) Алгоритмы преобразования пространственно привязанной информации в составе разрабатываемой технологии должны обеспечивать пересчёт данных, полученных по неравномерной сети, в регулярное растровое представление.

5) Интерфейс пользователя должен предоставлять понятные и удобные предметному специалисту возможности управления процессом обработки, визуализации пространственно привязанных геоданных, обеспечивая при этом доступ ко всем возможностям системы. Интерфейс пользователя должен основываться на стандартных программных средствах (веб-броузера) без использования дополнительных программных расширений в целях упрощения поддержки рабочих мест системы.

Для удовлетворения сформулированных требований и создания на их основе компьютерной технологии обработки пространственно привязанной геоинформации необходим соответствующий инструментарий её разработки. Поскольку, как следует из проведённого обзора, существующие программные средства ГИС не обеспечивают в полной мере требуемой функциональности и единства систе-

мы, автором была разработана программно-технологическая платформа многофункционального геоинформационного сервера MGS-Framework.

Во втором разделе описывается архитектура программно-технологической платформы многофункционального геоинформационного сервера MGS-Framework, состоящая из набора подсистем выделяемых по функциональному назначению.

Приводится описание основных подсистем, входящих в состав MGS-Framework (рис. 2.1), перечень которых обусловлен как сформулированными выше, так и современными общесистемными требованиями:

— Подсистема объектно-ориентированного разграничения и управления доступом (ОРУД) - неотъемлемая часть любой распределённой системы. Она позволяет централизованно управлять доступом к распределённым ресурсам на основе прав пользователя и вести аудит. Права пользователя к каждому объекту определяется проверкой списков прав доступа.

— Подсистема пространственных метаданных (метабаза), которая обеспечивает сбор, хранение, каталогизацию и централизованное управление данными на основе международных стандартах ИСО 19115 «Географическая информация. Метаданные» и ИСО 19139 «Географическая информация. Метаданные. Схема реализации на языке XML».

— Подсистема единых справочников, классификаторов и кодификаторов (ЕСКК), обеспечивающая взаимоувязку геоинформации из различных источников, унификацию механизмов поиска и визуализации данных в системе. Данная подсистема также включает в себя унифицированную полимасштабную цифровую картографическую основу, обеспечивающую единство пространственной привязки геоданных.

-Подсистема Интернет-ГИС, которая обеспечивает функциональность настольных ГИС в среде интернет. Её преимуществом является отсутствие специализированного дорогостоящего программного обеспечения на рабочем месте конечного пользователя. Для её работы достаточно стандартного веб-броузера, присутствующего в каждой современной операционной системе.

-Подсистема пространственного моделирования, которая позволяет формировать банк моделей обьекгов/процессов/ситуаций, осуществлять привязку к ним исходных данных и их обработку, а также представлять полученные результаты средствами Интернет-ГИС.

-Подсистема распределённых вычислений, которая позволяет производить запуск, получать информацию о состоянии любой запущенной задачи и осуществлять контроль их выполнения, а также включает набор вычислительных модулей обработки пространственно привязанных данных.

Платформа MGS-Framework

Рабочие места

>

Рис. 2.1. Архитектура многофункционального геоинформационного сервера

в среде интернета.

Под распределёнными вычислениями в рамках данной работы понимается возможность запуска и управления вычислительными модулями на различных серверах, объединённых в вычислительную сеть и имеющих совместный доступ к большим объёмам данных, также размещённым на различных серверах. Это позволит осуществить распределение вычислительной нагрузки в целях повышения производительности систем, использующих разрабатываемую технологию.

Все обращения к подсистемам должны осуществляться через диспетчер запросов, который обеспечивает единую точку входа в систему, что позволяет полностью скрыть особенности внутренне реализации подсистем. Шаблоны проектирования (design patterns) позволяют разработать правильную масштабируемую архитектуру программно-технологической платформы, минимизируя при этом затраты на модификацию, что сокращает сроки разработки и сопровождения системы.

Рабочие места пользователей выполняются на основе стандартных веб-броузеров, не требуя установки дополнительного программного обеспечения, что позволит упростить их поддержку.

В третьем разделе даётся описание единой структуры, разработанной для всех подсистем программно-технологической платформы MGS-Framework, которая включает: ядро подсистемы, обеспечивающее её интеграцию в единую программную среду платформы; динамически встраиваемые модули, реализующие специфическую функциональность подсистемы; набор элементов для построения интерфейса пользователя.

Построение программно-технологической платформы на основе веб-служб обладает высокой степенью автономности, широкими возможностями повторно-

Подсистема пространственного -моделирования

Подсистема распределенных вычислений

СО О О

о о. tr го

со

а. а; т

¡5 с о

S <=£

го использования и позволяет объединить различные подсистемы, работающие друг от друга независимо. Веб-службы основаны на передаче текстовых XML- 1 сообщений, что даёт преимущества при работе через межсетевые экраны и упрощает механизмы обработки запросов. Протокол SOAP (simple object access protocol) предоставляет простой механизм для обмена структурированной и ти- 1 пизированной информацией в распределённой системе и предназначен для передачи сообщений и удалённых вызовов процедур. I

В работе рассмотрены все подсистемы программно-технологической платформы. В качестве примера подробно автором рассматривается подсистема распределённых вычислений (рис. 2.2).

Элементы интерфейса пользователя Серверы

Рис. 2.2. Структура подсистемы распределённых вычислений.

Модуль управления заданиями предназначен для запуска и управления состоянием выполнения задач в распределённой вычислительной среде. Она позволяет получать информацию о состоянии любой запущенной задачи и осуществлять контроль их выполнения. В отличие от локальной вычислительной системы, распределённая подсистема вычислений, основанная на веб-службах, может быть установлена на нескольких узлах вычислительной сети, и функционировать независимо от системы пространственного моделирования, благодаря чему появляется возможность использовать территориально удалённые вычислительные ресурсы.

Выполнение вычислительных модулей инициируется передачей XML-сообщения модулю управления заданиями. Структура XML-сообщения описывается специально разработанной XML-схемой (XML schema), которая даёт возможность проверить параметры задачи на наличие несоответствий на этапе запуска, что гарантирует исключение ошибок при её выполнении.

Элементы интерфейса пользователя реализуются на основе шаблонов оформления, позволяющих отделить логику от внешнего вида приложения, а также локализацию пользовательского интерфейса на разных языках.

В четвёртом разделе описывается программная реализация программно-технологической платформы многофункционального геоинформационного сервера.

Применение технологии «клиент-сервер» при построении платформы MGS-Framework позволяет создавать масштабируемую систему с повышенной надёжностью, достигаемой за счёт дублирования элементов системы и повышения производительности аппаратного обеспечения, например, использование кластерных технологий.

Серверная часть выполнена на языках программирования PHP (hypertext preprocessor) и С++. Клиентская часть реализована на языке программирования сценариев веб-броузера JavaScript. Связь клиента и сервера осуществляется посредством технологии асинхронных взаимодействий AJAX (asynchronous JavaScript and XML). Выбор технологии AJAX в первую очередь обусловлен снижением нагрузки на сервер и ускорением реакции интерфейса, так как обмен данными между клиентом и сервером осуществляется в асинхронном режиме, в результате чего при получении новых данных от сервера не происходит перезагрузка всего веб-приложения, что является одним из основных требований к реализации современных интернет-систем.

При асинхронных взаимодействиях данные, возвращаемые сервером, можно разделить на три типа:

1) XHTML (extensible hypertext markup language) - статический документ, содержащий элементы форматирования.

2) XML (extensible markup language) - структурированные данные, обрабатываемые на стороне клиента.

3) JSON (JavaScript object notation) - программный код, содержащий обновление элементов интерфейса пользователя.

Элементы интерфейса пользователя реализованы в виде набора динамически встраиваемых модулей (plug-in), что даёт возможность эффективно настраивать интерфейс под решение конкретных задач, а также активизировать его элементы в соответствие с осуществляемыми действиями пользователя. Ещё одно преимущество применения такого подхода при построении платформы -сокращение объёма данных, подгружаемых в веб-броузер, что ведёт к сокращению объёма трафика и времени загрузки приложения, и является основным требованием при разработке современных веб-приложений.

При загрузке модуль встраивается в единую программную среду платформы и устанавливает набор функций обработчиков событий, которые выполняют обновление данных и элементов интерфейса пользователя как результат асинхронного взаимодействия «клиент-сервер».

Таким образом, из выше изложенного вытекает первое защищаемое положение: разработанная программно-технологическая платформа многофункционального геоинформационного сервера обеспечивает создание приложе-

ний в природопользовании и представляет собой средства распределённой обработки геоинформации с динамически настраиваемым интерфейсом пользователя в среде интернета. Глава 3. Разработка компьютерной технологии распределённой обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера

В первом разделе рассматриваются основные понятия и функциональная схема компьютерной технологии распределённой обработки геоинформации на основе многофункционального геоинформационного сервера. Технология ориентирована на решение прогнозно-диагностических задач методами пространственного моделирования. Сферами применения технологии являются экологические исследования, оценка и прогноз ситуации в ходе планирования освоения и разработки природных ресурсов региона, прогноз полезных ископаемых и пр.

В основу подхода положена общая схема постановки и решения задачи, включающая формулирование модели анализируемых объектов/процессов/ситуаций, её формализацию и получение целевой функции как интегральной оценки формальных пространственных характеристик входящих в неё факторов. При описании природных и техногенных процессов, а также их взаимосвязей, реализация данной технологии требует оперативной обработки большого объёма разнородных пространственных данных.

В рамках данного подхода приняты следующие определения:

Модель - иерархическая структура, включающая в себя целевую функцию и набор факторов, которые в свою очередь могут являться подцелями для нижележащих уровней. Абстрактная модель строится для анализируемого объекта/процесса/ситуации исходя из общих представлений о его природе, после чего может быть выполнена её реализация путём привязки конкретных исходных данных на различные исследуемые территории.

Целевая функция - искомая оценка модели, получаемая с помощью применения последовательности заданных шагов обработки к набору исходных факторов, являющемуся совокупностью подлежащих подцелей.

Шаг обработки - вычислительный метод с заданными параметрами, применяемый к набору факторов.

Целевые градации - ранговая шкала, используемая для интерпретации и субъективной оценки исходных значений и полученных результатов обработки.

Фактор - формальная характеристика пространственного проявления анализируемого процесса или явления, участвующая в процессе расчёта модели.

Исходные данные - картографическая информация, используемая для расчёта факторов модели.

Основными технологическими этапами, реализуемыми в данной технологии, являются:

1) Формирование прототипа - абстрактной модели, которая описывает анализируемую сшуацию в соответствии с авторскими модельными представлениями. Разработанные абстрактные модели должны сохраняться в банке

моделей и могут быть использованы при реализации следующих проектов по другим территориям.

2) Наполнение модели - создание её реализации на исследуемую территорию. Наполнение модели подразумевает привязку каждого её фактора к конкретному источнику данных, который будет использован для его расчёта. При этом все исходные данные и результаты обработки модели оформляются в форме ГИС-проекта, управление визуализацией должно быть доступно непосредственно из среды Интернет-ГИС.

3) Расчёт модели - вычисление всех узлов модели согласно заданным в абстрактной модели функциональным зависимостям. Для расчёта факторов по исходным данным необходимо предусмотреть широкий спектр функций пространственного анализа. Расчёт целевой функции модели производится путём последовательного получения интегральных оценок факторов в каждой группе.

4) Анализ и интерпретация результатов - переход от рассчитанных количественных значений к терминологии предметной области. Наиболее распространённый приём интерпретации - использование систем ранговых градаций. Для этого необходим удобный интерфейс, обеспечивающий задание соответствий между исходными значениями (или их интервалами) и целевыми градациями и позволяющий производить пересчёт «на лету». Это даст возможность проводить оперативную интерпретацию полученных результатов моделирования в зависимости от субъективных представлений автора, а также упрощает проведение повторной обработки модели при изменении модельных представлений или нормативов, определяющих расчёт её факторов. После уточнения модели по результатам первого (предварительного) расчёта, её обработка может выполняться уже автоматически, при этом целевая функция рассчитывается напрямую, без «пошагового» обхода всех узлов модели. Это обеспечивает динамическую оценку и прогноз развития анализируемой ситуации при изменении значений исходных факторов.

Во втором разделе описывается программная реализация компьютерной технологии распределённой обработки геоинформации выполнена в виде блоков интерфейсов пользователя на основе базовых структур данных и функциональных возможностей программно-технологической платформы ¡УЮ5-Ргате\У0гк.

Интерфейс пользователя (рис. 3.1) выполнен в виде набора следующих динамически встраиваемых блоков:

- Поддержка каталога моделей - позволяет вести список созданных моделей, которые могут быть объединены в иерархический перечень, а также осуществлять просмотр, редактирование и перемещение моделей в нем (1).

-Создание, просмотр и редактирование абстрактной модели - отвечает за формирование иерархического дерева модели, задание системы целевых градаций и методов пересчёта (2).

- Создание, просмотр и редактирование реализации модели на исследуемую территорию - позволяет производить наполнение абстрактной модели исходны-

ми данными и производить корректировку параметров модели к конкретным условиям (3).

- Расчёт факторов модели - позволяет осуществлять запуск и контроль за выполнением задач в пошаговом или пакетном режиме (4).

-Навигация по дереву модели - наглядное представление модели, позволяющее осуществлять переход от выбранного фактора к другим блокам интерфейса (редактирования, расчётов, визуализации) (5).

- Визуализация в Интернет-ГИС - служит для отображения результатов, исходных данных, рассчитанных факторов и интегральных оценок, полученных в ходе моделирования (6).

Основные программные структуры и типы данных, аналитический аппарат и элементы интерфейса пользователя (управляющие и информационные панели, кнопки инструментов и т. п.) предоставляются подсистемами программно-технологической платформы ]УЮ8-Ргате\¥огк.

Подсистема объектно-ориентированного разграничения и управления доступом (ОРУД) позволяет реализовать различные режимы доступа пользователей к технологии, например, редактирование моделей - экспертами, расчёт факторов и привязка данных - операторами, просмотр модели и визуализация результатов -всем авторизованным пользователям.

ИНТЕРНЕТ-ГИС

Нзод

БАНК МОДЕЛЕЙ

ЗАПУСК ЗАДАЧИ <Д>

ШАГ 1

пасамети 1 1 1

параметр 2 1_ 1

ШАГ 2

параметр 1 I 1

РЕДАКТОР МОДЕЛИ ©©

ШИШ

□ ЦЕЛЕВЫЕ ' ГРАДАЦИИ

1 1

СТРУКТУРА МОДЕЛИ ©

1=

\=

Рис. 3.1. Интерфейс пользователя компьютерной технологии распределённой обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

Подсистема пространственных метаданных обеспечивает хранение структуры модели в расширенном международном стандарте ИСО 19139, а также привязку исходных данных, каталогизированных в метабазе.

Подсистема пространственного моделирования предоставляет возможности создания моделей объектов/процессов/ситуаций, их наполнения и обработки при проведении исследований по конкретной территории.

Подсистема Интернет-ГИС позволяет визуализировать исходные данные и полученные результаты, включая возможность интерактивного выбора весов факторов и целевых градаций.

Подсистема распределённых вычислений предоставляет набор вычислительных модулей (таблица 3.1), средства контроля входных параметров, запуска и контроля за выполнением задач. Исходные данные в системе могут быть представлены в векторном или растровом формате.

Таблица 3.1.

Вычислительные модули, используемые в технологии распределённой обработки геоинформации в природопользовании.

Группы алгоритмов Основные функции

Обработка векторных данных Изменение типа геометрии Вычисление геометрических атрибутов Построение геометрических объектов Пространственные операции Проверка геометрической корректности Генерация координатных сеток Координатные преобразования

Пересчёт векторных данных в растровые Базовые пересчёты Продвинутые пересчёты Пересчёты в скользящем окне Интерполяция

Пересчёт растровых данных в векторные Построение изолиний Построение областей

Пересчёт неравномерной сети в растровые данные Построение сглаживающих сплайнов для неравномерных сеток

Обработка растровых данных Растровые калькуляции Расчёт параметров Разбиение на классы Изменение масштаба значений Заполнение пропусков Преобразование геометрии Обработка в скользящем окне Вычисления по нескольким слоям

Группы алгоритмов Основные функции

Тематическая обработка Кластерный анализ

Отсюда вытекает второе защищаемое положение: реализованная компьютерная технология распределённой обработки геоинформации в природопользовании обеспечивает основные этапы пространственного моделирования объектов/процессов/ситуаций: формирование модели, наполнение её данными на исследуемую территорию, расчёт факторов и целевой функции, анализ и интерпретацию результатов.

В третьем разделе рассматриваются трёхмерные двухпараметрические сплайны на неравномерных сетках, используемые в пространственном анализе и моделировании для нерегулярных данных. Приводится постановка задачи построения сглаживающего сплайна для функций многих переменных.

Задача сглаживания функций в случае двух переменных рассматривается как задача минимизации составного функционала, учитывающего «скачки» (разрывы) вторых производных вдоль линий сетки и отклонения сплайна от табличных значений внутри ячеек при условии непрерывности сплайна и его производных по обоим направлениям:

п—2 и-2 Щ.1 . ^

Ф(С) = Фх (С)+XII р.ъ Wi*' ^' с>J C>J) - ^ Г =>min (3 •1 >

1=0 j=0 к=1

где г'к 1 - одна из компонент исходных экспериментальных данных в ячейке с индексом {},]), k=\,...,mip тц - количество экспериментальных данных в этой ячейке, C[J,..., С'/ — коэффициенты сплайна, s зависит от вида искомой функции

(в нашем случае - это биквадратный и бикубический параметрический сплайн), а р„ qj > 0 - заданные веса. Чем меньше значение коэффициентов р„ qh тем

ближе к заданньм табличным значениям г/7 проходит функция,

оптимизирующая функционал (3.1).

В формуле (3.1) в дополнительном слагаемом ФХ{С) будут учитываться разрывы вторых производных сплайна вдоль границы ячеек и регуляризация (в том случае, когда при решении задачи оптимизации использовались методы линейной алгебры), необходимая для повышения надёжности вычислительных алгоритмов.

Приводятся методы контроля точности полученных результатов, основанные на двух нормах.

1 ^г

(3.2)

Эта норма получена путём усреднения среднеквадратичных отклонений в каждой ячейке.

Вторая норма является традиционной:

В формулах (3.2) и (3.3) п - количество узлов сетки, - количество экспериментальных данных в ячейке с индексом (г,/).

В результате тестирования разработанных алгоритмов было выявлено, что там, где наблюдается сгущение экспериментальных данных или имеются резкие перепады значений приближаемых величин, сетка должна быть подробной, иначе точность вычислений будет плохой. А на тех участках сети, где данных мало или приближаемые значения меняются плавно, хорошую точность может обеспечить и крупный шаг. Мелкий шаг при этом не выгоден, так как он приводит к сильному увеличению вычислительных затрат. Таким образом, из сетки целесообразно выделять такие области, по каждой из них построить свой сглаживающий сплайн, которые затем гладко «сшить» на общей границе.

Неравномерная сетка, удачно подобранная для определённого набора исходных данных, позволяет избежать лишних узлов, снизить объем вычислений коэффициентов приближающей функции и объёма памяти и произвести вычисления с хорошей точностью. Разумеется, для другого набора исходных данных эта сетка может быть малопригодной. Для каждого набора экспериментальных данных должен производиться индивидуальный подбор сетки.

Сетки сравнительно не эффективны, если данные расположены неравномерно - плотно в одних частях и редко в других. В таких случаях выбор размера ячейки регулярной сети не может гарантировать эффективного использования вычислительных ресурсов.

У-0..Л-2

(3.3)

Рис. 3.2. Работа алгоритма в полуавтоматическом (а) и автоматическом (б) режиме.

В результате чего было разработано два алгоритма (полуавтоматический (рисунок 3.2а) и автоматический (рисунок 3.26)) разбиения исходной области на подобласти, в которых структура сетки определяется характером расположения данных. В автоматическом режиме алгоритм сам создаёт результирующее разбиение, а в полуавтоматическом - пользователю предлагается вручную выделить область на сетке, после чего в автоматическом режиме алгоритм сделает корректировки границ полученного разбиения.

В четвёртом разделе описывается программная реализация биквадратного и бикубического сглаживающего параметрического сплайна на языке программирования С++, а также интеграция с математической средой Maple. Также произведена отладка алгоритмов, разработаны методы контроля точности и алгоритмы получения составных сеток.

Алгоритмы сглаживания реализованы на языке программирования С++ в виде динамически загружаемой библиотеки (DLL - dynamic-link library), что даёт возможность использовать алгоритмы не только в задачах пространственного моделирования, но и в других областях, где данные приходится приближать аналитическими зависимостями. Разработанные алгоритмы позволяют работать с составными неравномерными сетками с нерегулярными данными и легко обобщаются на сплайны более высокого порядка.

Задача построения сглаживающего сплайна функции двух переменных сводится к задаче минимизации функционала (3.1), где структура второго слагаемого зависит от количества экспериментальных данных т,:Р приходящихся на одну ячейку сплайна. Для аналитического дифференцирования и математических преобразований использовалась среда Maple, взаимодействие с которой осуществлялась двумя различными способами.

Первый способ основан на запуске среды Maple как отдельного дочернего процесса и связи с ним через анонимные каналы (pipes). В данном случае создаётся два канала: первый для перенаправления стандартного потока вывода (stdout) приложения на С++ на стандартный поток ввода (stdin) среды Maple, второй - stdout среды Maple на stdin приложения на С++. По этим каналам из приложения на С++ передаются математические выражения, a Maple возвращает проинтегрированный и упрощённый результат. Второй способ основан на технологии OpenMaple, которая позволяет подключить внешние библиотеки среды Maple в разрабатываемый код. Первый способ является наиболее гибким, так как позволяет взамен среды Maple использовать любой другой подходящий продукт, а так же появляется возможность одновременно запустить кесколько экземпляров Maple для реализации параллельных вычислений. Недостатками первого способа является:

1) необходимость синхронизации процессов между собой;

2) проблемы, связанные с переносимостью библиотеки, которые возникают вследствие того, что системные вызовы, отвечающие за механизмы синхронизации, межпроцессной связи, запуска и управления процессами в различных операционных системах разные;

3) необходимость постоянного контроля над внутренним буфером каналов, когда идёт работа с длинными математическими выражениями;

4) производительность, связанная с накладными расходами, возникающими на этапе пересылки и получения результата.

Ограничения, связанные с использованием второго метода являются:

1) невозможность перехода на другие математические среды, так как не все продукты поддерживают механизмы интеграции;

2) проблемы, возникающие на этапе распараллеливания, связанные с невозможностью использования одного и того же экземпляра встроенного приложения в нескольких потоках.

Отсюда формулируется третье защищаемое положение: разработанные алгоритмы построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов позволяют воспроизводить геометрический образ исходных пространственных данных, обеспечивая заданную точность получаемых результатов.

Глава 4. Практическое применение разработанной технологии распределённой обработки пространственно привязанной геоинформации в природопользовании

В первом разделе приводятся примеры использования программно-технологической платформы MGS-Framework для построения отраслевых распределённых информационных систем в области геологического изучения недр.

Информационные системы, разработанные на основе программно-технологической платформы MGS-Framework, включают подсистемы объектно-

ориентированного разграничения и управления доступом, метабазы пространственных данных, Интернет-ГИС и другие.

1) Информационная система обеспечения работ по геологическому изучению недр и воспроизводству минерально-сырьевой базы (СОБР Роснедра) введена в эксплуатацию в 2009 году, в настоящее время ведётся сопровождение, развитие и актуализация данных системы. В систему были интегрированы государственные информационные ресурсы отрасли, ведение которых осуществляется подведомственными организациями - в различных местах, различных режимах сбора и обновления данных и т.п. В результате была создана метабаза информационных ресурсов Роснедра, унифицированная полимасштабная цифровая картографическая основа и унифицированная интернет-ГИС в области геологического изучения недр и воспроизводства минерально-сырьевой базы (рис. 4.1).

Программное обеспечение СОБР Роснедра включает подсистемы объектно-ориентированного разграничения и управления доступом, метабазы пространственных данных, Интернет-ГИС. Подсистема распределённой обработки пространственно привязанной геоинформации используется для решения задач поиска разнородных метаданных по объектам недропользования, выявления лицензионных нарушений (пересечения границ участков).

Рис. 4.1. Структура СОБР Роснедра.

2) Информационная система по сейсмической и буровой изученности Российской Федерации и её континентального шельфа, созданная по заказу Роснедра в 2009 году. Основным наполнением системы служат предоставленные Росге-олфондом данные картотеки изученности по заявленным видам работ. Произведено наполнение метабазы системы соответствующей метаинформацией, отработан механизм динамической связи объектов системы с данными из картотеки

изученности на основе подсистемы удалённого доступа, интегрированной с Ин-тернет-ГИС.

На конец 2009 года указанная информация покрывает территорию Восточной Сибири и Дальнего Востока, продолжаются работы по её сбору, обработке и представлению на всю территорию Российской Федерации.

Преимущества использования разработанной платформы М08-Ргате\уогк для создания данных распределённых информационных систем заключаются в том, что он позволяет создавать и наращивать функциональность системы на основе уже созданных модулей и внешних систем при условии осуществления единого поиска по всем информационным ресурсам.

Во втором разделе рассматривается применение разработанной технологии распределённой обработки пространственно привязанной геоинформации в различных задачах природопользования.

С использованием разработанной технологии были реализованы основные этапы решения задач, включающие формирование модели, наполнение её данными на исследуемую территорию, расчёт факторов и целевой функции, анализ и интерпретацию результатов.

1) Решение задачи гидрологического и гидрогеологического районирования территории Таиланда на основе прогнозирования чрезмерно засушливых, либо, наоборот, подверженных наводнениям территорий на основе анализа комплекса природных факторов, включавших строение рельефа, особенности растительного покрова, многолетние метеорологические данные. Данная модель была представлена на учебном семинаре по управлению водными ресурсами, проведённом в Бангкоке в конце 2009 года, в учебном центре национального агентства по геоинформатике и космическим исследованиям Таиланда.

Разработанная компьютерная технология распределённой обработки пространственно привязанной геоинформации и созданные на её основе программно-технологические средства использованы для построения иерархической модели комплекса природных факторов, её наполнения первичной геоинформацией, расчёта критериальных признаков и целевой функции модели. Были получены следующие значимые результаты: выделены участки территории, наиболее вероятно подверженные засухе, либо наводнениям. Результаты прогноза были обсуждены с местньми специалистами, что в целом подтвердило правильность выбранных подходов и эффективность задействованных средств распределённой обработки пространственно привязанной геоинформации для задач природопользования в среде интернета.

2) Оценка вариантов освоения газового месторождения Западной Сибири на основе геоэкологической модели территории. Цель исследований состояла в анализе комплекса природных и техногенных факторов, определяющих современное состояние природных экосистем для оценки благоприятности сложившейся геоэкологической ситуации для дальнейшего развития газового промысла.

Модель включала две группы факторов: природные условия, характеризующие сложность природных условий для освоения месторождения, и техногенные

факторы, определяющие интенсивность нагрузки на экосистемы. Расчёт позволил выделить территории с наиболее неустойчивыми экосистемами и спрогнозировать изменение в их состоянии с учётом проектируемых объектов газового промысла (транспортной сети и новых скважин).

В обеих задачах большинство исходных данных были получены по сильно неравномерной сети наблюдений гидрометеорологических и геоэкологических параметров. Поэтому вместо обычно применяемых методов интерполяции для расчета факторов моделей применялись разработанные алгоритмы биквадратного и бикубического сглаживающего параметрического сплайнов. Это обеспечило воспроизведение геометрического образа исходных пространственных данных и дало возможность осуществлять контроль точности получаемых результатов.

ЗАКЛЮЧЕНИЕ

В результате проведённых исследований разработана компьютерная технология распределённой обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

В работе получены следующие результаты:

1) В результате проведённого анализа сформулированы требования к разрабатываемой компьютерной технологии распределённой обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

2) Разработана программно-технологическая платформа многофункционального геоинформационного сервера, обеспечивающая конфигурацию модулей подсистем для создания различных приложений в природопользовании и предоставляющая средства распределённой обработки геоинформации с динамически настраиваемым интерфейсом пользователя в среде интернета.

3) Реализована компьютерная технология распределённой обработки геоинформации в природопользовании, обеспечивающая основные этапы пространственного моделирования объектов/процессов/ситуаций: формирование модели, наполнение её данными на исследуемую территорию, расчёт факторов и целевой функции, анализ и интерпретацию результатов.

4) Разработаны алгоритмы и программная реализация построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов, позволяющие адекватно воспроизводить геометрический образ исходных пространственных данных и обеспечивающие контроль точности получаемых результатов.

5) Разработанная технология распределённой обработки геоинформации в природопользовании апробирована при создании ряда действующих информационных систем и решении задач в области геологического изучения недр и воспроизводства минерально-сырьевой базы, а также в других задачах природопользования.

Основные положения диссертационной работы изложены в опубликованных работах:

1) Двумерный сглаживающий параметрический сплайн. // Математика. Компьютер. Образование: сборник научных трудов. М.; Ижевск: НИЦ «Регулярная и хаотическая динамика», 2006. т. 2. с. 249-260. (Соавтор: Шир-ков П. Д.).

2) Разработка и апробация алгоритмов построения нерегулярных сеток для неравномерно заданных данных и основанных на них двумерных сплайнов. // Математика. Компьютер. Образование: сборник научных трудов. М.; Ижевск: НИЦ «Регулярная и хаотическая динамика», 2008. т. 2. с. 167—

3) Алгоритмы сглаживания поверхностей, заданных на нерегулярных сетках. // Математическое моделирование: журнал. М., 2009. т. 21, № 6. с. 69-78. (Соавтор: Ширков П. Д.).

4) Веб-доступ к картографической информационно-поисковой системе (КИПС) ГБЦГИ. // Геоинформатика: журнал. М., 2009. №4. с. 17-28. (Соавторы: Блискавицкий А. А., Боголюбский А. Д., Суханов М. Г., Юон Е. М.).

5) Многофункциональный геоинформационный сервер: архитектура, возможности, применение. / Изд. 3-е, испр. и доп. М.: ВНИИгеосистем, 2009. 24 с. (Соавторы: Любимова А. В., Суханов М. Г., Толмачёва Е. Р.).

6) Структура, функциональные возможности и особенности реализации распределённых геопространственных вычислений в среде разработки МОБ-Ргашешогк. // Геоинформатика: журнал. М., 2010. № 1. с. 22-29.

7) Интеграция веб-приложений и реализация поисково-запросных веб-сервисов в Картографической информационно-поисковой системе (КИПС) ГБЦГИ. // Геоинформатика: журнал. М., 2010. № 1. с. 8-21. (Соавторы: Блискавицкий А. А., Суханов М. Г.).

171.

Подписано в печать 15.04.2010 г. Заказ № 7. Тираж 100 экз. Отпечатано во ВНИИгеосистем - Варшавское шоссе 8, Москва, 117105

Содержание диссертации, кандидата технических наук, Марков, Кирилл Николаевич

Введение.

Глава 1. Анализ существующих средств и подходов к распределенной обработке пространственно привязанной информации на базе геоинформационных систем.

1.1. Анализ современных тенденций развития вычислительной техники, телекоммуникаций и программного обеспечения.

1.2. Обзор свободно распространяемых интернет-ГИС.

1.2.1. p.mapper.

1.2.2. OpenLayers.

1.2.3. MapFish.

1.2.4. KvwMap.

1.3. Обзор систем пространственного анализа и моделирования.

1.3.1. GRASS.

1.3.2. SAGA.

1.3.3. SavGIS.

1.3.4. ГИС INTEGRO.

1.4. Обзор методов приближения поверхностей.

1.4.1. В-сплайны.

1.4.2. Рациональные сплайны и NURBS-кривые.

1.4.3. Сглаживающий бикубический сплайн.

1.4.4. Функции радиального вида.

Выводы.

Глава 2. Разработка программно-технологической платформы многофункционального геоинформационного сервера в среде интернета.

2.1. Требования к разрабатываемой компьютерной технологии.

2.2. Архитектура программно-технологической платформы многофункционального геоинформационного сервера MGS-Framework.

2.3. Структура подсистем программно-технологической платформы многофункционального геоинформационного сервера MGS-Framework.

2.3.1. Подсистема объектно-ориентированного разграничения и управления доступом.

2.3.2. Подсистема пространственных метаданных.

2.3.3. Подсистема единых справочников, классификаторов и кодификаторов

2.3.4. Подсистема Интернет-ГИС.

2.3.5. Подсистема пространственного моделирования.

2.3.6. Подсистема распределенных вычислений.

2.4. Программная реализация программно-технологической платформы многофункционального геоинформационного сервера.

Глава 3. Разработка компьютерной технологии распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

3.1. Основные понятия и функциональная схема компьютерной технологии распределенной обработки геоинформации на основе многофункционального геоинформационного сервера.

3.2. Программная реализация компьютерной технологии распределенной обработки геоинформации.

3.3. Трехмерные двухпараметрические сплайны на неравномерных сетках для нерегулярных данных.

3.3.1. Трехмерный сглаживающий параметрический сплайн.

3.3.2. Контроль погрешности.

3.3.3. Алгоритмы получения составных сеток.

3.3.4. Сшивка трехмерного бикубического сглаживающего параметрического сплайна.

3.4. Программная реализация трехмерных двухпараметрических сплайнов на неравномерных сетках для нерегулярных данных.

Глава 4. Практическое применение разработанной технологии распределенной обработки пространственно привязанной геоинформации в природопользовании.

4.1. Примеры использования программно-технологической платформы ГуГСБ-Ргате\Уогк для построения отраслевых распределенных информационных систем в области геологического изучения недр.

4.1.1. Информационная система обеспечения работ по геологическому изучению недр и воспроизводству минерально-сырьевой базы.

4.1.2. Информационная система по сейсмической и буровой изученности

Российской Федерации и ее континентального шельфа.

4.2. Применение разработанной технологии распределенной обработки пространственно привязанной геоинформации в различных задачах природопользования.

4.2.1. Построение модели риска возникновения засухи для оценки состояния водных ресурсов территории Таиланда.

4.2.2. Оценка вариантов освоения газового месторождения Западной Сибири на основе геоэкологической модели территории.

Введение Диссертация по наукам о земле, на тему "Компьютерная технология распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера"

В современных исследованиях в области геологического изучения недр, геоэкологии и смежных областях природопользования задействованы большие массивы исходных, расчетных и результирующих данных, на основе которых решаются задачи оценки, прогноза и моделирования. Основными средствами обработки являются универсальные или специализированные географические информационные системы, а также функционирующие в их среде (либо в тесном взаимодействии с ними) пакеты прикладных программ. В подавляющем большинстве случаев указанные средства обработки функционируют на локальной персональной ЭВМ пользователя, либо реже - на более мощных вычислительных серверах.

Одновременно, в последние годы в результате бурного развития интернет-технологий, прежде всего, таких как динамическое управление интерфейсом в веб-броузере, асинхронное взаимодействие клиент-сервер, веб-службы, использование универсальных средств языка XML и его специализированных подмножеств, было создано второе поколение веб-приложений, реализующее ранее недоступные в среде интернета возможности, традиционно присущие локальным программным приложениям. Так, в области интернет-ГИС появилось большое количество отечественных и зарубежных, в том числе свободно распространяемых и с открытым кодом, программных решений, реализующих задачи по управлению визуализацией картографической информации, формированию пространственно-атрибутивных запросов и отображению их результатов, простейших пространственных измерений, ввода и редактирования данных. Уровень распространения интернет-технологий позволяет говорить об их доступности для широкого круга пользователей и наличии достаточного числа специалистов для их поддержки.

Однако, к настоящему времени практически отсутствуют программные решения, реализующие распределенную обработку пространственно привязанной геоинформации и решение на ее основе в среде интернета задач в области геологического изучения недр, геоэкологии и других сферах природопользования. Актуальность работы заключается в том, что создание таких средств позволит более эффективно использовать имеющиеся вычислительные мощности, обрабатывать большие объемы исходных, расчетных и результирующих данных, по-новому организовать рабочий процесс исследований в природопользовании.

Целью работы является разработка компьютерной технологии распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

Основными задачами работы являлись:

1) Анализ существующих средств и подходов к распределенной обработке пространственно привязанной информации на базе геоинформационных систем.

2) Разработка программно-технологической платформы многофункционального геоинформационного сервера в среде интернета.

3) Разработка компьютерной технологии распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

4) Разработка алгоритмов и программная реализация построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов, позволяющих адекватно воспроизводить геометрический образ исходных пространственных данных и обеспечивающих контроль точности получаемых результатов.

5) Апробация разработанной компьютерной технологии распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера при создании прикладных систем.

К научной новизне можно отнести следующие результаты:

1) Впервые разработана компьютерная технология распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера, позволяющая на единой программно-технологической платформе осуществлять решение прогнозно-диагностических задач методами пространственного моделирования, требующих оперативной обработки большого объема разнородных пространственных данных.

2) Разработаны новые алгоритмы построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов, позволяющих адекватно воспроизводить геометрический образ исходных пространственных данных и обеспечивающих контроль точности получаемых результатов.

В работе защищаются следующие положения:

1) Разработанная программно-технологическая платформа многофункционального геоинформационного сервера обеспечивает создание различных приложений в природопользовании и представляет собой средства распределенной обработки геоинформации с динамически настраиваемым интерфейсом пользователя в среде интернета.

2) Реализованная компьютерная технология распределенной обработки геоинформации в природопользовании обеспечивает основные этапы пространственного моделирования объекте в/процессов/ситуаций: формирование модели, наполнение ее данными на исследуемую территорию, расчет факторов и целевой функции, анализ и интерпретацию результатов.

3) Разработанные алгоритмы построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов позволяют воспроизводить геометрический образ исходных пространственных данных, обеспечивая заданную точность получаемых результатов.

Практическая значимость проведенного исследования определяется использованием разработанных программно-технологической платформы многофункционального геоинформационного сервера и на ее основе компьютерной технологии распределенной обработки геоинформации в природопользовании при создании прикладных систем: информационной системы обеспечения работ по геологическому изучению недр и воспроизводству минерально-сырьевой базы, информационной системы сейсмической и буровой изученности территории Российской Федерации и ее континентального шельфа, картографической информационно-поисковой системы государственного банка цифровой геологической информации, а также при решении задач гидрологического и гидрогеологического районирования территории Таиланда.

Основные результаты работы докладывались на XXIII, XXIV и XXV Международных конференциях «Математика. Компьютер. Образование» (Дубна-Пущино, 2006, 2007 и 2008), рабочем семинаре «Проблемы организации решения задач в области наук о Земле в распределенной среде: распределение данных, вычислений, использование сервисов» (ГГМ РАН, 2007), научно-практической конференции молодых ученых и специалистов (ВИМС, 2008), отраслевых семинарах «Информационные технологии при производстве геологоразведочных работ» (ВНИИгеосистем, 2007 и 2009), XXII Международном симпозиуме по электронике в ядерных исследованиях и распределенным вычислениям (Варна, 2009).

Диссертация основана на теоретических, методических и экспериментальных исследованиях, выполненных автором в 2003-2010 годах.

Основные теоретические, методические и технологические результаты получены непосредственно автором. По результатам выполненных исследований опубликовано 7 печатных работ, в том числе 4 статьи в журналах, рекомендованных ВАК для публикации результатов кандидатских и докторских диссертаций.

Диссертация состоит из введения, четырех глав, заключения, списка литературы и содержит 105 страниц текста, включая 35 иллюстрации. Список литературы содержит 84 наименования.

Заключение Диссертация по теме "Геоинформатика", Марков, Кирилл Николаевич

Заключение

В результате проведенных исследований разработана компьютерная технология распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

В работе получены следующие результаты:

1) В результате проведенного анализа сформулированы требования к разрабатываемой компьютерной технологии распределенной обработки геоинформации в природопользовании на основе многофункционального геоинформационного сервера.

2) Разработана программно-технологическая платформа многофункционального геоинформационного сервера, обеспечивающая конфигурацию модулей подсистем для создания различных приложений в природопользовании и предоставляющая средства распределенной обработки геоинформации с динамически настраиваемым интерфейсом пользователя в среде интернета.

3) Реализована компьютерная технология распределенной обработки геоинформации в природопользовании, обеспечивающая основные этапы пространственного моделирования объектов/процессов/ситуаций: формирование модели, наполнение ее данными на исследуемую территорию, расчет факторов и целевой функции, анализ и интерпретацию результатов.

4) Разработаны алгоритмы и программная реализация построения поверхностей на основе биквадратного и бикубического сглаживающего параметрического сплайнов, позволяющие адекватно воспроизводить геометрический образ исходных пространственных данных и обеспечивающие контроль точности получаемых результатов.

5) Разработанная технология распределенной обработки геоинформации в природопользовании апробирована при создании ряда действующих информационных систем и решении задач в области геологического изучения недр и воспроизводства минерально-сырьевой базы, а также в других задачах природопользования.

Библиография Диссертация по наукам о земле, кандидата технических наук, Марков, Кирилл Николаевич, Москва

1. Балашов В. ГИС-технологии: причины и следствия // ГИС-Обозрение. 2000. №2. с. 8-11.

2. БлинковаО. Универсальные отечественные ГИС. PCWeek/RE №13, М., 2007.

3. Блискавицкий А. А., Боголюбский А. Д., Марков К. Н., Суханов М. Г., Юон Е. М. Веб-доступ к картографической информационно-поисковой системе (КИПС) ГБЦГИ. // Геоинформатика: журнал. М., 2009. № 4. с. 17-28.

4. Блискавицкий А. А., Марков К. Н., Суханов М. Г. Интеграция веб-приложений и реализация поисково-запросных веб-сервисов в Картографической информационно-поисковой системе (КИПС) ГБЦГИ. // Геоинформатика: журнал. М., 2010. № 1. с. 8-21.

5. Вавилов К., Щербина С. Web-интеграция //Открытые системы. №1. 2001.

6. Гамма Э., Хелм Р., Джонсон Р., Влиссидес Дж. Приемы объектно-ориентированного проектирования. Паттерны проектирования. СПб.: Питер, 2003. 368 с.

7. ГИС «Карта». URL: http://www.gisinfo.ru/ (дата обращения: 07.04.2010).

8. Гранд М. Шаблоны проектирования в Java (пер. с англ. Беликовой С.). — М.: Новое знание, 2004. 559 с.

9. Деев К. В., Эпштейн JI. Д., Спиридонов В. А., Финкелынтейн М. Я., Блискавицкий А. В. Инструкция по представлению, выводу и преобразованию цифровых моделей карт в среде ГИС INTEGRO. Методическое пособие. 2001. М., 172 с.

10. ДеМерс М. Географические информационные системы: Основы. М.:Дата+, 1999.

11. Джеймс Д. Ajax в действии (пер. с англ., под ред. ВейтманаВ. В., Назарен-ко А. В.). М.: ИД «Вильяме», 2006. 640 с.

12. Завьялов Ю. С., Квасов Б. И., Мирошниченко В. JI. Методы сплайн-функций. — М.: Наука. Главная редакция физико-математической литературы, 1980.

13. Калиткин Н. Н. Численные методы. М.: Наука, 1978.

14. Калиткин Н. Н., Альшин А. Б., Альшина Е. А., Рогов Б. В. Вычисления на квазиравномерных сетках. М.: ФИЗМАТЛИТ, 2005.

15. Кузнецов О. Л., Никитин А. А., Черемисина Е. II. Геоинформационные системы. Учебник для вузов. М.: Государственный научный центр Российской Федерации - ВНИИгеосистем, 2005. - 346 с.

16. Любимова А. В., Марков К. Н., Суханов М. Г., Толмачева Е. Р. Многофункциональный геоинформационный сервер: архитектура, возможности, применение. / Изд. 3-е, испр. и доп. М.: ВНИИгеосистем, 2009. 24 с.

17. Марков К. Н. Структура, функциональные возможности и особенности реализации распределенных геопространственных вычислений в среде разработки MGS-Framework. // Геоинформатика: журнал. М., 2010. № 1. с. 22-29.

18. Марков К. Н., Ширков П. Д. Алгоритмы сглаживания поверхностей, заданных на нерегулярных сетках. // Математическое моделирование: журнал. М., 2009. т. 21, №6. с. 69-78.

19. Марков К. Н., Ширков П. Д. Двумерный сглаживающий параметрический сплайн. // Математика. Компьютер. Образование: сборник научных трудов. / Под ред. Ризниченко Г. Ю. М.; Ижевск: НИЦ «Регулярная и хаотическая динамика», 2006. т. 2. с. 249-260.

20. Менаске Д., Алмейда В. Производительность Web-служб. Анализ, оценка и планирование. СПб.: ООО «ДиаСофтЮП», 2003. 480 с.

21. Научно-образовательный сетевой журнал, посвященный компьютерной графике, машинному зрению и обработке изображений. URL: http://cgm.graphicon.ru (дата обращения: 07.04.2010).

22. Носач В. В. Решение задач аппроксимации с помощью персональных компьютеров. М. МИКАП, 1994.

23. Препарата Ф., Шеймос М. Вычислительная геометрия: Введение. Мир, Москва, 1989.

24. Пржиялковский В. В. Сложный анализ данных большого объема: новые перспективы компьютеризации // СУБД. 1996. № 4. с. 71-83.

25. Роджерс Д., Адаме Дж. Математические основы машинной графики: Пер. с англ. -М.: Мир, 2001.

26. Таненбаум Э., Ван Стеен М. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003.

27. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач. — М.: Наука. Главная редакция физико-математической литературы, 1979.

28. Фаулер М. Архитектура корпоративных программных приложений. М.: Издательский дом «Вильяме», 2006. 544 с.

29. Финкельштейн М. Я., Деев К. В. ГИС-INTEGRO инструмент для создания прикладных технологий в природопользовании. // Геоинформатика: журнал. М., 1999. №3.

30. Финкельштейн М. Я., Деев К. В. Развитие инструментальных средств ГИС INTEGRO. // Геоинформатика: журнал. М., 2003 № 2.

31. Хилл Ф. OpenGL. Программирование компьютерной графики. Для профессионалов. СПб.: Питер, 2002.

32. Цветков В. Я. Геоинформационные системы и технологии. М.: Финансы и статистика, 1998. 288 с.

33. ЧеремисинаЕ. Н., Митракова О. В., Финкельштейн М. Я. ГИС ИНТЕГРО -инструмент постановки и решения природопользовательских задач — ГИС-ассоциация, инф.бюллетень, №3 (15), 1998 г.

34. Черемисина Е. Н., Финкельштейн М. Я., Митракова О. В., Спиридонов В. А., Деев К. В., Попов А. С. Решение задач прогноза полезных ископаемых с применением ГИС INTEGRO. Руководство пользователя. 2001. М., ПО с.

35. Шикин Е. В., Плис JI. И. Кривые и поверхности на экране компьютера. Руководство по сплайнам для пользователей. М.: ДИАЛОГ-МИФИ, 1996.

36. Щербина С. Web-интеграция: новый взгляд на построение корпоративных информационных систем // Информационные ресурсы России. 2001. №5.

37. ARANZ Applied Research Associates NZ Limited. URL: http://aranz.com (дата обращения: 07.04.2010).

38. AkimaH., A method of bivariate interpolation and smooth surface fitting for irregularly distributed data points. ACM Transactions on Mathematical Software, №4, 1978. pp. 148-159.

39. Akima H., A new method of interpolation and smooth curve fitting based on local procedures. Journal of the ACM, №17, 1970. pp. 589-602.

40. Arc/INFO Data Management. USA, California, Redlands: ESRI, 1994.

41. ArcGIS: The Complete Enterprise System. URL: http://esri.com/software/arcgis/index.html (дата обращения: 07.04.2010).

42. ArcIMS Publish Maps, Data, and Metadata on the Web. URL: http://www.esri.com/software/arcgis/arcims/index.html (дата обращения: 07.04.2010).

43. ArcView GIS. User guide. USA, California, Redlands: ESRI, 1996.

44. AutoCAD Map 3D 2010. URL: http://www.tritec.ru/sapr/katalog/katautodesk/autocadmap3d2010/default.aspx (дата обращения: 07.04.2010).

45. Bentley Map Advanced GIS for the World's Infrastructure. URL: http://www.bentley.com/en-US/Products/Bentley+Map/ (дата обращения: 07.04.2010).

46. Dai К. Y., Liu G. R., Lim К. M, Gu Y. Т., Comparison between the radial point interpolation and the Kriging interpolation used in meshfrce methods. Computational Mechanics, Volume 32, Issue 1-2, 2003. pp. 60-70.

47. ExtJS JavaScript Framework and RIA Platform. URL: http://extjs.com/ (дата обращения: 07.04.2010).

48. Free and open source software. URL: http://freeopensourcesoftware.org/ (дата обращения: 07.04.2010).

49. GDAL Geospatial Data Abstraction Library. URL: http://www.gdal.org/ (дата обращения: 07.04.2010).

50. GeoExt JavaScript Toolkit for Rich Web Mapping Applications. URL: http://www.geoext.org/ (дата обращения: 07.04.2010).

51. GeoJSON JSON Geometry and Feature Description. URL: http://geojson.org/ (дата обращения: 07.04.2010).

52. GeoServer. URL: http://geoserver.org/ (дата обращения: 07.04.2010).

53. GoogleMap API. URL: http://code.google.com/intl/ru/apis/maps/ (дата обращения: 07.04.2010).

54. GRASS GIS The World Leading Free Software GIS. URL: http://grass.itc.it/ (дата обращения: 07.04.2010).

55. Halliburton OpenWorks Geosciences Project Database Software. URL: hUp://www.hal.iburton.com/ps/dcfault.aspx?pagcid=852&navid=931&prodid=MS E:: 1055450533605512 (дата обращения: 07.04.2010).

56. Intergraph. URL: http://www.intergraph.com/ (дата обращения: 07.04.2010).

57. ISO 19115:2003/Cor. 1:2006. Geographic information. Metadata.

58. ISO/TS 19139:2007. Geographic information Metadata - XML schema implementation.

59. KvwMap. URL: http://kvwmap.geoinformatik.uni-rostock.de/index.php/Hauptseite (дата обращения: 07.04.2010).

60. Lee S., Wolberg G., Shin S. Scattered Data Interpolationwith Multilevel B-Splines. IEEE Transactions. Visualization and Computer Graphics, vol. 3, no. 3, july-september. 1997.

61. MapFish. URL: http://mapfish.org/ (дата обращения: 07.04.2010).

62. MapFish Protocol. URL: http://trac.mapfish.org/trac/mapfish/wiki/MapFishProtocol (дата обращения: 07.04.2010).

63. MapGuide. URL: http://www.mapguide.org/ (дата обращения: 07.04.2010).

64. Maplnfo Professional. URL: http://www.mapinfo.com/products/applications/mapping-and-analytical-applications/mapinfo-professional (дата обращения: 07.04.2010).

65. MSN Virtual Earth API. URL: http://www.microsoft.com/maps/developers/ (дата обращения: 07.04.2010).

66. OGR Simple Feature Library. URL: http://www.gdal.org/ogr/index.html (дата обращения: 07.04.2010).

67. OpenGIS Specifications. // OpenGIS Documents. OGC, 2005. Product Compliant to or Implementing OGC Specs or Interfaces. // OpenGIS Resources. OGC. 2005.

68. OpenLayers Free Maps for the Web. URL: http://openlayers.org/ (дата обращения: 07.04.2010).72. p.mapper A MapServer PHP/MapScript Framework. URL: http://pmapper.org/ (дата обращения: 07.04.2010).

69. PostGIS. URL: http://postgis.refractions.net/ (дата обращения: 07.04.2010).

70. Pylons Lightweight web framework emphasizing flexibility and rapid development. URL: http://www.pylonshq.com/ (дата обращения: 07.04.2010).

71. SAGA System for Automated Geoscientific Analyses. URL: http://www.saga-gis.org/ (дата обращения: 07.04.2010).

72. SavGIS Geographic Information System. URL: http://www.savgis.org/ (дата обращения: 07.04.2010).

73. Schlumberger GeoFrame. URL: http://www.slb.com/ (дата обращения: 07.04.2010).

74. Shapely Geospatial geometries, predicates, and operations. URL: http://pypi.python.org/pypi/Shapely (дата обращения: 07.04.2010).

75. SqlAlchemy The Database Toolkit for Python. URL: http://www.sqlalchemy.org/ (дата обращения: 07.04.2010).

76. TileCache Web Map Tile Caching. URL: http://tilecache.org/ (дата обращения: 07.04.2010).

77. UMN Mapserver. URL: http://mapserver.org/ (дата обращения: 07.04.2010).

78. WFS OGC Web Feature Service. URL: http://www.opengeospatial.org/standards/wfs (дата обращения: 07.04.2010).

79. WMS OGC Web Map Service. URL: http://www.opengeospatial.org/standards/wms (дата обращения: 07.04.2010).

80. WxWidgets Cross-Platform GUI Library. URL: http://www.wxwidgets.org/ (дата обращения: 07.04.2010).