Бесплатный автореферат и диссертация по наукам о земле на тему

Разработка и исследование принципов построения центра высокопроизводительной обработки геопространственных данных

ВАК РФ 25.00.35, Геоинформатика

Автореферат диссертации по теме "Разработка и исследование принципов построения центра высокопроизводительной обработки геопространственных данных"

На правах рукописи

МАЗУРОВ Николай Владимирович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ ПРИНЦИПОВ ПОСТРОЕНИЯ ЦЕНТРА ВЫСОКОПРОИЗВОДИТЕЛЬНОЙ ОБРАБОТКИ ГЕОПРОСТРАНСТВЕННЫХ

ДАННЫХ

Специальность 25.00.35 -Геоинформатика

Автореферат диссертации на соискание ученой степени кандидата технических наук

Москва - 2005

?

Работа выполнена на кафедре информационно-измерительных систем Московского государственного университета геодезии и картографии (МИИГАиК)

Научный руководитель: доктор технических наук, профессор

Майоров Андрей Александрович

Официальные оппоненты: доктор технических наук, профессор

Троицкий Владимир Иванович кандидат технических наук Негурица Дмитрий Леонидович

Ведущая организация: Государственный научно-исследовательский

институт информационных технологий и телекоммуникаций «Информика»

Защита состоится «29» декабря 2005 г. b*/¿ час. на заседании диссертационного совета Д212.143.03 при Московском государственном университете геодезии и картографии по адресу: 105064, Москва К-64, Гороховский переулок, д. 4, МИИГАиК, аудитория 321.

С диссертацией можно ознакомиться в библиотеке МИИГАиК Автореферат разослан «_» ноября 2005 г.

Ученый секретарь

диссертационного совета _Климков Ю.М.

¿оое-г

Общая характеристика работы

Актуальность темы- исследования. В настоящее время в науках о Земле информационно-вычислительные системы приобретают решающее значение. В области обработки геопространственных данных требования к мощности и производительности вычислительных систем растут опережающими темпами. Современные потребности в результатах обработки различных геопространственных данных способствуют появлению новых, ресурсоемких методов решения поставленных задач.

К сожалению, современный этап развития информационных технологий не позволяет обеспечить всех заинтересованных в высокопроизводительной обработке геопространственных данных сторон необходимым программным обеспечением и аппаратными средствами для удовлетворения их потребностей. Это связано с дороговизной вычислительных систем, программного обеспечения, отсутствием квалифицированного персонала и многими другими факторами.

Для удовлетворения потребностей различных организаций в результатах обработки геопространственных данных целесообразно создавать специализированные вычислительные центры, предоставляющие коллективный доступ к ресурсам центра. Это позволит решить ряд проблем, возникающих при организации процесса обработки геопространственных данных самими организациями.

В процессе создания центра высокопроизводительной обработки геопространственных данных может возникнуть ряд сложностей, связанных со спецификой задач обработки геопространственных данных. Стандартные подходы к созданию подобного центра не будут удовлетворять выдвигаемым требованиям. Поэтому при проектировании и создании центра необходимо учитывать специфику решаемых задач, требования к скорости и производительности вычислительных систем, объемы обрабатываемой информации и многие другие.

Целью настоящей работы является разработка и исследование принци-

пов построения специализированного

ботки геопространственных данных, позволяющего решать ресурсоемкие чадами обработки геопространственных данных, отвечающего требованиям производительности, надежности, безопасности и ряду другим, описанным в диссертации, являющихся неотъемлемой частью системы обработки геопространственных данных. Кроме того, центр высокопроизводительной обработки геопространственных данных должен обеспечивать доступ к ресурсам удаленным пользователям с высокой степенью доступности и, в то же время, высоким уровнем безопасности.

Задачи работы:

1. Определить специфику геопространственных данных, влияющих на методику построения центра высокопроизводительной обработки геопространственных данных.

2. Описать модели процессов обработки, передачи и хранения геопространственных данных.

3. Проанализировать существующие системы высокопроизводительной обработки данных, в том числе и геопространственных.

4. Разработать методику и принципы построения центра высокопроизводительной обработки геопространственных данных.

5. Разработать структуру центра высокопроизводительной обработки геопространственных данных.

6. Исследовать и выбрать технологии, программное и аппаратное обеспечение, позволяющее наиболее рационально решить поставленные задачи.

7. Экспериментально проверить положения, предложенные в диссертационной работе.

Предметом исследования является исследование принципов построения центра высокопроизводительной обработки геопространственных данных для задач обработки данных дистанционного зондирования Земли (ДЗЗ), создания и

обновления картографических продуктов, обработки данных наземных полевых исследований, хранения и предоставления доступа к геопространственной информации, прикладных задач, решаемых с использованием геоинформационных систем и многих других.

Объектом исследования выбраны существующие методы обработки геопространственной информации, алгоритмы, модели и методики повышения производительности вычислительных систем в целом и систем обработки геопространственной информации в частности.

Результаты проведенных исследований были апробированы на базе Центра высокопроизводительных вычислений МИИГАиК.

Теоретической и методической основой исследования послужили отечественные и зарубежные разработки по геоинформатике, высокопроизводительной обработке данных, вычислительным системам и комплексам, сетевым технологиям.

В качестве базы разрабатываемого центра послужил Центр высокопроизводительной обработки геопространственных данных МИИГАиК. При экспериментальной апробации результатов исследований были задействованы программные и аппаратные ресурсы центра.

Научная новизна диссертационного исследования заключается в разработке принципов создания специализированного центра для высокопроизводительной обработки геопространственных данных.

Научную новизну представляют следующие результаты:

- определение специфики, влияющей на обработку геопространственных данных;

- принципы построения специализированного вычислительного центра для обработки геопространственных данных;

- методика повышения эффективности работы компонентов центра высокопроизводительной обработки геопространственных данных;

- методика эффективной передачи спутниковых снимков по глобальным сетям передачи данных;

- оценка эффективности применения методов высокопроизводительной обработки для геопространственных данных.

Основные положения выносимые на защиту:

- обоснование целесообразности построения специализированного центра высокопроизводительной обработки геопространственных данных с возможностью предоставления удаленного доступа заинтересованным организациям;

- методы организации эффективной передачи растровых и векторных изображений через сети передачи данных;

- методы организации эффективного хранения больших объемов геопространственной информации;

- выбор технологий, стандартов, программного и аппаратного обеспечения для построения специализированного центра высокопроизводительной обработки геопространственных данных;

- структура центра высокопроизводительной обработки геопространственных данных

Практическая значимость диссертационного исследования. Рассматриваемый центр высокопроизводительной обработки геопространственных данных имеет большую практическую значимость. Он будет полезен в различных научно-исследовательских и прикладных проектах и программах, связанных с обработкой геопространственной информации, такой как результаты дистанционного зондирования Земли, наземной геодезической и топографической съемки, при создании и обновлении картографических материалов, решении прикладных задач как, например, поиск полезных ископаемых или ведение кадастрового учета и многих других приложений. Использование центра позволит существенно сократить время получения результатов обработки геопро-

странственных данных. Также центр может быть использован в демонстрационных и учебных целях.

Публикации результатов исследования. Основные положения и результаты диссертационной работы отражены в 5 публикациях. Некоторые положения, выдвинутые в диссертационной работе, были реализованы в Центре высокопроизводительной обработки геопространственных данных МИИГАиК.

Апробация результатов исследования. Основные положения диссертации докладывались и обсуждались:

- на Международной конференции ОеотаНсз 2004 (Куба, Гавана, 8-12 мая 2004 г.);

- на Международной научно-технической конференции, посвященной 225-летию МИИГАиК (Россия, Москва, 24-27 мая 2004 г., Московский государственный университет геодезии и картографии);

- на 57-й научно-технической конференции студентов, аспирантов и молодых ученых МИИГАиК (Россия, Москва, 8-9 апреля 2002 г., Московский государственный университет геодезии и картографии);

- на 58-й научно-технической конференции студентов, аспирантов и молодых ученых МИИГАиК (Россия, Москва, 4-5 апреля 2003 г., Московский государственный университет геодезии и картографии);

- на 59-й научно-технической конференции студентов, аспирантов и молодых ученых МИИГАиК (Россия, Москва, 9-10 апреля 2004 г., Московский государственный университет геодезии и картографии);

- на 60-й научно-технической конференции студентов, аспирантов и молодых ученых МИИГАиК (Россия, Москва, 11-12 апреля 2005 г., Московский государственный университет геодезии и картографии);

Объем и структура диссертации. Работа состоит из введения, четырех глав, заключения, библиографического списка литературы (90 наименований) и

приложений. Диссертация содержит 119 стр. основного текста вместе с 38 рис. и 3 табл.

Краткое содержание работы

Введение

Во введении обоснована актуальность темы диссертационной работы, определены цели, поставлены задачи исследования, намечены основные этапы выполнения диссертационных исследований.

Глава 1. Исследование существующих методов и технологий создания высокопроизводительных центров для решения задач обработки геопространственных данных.

Дано определение геопространственных данных и геоинформационных систем. Описана концептуальная математическая модель систем обработки геопространственных данных на базе теории информации.

Показано, что в общем виде систему обработки геопространственных данных можно представить в виде группы подсистем. Каждое преобразование подсистем можно представить оператором:

Где Р - оператор первичного преобразования, Ф - оператор представления, П - оператор обработки, Ч> - оператор хранения и передачи.

В общем случае г отличается от х, и поэтому преобразования, выполняемые всей системой могут, быть представлены в виде:

х=Р а, р=Фх, р*=о.р,

(1) (2)

(3)

(4)

г р*,

Оператор Р характеризует основную задачу обработки геопространственных данных и является ее математической моделью при обработке данных без учета искажений.

Системой обработки геопространственной информацией можно управлять. Управляющие воздействия изменяют внутреннее состояние системы и представляются: Г,\ =е(а,у,1),

где у - состояние системы в момент времени I и е - оператор изменения состояния системы обработки геопространственных данных, I - время.

Общие выражения математической модели системы обработки геопространственных данных можно представить в виде: г=С{а,у), Уп=е(а,У,0,

Основной задачей систем обработки геопространственных данных является представление пользователю оценок геопространственных данных г*, позволяющих извлечь интересующую информацию.

Любое геопространственное сообщение х, /?, р* и г* можно представить в виде многомерного вектора V с координатами различной длины \к, к = 1,2, ..., п, кодируемые цифрами и знаками. Если слово содержит тф цифровых знаков, то объем сообщения

J = ^¡mф цифровых знаков, (5)

q - основание цифровой системы.

Координата V, может принимать Мк значений и кодируется простой последовательностью цифр. Если на одно к-е сообщение тратится тф цифровых символов, то их число будет равно цт1к. Отсюда максимальная численность различных кодов для \>к будет соответствовать Мк = ц тчк. Тогда т^ =1о^М(. и по формуле (5) имеем:

= цифровых знаков. (6)

Формулу (6) можно выразить через двоичные знаки

я

У = 9 двоичных знаков. (7)

Был сделан вывод, что объем геопространственных сообщений (6) и (7), не зависящий от смыслового содержания, позволит вычислить пропускную способность системы обработки геопространственных данных как максимально возможный поток первичных сообщений х, которые данная система может обработать, обеспечивая заданную оценку Р *.

Здесь же дан обзор задач обработки геопространственных данных, требующих значительных вычислительных ресурсов, таких как предобработка спутниковых снимков (атмосферная коррекция, сегментация и др.). Показаны вычислительные затраты на решения этих задач. Исходя из этого автор считает необходимым применение высокопроизводительных систем, таких как суперкомпьютеры и вычислительные кластеры для решения подобных задач.

Исходя из рассмотренных задач обработки геопространственных данных, была поставлена задача создания центра обработки данных, отвечающего требованиям по скорости работы, объемам обрабатываемой и хранимой информации, требованиям к надежности и защите данных, а также экономической целесообразности и выгоде.

Глава 2. Разработка модели центра высокопроизводительной обработки геопространственных данных.

Была предложена структура центра высокопроизводительной обработки геопространственных данных (Рис. 1). Центр состоит из нескольких модулей: модуль загрузки данных, модуль обработки данных, модуль хранения данных и модуль доступа к обработанной информации. Доступ к ресурсам центра может быть осуществлен как через Интернет, так и из локальной сети университета.

Высокопроизводительный сервер для выполнения ГИС-приложении и

обработки снимков Сервер контроллер Система хранения распределяющий геопространственных задачи для данных

Вычислительный кластер для высокопроизводительной обработки геодаиныд

:ермрэм||

Терминалы для управления

обработкой снимков на высокопроизводительном сервере

а55 ^ ^

Рабочие станции для предобработки геоданных

УУЕВ*лортал для удаленной загрузки геопространстеенных данных

Удаленная загрузка

данных Отправка данных на обработку

Получение обработанных данных Получение результата

Рис. 1. Общая структура центра высокопроизводительной обработки геопространственных данных Была предложена концепция мультимасштабных изображений (Рис. 2), позволяющих оптимизировать процесс загрузки растровых и векторных изображений через коммуникационные сети с низкой пропускной способностью.

Шаг 1 Конвертация

Шаг 2 Сохранение

Высокая детализация

^ - ► ~ -

1 »

Г,

Дели а- \ ы I

9» - «- -

Низкая детализация

С,

Делыа-параие'ры

Ша( 3 Испопыманме

(2

г

_ Средняя ^ ! детализация

Дэям»- \ параметры /

Г

Нимая детализация

Депыэ-параметри

Рис. 2. Процедура использования мультимасштабных снимков

Для растровых изображений схема имеет следующий вид. На первом этапе изображение подвергается сжатию при помощи алгоритма сжатия. При этом получается изображение с меньшей разрешающей способностью, но меньшее по объему. "Потерянная" информация сохраняется в виде дельта-параметров, которые в последствии помогут восстановить снимок до исходного разрешения. Эта процедура повторяется до тех пор, пока не получается изображение с минимальным разрешением, которое целесообразно использовать.

На втором этапе полученный окончательный снимок, имеющий небольшой объем, но и слабую разрешающую способность, сохраняется в базе данных, при этом сохраняются соответствующие этому изображению дельта-параметры.

На третьем этапе инициатор запроса указывает разрешающую способность, необходимую для решения конкретной задачи. После этого из базы данных извлекается необходимое изображение и восстанавливается до нужной разрешающей способности. При восстановлении изображения используются дельта-параметры.

При создании мультимасштабных форматов векторных изображений основной задачей является минимизация количества объектов на изображении, и тем самым уменьшение объема, занимаемого файлом. При этом выделяется базовое изображение, минимального объема, но недостаточно информативное. В процессе уточнения изображения к нему будут подгружаться остальные объекты, улучшающие качество изображения (Рис. 3).

Рис. 3. Динамическая загрузка векторного изображения

В работе предложен способ определения базисных вершин, составляющих каркас объекта. Предложен метод ранжирования вершин по их наименьшему влиянию на очертание объекта. Метод основан на принятие за наименее важную вершину, образующую треугольник с минимальной площадью.

Таким образом загрузка изображения будет иметь вид (Рис. 4):

Клиент

Рис. 4. Загрузка изображения по сети

Алгоритм организации хранения растровых и векторных изображений представлен на рис. 5.

Алгоритм организации хранения графических файлов

Рис. 5.

Приведена модель оценки отказоустойчивости центра высокопроизводительной обработки геопространственных данных как информационной системы.

Глава 3. Разработка методики создания центра высокопроизводительной обработки геопространственных данных.

В работе приведена система критериев для выбора программных и аппаратных средств для построения центра высокопроизводительной обработки геопространственных данных. Показано, что выбор той или иной аппаратной платформы и программных средств определяется рядом критериев, к которым относятся:

- отношение стоимость/производительность;

- надежность и отказоустойчивость;

- масштабируемость;

- совместимость.

Удаленный доступ к ресурсам центра со стороны заинтересованных организаций целесообразно осуществлять в двух режимах. Первый - пакетный режим, подразумевает посылку формализованных данных по электронной почте, т.е. данные посылаются электронным письмом определенного формата. В письме устанавливаются флаги, несущие служебную информацию о самой задаче, методе решения, необходимой точности и другая необходимая информация. Второй режим подразумевает загрузку данных через WEB-интерфейс. При этом режиме сотрудник организации, которой необходимо обработать данные, заходит на специализированный сайт, имеющий определенную форму, выбирает метод, параметры обработки данных и загружает их на сервер центра.

Была создана система загрузки данных через интернет и визуализации пространственных данных на базе web-приложений с использованием технологий MySQL и PHP (Рис. 6).

Клиенты Web-сервер Сервер ___, _ баз данных

Шраузерр

JCGf

CGI-скрипт 4

;№Ь-браузер|*

1 у

Рис. 6. Клиент-серверная архитектура

Созданная система позволяет загружать данные через web-интерфейс (Рис. 7), используя обычный браузер. Эти данные сохраняются в базе данных MySQL. После этого они доступны для обработки любыми приложениями через стандартные интерфейсы и SQL запросы.

Обработанные данные также могут быт визуализированны посредством \veb-интерфейса.

Были рассмотрены вопросы обеспечения безопасности данных и повышения уровня отказоустойчивости компонентов центра. Сформулированны основные требования к обеспечению информационной безопасности.

В качестве метода защиты авторских прав на цифровые карты и защиты их от незаконного копирования были предложены цифровые водяные знаки, которые не заметны на карте в обычном состоянии, но при применении специализированных средств из карты извлекается дополнительная информация, в том числе и об авторах продукта.

Рис. 7. Веб-интерфейс системы загрузки данных

При внедрении в карту цифровых водяных знаков можно пользоваться особенностями формата карты или использовать избыточность форматов. Такая встроенная информация будет иметь небольшой объем, но этого достаточно, так как все, что требуется, это встроить информацию о создателях карты, лицах, уполномоченных распространять данный продукт и другую, не очень объемную информацию. Целесообразно всю информацию встраивать не в явном виде, а применяя криптографические методы.

Глава 4. Экспериментальные исследования принципов создания центра высокопроизводительной обработки геопространственных данных.

Для подтверждения принципов изложенных в диссертационной работе, был проведен эксперимент по обоснованию эффективности предложенного способа доступа к геоданным векторных форматов через Интернет. Целью эксперимента являлось выяснение влияния предложенного метода генерализации на очертание объектов после упрощения векторного изображения.

Основным пунктом, который требует обоснования, является то, что при удалении большого числа вершин для сокращения объема загружаемой первоначально информации объекты на изображении теряют свою форму не существенно. Безусловно, при удалении каких-то вершин изображение теряет свою информативность. Но эти потери не существенны по сравнению с выигрышем в объеме передаваемого файла. Для определения количественных показателей различия преобразованного и исходного изображения необходимо выбрать правильный показатель для сравнения. В качестве меры для сравнения изображений на различных стадиях генерализации применялась площадь полигонов. Этот параметр был принят как наиболее полно описывающий изменения объектов при трансформации.

Кроме того, в результате эксперимента предполагалось наглядно показать отсутствие существенных различий в трансформированных изображениях, влияющих на восприятие объектов.

Для проведения эксперимента было сформировано векторное изображение, содержащее 3108 полигонов. Оно было получено путем объединения 133644 вершин. Координаты вершин импортировались из файла АгсЫо. Исходный файл в три этапа преобразовывался по алгоритму, описанному в работе. Причем на первой стадии было удалено 50% вершин от начального количества. На втором этапе было удалено 80% вершин от начального количества. Оставшиеся вершины образовали новые изображение. Результаты этих преобразований представлены на рис. 8-10.

Рис. 10. Изображение после второй трансформации (удалено 80% вершин) При сравнении рис. 8 и 10 видно, что одинаковые полигоны имеют схожие очертания, позволяющие их идентифицировать. Но визуального сравнения не достаточно для того, чтобы утверждать эффективность предлагаемого метода. Нужно формализовать результаты эксперимента.

Для формализации эксперимента был применен метод сравнения количества полигонов, имеющих одинаковые площади. Для этого на всех трех изображениях были посчитаны площади полигонов. Все полигоны были разбиты в соответствии с площадями на категории 0 - 0.01,0.01 - 0.05, 0.05 - 0.1, 0.1 - 0.3, 0.3 - 0.6,0.6 - 0.8,0.8 - 1.0, 1.0 - 2.0, 2.0 - 5.0, 5.0 - 7.0, 7.0 - 10.0, 10.0 - 50.0 квадратных километров. Также был произведен анализ 24-х случайно выбранных полигонов в процессе преобразований.

Анализ поведения полигонов в процессе преобразований показан на рис. 11.

Рис. 11. Изменение количества полигонов с разными площадями

Анализ показал, что наибольшая разница площадей из выбранных диапазонов наблюдается для площадей полигонов 1.0-2.0 кв. км. Значения для этого диапазона получились следующие: 497 (исходное изображение), 443 (изображение после первого преобразования) и 431 (изображение после второго преобразования). В процентном отношении максимальная разница по выделенным диапазонам площадей между исходным изображением и изображением, полученным после первого преобразования, составляет 10,86%, а полученным после второго преобразования 13,28%. В целом для всех полигонов разница между количеством полигонов с одинаковыми площадями составила 5,7% для первого преобразования и 6,5% для второго.

Также проводился анализ поведения 24-х полигонов, относящихся к разным диапазонам площадей. Результаты анализа представлены на рис. 12.

Анализ также показывает незначительную разницу между площадями полигонов при применении процедуры генерализации.

Эксперимент показал, что предложенный метод эффективного доступа к изображениям векторных графических форматов показывает хорошие результаты. При изменении количества вершин, образующих полигоны, в 5 раз, а сле-

<2-1

Номер полигона

1 2 3 « 5 С 7 $ 9 «11и13 14151«Г71в»920М22024

Рис. 12. Анализ произвольных полигонов

довательно и объема векторного изображения тоже примерно в 5 раз, характеристики полигонов изменяются не существенно (6,5% по площади полигона). Заключение

В результате проведенных исследований в соответствии с поставленными целью и задачами автором сформулированы общие итоги диссертационной работы.

1. Рассмотрена специфика геопространственных данных, влияющих на методику построения центра высокопроизводительной обработки геопространственных данных.

2. Описаны модели процессов обработки, передачи и хранения геопространственных данных.

3. Разработаны принципы построения и методика создания центра высокопроизводительной обработки геопространственных данных.

4. Разработана структура центра высокопроизводительной обработки геопространственных данных.

5. Выбраны технологии, программное и аппаратное обеспечение, позволяющее наиболее рационально решить поставленные задачи.

7. Экспериментально проверены и подтверждены основные теоретические результаты, полученные в диссертационной работе.

Список опубликованных работ автора по теме диссертации

1. Diseno de un centro, de alto rendimiento, para el procesamiento de datos geográficos (Geodatos), A. Mayorov, N. Mazurov, J. Vila Ortega, Resumen general de 10 Convención International y Feria Informática 2004, 4 Congreso internacional geomatica 2004, Havana, Cuba, 2004. - c. 87 - 89.

2. Защита геопространственной информации в локальных вычислительных сетях с использованием firewall-сервера на базе маршрутизатора CISCO PIX-515, Мазуров Н.В., Известия ВУЗов, Геодезия и аэрофотосъемка, специальный выпуск, Москва, 2002, с. 133 - 141.

3. Принципы организации web-ориентированных баз геопространственных данных, Мазуров Н.В., Известия ВУЗов, Геодезия и аэрофотосъемка, Москва, 2004, с. 114-118.

4. Проектирование центра высокопроизводительной обработки геопространственных даннь!х Московского государственного универсистета геодезии и картографии - Савиных В.П, Майоров A.A., Малинников В.А., Кондауров И.Н., Мазуров Н.В. - Сборник трудов международной научно-технической конференции, посвященной 225-летию МИИГАиК, Москва, 2004. - с. 83 - 88.

5. Возможность использования цифровых водяных знаков для защиты векторных и растровых графических форматов от незаконного копирования, Мазуров Н.В., - Известия вузов, Геодезия и аэрофотосъемка, Москва, 2005. - с. 231 -237.

j t

л

I

»23754

РНБ Русский фонд

2006-4 25152

Подписано в печать 24.11.2005. Гарнитура Тайме формат 60x90/16. Бумага офсетная. Печать офсетная. Печ. л. 1,5. Уч.-изд. л. 1,5; Тираж 80 экэ. Заказ №223 Цена договорная УПП «Репрография» МИИГАиК, 105064, Москва, Гороховский пер., 4

Содержание диссертации, кандидата технических наук, Мазуров, Николай Владимирович

Введение.

Глава 1. Исследование существующих методов и технологий 9 создания высокопроизводительных центров для решения задач обработки геопространственных данных.

1.1 Обобщенная математическая модель систем обработки 9 геопространственных данных.

1.2 Обзор основных задач и проблем обработки 14 геопространственной информации, требующих больших вычислительных ресурсов.

1.2.1 Задачи обработки геопространственных данных.

1.2.2 Анализ существующих систем обработки 25 геопространственной информации.

1.3 Применение высокопроизводительных систем для обработки 30 геопространственных данных.

1.3.1 Использование многопроцессорных компьютеров для 32 решения задач высокопроизводительной обработки данных.

1.3.2 Использование кластерных систем для 37 высокопроизводительной обработки данных.

1.4 Постановка задачи по построению специализированного 39 центра высокопроизводительной обработки геопространственных данных.

1.5 Выводы.

Глава 2. Разработка модели центра высокопроизводительной обработки геопространственных данных.

2.1 Определение специфики обработки геопространственных 44 данных, влияющих на методологию построения высокопроизводительной системы обработки.

2.2 Структура центра высокопроизводительной обработки 44 геопространственных данных.

2.3 Математическая модель организации системы хранения 48 геопространственных данных с высокой заданной скоростью доступа к информации.

2.4 Модель организации эффективного доступа к 58 геопространственным данным растровых графических форматов через Интернет.

2.5 Модель организации эффективного доступа к 63 геопространственной информации векторных графических форматов через Интернет.

2.6 Проблема распараллеливания задач обработки 69 геопространственных данных для организации эффективных вычислений.

2.7 Разработка комплексной системы безопасности центра 73 высокопроизводительной обработки геопространственных данных.

2.8 Модель системы организации непрерывного доступа к 76 ресурсам центра с высокой степенью отказоустойчивости.

2.9 Выводы.

Глава 3. Разработка методики создания центра высокопроизводительной обработки геопространственных данных.

3.1 Система критериев для построения центра 80 высокопроизводительной обработки геопространственных данных.

3.1.1 Критерии выбора аппаратного обеспечения отвечающего 80 необходимым требованиям для создания центра высокопроизводительной обработки геопространственных данных.

3.1.2 Критерии выбора программного обеспечения и программных 83 платформ для создания различных компонентов центра.

3.2 Создание системы удаленной загрузки данных для обработки 85 центром и визуализации результатов обработки через Интернет.

3.2.1 Система загрузки данных через Интернет.

3.2.2 Система визуализации результатов обработки данных через 90 Интернет.

3.3 Реализация системы обеспечения безопасности центра и 101 повышения отказоустойчивости и надежности.

3.3.1 Обеспечение безопасности данных, обрабатываемых 101 центром.

3.3.2 Создание системы отказоустойчивости и повышения 102 надежности.

3.4 Выводы.

Глава 4. Экспериментальные исследования принципов создания 103 центра высокопроизводительной обработки геопространственных данных.

4.1 Обоснование эксперимента.

4.2 Описание вычислительного эксперимента.

4.3 Результаты эксперимента.

4.4 Выводы.

Введение Диссертация по наукам о земле, на тему "Разработка и исследование принципов построения центра высокопроизводительной обработки геопространственных данных"

В настоящее время в науках о Земле информационно-вычислительные системы приобретают решающее значение. В области обработки геопространственных данных требования к мощности и производительности вычислительных систем растут опережающими темпами. Современные потребности в результатах обработки различных геопространственных данных способствуют появлению новых, ресурсоемких методов решения поставленных задач.

К сожалению, современный этап развития информационных технологий, не позволяет обеспечить всех заинтересованных в высокопроизводительной обработке геопространственных данных сторон необходимым программным обеспечением и аппаратными средствами для удовлетворения их потребностей. Это связано с дороговизной вычислительных систем, программного обеспечения, отсутствием квалифицированного персонала и многими другими факторами.

Для удовлетворения потребностей различных организаций в результатах обработки геопространственных данных целесообразно создавать специализированные вычислительные центры, предоставляющие коллективный доступ к ресурсам центра. Это позволит решить ряд проблем возникающих при организации процесса обработки геопространственных данных самими организациями.

В процессе создания центра высокопроизводительной обработки геопространственных данных может возникнуть ряд сложностей, связанных со спецификой задач обработки геопространственных данных. Стандартные подходы к созданию подобного центра не будут удовлетворять выдвигаемым требованиям. Поэтому при проектировании и создании центра необходимо учитывать специфику решаемых задач, требования к скорости и * производительности вычислительных систем, объемы обрабатываемой информации и многие другие.

Целью работы является разработка принципов проектирования специализированного центра высокопроизводительной обработки геопространственных данных.

В соответствии с целью работы в рамках исследования были поставлены следующие задачи:

1. Определение специфических характеристик геопространственных данных и методов их обработки.

2. Определение круга задач обработки геопространственных данных, для которых производительность вычислительных систем имеет решающее значение.

3. Исследование и выбор технологий, программного и аппаратного обеспечения, позволяющих наиболее оптимально решить поставленные задачи.

5. Разработка принципов организации удаленного доступа к ресурсам центра заинтересованных организаций.

6. Создание проекта центра высокопроизводительной обработки геопространственных данных с возможностью коллективного использования ресурсов. Разработка логической и физической структура Центра.

7. Проведение апробации выдвинутых положений на примере создания центра высокопроизводительной обработки геопространственных данных МИИГАиК.

Выбранное направление исследования является актуальным. Актуальность темы определяется возрастающими потребностями различных организаций в России и за рубежом в результатах ресурсоемкой обработки геопространственных данных и отсутствием специализированных центров, способных удовлетворить этим запросам.

Не смотря на то, что проектирование любого вычислительного центра не является простой задачей, так как необходимо учитывать множество технических и технологических особенностей, эта проблема удачно решается в различных научных отраслях. Чего нельзя сказать о проектировании и создании вычислительных центров по ресурсоемкой обработке геопространственных данных. Таких специализированных вычислительных центров, предоставляющих доступ к ресурсам заинтересованным организациям, в настоящее время не существует. Это обуславливает научную новизну и практическую значимость данного исследования.

Теоретической и методологической основой диссертационной работы послужили труды отечественных и зарубежных специалистов в области геоинформатики, геодезии, картографии, фотограмметрии, вычислительной техники, высокопроизводительной обработки и других областях. В работе также использованы материалы опубликованные в периодических изданиях и материалы Российских и международных конференций.

Положения, выносимые на защиту:

1. Обоснование целесообразности построения специализированного центра высокопроизводительной обработки геопространственных данных с возможностью предоставления удаленного доступа заинтересованным организациям.

2. Методы организации эффективной передачи растровых и векторных изображений через сети передачи данных.

3. Методы организации эффективного хранения больших объемов геопространственной информации.

4. Выбор технологий, стандартов, программного и аппаратного обеспечения для построения специализированного центра высокопроизводительной обработки геопространственных данных.

5. Структура центра высокопроизводительной обработки геопространственных данных.

Структура диссертационной работы:

Диссертационная работа изложена на страницах печатного текста, состоит из введения, трех глав, заключения, списка литературы.

В первой главе исследуются принципы и технологии создания специализированных центров высокопроизводительной обработки геопространственных данных. Приведена математическая модель систем обработки геопространственных данных. Проведен анализ задач обработки геопространственных данных, требующих больших вычислительных ресурсов. Приведен анализ существующих систем высокопроизводительной обработки геопространственных данных, а также систем распределенных вычислений. Сформулирована задача по построению центра высокопроизводительной обработки геопространственных данных.

Во второй главе разработана модель центра высокопроизводительной обработки геопространственных данных. Определена специфика, влияющая на методологию построения специализированной системы высокопроизводительной обработки геопространственных данных. Определена структура центра. Предложены математические модели организации системы хранения геопространственных данных с высокой скоростью доступа к информации, модели организации эффективного доступа к растровым и векторным графическим форматам. Рассмотрена проблема распараллеливания задач обработки геопространственных данных. Разработаны системы безопасности и отказоустойчивости центра.

В третьей главе разработана методика создания центра высокопроизводительной обработки геопространственных данных. Для выбора структурных элементов центра разработан ряд критериев, позволяющих оценить эффективность выбора программного и аппаратного обеспечения центра. Описана система удаленной загрузки данных через Интернет, а также система визуализации результатов обработки графических данных. Описана система обеспечения безопасности и отказоустойчивости.

В четвертой главе произведено экспериментальное исследование изложенных в работе принципов.

Заключение Диссертация по теме "Геоинформатика", Мазуров, Николай Владимирович

4.4 Выводы.

Эксперимент показал, что предложенный метод эффективного доступа к изображениям векторных графических форматов показывает хорошие результаты. При изменении количества вершин, образующих полигоны, в 5 раз, а следовательно и объема векторного изображения тоже около 5 раз, характеристики полигонов изменяются не существенно (6,5% по площади полигона).

Заключение

Была определена специфика геопространственных данных, влияющая на методику создания центров высокопроизводительной обработки таких данных. Было показано, что для достижения максимального эффекта от функционирования подобного центра, необходимо учитывать эту специфику. Произведен анализ существующих методов высокопроизводительной обработки данных. По результатам анализа определены классы задач, для решения которых требуется тот или иной метод высокопроизводительной обработки геоданных.

Были разработаны модели эффективной передачи геопространственных данных по сетям связи. Разработанные модели могут быть применимы к графическим данным растровых и векторных форматов. Их применение поможет сделать максимально эффективным процесс передачи объемных графических геоданных по сетям с низкой пропускной способностью, таких как Интернет.

Также была разработана модель распределенного хранения данных, которая может быть использована для обеспечения доступности геопространственных данных в условиях неравномерной загруженности сети и неравномерного распределения в ней информации. Применение данной модели позволит организовать эффективное хранение геопространственной информации.

Была предложена система критериев, позволяющих выбрать программное и аппаратное обеспечение центра высокопроизводительной обработки геопространственных данных. Использование этих критериев позволяет выбрать программное и аппаратное обеспечение соответствующее поставленным задачам по обработке геоданных.

На основании критериев была разработана структура центра, отвечающая всем требованиям, выдвигаемым к центру высокопроизводительной обработки геопространственных данных. Предложенная архитектура позволяет организовать доступ к ресурсам центра заинтересованным пользователям через Интернет, обеспечивает достаточный уровень надежности и защиты данных, скорости обработки и емкости систем хранения информации.

Был проведен эксперимент по обоснованию эффективности использования методов хранения и передачи изображений векторных форматов, предложенный в диссертационной работе. Эксперимент показал хорошие результаты, позволяющие сделать выводы о рациональности применения метода в центре высокопроизводительной обработки данных.

В целом были достигнуты все поставленные перед работой цели и получены ожидаемые результаты.

Библиография Диссертация по наукам о земле, кандидата технических наук, Мазуров, Николай Владимирович, Москва

1. Бугаевский JI. М., Цветков В. Я. Геоинформадионные системы. М.: Златоуст, 2000. 224 с.

2. Бугаевский JI. М., Математическая картография. М.: Златоуст, 1988. -480 с.

3. Бугаевский JI. М., Цветков В.Я., Флейс М.Э., Терминологическая основа и вопросы обучения ГИС // Информационные технологии,2000^11,с.11-16

4. Жалковский Е. А., Халугин Е. И., Комаров А. И., Серпуховитин Б. И. Цифровая картография и геоинформатика. М.: "Картоцентр-Геодезиздат", 1999

5. Иванников А. Д., Кулагин В. П., Тихонов А. Н., Цветков В. Я. Геоинформатика. М.: МаксПресс, 2001. - 347 с.

6. Иванников А. Д., Кулагин В. П., Тихонов А. Н., Цветков В. Я., Информационная безопасность в геоинформатике. М.: МаксПресс, 2004. - 334 с.

7. Картография. Геоинформационные системы / Сост., ред. и автор предисловия А. М. Берлянт и В. С. Тикунов // Сб. переводных статей, М., Картгеоцентр - Геодезиздат, 1994. -вып. 4 350 с.

8. Колмогоров А. Н. Теория передачи информации. М.: Изд-во АН СССР, 1956. - 257 с.

9. Конон Н. И. Введение в проблематику информационного обеспечения геоинформационных систем. М.: ООО Недра-Бизнесцентр, 2000. - 48 с.

10. Конон И. Н. Об информационных характеристиках геоинформационных систем // Геодезия и картография. 2001. - №4. - С. 43-46 с.

11. Шеннон К. Э. Работы по теории информации и кибернетике. М.: Изд-во иностранной литературы., 1963. - 832 с.

12. Кулагин В. П., Цветков В. Я., Геоинформатика как метанаука// XXVIII международная конференция и дискуссионный научный клуб Информационные технологии в науке, образовании и бизнесе.- Гурзуф, 2000, с 91-92.

13. Майкл Де Мере, Географические информационные системы. Основы. М.: Дата+, 1999

14. Максудова JI. Г., Савиных В. П., Цветков В. Я., Интеграция наук об окружающем мире в геоинформатике// Исследование Земли из космоса.- №1. 2000. с.46-50.

15. Максудова JI. Г., Цветков В. Я., От информации к информационным ресурсам // Геодезия и аэрофотосъемка, 2000, №1. с.93-98.

16. Максудова JI. Г., Цветков В. Я., Классификация информационных ресурсов // Геодезия и аэрофотосъемка, 2000, №4. с. 140-149

17. Максудова JT. Г., Цветков В. Я., Информационное моделирование как фундаментальный метод познания.// Геодезия и аэрофотосъемка, 2001, №1. с. 102-106.

18. Bader D. A. and J'aJ'a J., 1996a, Parallel algorithms for image histogramming and connected components with an experimental study. Journal of Parallel and Distributed Computing, 35,173-190.

19. Bader, D. A. and J'aJ'a J., 1996b, Practical parallel algorithms for dynamic data redistribution, median finding, and selection. Proceedings of the 10th International Parallel Processing Symposium, Honolulu, HI, 292-301.

20. Bader, D. A., J'aJ'a J., Harwood, D. and Davis, L. S., 1996, Parallel algorithms for image enhancement and segmentation by region growing with an experimental study. The Journal of Supercomputing, 10,141-168.

21. Bentley J. L., 1975, Multidimensional binary search trees for associative searching. Communications of the ACM, 18,509-517.

22. С. С. Замай, О. Э. Якубайлик, Программное обеспечение и технологии геоинформационных систем., Учебное пособие., Красноярск, 1998. — 104 с.

23. Гэри М., Джонсон Д., Вычислительные машины и труднорешаемые задачи. М.: Мир, 1982.-416 с.

24. Воеводин Вл. В. Легко ли получить обещанный гигафлоп? // Программирование. -1995.-№4. с. 13-23.

25. Воеводин В. В., Воеводин Вл. В. Параллельные вычисления. СПб.: БХВ-Петербург, 2002.-600 с.

26. MPI: A Message-Passing Interface Standard. Message Passing Interface Forum. Version 1.1.1995. - http://www-unix.mcs.anl.gov/mpi

27. High Performance Fortran Language Specification. High Performance Fortran Forum. -Version 2.0.1997. http://dacnet.rice.edu/Depts/CRPC /HPFF/

28. Коновалов Н. А., Крюков В. А., Погребцов А. А., Сазанов Ю. JI. C-DVM язык разработки мобильных параллельных программ. // Программирование. - 1999. - № 1. - С. 2028.

29. Amdahl. Validity of the single-processor approach to achieving large-scale computingcapabilities. // Proc. 1967 AFIPS Conf., AFIPS Press. 1967. - V. 30. - P. 483.i

30. D. Patterson, G. Gibson, R. Katz. A Case for Redundant Arrays of Inexpensive Disks (RAID). / University of California. Berkeley 1987. — 26 p.

31. Б. Ван дер Варден. Алгебра. — М.: Наука. 1979. — 648 с.

32. Е. Win, A. Bosselaers, S. Vanderberghe, P. Gersem, J. Vandewalle. A Fast Software Implementation for Arithmetic Operations in GF(2n). / Katholieke Universiteit Leuven. 1997. — 12 P

33. Электронный журнал «ИССЛЕДОВАНО В РОССИИ» http://zhurnal.ape.relam.ru/articles/2001/364/035.pdf

34. A. Stallings. Data and Computer Communications. Sixth Edition. — New Jersey: Prentice Hall. 1999. —810 p.

35. V. Hamann. Making Internet Servers Fault-Tolerant A Comprehensive Overview. / Материалы конференции "Intemer-Россия 96". — 7 p.

36. H. Kameda, J. Li, C. Kim, Y. Zhang. Optimal Load Balancing in Distributed Computer Systems (Telecommunication Networks and Computer Systems). — Berlin: Springer Verlag. 1996. — 251 p.

37. A. Shamir, How to share a secret. Communications of the ACM // vol. 24.1979. — pp. 612 -613.

38. Bertolotto M. and Egenhofer M. J., 1999. Progressive Vector Transmission. In: Proceedings ACMGIS'99, Kansas City, MO, pp.152-157.

39. Buttenfield, B. P., 2002. Transmitting Vector Geospatial Data across the Internet, In: Proceedings GIScience 2002, Lecture Notes in Computer Science, Vol. 2748 (Egenhofer and Mark eds), pp.51-64.

40. Kern P. and Carswell J. D., 1994. An Investigation into the Use of JPEG Image Compression for Digital Photogrammetry: Does the Compression of Images Affect Measurement Accuracy. In: Proceedings EGIS94, Paris, France.

41. Park D., Cho H. and Kim Y., 2001. A TIN Compression Method using Delaunay Triangulation. International Journal of Geographical Information Science, 15(3), pp.255-270.

42. Rauschenbach U. and Schumann H., 1999. Demand-driven Image Transmission with Levels of Details and Regions of Interest. Computer and Graphics, 23(6), pp.857-866.

43. Visvalingam M. and Herbert S., 1999. A Computer Science Perspective on the Bendsimplification on Algorithm. Cartography and Geographic Information Science, 26(4), pp.253270.

44. Дистанционное зондирование: количественный подход. Переводе англ. Пяткина В. П. и Юдиной О. А. под ред. А. С.Алексеева.- М.:Недра, 1983,-415с.

45. Корнеев В. Д., Параллельное программирование в MPI. Новосибирск: Изд-во СО РАН, 2000.-213с.

46. A. Buchnev, V. Pyatkin. Software for Aerospace Imagery Processing. 5-th Int. Conf. PRIP'99. Pattern Recognition and Information Processing. Minsk, Republik of Belarus, 18-20 мая, 1999, Vol. 2, p. 342-344.

47. Об одном статистическом подходе кзадачеавтоматизированноговыделения линейных элементов на аэрокосмических снимках. JI. П.Аргунов, В. П. Пяткин , Салов Г. И. идр.-ДАН,1988,т.299, N 1, с.76-79.

48. Alekseev A. S., Pyatkin V. P., Salov G. I. Crater Detection inAero-space Imagery Using Simple Nonparametric StatisticalTests. Lecture NotesinComputer Science, Springer-Verlag, V.179, 1993, p.793-799.

49. Салов Г. И. О мощности непараметрических критериев для обнаружения протяженных объектов на случайном фоне. -Автометрия. 1997. №3. с.60-75.

50. Вальд А., Последовательный анализ/ А. Вальд.- М.: Физматгиз, 1960.

51. Елагин В., Кластеры против катастроф / В. Елагин // Открытые системы. 2002. - № 6. -С. 29-36.

52. Ковалев И. В. Избыточное программирование надежных программных комплексов/ И. В. Ковалев, С. В. Савин// Доклады международной научно-практической конференции И-го Сибирского авиационно-космического салона.- Красноярск: СибГАУ, 2002. С. 171.

53. Коржов В. Адекватные системы / В. Коржов // Открытые системы. — 2001. № 12. - С. 14-18.

54. Михалевич В. С. Вычислительные методы исследования и проектирования сложных систем/ В. С. Михалевич, В. JI. Волкович. М: Наука, 1982.

55. Ширяев Д. Выбор оптимальной информационной системы/ Д. Ширяев, В. Аншелес, В. Мочалин// Открытые системы, №10,2001. С.20-26.

56. Матвеев С. И., Коугия В. А., Цветков В. Я. Геоинформационные системы и технологии на железнодорожном транспорте. М.: УМП МПС России, 2002 - 288 с.

57. Месарович М., Мако Д., Такахара Н. Теория иерархических многоуровневых систем. -М.: Мир, 1973.

58. Основы геоинформатики. В 2-х кн. / под ред. B.C. Тикунова. М.: "Академия", 2004, Кн.1- 359 с, Кн.2-480 с.

59. Поляков А. А., Цветков В. Я. Прикладная информатика.- М.: "Янус-К", 2002. -392 с.

60. Савиных В. П., Кучко А. П., Стеценко А. Ф. Аэрокосмическая фотосъемка. -М.: Картоцентр-Геодезиздат, 1997 378 с.

61. Савиных В. П., Малинников В. А., Сладкопевцев С. А., Цыпина Э. М. География из космоса. М.Из-во МИИГАиК, 2000. -234 с.

62. Савиных В. П., Цветков В. Я. Геоинформационные анализ данных дистанционного зондирования. М.: Картоцентр Геодезиздат, 2001. - 224с.

63. Савиных В. П., Цветков В. Я. Интеграция технологий ГИС и систем дистанционного зондирования Земли // Исследование Земли из космоса. — 2000. — №2.—С.83—86.

64. Хаксольд В. Введение в городские географические информационные системы. -Издательство Оксфордского университета, 1991 г.

65. Цветков В. Я., Геоинформационные системы и технологии М.: Финансы и статистика, 1998. -278 с

66. Цветков В. Я.,, Геоинформационное моделирование // Информационные технологии,1999, №3. с. 23- 27.

67. Цветков В. Я., Стандартизация информационных программных средств и программных продуктов. М.: МГУГиК, 2000 - 116 с.

68. Цветков В. Я., Цифровые карты и цифровые модели // Геодезия и аэрофотосъемка,2000, №2. с.147-155.

69. Цветков В. Я. Создание интегрированной информационной основы ГИС // Геодезия и аэрофотосъемка, 2000, №4. с. 150-154.

70. Цветков В. Л., Семиотический подход к построению моделей данных в автоматизированных информационных системах // Геодезия и аэрофотосъемка, 2000, №5, с. 142-145.

71. Цветков В. Я. Геомаркетинг М.: Финансы и статистика 2002 -224 с.

72. Воеводин В. В., Воеводин Вл. В. Параллельные вычисления. — СПб.: БХВ Петербург, 2004.-608 е.: ил.

73. Андреев А. Н., Воеводин Вл. В., Жуматий С.А. Кластеры и суперкомпьютеры -близнецы или братья? Открытые системы. - 2000.

74. Немнюгин С. А., Стесик О. Л. Параллельное программирование для многопроцессорных вычислительных систем. — СПб.: БХВ — Петербург, 2002. — 400 е.: ил.

75. Арапов Д. М., Калинов А. Я., Ластовецкий А. Л., Ледовских И. Н., Посыпкин Н. А. Язык и система программирование для высокопроизводительных параллельных вычислений на неоднородных сетях. Программирование. 2000 г. - №4.

76. Водяхо А. И., Горнец Н. Н., Пузанков Д. В. Высокопроизводительные системы обработки данных. -М.: Высшая школа, 1997.

77. Немнюгин С., Чаунин М., Комолкин А. Эффективная работа: Unix. СПб.: Питер, 2001.

78. Воеводин Вл. В., Статистический анализ и вопросы эффективной реализации программ, вычислительные процессы и системы. -1993. №9.

79. Домашний мейнфрейм. Превращение локальной сети в суперкомпьютер. Chip -Россия. С.118-123.

80. Культин Н. Б., Самоучитель С++ Builder. СПб.: БХВ - Петербург, 2004. -320 е.: ил.

81. Страуструп Б., Язык программирования С++. М.: Радио и связь, 1991.

82. Соломенчук В. Г., Linux. Экспресс курс. - СПб.: БХВ - Петербург, 2005. - 288 е.: ил.

83. Защита геопространственной информации в локальных вычислительных сетях с использованием firewall-cepBepa на базе маршрутизатора CISCO PIX-515, Мазуров Н.В., Известия ВУЗов, Геодезия и аэрофотосъемка, специальный выпуск, Москва, 2002, с. 133 — 141.

84. Принципы организации web-ориентированных баз геопространственных данных, Мазуров Н.В., Известия ВУЗов, Геодезия и аэрофотосъемка, Москва, 2004, с. 114 -118.

85. Возможность использования цифровых водяных знаков для защиты векторных и растровых графических форматов от незаконного копирования, Мазуров Н.В., Известия вузов, Геодезия и аэрофотосъемка, Москва, 2005. - с. 231-237.