Бесплатный автореферат и диссертация по биологии на тему

Метод построения информационных систем обработки оперативных данных экологического мониторинга

ВАК РФ 03.00.16, Экология

Содержание диссертации, кандидата физико-математических наук, Баянов, Дмитрий Александрович

Введение.

1. Современные методы и инструментальные средства построения информационных систем мониторинга.

2. Структура ИСЭМ и взаимодействие компонентов системы.

2.1. Использование методов математического моделирования распространения загрязняющих веществ в атмосфере и водной среде.

2.1.1. Пример модели распределения загрязняющих веществ различного типа по глубине речного русла.

2.1.2. Пример модели загрязнения атмосферы от группы точечных источников

2.2. Использование геоинформационных систем.

2.3. Создание баз данных исходных наблюдений.

3. Метод построения инструментальной платформы СУБД для ИСЭМ.

3.1. Теоретические вопросы построения инструментальной платформы СУБД

3.1.1. Построение расширенного словаря базы данных.

3.1.2. Оптимальный состав компонент базового исполняющего ядра

3.1.3. Создание оптимального набора визуальных компонент редактирования БД

3.1.4. Определение многофункционального табличного интерфейса для типовой работы с данными БД.

3.1.5. Модель защиты от несанкционированного использования и распространения элементов ИС.

3.1.6. Решение задачи системного построения надежного первичного ключа -глобального уникального идентификатора GUID.

3.1.7. Создание логических семафорных блокировок для многоуровневого регулирования доступа к разделяемым объектам сетевых ресурсов.

3.1.8. Создание универсального генератора аналитических отчетов.

3.1.9. Решение задачи программной генерации документов MS-Word из внешнего приложения и задачи слияния RTF-документов в объединенный документ

3.2. Устройство и организация инструментальной платформы СУБД.

3.2.1. Средства разработки приложений СУБД.

3.2.2. Унифицированный табличный интерфейс.

3.2.3. Базовое исполняющее ядро.

Введение Диссертация по биологии, на тему "Метод построения информационных систем обработки оперативных данных экологического мониторинга"

Катастрофически нарастающее в последнее время техногенное воздействие на окружающую среду, выражающееся в загрязнении атмосферы и водных источников, становится в настоящее время одной из самых больших проблем всего человечества. Последствия такого воздействия уже приводят к глобальному изменению равновесия в геосистемах и экосистемах [25,26]. В связи с этим появилась необходимость создания новых научных методов и механизмов контроля и прогнозирования, направленных на ослабление и предотвращение негативных последствий техногенного влияния человечества на окружающую среду.

Контроль за воздействием на окружающую среду производится посредством методов экологического мониторинга. Термин "мониторинг" происходит от англ. "to monitor, monitoring" — "наблюдать, контролировать". Фактически, процесс мониторинга выражается в непрерывном сборе и накоплении данных по наблюдениям за геофизическими параметрами окружающей среды и показателями техногенного воздействия на нее (концентрации химических веществ, уровень радиации, масса выброса и пр.). Накопленная информация структурируется, упорядочивается и затем обрабатывается специальными методами математического моделирования, прогнозирования и создания аналитической отчетности. Полученные таким образом аналитические знания используются для корректирующего воздействия на процессы загрязнения среды, образуя регулирующую обратную связь. В одном случае это могут быть нормативные условия по расчету предельно допустимых концентраций (ПДК) загрязняющих веществ для предприятий, в другом случае - получение основания о возможности или невозможности вводить в эксплуатацию новые производства или изменять условия их работы, в третьем случае - рассчитывать участки максимального загрязнения для их дезактивации или создание автоматизированных систем оперативного предупреждения населения о безопасных направлениях эвакуации в случаях радиационных и химических катастроф [16].

Для повышения достоверности создаваемых математических моделей и получения своевременных прогнозов необходимо оперативное накопление информации с минимально возможным шагом дискретизации по времени - т.е., 5 информация должна поступать регулярно и оперативно обрабатываться. Для автоматизации подобного процесса накопления и обработки информации широко используются разнообразные информационные системы (ИС), называемые так в широком смысле. В качестве подобных систем используются разновидности систем управления базами данных, отдельные приложения для моделирования на основе статичных массивов, вспомогательные графические средства визуализации моделей и объектов на географических полях (картах). Однако, конкретной концепции интегрированной информационной системы для экологического мониторинга (ИСЭМ) на сегодняшний день не существует. Отчасти это связано с разнородностью специализации функциональных компонент, которые должны входить в ИС и взаимодействовать друг с другом: математика - моделирование, графическое моделирование - ГИС-геоинформационные системы [8], информатика - обработка баз данных и, как самый методологически "неудобный" компонент, - разнородные структуры собираемых массивов информации от разных источников наблюдения, т.е., каждый новый источник данных - это новая структура со специфическими реквизитами предметной области - химические соединения, атмосферные показатели, уровни радиации, административные структуры, водопользователи и т.п.

Таким образом, объектом исследования в настоящей работе являются данные экологического мониторинга, а предметом исследования - метод обработки этих данных с помощью информационных систем.

Имеющиеся на сегодняшний день варианты информационных систем реализованы в виде таких отдельных функциональных приложений, как:

- Локальные базы данных с жесткой структурой со специализированными функциями моделирования на базе САПР [33]

- Распределенные банки данных по мониторингу [69]

- Локальные базы данных для систем мониторинга в реальном времени [204]

- Математические модели процесса сбора и верификации данных мониторинга [65, 163,115]

- Специализированные геоинформационные приложения [8,127,29]

Анализ существующих систем показал, что методология создания единой комплексной информационной системы по экологическому мониторингу на сегодня пока не представлена. 6

Целью настоящей работы является создание метода построения распределенной информационной системы обработки данных ЭМ с изменяемой структурой, интегрирующей в себя все вышеперечисленные функциональные компоненты - базы данных, математические модели и геоинформационную систему. Для реализации данного метода необходимо связать все функциональные компоненты едиными потоками данных, обеспечить возможность оперативного дополнения и изменения структур исходных данных мониторинга, так, чтобы не вызывать противоречий между меняющими друг друга структурами, построить базовую модель ИСЭМ, реализовать ее применительно к исходным данным Государственного комитета по охране окружающей среды Краснодарского края -контроль загрязнения водных бассейнов, и Краснодарской зональной гидрометеорологической обсерватории - контроль состояния воздушного бассейна.

Научная новизна работы состоит в том, что для организации основного информационного поля исходных данных с менюющейся структурой предлагается использовать методологию разработки и организации баз данных мониторинга с использованием унифицированных функциональных модулей БД, исключающую необходимость повторного программирования приложений при изменениях или дополнениях в структурах данных. В рамках данной методологии автором были разработаны новые методы в фундаментальной теории реляционных баз данных. В состав типовых функций ИСЭМ предлагается включить математические модели нескольких типовых схем распространения ЗВ в воде и воздухе. Использование RAD-технологии быстрой разработки (Rapid Application Development) позволяет в 5-10 раз (в зависимости от сложности структуры) сократить время на создание и модификацию структур и алгоритмов, что, в свою очередь, позволит работать ИСЭМ в режиме реального времени. Унифицированные структуры и исполняющие модули обеспечивают построение совместимых распределенных хранилищ данных мониторинга. Оперативность получения аналитических запросов по периодам наблюдений, уровням максимальных концентраций и их распределению обеспечиваются встроенными информационно-поисковыми функциями, работающими с любыми типами данных. Аналитические средства построения отчетов позволяют оперативно получать выборки данных наблюдения в любом 7 разрезе и конвертировать их в файлы Web-страницы для доступа в других узлах распределенной системы ИСЭМ.

Методы исследований по данной теме разработаны на основе 10-летних экспериментов по моделированию и апробации различных схем обработки баз данных, сравнение их производительности с традиционными инструментальными средствами, анализ полученных решений и формирование методологии построения информационных систем. Результатом проведенных исследований стало создание концепции инструментальной платформы по обработке данных СУБД и ее реализация для языка БД Microsoft Visual FoxPro 6.0.

Диссертация состоит из четырех разделов, введения, заключения, списка литературы и приложения.

Первый раздел содержит краткое изложение современных методов и инструментальных средств, используемых для решения задач обработки данных и построения информационных систем экологического мониторинга.

Во втором разделе рассматриваются вопросы организации и построения интегрированной ИСЭМ. Предлагается, что ИСЭМ должна состоять из 4 основных компонент - инструментальной платформы СУБД, встроенных математических моделей распространения загрязнений водного и воздушного бассейнов, геоинформационных систем и механизма подключения внешних модулей и приложений, расширяющих функциональность системы до необходимого уровня.

В третьем разделе освещаются теоретические вопросы построения инструментальной платформы СУБД и описывается ее практическая реализация. Настоящий раздел представляет основной вклад автора в развитие рассматриваемой темы. Для построения всех необходимых механизмов в рамках новой методологии недостаточно традиционных решений. Автором предложены новые решения некоторых задач в фундаментальной теории реляционных баз данных. Обсуждается организации распределенных банков данных и разработка метода многоуровневых блокировок объектов, генерации уникальных идентификаторов объектов БД и первичных ключей, способ построения универсального генератора статистических и аналитических отчетов, интеграция его во всемирную сеть. Практическая реализация предложенных методов представлена в виде разработанной автором универсальной инструментальной системы, предназначенной для быстрой разработки 8 унифицированных приложений в области систем управления базами данных. Дано описание работы составляющих модулей инструментальной платформы СУБД и метода разработки приложений для баз данных.

Последний, четвертый раздел демонстрирует практическое решение двух прикладных задач с использованием защищаемой информационной системы: мониторинг водного бассейна (по данным Государственного комитета по охране окружающей среды краснодарского края) и воздушного бассейна (по данным Краснодарской зональной гидрометеорологической обсерватории). Описывается выбор структуры организации данных, некоторые аналитические и статистические отчеты в различных уровнях обобщения и выборки.

Приложение содержит структуры прикладных задач и их баз данных, описанных в главе 4, демонстрирующие реализацию приложений в рамках ИСЭМ.

Все научные положения предоставляемой диссертации строго обоснованы. Достоверность результатов обеспечивается строгостью математических методов, соответствием полученных решений современным физическим представлениям и сравнением их с известными теоретическими результатами там, где это возможно; демонстрацией устойчивой работы программных приложений.

На защиту выносятся:

1. Разработка методологии построения универсальной информационной системы обработки данных экологического мониторинга, состоящей из инструментальной платформы СУБД, модулей математического моделирования типовых процессов распространения ЗВ и геоинформационной системы.

2. Разработка методологии построения инструментальной платформы для быстрой разработки прикладных систем управления БД ЭМ.

3. Разработка методологии представления прикладной системы управления БД ЭМ в виде универсальной унифицированной информационно-поисковой системы.

4. Практическая реализация разработанной методологии в виде программной инструментальной системы для быстрой разработки и исполнения прикладных систем управления БД ЭМ. 9

Заключение Диссертация по теме "Экология", Баянов, Дмитрий Александрович

ЗАКЛЮЧЕНИЕ

1. В работе рассмотрены методы организации и построения информационных систем обработки данных экологического мониторинга. Показана возможность построения подобной информационной системы в виде интегрированного комплекса, состоящего из системы управления базами данных, встроенных приложений математического моделирования, геоинформационной системы и дополнительных внешних модулей, подключаемых к системе посредством унифицированных каналов обмена данными.

2. Разработана действующая модель инструментальной платформы СУБД и средств разработки информационных прикладных систем мониторинга на ее основе. Модель реализована на языке Microsoft Visual FoxPro 6.0 и содержит более ЗО'ООО строк кода и 50 классов. Новый метод позволяет сократить этап базового программирования прикладного приложения и использовать унифицированные информационно-поисковые модули в качестве исполняющего ядра приложения совместно со средствами быстрого проектирования (RAD). Предложен метод разработки информационных прикладных приложений в виде структуры задач, представляющей описание таблиц БД, структуры полей таблиц, связи между таблицами, клиентские триггера целостности и сохраненные прикладные процедуры. Описанная структура загружается в исполняющее ядро приложения и, таким образом, организует действующую клиентскую задачу. Дополнительные и нестандартные функциональные модули подключаются либо в виде внешних вызываемых приложений, либо в виде внешних откомпилированных АРР-приложений на языке СУБД.

3. Эффективность нового метода построения ИС продемонстрирована созданием двух прикладных систем по мониторингу водного бассейна (по данным Государственного комитета по охране окружающей среды краснодарского края) и воздушного бассейна (по данным Краснодарской зональной гидрометеорологической обсерватории). Первая система была построена в течение 11 дней (7 технических согласований), вторая за 5 дней (3 технических согласования).

116

4. Предложен новый способ построения распределенной локальной информационной системы в виде централизованного источника изменений структур и удаленных приложений (по схеме "звезда"). Способ предполагает, что все удаленные информационные приложения работают на базе унифицированного исполняющего ядра, имеют возможность открыть любую таблицу другого приложения. При этом описание всех структур находится на централизованном хранилище (сервере). После внесения изменений в структуру любой задачи она загружается на сервер. Каждое приложение перед запуском производит проверку, синхронизацию версий структуры и исполнимых модулей, обновление данных, обеспечивая тем самым непрерывный процесс работы системы в условиях изменения структуры данных.

5. Предложен новый подход в создании клиентских баз данных с использованием дополнительного клиентского словаря БД, что позволяет отрабатывать триггера и процедуры сохранения целостности на клиентской части системы.

6. Предложен новый эффективный способ построения отношений в базах данных на основе разработанного метода построения уникального первичного ключа ОиГО. Метод затрагивает важнейшую область реляционных СУБД - первичные ключи. Новый способ позволяет строить распределенные информационные системы без необходимости ввода контекстных ссылочных ключей вручную, перенести обслуживание по организации таких ключей в системную часть, скрытую от пользователя.

7. Предложен новый подход в управлении распределенным доступом к множественным и сложным объектам, базирующийся на использовании механизма логических семафорных блокировок. Для регулирования доступа к записям также предлагается вместо использования традиционного механизма их физического блокирования применять семафорные логические блокировки. Подобный подход позволяет производить множественные блокировки записей и осуществлять авторизацию блокировок.

8. Разработан и реализован новый метод построения аналитических отчетов на основе данных СУБД. Отличительной его особенностью является то, что данный инструмент доступен не только разработчику, но и конечному пользователю, позволяя ему оперативно получать отчеты с указанными критериями выборок данных, степенью обобщения и сведения по различным параметрам мониторинга.

117

Построенный отчет загружается непосредственно в текстовый процессор MS Word или передается в сеть Internet/Intranet. В методе предложены новые технологии текстовых макросов в документах MS Word и программного слияния нелинейных RTF-кодов.

9. Предлагаемый метод построения информационных систем, за счет использования способов быстрой разработки информационных приложений и аналитических отчетов, позволяет оперативно строить распределенные информационные хранилища данных экологического мониторинга, подверженные частому структурному изменению и дополнениям, организовывать распределенный ввод данных, их первичную обработку с использованием локальных средств прогнозирования и математического графического моделирования, либо их последующую передачу в большие хранилища

10. Рассматриваемый метод построения ИС на основе инструментальной платформы СУБД может быть использован для построения узлов информационной сети по вводу и первичной обработке данных при организации глобальных распределенных систем мониторинга. На основе метода и предложенной модели ИС в региональных центрах возможно быстрое построение первичных информационных систем, объединение их в коммуникационную сеть, обеспечивающую обмен данными, их верификацию и передачу в федеральные центры по обработке сводных данных мониторинга.

11. Разработанный метод построения ИС на основе инструментальной платформы СУБД может применяться для обработки не только данных экологического мониторинга, но и данных в других областях, ввиду его универсальности и широкой функциональности.