Бесплатный автореферат и диссертация по географии на тему

Методика и технология первичной обработки на ПЭВМ гидрометеорологической информации, поступающей в символьной и бинарной формах

ВАК РФ 11.00.09, Метеорология, климатология, агрометеорология

Автореферат диссертации по теме "Методика и технология первичной обработки на ПЭВМ гидрометеорологической информации, поступающей в символьной и бинарной формах"

ггод

1 ь ¡995

На правах рукописи

ЛУБОВ Сергей Викторович

МЕТОДИКА И ТЕХНОЛОГИЯ ПЕРВИЧНОЙ ОБРАБОТКИ НА ПЭВМ ГИДРОМЕТЕОРОЛОГИЧЕСКОЙ ИНФОРМАЦИИ. ПОСТУПАЮЩЕЙ В СИМВОЛЬНОЙ И БИНАРНОЙ ФОРМАХ

11.00. 09 - метеорология, климатология, агрометеорология

Автореферат

диссертации на соискание ученой степени кандидата физико-математических наук

МОСКВА - 1995

Работа выполнена в Научно-производственном объединении "ПЛАНЕТА"

кандидат технических наук, старший научный сотрудник В.Д. Жупанов

доктор физико-математических наук, профессор Н.Ф. Вельтищев,

доктор физико-математических наук' Г.Ф. Тулинов

Ведущая организация: Всероссийский научно-исследовательский институт гидрометеорологических данных-Мировой центр данных

Защита состоится "30." 1995 г. в часов на

заседании Дцссертаишинопо совета К 024.05.02 Гидрометеорологического научно-исследовательского центра Российской Федерации по адресу: 123242, ■ г.Москва. Б.Предтеченский пер. д.9-13.

С диссертацией можно ознакомиться в библиотеке Гидрометцентра России.

Автореферат разослан " ^" г.

Научный руководитель:

Официальные оппоненты:

Ученый секретарь Диссертационного совета.

кандидат географических наук (¡¡-(.С^у А. И. Страшная

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы.

Персональные ЭВМ и рабочие станции, основанные на мощных микропроцессорах серии Intel, стали основой информационных систем обработки данных. Широкое применение ПЭВМ, их доступность, развитое системное и прикладное математическое обеспечение явились причиной того, что системам обработки данных на персональных ЭВМ уделяется в последнее время много внимания.

Реализация на ПЭВМ первичной обработки оперативных данных наземных и спутниковых измерений имеет ряд существенных особенностей, основными из которых являются: значительное разнообразие поступающей информации (данные гидрометеорологических наблюдений в кодах FM. данные дистанционного зондирования со спутников в растровой форме, результаты численных анализов и прогнозов в кодах GRIB, BUFR); необходимость совмещения во времени операций приема, накопления и обработки данных в режиме реального времени; случайный характер поступления различных типов данных: наличие в текстах поступающих сообщений значительного числа синтаксических ошибок, что вызывает необходимость визуального контроля и интерактивной корректировки ошибок. '

Принципиальным для такого рода систем является возможность приема высокоскоростных транспортных потоков, как правило в ОС UNIX . Система обработки данных на основе ПЭВМ в этом случае строится на базе локальной сети ПЭВМ или для этой цели применяется супер-ПЭВМ с многопользовательской операционной системой. Очевидно, что применение многопользовательской системы дает существенные преимущества по сравнению с локальной сетью, как по эффективности, так и по затратам на создание и эксплуатацию системы.

Цель работы и запячи исследования.

Целью работы является создание методики первичной обработки гидрометеорологической информации, поступающей в различных формах ( символьной и бинарной ) и с различной интенсивностью (от 2400 бит/с - данные наземных наблюдений, до 2.56 Мбит/с -цифровые данные метеорологических ИСЗ ). При выполнении работы поставлены и решены следующие задачи:

1. Построение процедурного языка описания основных кодовых форм FM WM0 и создание на его основе программного обеспечения декодирования текстов метеорологических сообщений, поступающих по линиям связи.

2. Разработка методики и Си-реализации первичной обработки бинарных кодовых форм BUFR и GRIB.

3. Создание математического обеспечения специализированной базы оперативных данных, обеспечивающей накопление информации, доступ к данным и текущий мониторинг их поступления.

• 4. Разработка аппаратных средств и системного математического обеспечения для ввода и разбора транспортных потоков большой интенсивности (цифровой информации метеорологических ИСЗ).

5. Организация информационного обеспечения пользователей на базе сетевого интерфейса TCP/IP.

Научная новизна работы заключается в слеующем:

- разработана методика, алгоритм и программная реализация процедурного языка описания и декодирования символьных текстов метеорологических сообщений; показана достаточность предложенных языковых средств для надежной интерпретации основных кодовых форм FM ВМО;

- предложена Си-реализация первичной обработки бинарных информационных потоков, включая код GRIB и коды, используемые при передаче цифровых данных метеорологических ИСЗ;

- на базе ПЭВМ и мультипользовательской операционной системы реализована технология, обеспечивающая в масштабе реального времени прием, обработку и накопление данных;

Практическая значимость работы:

- реализована технология первичной обработки гидрометеорологической информации, поступающей по каналам ГСТ, формирования в режиме реального времени специализированной базы данных:

- разработаны, прошли опытную эксплуатацию аппаратные средства и специализированное системное математическое обеспечение "прозрачного" ввода информации в ПЭВМ для метеорологических ИСЗ METEOSAT, N0AA; предложена и апробирована эффективная технология ввода и первичной обработки на ПЭВМ информационных потоков интенсивностью до 10 Мбит/сек:

- разработаны и апробированы программируемые контроллеры цифрового ввода и специализированное системное математическое обеспечение для ввода общеобъектовой, гелиогеофизической и телевизионной информации первого отечественного метеорологического ИСЗ ГОМС;

- создана распределенная вычислительная сеть, позволяющая доводить информацию до потребителей, включая Гидрометцентр Ро-сии и Институт прикладной геофизики;

- развито системное и доработано прикладное математическое обеспечение первичной обработки метеорологической информации в среде операционных систем MS-DOS и UNIX.

Созданная технология функционирует в рамках единого микропроцессорного комплекса обработки научной и объектовой информации НПО "ПЛАНЕТА".

На защиту выносится:

Методика, математическое обеспечение и ПЭВМ-реализация в среде мультипрограммной операционной системы и пользовательского интерфейса TCP/IP технологии первичной обработку гидрометеорологической информации, поступающей в символьной и бинарной формах.

Апробация работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на Ученом совете, научных семинарах и конференциях Гидрометцентра России (Москва. 1989-1983 гг.). Всесоюзном семинаре "Системы экологического контроля вод" (Севастополь, 1991 г.). международном научном семинаре "Космический мониторинг" (Украина, Киев, 1993 г.), международном научно-техническом семинаре "Экологический мониторинг" (С-Петербург, 1993г.). Научно-техническом совете НПО "ПЛАНЕТА" при обсуждении результатов НИР (Москва. 1994-1995 гг.)

Публикации. Основные результаты диссертационной работы опубликованы в 10 печатных работах.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав и заключения. Работа изложена на /¿¿страницах, включая 20рисунков. список литературы содержит Ц наименований, из них {Zna английском языке.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цели и задачи исследования. Кратко излагается содержание работы по главам.

В первой главе изложена постановка задачи построения системы обработки данных наземных наблюдений на базе персональных ЭВМ. Дано общее описание системы; рассматриваются вопросы декодирования гидрометеорологических телеграмм, языка интерпретатора кодовых форм, организации оперативного хранения макетов декодированных телеграмм, обработки данных, поступающих в бинарной форме GRIB.

Вопросу первичной обработки и ее центральной части - процессу декодирования посвящено достаточно много работ. Предложенное нами решение задачи автоматического декодирования метеорологических сообщений развивает идею таблично-управляемого интерпретатора по следующим направлениям:

1) минимизация числа операторов языка декодирования:

- четыре оператора описания TAB. SOT. EÛT. EQU.

- один оператор управления IDN,

- один оператор преобразования ELM:

2) введение понятия уровня идентификации, отражающее логическое построение метеорологического сообщения: раздел, зона. группа, элемент;

3) переход от жестко закрепленного формата макета телеграммы к макету переменной структуры со страничной организацией;

4) создание транслятора для языка описания кодовых форм,

обеспечивающего автоматизированное построение управляющей таб- . лицы декодирования;

5) реализация табличного управления программой декодирования, совмещение функций декодирования с формированием и ведением файлов макетов метеорологических телеграмм:

6) разработка методологии и программного обеспечения локализации синтаксических ошибок и видеотерминальных средств их исправления.

В процессе декодирования синтаксические правила"идентификации и текстовая форма представления оперативных гидрометеорологических данных(кодовые формы) заменяются позиционным (табличным порядком) следования и машинно-ориентированным (2-байтовые положительные числа) способом записи информации в ЭВМ.

Текстовая таблица интерпретации представляет собой набор операторов языка интерпретации, которые позволяют описать кодовую форму и правила кодированных сообщений и распределить полученную информацию, в макете. В интерпретаторе используется бинарная таблица. Приведение к такому виду осуществляется в процессе компиляции текстовой интерпретирующей таблицы(рис.1). На этом этапе происходит контроль правильности составления таблицы и символьное, представление заменяется числовым.

Соэмещение функций интерпретации и контроля синтаксиса предполагает полное описание кодовой формы. Элементы, неподлежащие включению в макет, идентифицируются как пропускаемые, поскольку возмокен произвольный порядок следования групп (зон) в телеграмме.

- s -

ПРЕДСТАВЛЕНИЕ

до компиляции после компиляции

Оператор описания кодовой формы TAB type. Hievet, Npage. Save. Wordlength Otab, 1, TYPE. HL, NP. WL

Оператор идентификации IDN level, Etalon [.cicle] [.Region] Oldn, 1. level, n, Etalon. Region

Оператор обработки элемента ELM а, ъ [.cl Oelm. l,a, b, с

Оператор начала телеграммы SOT Osot, 1

Оператор окончания телеграммы EOT Ы, Ъ2. ... Ьп Oeot.. l.bj. b2. ... b„

Оператор эквивалентности кодовых форм EQU с/, с/г

Прим. 1 - длина поля оператора в байтах

Рис. 1 Список основных команд декодирования кодовых форм ГМ. передаваемых в символьном виде

Предложенный подход позволяет оперативно реагировать на изменения в кодовых формах. Дополнительные действия при появлении новых кодовых форм сводятся к редактированию текста соответствующей таблицы итерпретации.

Обработанные данные в виде значений в узлах регулярной сетки, представленной в бинарной форме, поступают по коду FM 92-VII GRIB. Такое представление данных обеспечивает минимальный объем при хранении и передаче, однако не годится, для визуального опознавания без компьютерной интерпретации. Распознавание и раскодирование информации возможно осуществить расширив функциональные возможности языка интерпретатора телеграмм в части работы с битовыми потоками.

Практика работы с бинарными кодами и, в частности, знакомство с громоздким программным обеспечением существующих программ декодирования (например, из НМЦ США) показало, что при некоторых ограничениях (обработка данных небольшого, до 5. числа центров) более эффективно использование структурных возможностей алгоритмических языков (рис. 2 ). В этом случае база данных бинарной информации состоит из двух файлов: файла данных (сообщений) и файла описания. Файл сообщений содержит информацию в коде GRIB, выделенную из общего потока поступающей информации. .Файл описания представляет раскодированную описательную часть, которая содержится в разделе 1 кода, с указанием адреса записи каждого сообщения.

Раскодированные данные в узла* регулярной сетки передаются пользователям в согласованном формате. В передаваемых данных содержится раскодированная информация раздела определения

- H -

/.------

/* /*

struct ( unchar unchar unchar unchar unchar unchar unchar unchar unchar unchar unchar unchar unchar unchar unchar unchar unchar

PRODUCT DEFINITION SECTION ( PDS )

ProductSec /« Octet No

PDS Content

length[3]; ver tab2;

ident_centr; /»

modalident; grid_No; flag-; parametr_ind; level ind;

hp_levels[2];/*

year;

month;

day;

hour;

miíñ; .

t¿me;

Pi;

P2;

/* /• /* /• /* /* /• /•

I-3

4

5

6 7 в

9

10

II-12

13

14

15

16

17

18

19

20

Length in octets of PDS Parameter Table Version number Identification of center(TO) Generating process ID number Grid Identification Flag specifying presence GDS, BHS Indicator of parameter & 'units

Indicator pf type of level or layer*/

unchar tim«_lnd; /» 21 unchar

mean_quantity(2]; /

Height, pressure, etc. of level

Year of century

Month of year

Day of month

Hour of day

Minute of hour

Forecast tine unit(T4)

Period of time( 0 for analysis)

Time interval between successive

initialized analyses, undergoing

averaging or accumulation

Time range indicator(TS)

unchar absent_quan; /»24

unchar century; /»

unchar reserved; /» unchar coeff_D[2};' /*

22-23:Number included in average, when octet 21(TS) indicates an average or accumulation; otherwise set to zero Number Missing from averages or accumulations .

25 : Century of Initial(Reference) time

26 : Res'ervad - set to zerd

27-28: The Decimal scale factor D.

A negative value is indicated by setting the high order bit in octet 27 to 1

) Product,

*Pp;

Рис.2 Структура описания"1 раздела кода CRIB { "Си" j

продукции и. собственно, данные в естественном представлении (число с плавающей точкой).

Предложенная реализация оперативного накопления наземной гидрометеорологической информации базируется на разработанной специализированной базе данных для хранения макетов и средствах контроля поступления данных, созданных с использованием стандартной СУБД.

Высокая эффективность схемы выборки информации из специализированной базы основана на методе прямого доступа к файлам данных. Благодаря универсальности языка манипулирования данными вполне объяснимо применение в работе промышленных пакетов СУБД для формирования табличных материалов, контроля поступления информации, периодических выборок данных и других работ с невысокими требованиями ко времени реакции системы. Примером построения баз данных такого класса может служить разработанная в данной работе система обработки агрометеорологической, гидрологической и объектовой (с борта КА "ЭЛЕКТРО") информации.

Во второй главе рассматриваются аппаратные средства и системное математическое обеспечение для ввода и разбора транспортных потоков большой интенсивности. Рассмотрены различные подходы и предложено решение для основных операционных систем ( DOS, UNIX )

В качестве устройств ввода предложены универсальные контроллеры цифрового ввода (КЦВ). которые строятся на базе программируемых пользователем вентильных матриц (ППВМ) фирмы XI-llrix. Такой подход предоставляет системному интегратору возможность достаточно бистро создавать работоспособный образец заду-

манной,схемы. Это достигается тем, что структура элементов схемы и связи между ними хранятся во внутреннем оперативном запоминающем устройстве статического типа и могут быть легко изменены повторной загрузкой, В программу начальной обработки, обычно это предпроцессор системы первичной обработки, загружаемую в ОЗУ ППВМ. закладываются функции структуризации бинарного входного потока (бит-синхронизатор - выравнивание цифрового потока на границу слова и синхронизатора кадра - поиск псевдослучайных последовательностей (ПСП)). Дальнейшая передача информации в ПЭВМ производится кратно кадрам, что существенно упрощает реализации программного обеспечения предварительной обработки данных.

Для работы с данными в режиме реального времени на уровне ядра операционной системы готовится совокупность программ -драйвер устройства.

Драйвер устройству ввода информации в ПЭВМ состоит из секций открытия [dma7_open()), чтения информации[dma7_read()] и закрытия [dma7_close01. а также Функции копирования, использующейся в секции чтения.

В секции открытия вычисляется физический адрес блока оперативной памяти, зарезервированного для обмена, задается режим взаимодействия устройства ввода с памятью и выполняется активация канала ПДП. Для этого в ОС UNIX существует несколько Функций:

- функция захвата канала ПДП

dma_alloc( channel, mode,)»

s.

где chaunel - номер канала ПДП (при вводе информации ИСЗ обычно используются каналы 5-7),

mode - режим работы, задающий ожидание освобождения

канала или немедленное возвращение управления в вызывающую программу, если запрашиваемый канал уже захвачен другим драйвером,

- функция задания параметров для работы с ПДП. маскирует линию запроса ПДП на контроллере, устанавливает адреса и счетчики параметров, устанавливает режим чтения/записи

dma_param( channel, mode, addr, cnt ),

где channel - номер канала ПДП.

mode - DMA_Wrmode. для режима записи (из памяти

в устройство) DMA_Rdmode. для режима записи (из устройства в память).

addr - физический адрес памяти для чтения/записи.

cnt - число байт-1 для пересылки.

Результатом работы данной функции является инициализация канала ПДП.

Интересным представляется определение физического адреса в памяти, т.к. эти процедуры для ОС UNIX практически не документируются. Физический адрес в памяти вычисляется следующим образом:

addr_ph - ( kvtopfn( addr_log )« 12 + poff( addr_log ).

где addr_ph - физический адрес оперативной памяти(ОП). kvtopfn - системная функция пересчета логического (виртуального) адреса в номер физической страницы ОП. addr_log - логический адрес ОП.

poff - функция определения смещения в странице ОП.

- функция разрешения работы,

dma_enable( channel ),

где channel - номер канала ПДП.

В результате работы - получение разрешения на передачу информации.

Функция копирования запускается регулярно и предназначена для передачи информации из буфера ПДП в промежуточный буфер памяти, расположенный в ядре. Наличие промежуточного буфера позволяет исключить потери данных: в него через определенные промежутки времени ( достаточно малые, чтобы исключить потери) производится передача данных из буфера ПДП.

Секция чтения dma7_read() включает в себя передачу данных между ядром (промежуточным буфером) и буфером пользователя. Основой является обращение к уже упомянутой функции:

copyoutt ptr_to_drlver_buffer, pt.r_to_user_.buffer, n ) ,

где n - число байт для персылки.

ptr_to_drlver_buffér - указатель на буфер драйвера.

ptr_to_user_buffer - указатель на буфер пользователя.

Секция закрытия dma7„elose() производит деактивацию канала ПДП путем обращения к системой функции dmajrelse(channel).

Разработанные контроллеры цифрового ввода и системное математическое обеспечение активно используются в комплексах приема и обработки ОНёратишэЯ информации метеорологических ВСЭ,

Третью главу составляют материалы по практической реализации технологии первичной обработки цифровой информации первого отечественного геостационарного ИСЗ. Рассматриваются вопросы Функционирования экспериментального микропроцессорного комлекса приема и обработки данных КА ЭЛЕКТРО (ГОМС) и организация информационного обеспечения пользователей на базе сетевого интерфейса TCP/IP.

Комплекс построен на основе высоконадежных компьютеров с процессорами Intel (486DX2-66, Pentium-90) фирмы Hewlett Packard. работающих под управлением операционной системы SCO UNIX 3.2.4 и предназначен для приема и обработки телевизионной, ге-лиогеофизической и общеобъектовой информации, поступающей со скоростью 2,56 Мбит/сек.

Значительный объем информации, ежесуточно принимаемой с КА ЭЛЕКТРО, как и объем обработанных данных, не позволяет обеспечивать хранение данных в полном объеме без специальных устройств архивации (BACKUP Systems). Предусмотрено оперативное хранение информации на 4 njm ленточных DAT-накопителях большой

емкости (HP Jetstore 50001). На этой базе.формируется оперативный циклический архив данных измерений ИСЗ. Копирование файлов моноспектральных данных оформляется в виде расписаний, включающих время копирования и параметры цикличности. Записи в расписании формируются по принципу:

mm hh dd MM wd gom3lr_cpy. sh где mm, hh, dd, MM. wd, - соответственно минуты, часы, день, месяц и день недели, gomslr.cpy.sh - имя исполняемого модуля копирования.

Расписание включается в общее расписание операционной системы, которая осуществляет абтономный запуск программ.

Для обеспечения быстрого поиска необходимой информации в базе данных по именам файлов вводится единый стандарт имен. Хранимая в файле информация идентифицируется заданием его имени в виде

MMddhhmm.SR[l-3], где MM. dd, hh. mm - месяц, день, часы и минуты проведения измерений. 1-3 - канал. Например, файл 02201230.SRI содержит Фрагмент ИК-изображения ИСЗ ГОМС за 20 февраля 12:30 ИСК.

Разделение информации по типам, форматное преобразование данных, формирование моноспектральных изображений подстилающей поверхности и ведение баз данных на сервере вычислительной сети осуществляется автоматически, одновременно с приемом информации.

При видеотерминальной обработке изображений используются как специально разработанные, так и стандартные графические пакеты в среде WINDOWS 3.1.

Информационное обеспечение пользователей осуществляется на

базе сетевого интерфейса ETHERNET. Результаты предварительной обработки через сетевые терминалы (протоколы TCP/IP, SLIP) передаются для последующей обработки в Гидрометцентр России и Институт прикладной геофизики. Пример ИК-изображения. полученного с ИЗС ГОМС приведен на рис.3.

В заключении сформулированы основные результаты диссертационной работы:

- Реализована технология первичной обработки гидрометеорологической информации, поступающей по каналам ГСТ. Функционирует в режиме реального времени специализированная база данных, обеспечивающая как оперативные ( обработка декадной агрометеорологической информации ). так и научно-исследовательские ( ежедневная передача декодированных данных GRIB ) задачи Гидрометцентра России.

- Разработаны, прошли опытную эксплуатацию аппаратные средства и специализированное системное математическое обеспечение "прозрачного" ввода информации в ПЭВМ для метеорологических ИСЗ METEOSAT, N0AA.

- Развито системное и доработано прикладное математическое обеспечение первичной обработки метеорологической информации в"среде операционных систем MS-DOS и UNIX.

- Разработаны и апробированы программируемые контроллеры цифрового ввода и специализированное системное математическое обеспечение для ввода общеобъектовой, гелиогеофизической и телевизионной информации метеорологического ИСЗ ГОМС.

Оборудование и математическое обеспечение апробированы и успешно эксплуатировались в составе комплекса наземной обраОот-

СЮМБ 1Я РгашеРНе:03150933.8Я2

' " Г*- ""■•..

, у. ■ -

..........• ыжа

.....-м* " ' йрШ

• А . й'.

--«Л V ■

^ • ' УМ*- • ■ *

V . '•-г.* 'л'гХ'&З^А, 'щцзг -

^ - , .<]

Е-л-лг.г.-. -г-...,... .1- .«.».; .-.Мадй;;....,,

ЯРА Р1апе1а, Оер. 1.4.2

Рис. 3 ИК-изображение с КА "ЭЛЕКТРО" (15 марта 1995 г., 900 НСК)

КИ КА "ЭЛЕКТРО".

Созданная технология функционирует в рамках единого микропроцессорного комплекса обработки научной и объ:ектовой информации НПО "ПЛАНЕТА"

По теме диссертации опубликовано 10 работ, основные из которых следующие: '

1. Лубов C.B. Оперативная схема накопления агрометеорологических данных в среде операционных систем семейства UNIX. Науч.Тр./ Гидрометцентр СССР, 1992, вып.317

2. Жупанов В.Д.,Лубов C.B..Бурцева Т.Н. Система обработки оперативной агрометеорологической информации на ПЭВМ. Науч. Тр./ Росгидрометцентр. 1993, вып. 327

3. Жупанов В.Д., Лубов C.B. Программные средства декодирования оперативной гидрометеорологической информации. Науч. Тр./ Росгидрометцентр, 1993, вып.327

4. Жупанов В.Д., Лубов C.B. и др. Реализация на ПЭВМ методики первичной обработки цифровой информации МИСЗ, Науч.Тр./ НПО "ПЛАНЕТА", 1993. ВЫП.43