Бесплатный автореферат и диссертация по наукам о земле на тему

Фундаментальные основы и методология автоматической калибровки многопараметрических гидрологических моделей

ВАК РФ 25.00.27, Гидрология суши, водные ресурсы, гидрохимия

Автореферат диссертации по теме "Фундаментальные основы и методология автоматической калибровки многопараметрических гидрологических моделей"

На правах рукописи

Кузьмин Вадим Александрович

ФУНДАМЕНТАЛЬНЫЕ ОСНОВЫ И МЕТОДОЛОГИЯ АВТОМАТИЧЕСКОЙ КАЛИБРОВКИ МНОГОПАРАМЕТРИЧЕСКИХ ГИДРОЛОГИЧЕСКИХ МОДЕЛЕЙ

Специальность 25.00.27 - гидрология суши, водные ресурсы и гидрохимия

Автореферат

диссертации на соискание ученой степени доктора технических наук

Санкт-Петербург - 2010

003492757

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Российский государственный гидрометеорологический университет» на кафедре гидрологии суши

Официальные оппоненты: доктор физико-математических наук

Кондратьев Сергей Алексеевич (Институт озероведения РАН)

доктор технических наук Болгов Михаил Васильевич (Институт водных проблем РАН)

доктор технических наук Бузин Владимир Александрович (Государственный гидрологический институт)

Ведущая организация: Научно-исследовательский гидрометеорологический центр Российской Федерации (г. Москва)

Защита состоится 18 марта 2010 года в 15 часов 30 минут на заседании диссертационного совета Д 212.197.02 при ГОУ ВПО «Российский государственный гидрометеорологический университет» по адресу: 195196, г. Санкт-Петербург, Малоохтинский проспект, 98

С диссертацией можно ознакомиться в библиотеке ГОУ ВПО «Российский государственный гидрометеорологический университет»

Автореферат разослан «18» февраля 2010 г.

Ученый секретарь

диссертационного совета Д 212.197.02 кандидат географических наук, профессор

В.Н. Воробьев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Точное и своевременное прогнозирование катастрофических наводнений является одной из наиболее актуальных задач, стоящих перед международным гидрологическим сообществом. В первую очередь, это вызвано стремительными темпами роста ущерба от паводков и половодий, как в Российской Федерации, так и в других странах мира. Например, если в начале XX века среднегодовой ущерб от наводнений в США составил 100 млн. долларов, то в его второй половине он превышал 1 млрд. долларов, а в отдельные годы последнего десятилетия - 10 млрд. долларов; прямой экономический ущерб от наводнений в Китае за первые 8 месяцев 2009 года составил 71,1 миллиарда юаней (около 10,5 миллиарда долларов), пострадали 91,88 миллиона человек и 7,1 миллиона гектар сельхозугодий; тайфун «Кетсана», вызвавший масштабные наводнения во Вьетнаме и на Филиппинах в 2009 г., повлек смерть более 1000 человек, повредил или уничтожил 360 тыс. домов, школ и других учреждений, 73 тыс. га урожая; наводнение на Кубани вызвало гибель 10 человек и материальный ущерб на сумму около 2 млрд. руб.

В условиях изменения климата и возрастающей антропогенной нагрузки на речные водосборы статистические методы прогнозирования теряют свою эффективность, и единственным методом качественного прогнозирования паводков и половодий становится математическое моделирование, эффективность которого во многом зависит от калибровки (параметризации) используемых гидрологических моделей. Однако сравнительно простые модели с небольшим количеством параметров, калибровка которых больших трудностей не вызывает, обычно не в состоянии адекватно описать весь спектр природных процессов, определяющих формирование паводков и половодий. Более сложные модели с большим числом взаимозависимых параметров (такие, как например, модель «Сакраменто») являются достаточно гибкими для моделирования катастрофических паводков и половодий в различных условиях, но их эффективная калибровка связана со значительными техническими трудно-

стями, обусловленными ограниченностью процессорных ресурсов. Кроме того, в результате выполнения диссертационной работы было установлено, что существующие методы оптимизации параметров сложных моделей не в состоянии учесть ряд свойств многомерной поверхности целевой функции, на которой отыскиваются оптимальные наборы параметров, и по этой причине не могут применяться при автоматической калибровке оперативных гидрологических моделей.

Особую теоретическую и практическую значимость проведенным исследованиям придает возможность их непосредственного использования в рамках программы Международной Ассоциации Гидрологических Наук (IAHS) PUB (Prediction in Ungauged Basins), а так же для усовершенствования системы прогнозирования катастрофических паводков и половодий в рамках программы «Модернизация и техническое перевооружение учреждений и организаций Росгидромета», выполнение которой начато в соответствии с Соглашением о займе (№4769 RU) между Российской Федерацией и Международным Банком Реконструкции и Развития.

Цель работы. Разработка комплекса усовершенствованных методов автоматической калибровки многопараметрических гидрологических моделей с взаимозависимыми параметрами (частным случаем которых являются модели с независимыми параметрами), используемых для оперативного прогнозирования опасных гидрологических явлений при различном уровне обеспеченности исходными гидрометеорологическими данными, а также повышение точности прогнозирования дождевых паводков и половодий в условиях изменения климата и переменной антропогенной нагрузки на малые и средние водосборы.

Задачи исследования. Поскольку диссертационная работа направлена на решение практической проблемы автоматизированного прогнозирования дождевых паводков в различных условиях (включая неизученные водосборы),

перечень основных задач включает как фундаментальные, так и технические задачи, решение которых обеспечивает целостность данного исследования:

1. Анализ поведения поверхности многомерной целевой функции гидрологических моделей с взаимозависимыми параметрами (на примере модели «Сакраменто») при изменении внешних условий, включая изменение «входа» модели и длины временных рядов, используемых для калибровки гидрологической модели;

2. Выявление причин низкой эффективности существующих методов автоматической калибровки гидрологических моделей с взаимозависимыми параметрами, связанных с особенностями эволюции поверхности целевой функции;

3. Разработка фундаментального подхода к идентификации оптимальных параметров оперативных гидрологических моделей на основе результатов анализа причин и особенностей эволюции поверхности целевой функции;

4. Разработка практически применимых алгоритмов автоматической калибровки многопараметрических моделей с взаимозависимыми параметрами (на примере модели «Сакраменто») при различном уровне обеспеченности исходными данными, а именно: а) при отсутствии и низкой пространственно-временной дискретности данных об осадках; б) при низкой пространственно-временной дискретности данных о стоке; в) при отсутствии или низкой пространственной дискретности данных о типах и водоудерживающих характеристиках доминирующих почвогрунтов; основным требованием к этим алгоритмам является их универсальность (т.е. возможность использования по умолчанию, в автоматическом режиме) по отношению к любым гидрологическим моделям;

5. Выявление причин низкой эффективности существующих критериев точности гидрологических прогнозов, применяемых в качестве оптимизируемых функционалов при калибровке многопараметрических гидрологических моделей, которые используются для прогнозирования опасных гидрологических явлений (на примере дождевых паводков);

6. Разработка универсальных типов целевой функции, которая может быть использована для автоматической калибровки гидрологических моделей при технической невозможности или экономической нецелесообразности построения матрицы потерь;

7. Создание автоматизированной системы прогнозирования паводков при различном уровне обеспеченности исходной гидрометеорологической информацией на основе разработанной методологии автоматической калибровки многопараметрических моделей;

8. Создание аппаратно-программного комплекса по поиску, передаче и архивированию гидрометеорологических данных, необходимых для прогнозирования опасных гидрологических явлений;

9. Апробация разработанной методологии калибровки моделей для моделирования паводков на реальных водных объектах;

10. Использование результатов исследований в гидрологическом программном обеспечении «БЬБч-», предназначенном для экспорта в страны Юго-Восточной Азии, Африки, Центральной и Южной Америки.

Объект исследования. Эффективность оперативных многопараметрических моделей, применяемых для прогнозирования дождевых паводков, половодий и других опасных гидрологических явлений в условиях изменения климата и при различном уровне обеспеченности исходными гидрометеорологическими данными.

Предмет исследования. Многомерная невыпуклая поверхность целевой функции, пространственно-временная изменчивость которой является ключевым фактором автоматической калибровки многопараметрических гидрологических моделей, используемых для прогнозирования паводков и половодий.

Методы исследований. Работа выполнена на основе классических и усовершенствованных методов гидрологического моделирования, теории оптимизации, статистического и вероятностного анализа стохастических при-

родных процессов. Анализ и обработка результатов численных экспериментов по определению вероятностных характеристик свойств моделируемых гидрологических процессов проводились как классическими, так и разработанными соискателем статистическими методами с привлечением современной компьютерной техники.

Научная новизна. Научная новизна выполненных исследований заключается в решении ряда фундаментальных и научно-технических задач, открывающем возможность моделирования и прогнозирования стока с малоизученных и неизученных малых и средних водотоков:

1. В разработке методологии и программного обеспечения по определению трансферабельных параметров гидрологических моделей, которые могут быть использованы для моделирования стока с малоизученных и неизученных водосборов;

2. В разработке новых мультимасштабных целевых функций МБОБ, АБОБ и М150Р, обеспечивающих естественное сглаживание невыпуклых поверхностей многомерных целевых функций;

3. В выполнении детального анализа поведения поверхности многомерной целевой функции при незначительных изменениях обучающих выборок и установлении особенностей ее эволюции во времени;

4. В разработке семейства фундаментальных методов параметризации многопараметрических прогностических моделей с взаимозависимыми параметрами, основанных на квазилокальной оптимизации в физически предопределенном районе области определения параметров (БЬБ, БГ^-Б, 8Ь8-2Ь, 5Ь8-Е и

др.);

5. В разработке концепции естественной трансформации целевой функции, позволяющей повысить стабильность и надежность определяемых параметров, основанной на вычислении показателей Р-робастности (нового статистического подхода, также разработанного соискателем);

6. В создании автоматизированной системы прогнозирования (АСП) «5Ь8+», позволяющей выполнять фоновое прогнозирование паводков в полностью ав-

томатическом режиме (при различном уровне обеспеченности исходными данными, а также при их различной пространственно-временной дискретности);

7. В создании методологии постобработки прогнозов на основе одновременного выполнения калибровки модели и генерирования случайных ансамблей «входа» модели путем использования алгоритма БЬЗ-Е;

8. В создании аппаратно-программного комплекса (АПК) «Ш\УАОА», предназначенного для автоматического поиска, копирования, усвоения и архивирования гидрометеорологических данных;

9. В создании концепции и программного обеспечения динамической базы данных (в рамках АПК «ВЧ\УАБА»).

Приведенные фундаментальные и прикладные разработки реализованы в виде учебно-оперативной автоматизированной системы прогнозирования паводков «ЗЬБ-н» и соответствующего программного обеспечения.

Достоверность полученных результатов обеспечивается корректностью постановки задач исследования, большим объемом использованных данных гидрометеорологических наблюдений, численными экспериментами по моделированию стока 88 водотоков Российской Федерации, Австралии, США, Турции и Японии, применением апробированных аналитических и численных методов анализа и расчета, реализацией алгоритмов и процедур расчета на современной вычислительной технике, объективным анализом полученных результатов и внедрением разработанных методов в оперативное прогнозирование дождевых паводков в США и Австралии.

На защиту выносится:

Комплекс новых методов и процедур, позволяющих выполнять моделирование и прогнозирование паводочного стока с малых и средних водосборов с разной степенью покрытия гидрометеорологическими наблюдениями (включая малоизученные и неизученные водосборы), а именно: 8

1. Концепция и методология калибровки гидрологических моделей на основе сглаженных естественным образом поверхностей мультимасштабных целевых функций МБОИ, АБОБ и МКОБ;

2. Метод анализа временной изменчивости многомерных поверхностей многопараметрических целевых функций;

3. Концепция Р-робастности - нового статистического метода учета временной устойчивости и стабильности локальных и глобальных оптимумов;

4. Метод текущей трансформации многомерной поверхности целевой функции путем расчета локальных индексов Р-робастности в районе выполнения оптимизации;

5. Принцип повышения эффективности автоматической калибровки многопараметрических гидрологических моделей за счет квазилокальной оптимизации в физически предопределенном районе области определения параметров;

6. Методы автоматической калибровки многопараметрических моделей группы БЬБ (базовый алгоритм БЬБ и его модификации, применяемые при недостаточности исходных данных — алгоритмы БЬБ-Р, БЬ8-2Ь, БЬЗ-Е, БЬБ-2и, 8Ь8-2ЬЕ, БЬБ-ЕР и 81^-21^);

7. Метод текущей постобработки прогнозов паводков на основе алгоритма БГ^-Е;

8. Метод идентификации трансферабельных параметров (то есть параметров, которые можно использовать для моделирования стока с неизученных водосборов);

9. Концепция аппаратно-программного комплекса по автоматическому поиску, передаче, усвоению и архивированию гидрометеорологических данных («Ш\УАВА»);

10. Концепция и методология оптимизации гидрологических моделей с полураспределенными параметрами;

11. Результаты апробации предложенных методов автоматической калибровки гидрологических моделей (выполненных на примере модели «Сакраменто»), используемых для прогнозирования дождевых паводков.

Практическая значимость проведенных в диссертационной работе исследований заключается в следующем:

1. Разработанные оптимизационные процедуры группы БЬБ позволяют выполнять прогнозирование паводков в регионах с недостаточно развитой сетью или с низкой пространственно-временной дискретностью гидрометеорологических наблюдений (т.е. на малоизученных и неизученных водосборах);

2. Разработанный метод анализа поведения многомерной поверхности целевой функции позволяет установить причину низкой эффективности существующих оптимизационных процедур, применяемых для калибровки многопараметрических гидрологических моделей с взаимозависимыми параметрами;

3. Разработанные алгоритмы квазилокальной оптимизации параметров в физически предопределенном районе многомерной области определения позволяют выполнять автоматическую калибровку и рекалибровку сложных оперативных гидрологических моделей для большого числа гидрологических объектов (например, водотоков целой страны или крупного региона);

4. Разработанные методы автоматической калибровки многопараметрических гидрологических моделей позволяют прогнозировать паводочный сток с малых и средних водосборов при отсутствии или низкой точности геологических и морфологических данных;

5. Разработанная автоматизированная система прогнозирования паводков «ЯЬЯ+л может быть использована для эффективного фонового и уточненного прогнозирования паводков при практически любом уровне обеспеченности гидрометеорологической информацией (включая неизученные и малоизученные малые и средние водосборы);

6. Разработанный метод рекалибровки модели и постобработки прогнозов позволяет повысить точность прогнозирования (включая катастрофические);

7. Созданные методы, методики, алгоритмы и процедуры могут быть использованы в качестве методической основы для совершенствования системы прогнозирования паводков в Российской Федерации и других странах; сделанные выводы и полученные рекомендации могут быть использованы при

планировании и выполнении мероприятий по модернизации и техническому перевооружению учреждений и организаций Росгидромета.

Реализация результатов работы. Представленный в работе метод автоматической калибровки гидрологической модели «Сакраменто» (SLS) внедрен в оперативное прогнозирование дождевых паводков Национальной Службой Погоды США (National Weather Service) и включен в план развития системы гидрологического прогнозирования Австралии (в рамках проекта eWater). Разработанная соискателем автоматизированная система прогнозирования паводков «SLS+» используется в ГОУ ВПО «Российский государственный гидрометеорологический университет» при подготовке студентов (бакалавров, инженеров и магистров) по специальности «гидрометеорология». Программное обеспечение «SLS+» представляет собой коммерческий продукт, предназначенный для экспорта в страны Юго-Восточной Азии, Африки, Центральной и Южной Америки. Аппаратно-программный комплекс «INWADA» используется в ГОУ ВПО «Российский государственный гидрометеорологический университет» для пополнения и обслуживания динамической базы гидрометеорологических данных. Методические разработки, алгоритмы и процедуры, предложенные соискателем, могут быть использованы при модернизации и техническом перевооружении учреждений и организаций Росгидромета

Апробация работы. Основные результаты работы были представлены на следующих российских и международных научно-технических конференциях, совещаниях и симпозиумах: Международном совещании «Stochastic models of hydrological processes and their applications to problems of environmental preservations» (Москва, РФ, 1998 г.), Европейской конференции по инновациям в исследовании наводнений (Потсдам, Германия, 2000), Международном симпозиуме «River flood defence» (Кассель, Германия, 2000 г.), совещаниях в Техническом Университете г. Дельфт (Нидерланды, 2000 и 2001 гг.), Международной конференции «Современные проблемы стохастической гид-

рологии» (Москва, 2001 г.), Международном симпозиуме «Hydrological challenges in transboundary water resources management» (Кобленц, Германия, 2001 г.), весенних конференциях Американского Геофизического Союза (Бостон, США, 2001 г., Вашингтон, США, 2002 г., Ницца, Франция, 2003 г., Монреаль, Канада, 2004 г., Балтимор, США, 2006 г.), Международном совещании «River runoff: minima and maxima» (Санкт-Петербург, РФ, 2001 г.), Международном семинаре «Extreme value theory and applications» (Гетеборг, Швеция, 2001 г.), 5-ом Международном совещании «Application of remote sensing in hydrology» (Монпелье, Франция, 2001 г.), Международном симпозиуме «The extremes of the extremes» (Рейкьявик, Исландия, 2003 г.), конференции Международного союза геодезии и геофизики (Саппоро, Япония, 2003 г.), Международной конференции «Hydrology, water resources and environment» (Нанкин, КНР, 2003 г.), Международном совещании по проекту «The distributed models inter-comparison project (DMIP)» (Силвер-Спринг, США, 2004 г.), совещаниях и ежегодных конференциях проекта «eWater» (Голд-Кост, Австралия, 2007 и 2008 гг.), Международном совещании «The catchment-scale hydrological modelling & data assimilation (CAHMDA 1П)» (Мельбурн, Австралия, 2008 г.), 31-ом Международном симпозиуме по водным ресурсам и 4-ой Международной конференции по водным ресурсам и экологическим исследованиям «Water down under 2008» (Аделаида, Австралия, 2008 г.), 2-ой Международной конференции «HydroEco 2009» (Вена, Австрия, 2009 г.), Генеральной Ассамблее Европейского геофизического союза (Вена, Австрия, 2009 г.), семинарах в Институте водных проблем РАН и Гидрометцентре РФ (2010 г.).

Публикации. По теме диссертации опубликованы 46 работ (в том числе 8 в изданиях, определенных ВАК РФ, и 26 работ в зарубежных изданиях на английском языке).

Структура и объем работы. Диссертация состоит из введения, пяти глав, основных результатов и выводов, списка используемой литературы из

198 наименований и приложений. Работа содержит 223 страницы текста, включая 32 рисунка и 25 таблиц.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы исследования, сформулированы цель и задачи диссертационной работы, обоснована научная новизна и дается краткое описание содержания разделов диссертации.

Глава 1 диссертации посвящена основным принципам автоматизированного прогнозирования опасных гидрологических явлений (ОГЯ) и базирующейся на них последовательности действий при разработке прогностических методов, выполнение которых обязательно для достижения максимальной экономической эффективности прогнозирования данной гидрологической переменной в данном месте при данных условиях. Этот раздел необходим для обоснования необходимости систем автоматизированного фонового прогнозирования стока на больших территориях (в частности, как альтернативы по отношению к частным прогностическим методикам, разработанных для отдельных водосборов).

При разработке прогностического метода, во-первых, необходимо четко определить цель прогноза (то есть пару «прогнозируемая переменная — водный объект»). Чем географически крупнее и физически разнообразнее объект, тем универсальнее должна быть модель. Если объектом является один небольшой водосбор или водоток, модель может быть весьма простой (но при этом она должна адекватно описывать все те процессы, в результате которых формируется ОГЯ) и обладать сравнительно небольшим числом независимых параметров, которые легко идентифицировать. Именно поэтому разработка физико-математической модели конкретного водосбора или водотока является технически идеальным путем решения проблемы прогнозирования, однако с экономической точки зрения этот путь представляется малоэффективным и неприменимым для фонового прогнозирования стока на больших территори-

ях, когда корректное описание всех стокообразующих процессов и факторов в рамках одной модели с технической точки зрения крайне затруднительно или даже невозможно, поэтому часть процессов, оказывающих влияние на формирование стока, может быть смоделирована лишь абстрактно (концептуально). На рисунке 1 показана диаграмма типов гидрологических моделей, позволяющая правильно выбрать модель для решаемой задачи в зависимости от степени понимания процесса формирования стока и степени неопределенности, которая, в первую очередь, зависит уровня обеспеченности исходными данными. В частности, в соответствии с этой диаграммой:

— физико-математические (детерминистические) модели следует использовать для моделирования стока в тех случаях, когда процесс формирования стока полностью понятен и достаточно хорошо освещен данными наблюдений;

— стохастические (динамико-стохастические) модели следует использовать в тех случаях, когда процесс формирования стока в целом понятен, но не полностью хорошо освещен данными наблюдений; интегральная неопределенность отражается при помощи разнообразных вероятностных подходов;

— статистические модели следует использовать в тех случаях, когда основные причинно-следственные связи известны лишь в первом приближении и не могут быть отражены физически корректным дифференциальным уравнением, в то же время имеются достаточные данные для построения статистических связей между предикторами и предиктнантом;

— концептуальные модели следует использовать в тех случаях, когда возможно лишь абстрактное выражение части стокообразующих процессов; интегральная неопределенность отражается при помощи разнообразных вероятностных подходов, а также принципами концептуализации и степенью абстрагирования, что является весьма гибким инструментом моделирования процессов с высоким уровнем неопределенности.

Исходя из вышесказанного, был определен круг моделей, наилучшим образом подходящих для прогнозирования паводочного стока и потенциально подходящих для использования в качестве главного функционального элемента АСП «SLS+»: модель «Сакраменто» (The Sacramento Soil Moisture Accounting Model), модель «VIC» (Variable Infiltration Capacity macro-scale hydrologic model), позволяющая учитывать и водный, и энергетический баланс, австралийская воднобалансовая модель «AWBM» (Australian Water Balance Model), модель «SIMHYD» (от англ. «SIMplified HYDrograph» - упрощенный гидрограф), модель PDM (probability distribution model), а также модель «SMAR» (Soil Moisture Accounting Runoff model). Анализ этих моделей позволил выбрать в качестве основной модели модель «Сакраменто» (о чем подробно рассказано в Главе 2).

При разработке следующего поколения АСП будут также рассмотрены модели формирования талого стока, причем наиболее перспективными будут считаться те модели, которые позволяют выполнять эффективное моделирование, не только половодий, но и паводков.

Рисунок 1 — Диаграмма типов моделей с точки зрения их отношения к категориям конкретного и абстрактного, случайности и необходимости

Во-вторых, необходимо определить целевую функцию, являющуюся формализованным критерием точности выпускаемых прогнозов и эффективности применяемого метода прогнозирования. Почти идеальным видом целевой функции при оценивании выпущенных прогнозов является матрица потерь, отражающая размер материального ущерба как функции от погрешности прогноза де при различных фактических значениях прогнозируемой переменной £>: ^ = /(д<2|£>)- Интегральные потери за весь период прогнозирования, и просуммированные с общей стоимостью прогнозирования Р, выражают общие затраты Рт:

Таким образом, даже при абсолютно точном прогнозировании затраты на выпуск прогнозов равны стоимости прогнозирования Р, которая складывается из стоимости получения, передачи и обработки данных Рв, стоимости моделирования Рм (включая стоимость самой модели, расходы на ее калибровку, стоимость постобработки прогнозов и заработную плату персонала) и стоимости представления результатов прогнозирования. Экономическая эффективность прогнозирования Е выражается через размер уменьшения потерь в результате использования прогнозов:

где Ьа - ущерб, нанесенный ОГЯ в случае, если никакого прогнозирования не было, и превентивные меры не принимались. Построение матрицы потерь требует определенных затрат, поэтому при прогнозировании ОГЯ на больших территориях этот шаг значительно повышает расходы на прогнозирование. Кроме того, матрица потерь является неэффективной при моделировании низких уровней или расходов воды, при которых потери, вызванные почти любой

Рг = Р+1}.

(1)

Е - Ц)

(2)

погрешностью, малы. (По этой причине модель может достаточно точно описать пиковые расходы или уровни, но, например, кривая спада будет рассчитана неточно; в свою очередь, это приведет к заданию неверных начальных условий перед очередным катастрофическим паводком, который будет спрогнозирован также неверно). В этом случае в качестве целевой функции нужно выбрать некое математическое выражение У, отражающее уровень неопределенности прогнозов Д{9 (т.е. ] = /(д£?)), минимизация которого будет означать повышение точности прогнозов. (В Главе 3 рассмотрена мультимасштабная целевая функция МБОБ и ее модификации, позволяющие добиваться высокой эффективности прогнозирования в тех случаях, когда определение матрицы потерь технически невозможно или экономически нецелесообразно).

В-третьих, нужно сформулировать критерии целесообразности прогнозирования данной гидрологической переменной с различной заблаговремен-ностью в данном месте. Очевидно, что чем больше заблаговременность точного прогноза Тг, тем меньше потери . Но при увеличении заблаговременно-

сти неминуемо увеличивается уровень неопределенности прогнозов А(2, и в какой-то момент затраты на прогнозирование становятся больше, чем размер потерь, которых можно избежать в результате использования прогнозов. Поэтому каждое значение заблаговременности прогноза можно сопоставить с его экономической эффективностью:

(3)

Прогнозирование целесообразно, если расходы на прогнозирование заведомо меньше потерь, понесенных в случае, если результаты прогнозирования не использовались. Именно этот факт определяет необходимость выпуска оценочных фоновых прогнозов стока для больших территорий: в самом деле, разработка собственной методики прогнозирования стока для экономически незначимого водосбора или водосбора, на котором ОГЯ наблюдаются сравнительно редко, в большинстве случаев экономически нецелесообразна.

В-четвертых, необходимо определить оптимальную заблаговременность прогнозирования Tf", при которой достигается максимальная экономическая

эффективность прогнозирования Е\ Т°'" = Т,\Е -» max. Реальная заблаговременность прогноза 7} складывается из:

1. Заблаговременности получения прогнозистом или моделью информации о предикторах Трг, которая состоит из естественной заблаговременности (то есть инерционности самого быстроразвивающегося предиктора из п) Трг и времени передачи информации обо всем наборе предикторов т7рг: Трг = Трг -ттрг (например, если решение о паводочном водосбросе с гидроэлектростанции было принято за 3 суток, а информация о его объеме дошла до прогнозиста через 2 суток после принятия этого решения, заблаговременность получения информации о предикторах составляет 1 сутки; если в качестве предиктора используются данные наблюдений (¥рг =0), то величина Трг может быть отрицательной, поскольку время передачи информации Трг всегда неотрицательно);

2. Времени обработки информации о предикторах (например, процедуры усвоения полученных данных - data assimilation), взятого со знаком «минус»;

3. Времени формирования прогнозируемого процесса Tpf;

4. Времени расчета тм по какой-либо модели или методике М (включая их текущую настройку или калибровку), взятого со знаком «минус»;

5. Времени постобработки выпущенного прогноза (post-processing time) Трр, взятого со знаком «минус»;

6. Естественной инерционности прогнозируемого процесса Tw, которая определяет верхнюю и нижнюю границу заблаговременности (например, если паводок начинается через 1 час после выпадения осадков на водосборе и полностью прекращается через 10 часов, то инерционность процесса составляет 9

часов, а время формирования ТрГ = 1 ч). Таким образом, общее уравнение для расчета реальной заблаговременности прогноза Т; выглядит так:

Т, ={тРг -Ттр,)-К +ТР, -Т„ -Трр+Т„,. (4)

Это уравнение, в частности, объясняет необходимость обработки поступающей информации и расчета стока с использованием достаточно мощных и быстродействующих процессоров и максимально возможной унификации этих процедур для больших территорий.

Наконец, в-пятых, выбирается оптимальная модель М°р', обеспечивающая максимальную экономическую эффективность прогнозирования Е (при заданной целевой функции ] и оптимальной заблаговременности Т"/', оцененной для некой обучающей выборки 5 , которая описывает моделируемый процесс с момента времени 11 до момента времени /2 ):

М°>" =м\(Т/м; }■, ,,): Е -» тах. (5)

Таким образом, уравнение (5) выражает общий принцип выбора модели, целевой функции и обучающих временных рядов при прогнозировании ОГЯ, который учитывался при выполнении исследований, описанных в последующих разделах диссертационной работы. Кроме этого, уравнение (5) частично объясняет причину снижения эффективности статистических методов прогнозирования, основанных на предположении неизменности М°р1 от интервала времени [г,; г2].

Завершается Глава 1 рассмотрением общих принципов параметризации прогностической модели и вопросов представления результатов прогнозирования, как фактора, влияющего на фундаментальную часть прогностических методов.

В Главе 2 приводится подробное описание концептуальной гидрологической модели «Сакраменто», которая является наиболее широко используемой оперативной моделью в мире и которая была выбрана в качестве основного функционального элемента АСП «БЬ8+» (в частности, из-за ее экономической эффективности, отраженной в уравнении (5)), а также причины этого выбора. Основанием для выбора модели «Сакраменто» является, во-первых, обзор литературы, посвященной моделированию дождевых паводков, во-вторых, консультации с ведущими экспертами в области моделирования стока из США, Австралии, Великобритании, Японии, Турции, Нидерландов и Российской Федерации, а в-третьих - численные эксперименты, выполненные соискателем в рамках нескольких российских и иностранных проектов (перечисленных в разделе «Основные результаты и выводы»), котрые целиком подтверждают выводы предварительного анализа.

Глава 3 посвящена мультимасштабным целевым функции, которые наиболее робастны по отношению к обучающим выборкам и, следовательно, наиболее эффективны для прогнозирования катастрофических паводков и половодий. В Главе 1 уже отмечалось, что при параметризации прогностической модели необходимо обратить внимание на символ Я , отражающий в уравнении (5) обучающую выборку - временные ряды предикторов и предиктанта за период времени с г1 до г2. Дело в том, что модель, оказавшаяся оптимальной (то есть, наиболее эффективной) за период времени [г,;*2] может отличаться от модели, наилучшим образом описывающий прогнозируемый процесс за период времени [?2;г3]. Поэтому уравнение (5) можно использовать для выбора лучшей модели за некий промежуток времени в прошлом (при условии, что используемые временные ряды достаточно репрезентативны по отношению к описываемому процессу), но при намерении моделировать экстремальные значения, например, расхода воды 2, использование этого уравнение не станет наилучшим способом определения параметров. В частности, идентификация параметров модели, основанная на максимизации экономической эффективности Е может привести к тому, что периоды спада высоких 20

расходов и уровней и периоды низкого стока, мало влияющие на величину Е, будут смоделированы плохо (в отличие от нескольких паводков или половодий, определяющих размер потерь Lf и, следовательно, эффективность прогнозирования). Это означает, что начальные условия (например, степень увлажненности рассматриваемой территории перед началом очередного паводка) будут заданы неверно, поэтому этот паводок, который вполне может оказаться катастрофическим, также будет смоделирован неверно. В строгом смысле слова, говорить об оптимальности модели для прогнозирования данного катастрофического явления можно лишь постериорно: даже если исследуемая модель блестяще описала все предыдущие паводки, она может подвести при прогнозировании следующего. Поэтому при калибровке модели необходимо помнить, что метод калибровки, вид целевой функции и выбранные обучающие выборки должны обеспечивать максимально точное отражение разных фаз гидрологического режима (включая подъем уровней, пик паводка или половодья, спад уровней и низкий сток) при различном порядке их чередования (например, единичный паводок после засухи, серия из нескольких паводков и т.д.). Эта точка зрения всецело подтверждается численными экспериментами, проведенными соискателем в NOAA. Полученные результаты позволяют сделать вывод о том, что наиболее перспективным видом целевой функции является мультимасштабные целевые функции группы MSOF (от англ. «Multi-Scale Objective Function»). Концепция целевых функций MSOF была предложена В. И. Корнем с целью сымитировать «мультимасштабный» характер «ручной» калибровки и отразить разные частоты стока. В проведенных экспериментах была использована целевая функция, отражающая дисперсию погрешностей относительно разных периодов осреднения:

(6)

гДе ch,,ki и <?,.(:,,' — измеренные и смоделированные расходы воды, осредненные за интервал времени к, ак — среднеквадратические отклонения расхода воды масштаба к, п — общее число масштабов, тк — число элементов каждого масштаба к. Для калибровки тестовых водосборов, расположенных в США, использовался критерий MSOF с часовым, суточным, недельным и месячным масштабами (ifc = l, 2,3,4). При калибровке российских, австралийских и турецких водосборов часовой масштаб был исключен (¿ = 1,2,3). Заметим, что каждый из элементов суммы в уравнении (6) имеет весовой коэффициент, равный среднеквадратическому отклонению измеренных расходов соответствующих масштабов. Подобная схема «взвешивания» основана на предположении, что неопределенность моделируемого стока в пределах каждого из масштабов пропорциональна естественной изменчивости стока для этих масштабов. Другая причина использования критериев группы MSOF — это дополнительное сглаживание поверхности целевой функции, которое уменьшаем вероятность «застревания» процесса поиска оптимума в незначительных «депрессиях». Необходимо подчеркнуть, что одной из разновидностей целевой функции MSOF является «всемасштабная» целевая функция ASOF (от англ. «All-Scale Objective Function»), которая отражает все возможные частоты от, например 1 часа (при часовой дискретности) до количества часов, составляющих интервал [/,,г2] или его часть:

Например, при проведении численных экспериментов по моделированию стока австралийского ручья Куямба в створе Леди Смит (Kyeamba Creek - Lady Smith) использовалась ASOF с масштабами от 1 до 720 часов: 1, 2, 3, ..., 719, 720 (рисунок 2). В результате были зафиксированы следующие значения целевых функций:

(7)

— при прогнозе с использованием параметров, найденных в соответствии с

— при прогнозе с калибровкой методом SCE (Shuffled Complex Evolution) и целевой функцией MSOF - 1,23 м3/с,

— при прогнозе с калибровкой методом SLS (Stepwise Line Search) и целевой функцией MSOF- 1,21 м3/с,

— при прогнозе с калибровкой методом SCE и целевой функцией ASOF - 0,89 м3/с,

— при прогнозе с калибровкой методом SLS и целевой функцией ASOF - 0,80 м3/с.

В качестве еще одного частного случая ASOF можно также рассмотреть целевую функцию MISOF (от англ. «Most Informative Scales Objective Function»), которая отражает только наиболее информативные частоты моделируемого процесса и выражается уравнением, общим для всех MSOF:

В целевой функции МКОР масштабы отражают только наиболее информативные (с какой-либо точки зрения) частоты, которые могут быть назначены субъективно (например, 1 час, 24 часа, 240 часов и 720 часов, как в примере с МЯОР) или идентифицированы с использованием какого-либо формального признака (например, можно выбрать фиксированное число масштабов, обладающих наибольшими значениями отношения дисперсии к коэффициенту автокорреляции с шагом длины масштаба к или радиусу корреляции /, = о;/г{к)). Нетрудно заметить, что в передельных случаях целевая функция МШОР может выродиться либо в среднеквадратическое отклонение 1-часовых ошибок (только один 1-часовой или 1-суточный масштаб), либо в разность средних значений моделируемого и фактического гидрографов (один масштаб, равный длине периода калибровки ,/2 ]), либо в А50Р (все масшта-

рекомендациями Корня (то есть без калибровки) - 2,12 м3/с,

(В)

бы) и т.д., что делает целевую функцию MISOF искючительно удобной для использования при автоматической калибровке моделей в различных условиях формирования стока и при различных стохастических особенностях моделируемого гидрографа.

Однако необходимо подчеркнуть, что разработка критериев ASOF и MISOF не входила в первоначальный план исследований, поэтому они в данной диссертационной работе для калибровки модели не использовались, а лишь были протестированы в ходе небольшого числа экспериментов, подобных эксперименту по моделированию стока ручья Куямба, выполненных по данным о 12 малых водотоках США и Австралии. Дальнейшее применение этих видов целевой функции требует тщательного экспериментального подтверждения и нуждается в апробации.

Выбор целевой функции - это лишь первая ключевая составляющая оптимизации параметров. Второй ключевой составляющей является выбор эффективной оптимизационной процедуры, этот важнейший аспект рассмотрен в Главе 4. При моделировании опасных гидрологических явлений крайне важно, чтобы используемые параметры имели физически реалистичные значения. Наличие нереальных или значительно искаженных параметров, имеющих физическую интерпретацию, во-первых, является свидетельством неадекватности модели по отношению к прогнозируемому процессу и, во-вторых, как следствие, снижает практическую уверенность в прогнозе. Поэтому калибровку модели целесообразно производить на основе квазилокальной оптимизации в физически предопределенном районе области определения параметров. Для этой цели можно использовать, например, алгоритм SLS (от англ. «Stepwise Line Search»), формально относящийся к так называемым шаблонным процедурам нелинейной оптимизации. Необходимо подчеркнуть, что если модель (имеется в виду ее базовая версия с сосредоточенными параметрами) сравнительно проста и содержит не более 3-4 независимых параметров, для ее калибровки можно использовать такие классические алгоритмы, как метод координатного спуска, градиентный метод, метод Розенброка и т.п.

а)

3500 3000 2500 2000 f 1500 ° 1000 500 ■ 0

Тестирование ЦФ MSOF и ASOF (калибровка и проверка)

~~1......

калибровка

Не калибр -Факт.

проверка

5000

10000

15000

20000

25000

30000

Тестирование ЦФ MSOF и ASOF (калибровка)

Не калибр. SCE(MSOF) SLS (MSOF) SCE (ASOF) SLS (ASOF) Факт.

2660

Тестирование ЦФ MSOF и ASOF (прогноз)

29400

Рисунок 2 — Тестирование целевых функций MSOF и ASOF (руч. Ку-ямба (Kyeamba Creek) - Леди Смит (Lady Smith), Австралия); время указано в часах, начиная с 01.01.2000.

Если число параметров, некоторые из которых являются взаимозависимыми, равняется 5-6, то тестирование целесообразно начать с метода 8СЕ, а при большем числе взаимозависимых параметров следует использовать методы группы БЬБ, однако для их эффективного применения необходимо также наличие информации для физического предопределения района поиска оптимальных параметров, поскольку этот подход позволяет ограничить район поиска и избежать вынужденного увеличения шага оптимизации, а значит и огрубления поиска.

При калибровке моделей с распределенными и полураспределенными параметрами необходимо исходить из имеющихся в распоряжении прогнозиста ресурсов процессора, которые определяют предельно допустимое число запусков модели (и, следовательно, сравниваемых наборов параметров) уига и предельную длительность калибровки =уВп1т (где т - длительность одного запуска модели), которая влияет на экономическую эффективность прогнозирования. Далее определяется дискретность рассредоточения параметров. Число частей водосбора или элементарных площадок с индивидуальным набором параметров в первом приближении оценивается по формуле

(9)

где Тса1 - среднее время оптимизации одного набора параметров. Необходимо заметить, что при калибровке моделей с распределенными и полураспределенными параметрами выполняется последовательный «шаблонный» перебор каждого вида параметров по всем ячейкам (элементарным площадкам). В случае, если отдельные части водосбора оснащены гидрологическими постами, то их параметризацию следует производить независимо от других частей.

Для того, чтобы добиться большей устойчивости и стабильности топографии поверхности целевой функции во времени, была разработана и использована для естественного сглаживания процедура, основанная на так на-26

зываемом F-преобразовании, которое заключается в замене исходной многомерной поверхности j(p) одномерной поверхностью F(l'). Остановимся на этом подходе белее подробно, поскольку он представляет собой фундаментальную основу для идентификации трансферабельных параметров, используемых для моделирования стока с неизученных водосборов.

Временная стабильность (или нестабильность) может быть отражена при помощи F-робастной целевой функции (буква «F» может обозначать «forecast», «feasibility», «fluctuations» - «прогноз», «обоснованность», «флуктуации» и т.д.). В общем случае, термин «F-робастность» отражает способность поверхности минимизируемого функционала приводить к достаточно хорошему результату прогнозирования даже после некоторого смещения этой поверхности в области определения параметров (обычно на 1-2 шага в обоих направлениях). Следовательно, это означает и временную стабильность, роба-стность по отношению к небольшим изменениям длины временного ряда, что автоматически ведет к прогностической эффективности модели и ее параметров. Модель или набор параметров считаются наиболее F-робастными, если п-параметрический относительный индекс F" является наименьшим из сравниваемых:

где В(Р) — минимизируемый функционал (например, среднеквадратическая погрешность прогноза, или мультимасштабная целевая функция МБОР), или любой другой критерий оценивания качества прогнозов в зависимости от параметров Р, А,и а! — верхняя и нижняя граница параметра 1\, Р1тп и Р1лта — наибольшее и наименьшее значения параметра Р,, при которых значение критерия £>: (Р) остается приемлемым, 1\т{Р) — наибольшее приемлемое значе-

А -4

F"

(10)

ние критерия D(P) (например, в России широко используется отношение D = S/а, представляющее собой отношение среднеквадратической погрешности прогнозов к среднеквадратической погрешности «природного»(или инерционного) прогноза, Dlim(P) = 0.8.

Этот индекс показывает, насколько точность модели зависит от погрешности определения параметров. Чем меньше F", тем шире пределы допустимых значений параметров Р, тем робастнее модель. В случае, если величина предельно допустимой неточности £>Iim(P) не определена или же если стоит задача сравнения нескольких оптимумов из одного и того же пространства J (например, при автоматической калибровке гидрологических моделей), индекс F" может быть найден по упрощенному уравнению:

где г — это радиус осреднения значений целевой функции (Р-радиус). В практических задачах, когда целевая функция ДР) дискретна, индекс ¥" определяется именно по уравнению (11), как среднее значение ]{Р) в пределах определенного количества шагов 5 по всем направлениям от исследуемого вектора параметров (например, 1, 2, 3 или более):

где }ц - целевая функция для п параметров и -шагового радиуса вокруг каждого из них.

Оптимизируя трансформированную целевую функцию I* = или У' = Г"', можно найти наиболее стабильные параметры. Этот способ практи-

(П)

Р-г

fi- j'S+l /

F"= I IX/(2j + 1> n.

(12)

чески применим при сравнительно небольшом числе параметров. Впрочем, это зависит от имеющихся ресурсов процессора. Например, если уравнение (12) используется для оценивания индексов Р" или Г"1 в т точках по обе

стороны и в центре исследуемого вектора параметров, то число расчетов по модели (число выполненных оценок J) равно (т +1)". Пусть V - число сравниваемых наборов параметров. Тогда общее число запусков модели равно у(/я + 1)\ Если время одного запуска обозначить через г, то общее время Т расчета Р-индскса равно

Т = уг(т + 1)". (13)

Это уравнение может быть использовано для определения подходящего количества точек т, необходимых для осреднения, исходя из имеющегося времени:

т = (14)

Отсюда легко найти величину приращения по каждому из параметров г/т, Независимые параметры можно оценивать отдельно, поэтому общее число параметров при отдельном оценивании Е-индекса может быть уменьшено. Сэкономленное время можно использовать для сравнения большего числа наборов параметров, уменьшения шага и т.д. В заключение заметим, что в простейшем случае (т.е. если Б-радиус равен 0), уравнения (11) и (12) вырождаются до = ^. Таким образом, Б-индексы представляют собой расширение обычной целевой функции (и наоборот, значение целевой функции У,, в точке равно Р-тёех с радиусом г = 0). В ходе проведения численных экспериментов по идентификации параметров модели «Сакраменто», было установлено, что многомерные поверхности таких популярных в гидрологии целевых функций как среднеквадратическое отклонение или средняя абсолютная погрешность являются существенно невыпуклыми и весьма чувствительными по отношению даже к незначительному удлинению (Д -10~5) обучающих выборок.

Рисунок 3 — Схема «дна» поверхности целевой функции. Изменение «критической массы» приводит к значительному изменению местоположения «глобального» оптимума.

Поверхности мультимасштабных целевых функций МЗОИ, АБОБ и МТБОБ являются более сглаженными, но и они чувствительны по отношению к длине обучающих выборок. Поскольку модель «Сакраменто» имеет как минимум 11 калибруемых параметров (еще 5 параметров обычно принимаются постоянными, но при необходимости их идентифицируют различными способами, включая непосредственный расчет и оптимизацию). Некоторые из этих параметров взаимозависимы и, кроме того, поверхность целевой функции является 12-мерной (при 11 оптимизируемых параметрах), поэтому наглядно представить вид такой поверхности и изобразить ее графически технически невозможно. По этим причинам эволюция топографии этой многомерной поверхности при незначительном удлинении обучающих выборок с, например, 70100 элементов до 70101 элемента проиллюстрирована схематически на рисунке 3. Как показали многочисленные эксперименты, добавление даже небольшого числа новых значений приводит к смещению «критической массы» (целевой функции J = /(р)); общая топография локальных оптимумов при этом почти не меняется, а вот местоположение глобального оптимума может существенно сместиться. Более того, во многих случаях «глобальные» опти-мумы не имеют никакого физического смысла, и их использование для прогнозирования паводков ведет к неудовлетворительному результату, поскольку физически некорректные параметры не позволяют точно рассчитать началь-

ные условия (например, содержание влаги в почве) перед началом очередного паводка.

На рисунке 4 показана чувствительность квазилокальных (т.е. найденных в физически предопределенном районе области определения параметров № методом БЬБ) и глобальных оптимумов, найденных методом БСЕ. Нетрудно заметить, что «квазилокальные» параметры значительно стабильнее «глобальных». На рисунке 5 приведен пример ситуации, когда «глобальный» алгоритм 5СЕ «не заметил» очевидного и весьма глубокого оптимума, находящегося рядом с предопределенным регионом поиска, поскольку алгоритм БСЕ при технически целесообразных настройках поиска не может исследовать точки в «углах» (N + 1)-мерного параллелепипеда. Действительно, при оптимизации, например, 11 параметров и при лимитирующем числе запусков модели в 30 тысяч раз, средний шаг оптимизации чуть больше 1,5: Л',,. = фт +1) = 30 ООО, (т +1) = 2,55 и т = 1,55. Это говорит о том, что «глобальность» алгоритма 5СЕ, подтверждаемая более широкой полосой поиска, показанной на рисунке 6, достигается за счет существенного увеличения шага оптимизации и, следовательно, огрубления поиска.

Выполненные численные эксперименты по моделированию стока с водосборов, расположенных в штатах Техас (США) и Новый Южный Уэльс (Австралия) показали, что при калибровке модели «Сакраменто» метод глобальной оптимизации в большинстве случаев позволяет получить меньшие (т.е. лучшие) значения целевой функции МБОБ, однако проверка найденных параметров на независимом материале (т.е. в режиме прогнозирования стока) показывает большую (более 60% случаев) эффективность параметров, определенных в физически предопределенном районе 12-мерной области определения параметров методом Также было установлено, что в отдельных случаях метод глобальной оптимизации не позволяет обнаружить более глубокие и, что самое главное, физически корректные оптимумы. Учитывая тот факт, что калибровка модели при помощи метода 8СЕ занимает от 70 до 500 раз больше времени, чем при использовании метода БСЗ и более высокую эф-

фективность последнего при прогнозировании паводков, этот алгоритм был признан более подходящим для автоматической калибровки оперативных гидрологических моделей.

В Главе 4 приведен анализ существующих методов линейной и нелинейной оптимизации, которые используются для калибровки гидрологических моделей со сравнительно большим числом взаимозависимых параметров, частным случаем которых являются модели с независимыми параметрами или с небольшим числом взаимозависимых параметров. В частности, проанализированы причины низкой эффективности таких наиболее популярных в гидрологии методов линейной и нелинейной оптимизации как метод Розенброка, SCE, метод градиентной оптимизации, метод координатного спуска и некоторых других. Как уже отмечалось выше, многомерные поверхности целевых функций для таких моделей являются крайне нерегулярными и невыпуклыми. Частичное сглаживание достигается за счет перехода к мультимасштабным целевым функциям группы MSOF, но этого может оказаться недостаточно, поскольку поверхность целевой функции обладает определенной нестабильностью во времени.

Дополнительное сглаживание, достигаемое в результате применения F-преобразования, позволяет получать более стабильные параметры (следствием применения которых является повышение практической уверенности в прогнозах), но не решает проблему невыпуклости многомерных поверхностей кардинальным образом, поэтому существующие оптимизационные процедуры, разработанные доя поиска оптимумов выпуклых поверхностей (типа «nutshell» - от англ. «ореховая скорлупа»). Что же касается метода глобальной оптимизации (SCE), то он физически не может «справиться» со значительно невыпуклыми и нерегулярными поверхностями; это утверждение подтверждается в диссертации как теоретическими выкладками, так и многочисленными экспериментами (пример результатов этих экспериментов приведен в Таблице 1 и на рисунке 5).

Чувствительность параметров к удлинению временных рядов

г о. £ юо

60 -

40 -

20 - (

,' I

>•' I Л. I ■»—

П'М ■ I I11' ЧЧм'г'!«

# ТП

V*

-¡И.'Ч/ул ... 1 ' / 1

/Ч1Л V

! I

/ А

,, ,*' 1,1.).,

якц

Ч4\

о ■

70000

70050 70100 70150

Дппиа временных рядов при ндентпфнкаиач параметров

70200

—игтлм(ц —Ь^БМО.)

■ — иРК(1_) —игшвд --итэмсе)

■ — 1.2РК(Э) —а

Рисунок 4 — Устойчивость во времени параметров модели «Сакраменто», определенных методами «глобальной» и квазилокальной оптимизации (буква «Ь» обозначает параметры, оптимизированные квазилокально, а «в» -глобально).

л О БОЕ * 5 из

% в О

ч к" .................4* "««»»„.И...........

О 0.5 1 1.5 2 25

Относительное расстояние от начальной точки

Рисунок 5 — Пример, иллюстрирующий тот факт, что «глобальность» оптимизации достигается в ущерб детальности поиска.

Рисунок 6 верификации.

— (а) «Роза параметров», (б) результаты параметризации и

а) Ручей Оньен, США

игтм

Значения критерия М50Г при идентификации параметров

12 3 4

Значения критерия МЬ'ОГ при проверке на независимых данных во.о -

В качестве альтернативы существующим оптимизационным процедурам предлагаются уже упомянутые методы нелинейной оптимизации группы БЬБ, которые были разработаны таким образом, чтобы свойства многомерных поверхностей целевых функций были учтены наилучшим образом. Базовый оптимизационный алгоритм БЬв, представляющий собой алгоритм «шаблонной» оптимизации, производит отыскание оптимумов в направлении уменьшения значения целевой функции, последовательно продвигаясь вдоль направления каждого параметра на определенное количество шагов (в нашем примере — на 1 шаг). Процедура ЭЬЗ состоит из следующих операций:

1. Старт заключается в оценивании (вычислении) значения целевой функции ЛРа), соответствующего предопределенному набору (вектору) параметров 1\ (здесь и в тексте диссертации символ вектора опускается);

2. Значения всех параметров, кроме первого, фиксируются. Значение первого — увеличивается или уменьшается на один шаг, при этом определяется направление понижения значения целевой функции ];

3. Первому параметру присваивается новое значение, соответствующее уменьшенной величине У (или сохраняется старое, если целевая функция не изменилась), затем это значение фиксируется, и операция, описанная в п.1, выполняется в отношении второго параметра;

4. Операция из п. 3 повторяется в отношении всех остальных параметров, пока все параметры не будут испытаны и, если нужно, исправлены;

5. Операции из пп. 2-4 выполняются до тех пор, пока уменьшение значения 7 не прекратится. Следует подчеркнуть, что многочисленные эксперименты с моделью «Сакраменто», проведенные соискателем в 2002-2006 гг. позволили упростить базовый алгоритм следующим образом: если значение параметра не меняется на протяжении трех последовательных итераций (то есть трех последовательных корректировок всех оставшихся параметров), этот параметр исключается из дальнейшего рассмотрения (это объясняется локальной ортогональностью параметров вблизи оптимума, вызванной дискретностью поиска). Это упрощение позволяет сократить число запусков модели примерно в 4 раза. Набор наименее чувствительных параметров может изменяться от водосбора к водосбору и во времени и отражает взаимозависимость параметров, которая также изменяется во времени и пространстве.

Если шаг изменения параметров чересчур велик, алгоритм БЬБ может пропустить минимум (который мог бы быть обнаружен при более мелком шаге). В ходе выполнения экспериментов было установлено, что размер шага, равный 1-И0% амплитуды параметра, является вполне универсальным, хотя в некоторых случаях было бы интересно оптимизировать и его. Условие

остановки оптимизации — исключение всех параметров. Результаты параметризации модели «Сакраменто» на основе метода БЬБ с постоянным шагом оптимизации равным 5% показаны в работе [8].

Таблица 1 - Сравнение значений целевой функции МБОБ при калиб-

ровке модели «Сакраменто» (за 4 года) и проверке найденных параметров на независимом материале (за 1 год)___

Водоток* Метод 8СЕ Метод БЬБ

Годы, использованные для оценивания М5'ОР

1 2 3 4 5 1 2 3 4 5

Калибровка с использованием данных за 4 года (кроме указанного в соответствующей колонке)

СВНТ2 14.1" 14.0 13.8 14.3 13.8 14.3 14.4 14.0 14.6 14.1

вЕТТ2 18.3 18.6 18.9 12.6 18.3 18.8 18.9 19.5 12.9 18.8

НВМТ2 31.9 33.5 32.9 33.3 32.1 33.4 35.4 34.8 35.0 33.0

ШТТ2 36.8 38.8 28.3 34.2 36.5 36.9 38.8 28.6 34.5 36.7

ГГВТ2 11.7 12.6 7.21 15.7 13.2 12.6 12.2 7.15 15.6 13.8

КМ1_Т2 15.0 18.7 18.0 18.7 10.9 17.3 20.1 19.8 19.7 11.2

ьуотг 12.7 12.8 12.3 12.2 8.54 12.7 13.0 12.4 12.3 8.69

МТРТ2 38.0 41.7 41.3 40.0 38.0 37.9 41.5 41.3 40.1 37.9

Проверка на независимом материале (за год, указанный в соответствующей колонке)

ОВНТ2 13.0 14.6 15.4 10.3 15.0 14.8 14.3 15.7 11.4 15.4

ОЕТТ2 14.2 9.73 3.57 27.7 13.9 14.1 8.71 3.50 26.2 13.0

НВМТ2 29.9 27.9 25.1 21.5 35.9 27.0 34.6 27.6 25.2 47.1

НОТТ2 33.3 4.81 66.1 47.4 32.0 32.0 4.51 66.3 44.1 32.0

ГГВТ2 12.4 4.32 25.9 9.59 26.2 4.96 3.79 24.7 6.47 17.6

кттг 31.9 4.38 13.7 18.0 47.9 28.5 11.1 10.8 15.3 43.1

ЬУМТ2 11.4 5.89 11.0 11.4 36.9 11.8 4.92 10.3 11.1 37.3

МТРТ2 45.1 16.2 20.9 34.2 52.4 45.4 14.5 19.6 33.7 52.0

* Полное название водотоков указано в Таблице 2 и тексте диссертации

** Меньшее значение показано курсивом

Алгоритм SLS-F (SLS плюс F-робастность) — это еще один полезный инструмент для калибровки оперативных гидрологических моделей. Его не следует рассматривать как альтернативу методу SLS-2L, поскольку эти два подхода предназначены для решения разных проблем. Задача метода SLS-F — поиск наиболее надежных и стабильных во времени параметров. Данное исследование носит пилотный характер, поэтому метод SLS-F использовался при s = l (см. уравнение (12)). Это объясняется тем, что «обычный» метод SLS, в любом случае, предполагает расчет целевой функции в нескольких точках вокруг исследуемого набора параметров. При использовании метода SLS-F (при s =1) такой расчет всегда осуществляется ровно в трех точках (за исключением самой первой итерации, которая выполняется в обычном режиме). Общее число запусков модели при этом может возрасти в 5-10 раз, что все равно меньше, чем требуется для «глобального» алгоритма SCE. Увеличение числа шагов осреднения s до 2 ведет к дальнейшему увеличению числа запусков модели (до трех порядков) и, следовательно, в таком случае на оптимизацию расходуются ресурсы процессора, соизмеримые с затрачиваемыми при использовании метода «глобальной» оптимизации SCE. Однако практическое использование метода SLS-F все равно имеет смысл, поскольку при такой же загрузке процессора можно получить более стабильные и надежные параметры, чем «глобально» оптимизированные. Примеры результатов экспериментов по автоматическому прогнозированию стока ряда американских и австралийских водосборов представлены в Таблице 2.

Алгоритм SLS-2L (2-Loop Stepwise Line Search — пошаговая линейная оптимизация, 2 цикла) предусматривает замену оригинальной (N+1)-мерной поверхности целевой функции (для модели «Сакраменто» N = 11-5-16) более гладкой поверхностью меньшей размерности. Сглаживающий эффект достигается уменьшением числа параметров N.

Таблица 2 - Сравнение результатов оптимизации различными способами на основе

Водоток-створ Код о © s s! Ч я я в. э ° г Нач. значение критерия MSOF (метод Корня) Окончательное значение MSOF

SCE SLS SLS-F SLS-2L SLS-E

Верховые водосборы, находящиеся в штате Техас (США)*

Onion Creek -Austin ATIT2 844 23.21 19.36 20.84 20.85 24.01 16.24

Denton Creek - Justin DCJT2 1039 18.47 16.13 16.57 16.57 18.88 14.99

Greens Bayou -Houston GBHT2 137 13.82 11.35 11.65 11.66 14.12 9.51

South Fork San Gabriel - Georgetown GETT2 334 17.39 16.22 16.52 16.54 17.32 16.03

Cowleech Creek -Greenville GNVT2 212 16.89 14.39 14.60 14.60 17.90 11.72

Brays Bayou -Houston HBMT2 246 35.69 27.02 28.52 28.53 42.48 24.18

Guadalupe River -Hunt HNTT2 769 39.50 30.99 31.01 31.02 37.00 28.12

Double Mount Fork -Justiceburg JTBT2 945 13.73 12.19 12.86 12.89 15.97 10.67

Sandy Creek -Kingsland KNLT2 904 18.38 11.55 13.67 13.67 13.88 9.66

Davidson Creek -Lyons LYNT2 50В 10.51 10.22 10.37 10.37 10.41 9.10

East Fork Trinity -McKinney MCKT2 427 16.84 13.87 14.18 14.19 15.31 12.42

Bedias Creek -Madisonville MDST2 870 33.92 25.79 28.56 28.56 32.50 23.42

Midfield - Tres Palacios MTPT2 435 35.43 33.92 33.83 33.83 34.00 29.45

Cowhouse Creek -Pidcoke PICT2 1178 38.99 38.00 37.68 37.70 38.12 22.90

Navidad River -Sublime SBMT2 896 56.66 53.92 54.57 54.57 55.73 48.83

Верховые водосборы, находящиеся в штате Новый Южный Уэльс**

Kyeabma Creek Book Book KCBB1 145 3.55 0.926 0.914 0.914 1.472 0.798

Kyeamba Creek -Lady Smith KCLS1 530 3.31 1.140 1.140 1.140 1.272 0.824

Hillis Creek - Mount Adrah HCMA1 568 2.99 0.991 0.988 0.988 1.045 0.744

Billabong Creek -Aberfeldy BCAB1 331 1.90 0.786 0.786 0.787 0.800 0.523

* Гидрологические посты, находящиеся в ведении регионального речного прогностического центра Национальной Службы Погоды США (NWS West Gulf RFC)

** Гидрологические посты, находящиеся в ведении Департамента природных ресурсов штата Новый Южный Уэльс (Австралия)

В нашем случае число идентифицируемых параметров уменьшается с 11 (число параметров модели «Сакраменто») до 7 (число гидравлических параметров почвогрунтов). 8-мерная поверхность целевой функции (образуемая семью гидравлическими параметрами и минимизируемым функционалом J ) является более гладкой, чем 12-мерная или (17-мерная) просто по определению, из-за меньшей размерности. Обнаружить оптимумы такой поверхности при помощи SLS весьма легко. Если класс доминирующих почвогрунтов известен, именно их гидравлические параметры используются для расчета стартовой точки. Если этот класс неизвестен, то каждый из 12 известных наборов параметров, (соответствующих перечисленным в Табл. 10 диссертационной работы классам почвогрунтов), может служить в качестве исходной точки для определения региона поиска. Эта процедура является первым циклом оптимизационной процедуры, который позволяет получить 7 оптимальных гидравлических параметров почвогрунтов, по которым рассчитывается стартовая точка для второго цикла (определяемая 11-16 параметрами модели «Сакраменто»). Таким образом, если детальные данные (такие, например, как данные цифровых карт STATSGO и ASRIS) недоступны, оптимизационная процедура начинается с отыскания наиболее подходящего класса доминирующих почвогрунтов и продолжается идентификацией параметров модели «Сакраменто» в обычном порядке (при помощи алгоритма SLS). Это свойство делает алгоритм SLS-2L пригодным для параметризации модели в развивающихся странах и других регионах со скудными или низкокачественными данными. Результаты применения процедуры SLS-2L представлены в Таблице 2.

Алгоритм SLS-E 'заключается в одновременном генерировании ансамблей «входа» модели «Сакраменто», осуществляемом при помощи датчика случайных чисел, и калибровке модели для каждого элемента ансамбля при помощи метода SLS. Этот подход позволяет не только получать несмещенные значения параметров, но и выполнять постобработку уже выпущенных прогнозов. Метод SLS-E состоит из следующих процедур:

1. Выбрать период для калибровки модели (например, в проведенных численных экспериментах по моделированию стока ручья Куямба в створе Бук-Бук (Kyeamba Creek - Book Book) исходные данные были использованы так: (1) «разогрев» модели с 1 января 1995 г. до 31 декабря 1997 г., (2) параметризация модели «Сакраменто» — с 1 января 1998 г. до 31 декабря 2004 г. и, наконец, (3) проверка (верификация) и постобработка прогнозов — с 1 января 2005 г. до 31 декабря 2006 г.);

2. Выполнить параметризацию модели в обычном порядке (например, используя методы, основанные на SLS);

3. Определить стохастичесике характеристики (например, начальные моменты ml,m'2,m'}) всех к «входов» 1к и «выходов» О, модели на каждый момент времени t интервала, используемого для постобработки (postprocessing window). Порядок выполнения этой процедуры зависит от специфики решаемой задачи. В частности, непосредственое вычисление моментов приемлемо только с том случае, если изучаемое и моделируемое распределение строго стационарно (такие ситуации встречаются, например, при долгосрочном прогнозировании или моделировании при помощи физически обоснованных динамических моделей). При кратксрочном прогнозировании моменты целесообразно определять в соответствии с пространственно-временным распредеением осадков, почвенной влаги, испаряемости, расходов или уровней воды. Другими словами, оценки трех моментов могут быть рассчитаны или измерены как угодно. В нашем случае оценивались только стохастические характеристики осадков (путем анализа их пространственно-временного распределения) и расходов воды (путем анализа их временной изменчивости, расчитанной по данным автоматизированных наблюдений за уровнем в течение 3-дневного интервала, окружающего полдень суток, к которым относятся найденные моменты, и учитывая погрешность расчета расходов по уровням).

4. Для удобства и упрощения расчета, которое почти не влияет на точность прогноза, выбрать какое-нибудь теоретическое распределение, которое

адекватно описывает остаточные отклонения на «входах» (в большинстве случаев трехпараметрическое гамма-распределение может быть взято для использования по умолчанию);

5. Выбрать генератор случайных чисел, соответствующий выбранному распределению и определенным моментам {lk(t)',m2k\mik) и выполнить генерирование некоторого числа ансамблей для каждого из «входов» (как это делается в классическом методе Монте-Карло). Для каждого из ансамблей выполняется квазилокальная калибровка модели методом SLS. (В нашем случае производилось генерирование 125 ансамблей осадков, что вместе с рекалибровкой модели занимает от 3 ч 50 мин до 6 часов 40 мин);

6. Определить, какая из траекторий (или какая комбинация траекторий при к > 1) и какой набор параметров позволяют получить «выход», наилучшим образом совпадающий с «целью» (то есть измеренным, прототипным или желательным «выходом»). Степень отклонения выражается при помощи целевой функции J, которая может быть как детерминистической, так и вероятностной. Идеальным попаданием в «цель» может считаться, например, нулевое отклонение прогнозируемой и фактической моды или полное совпадение прогнозируемого распределения и распределения «цели». В нашем случае использовался критерий MSOF;

7. Оценить систематическое смещение выбранной траектории от исходного ряда внутри сравнительно небольшого интервала времени, предшествующего времени прогноза — «окна» постобработки (post-processing window). Для этой цели можно либо просто рассчитать среднее арифметическое отклонение Ак, либо определить второй и третий моменты остаточных отклонений (исходного ряда от выбранной траектории), а затем рассчитать их систематическое смещение моду (т.е. наболее вероятное отклонение гк элементов исходного ряда от выбранной «правильной» траектории; для трехпараметрического гамма-распределения гк = тЪ1/2тгл ).

8. Применить Д4 или гк в качестве поправки для «входа» 1,, определить исправленный «вход» /7(0 = 1к (0 ~гк и перезапустить модель для расчета расхода воды для следующего временного шага.

Выполнив все эти шаги, можно получить обновленные параметры и исправленные «входные» данные (все или только часть) для интервала времени в пределах окна постобработки. Это позволяет интегрально учесть все виды неопределенности: временную и пространственную изменчивость исходных данных, погрешность измерений, несовершенство модели. В итоге дисперсия погрешности прогнозов существенно уменьшается, а моделируемая траектория (гидрограф) остается в пределах доверительного интервала. Необходимо заметить, что при автоматической калибровке гидрологических моделей, используемых для прогнозирования стока большого числа водотоков, описанная процедура может быть значительно упрощена: метод ЗЬБ-Е используется для идентификации несмещенных параметров, которым соответствует наименьшее значение целевой функции 7 (например, МБОБ), а наилучший «вход» модели и его стохастические характеристики не идентифицируются. Как показали численные эксперименты (Таблица 2), метод БЬБ-Е позволяет получить наилучшие (наименьшие) значения целевой функции МБОР, однако для использования этого метода необходимо значительно большее время, чем для метода (и соизмеримое с временем, затрачиваемым на оптимизацию параметров при помощи метода 8СЕ). Несмотря на это, метод 8Ь8-Е является наиболее эффективным способом идентификации несмещенных параметров модели, которые обеспечивают самую высокую точность прогнозирования катастрофических паводков. Пример расчета стока р. Аликоновки в г. Кисловодске, выполненный для летне-осеннего сезона 2008 г. при предположнении максимального влагонасыщения почвы 01.06.2008 и рекалибровкой модели для 125 ансамблей осадков показан на рисунке 6.

Завершает Главу 4 описание оптимизационных процедур группы третьего поколения 8Ь8-21Л?, 8Ь8-ЕР, 8Ь8-2ЬЕ, которые образуются путем совмещения алгоритмических процедур 8Ь8-Е, 8Ь8-Р и 8ЦЗ-2Ь, а также про-««

цедуры четвертого поколения 8Ь8-2ЬЕР. В данной работе эти процедуры (за исключением алгоритма 8Ь8-21>Р, показавшего высокую эффективность при определении трансферабельных параметров, что подтверждается данными Таблицы 3) практически не использовались, поскольку они требуют больших процессорных ресурсов. Однако есть все основания полагать, что по мере развития вычислительной техники они станут эффективными инструментами калибровки гидрологических моделей (рисунки 7 и 8).

В Главе 5 рассмотрены различные аспекты практического применения разработанных методов и подходов, которые были использованы, в частности, при создании учебно-оперативной автоматической системы прогнозирования паводков «8Ь8+».

Таблица 3 — Трансферабельность параметров, полученных в результате оптимизации методом SLS-2LF

Водосборы, использованные для проверки

Водосбор, использо- 1 2 3 4

ванный для калибров- Исходные значения MS OF

ки 3.55 3.31 2.99 1.90

КуеаЬша Creek - Book Book 1.472 1.320 1.659 1.118

Kyeamba Creek - Lady Smith 1.475 1.272 1.734 1.238

Hillis Creek - Mount Adrah 1.801 1.423 1.045 0.999

Billabong Creek -Aberfeldy 1.656 1.512 1.307 0.800

Смоделированные гидрографы (р. Нумералла ■ пост "школа")

и

* 1000

и

| 500

п а.

О

О 100 200 300 400 500

Сут. после 9.09.2007

б)

Рисунок 7 — Гидрографы, построенные при помощи модели «Сакраменто», которая была откалибрована различными способами: (а) оригинальный масштаб; (б) увеличенный масштаб.

Основными функциональными элементами разработанной автоматизированной системы прогнозирования паводков «ЗЬБ-ь» являются: 1) концептуальная гидрологическая модель «Сакраменто», которая может быть заменена на любую другую гидрологическую модель (например, модель Гидрометцентра, разработанную Бельчиковым и Корнем, или модель Корня и Кучмента); 2) автоматические оптимизационные процедуры группы позволяющие выполнять калибровку модели при различной обеспеченности исходными 44

гидрометеорологическими данных; 3) статическая база данных, содержащая неизменную информацию о водосборах; 4) динамическая база данных «Ш^УАБА»; 5) блок усвоения данных и 6) блок постобработки выпускаемых прогнозов.

В настоящее время АСП «5Ц5+» реализуется в двух вариантах: 1) с МТЫБОХУЗ-совместимым пользовательским интерфейсом, предназначенным для моделирования гидрографа отдельно взятого водотока, и 2) БОБ/иМХ/ШЧиХ-совместимая интерактивная программа, которая позволяет выполнять моделирование стока большого числа малых и средних водотоков (например, относящихся к водосбору одной большой реки или находящихся в некотором регионе). Таким образом, в своем окончательном виде первое поколение АСП «БЬ5+» представляет собой самодостаточный и полностью готовый для практического использования инструмент для автоматического моделирования дождевых паводков на малых и средних водотоках, который может быть использован как в учебных целях студентами гидрометеорологических вузов и университетов, так и для оперативного прогнозирования паводков подразделениями гидрометслужбы (в случае подключения АСП к базе данных Росгидромета), министерства по чрезвычайным ситуациям и другими заинтересованными организациями как внутри Российской Федерации, так и за ее пределами.

Помимо АСП «5Ь8+», при выполнении описанных в данной диссертационной работе иследований был создан аппаратно-программный комплекс «Ш\УАОА», предназначенный для автоматического поиска, копирования и архивирования данных оперативных гидрометеорологических наблюдений (в настоящее время АПК «Ш\¥АОА» работает в пилотном режиме, производя автоматическое архивирование данных гидрометеорологических наблюдений, производимых в США и Австралии; для этой цели было разработано специальное программное обеспечение, необходимое для управления и эксплуатации динамической базы данных АПК «Ш^/АБА»).

В Заключении рассмторены перспективы развития автоматизированного прогнозирования ОГЯ, а также даны рекомендации по повышению точности прогнозов паводков в Российской Федерации, наиболее важными из которых являются следующие:

1. В районах РФ, подверженных наводнениям в результате прохождения паводков, необходима организация автоматических наблюдений за атмосферными осадками с периодичностью не менее 1 часа;

2. В районах, где паводки вызывают значительный материальный ущерб, целесообразно автоматическое наблюдение за расходом воды с периодичностью не менее 1 часа;

3. В районах РФ с высокой интенсивностью формирования паводков (например, вызванных сильными ливнями или обусловленных рельефом местности) целесообразно использование метеорологических радаров с радиусом действия не менее 250 км; для усвоения радарных данных должны быть организованы синхронные наземные наблюдения;

4. В районах с недостаточной густотой метеорологических станций и гидрологических постов рекомендуется разработка системы вероятностного прогнозирования паводков по спутниковым данным о содержании влаги в верхнем слое почвы и о перемещении облачных полей, способных вызвать конвективные осадки;

5. В индустриальных и сельскохозяйственных районах оценивание качества прогнозов должно производиться только по матрицам потерь. В связи с этим необходимо обязать органы местной исполнительной власти и заинтересованное руководство промышленных предприятий предоставить всю необходимую информацию для составления таких матриц. В то же время, использование матриц потерь для калибровки гидрологических моделей недопустимо (для этой цели следует использовать мультимас-штабные целевые функции);

6. Необходима организация непрерывного фонового прогнозирования речного стока по всей территории РФ в автоматическом режиме. Для этого

необходимо интегрировать в единую прогностическую систему данные наземных, радарных и спутниковых наблюдений, а также выходные данные климатических моделей. В случае выявления зон с повышенной вероятностью возникновения паводков, целесообразно выпускать уточненный прогноз на основе более подробной информации.

В разделе «Выводы» обобщены основные результаты выполненных исследований.

р. Аликоноека - г. Кисловодск

1 1 1)

1 1 .. 1

V , 1

\

к

МЮЛЬ август сентябрь октябрь ноябрь

Рисунок 8 — Пример гидрографа р. Аликоновки (в створе г. Кисловодска, 2008 г.), рассчитанного только для теплого периода года (в начале расчетного периода почва считается максимально насыщенной влагой). Модель откалибрована за теплый период 2007 г. методом БСЗ-Е (1 — фактический гидрограф; 2 — смоделированный гидрораф (125 ансамблей осадков), 3 — гидрограф без уточнения осадков).

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

В результате проведенных исследований решена крупная научно-техническая проблема, заключающаяся в получении возможности моделирования и прогнозирования паводочного стока с малоизученных и неизученных малых и средних водосборов. Успешное решение этой проблемы имеет важ-

ное хозяйственное и экономическое значение для повышения точности прогнозов катастрофических паводков и половодий. Поставленная цель достигнута за счет создания, развития и совершенствования комплекса научных методов автоматической калибровки гидрологических моделей, основанных на выявленных особенностях поведения многомерных поверхностей целевых функций, свойственных для гидрологических моделей с взаимозависимыми параметрами. В результате проделанной работы было установлено, что:

1. Метод БЬБ является наиболее подходящим в случаях, если априорная (начальная) точка при квазилокальной оптимизации задана корректно, а водосбор достаточно хорошо освещен гидрометеорологическими наблюдениями; во всех остальных случаях рекомендуется использование модификаций метода БЬБ - алгоритмов второго поколения БЬБ-Е, БЬ5-2Ь, БЬ^-Б и алгоритма третьего поколения (остальные алгоритмы могут быть использованы по мере совершенствования вычислительной техники);

2. Метод 8Ь8-2Ь рекомендуется для водосборов, на которых имеется недостаточность данных о почвогрунтах и их гидравлических свойствах;

3. Метод БЬБ-Р рекомендуется в случаях, когда обучающие выборки сравнительно коротки, в результате чего положение поверхности целевой функции (и, следовательно, локальных оптимумов) нестабильна во времени;

4. Метод БГ^-Е может быть использован при низкой плотности метеорологических станций (осадкомеров). Метод 8Ь8-Е позволяет ликвидировать смещенность параметров, вызванную неравномерностью выпадения осадков, поэтому он может быть использован в качестве инструмента для постобработки смоделированного гидрографа; предметом стохастического генерирования (в виде ансамблей) может выступить любой или все элементы «входа» модели;

5. Метод 8Ь8-2ЬР позволяет получить трансферабольные параметры, которые могут быть использованы на неизученных водосборах;

6. Комбинации методов (БЬв-гЫ7, 8Ь8-2ЬЕ, 8Ь8-ЕР и 81^-21^) являются чрезвычайно ресурсоемкими и при современном уровне развития вычислительной техники в оперативном режиме использоваться не могут; по мере

увеличения ресурсов процессора целесообразно в первую очередь использовать оптимизационные алгоритмы группы БЬБ-Е (т.е. БЬБ-Е, 8Ь8-2ЬЕ, ЗЬБ-2ЕР и 5Ь8-2ЬЕР), как обеспечивающие несмещенные параметры, что исключительно важно для расчета начальных условий перед наступлением очередного паводка;

7. При моделировании гидрографа с 1-часовой дискретностью все рассмотренные методы расчета единичного гидрографа показали соизмеримое улучшение начального значения целевой функции (12,97% - по площадям стека-ния, 11,91% - по синтетическому единичному гидрографу, 9,42% - по биномиальной кривой); при моделировании гидрографа с 24-часовой дискретностью все рассмотренные методы расчета единичного гидрографа также показали соизмеримое улучшение начального значения целевой функции (43,43% - по площадям стекания, 40,29% - по синтетическому единичному гидрографу, 39,37% - по биномиальной кривой);

8. Во всех случаях и на всех водотоках наилучший результат соотвествует способу расчета по площадям стекания, вторым по результативности является способ уточнения синтетического гидрографа, а худшим - аппроксимация гидрографа кривой биномиального распределения, однако различия между полученными результатами незначительна; при моделировании суточного стока в регионах с недостаточным количеством исходных данных экономически целесообразно использовать аппроксимацию единичного гидрографа кривой биномиального распределения, поскольку этот способ не требует никаких дополнительных затрат; при наличии карт, позволяющих построение схем стекания, целесообразно использовать более точный метод построения гидрографа по площадям стекания;

9. Наибольшая степень улучшения значения целевой функции при моделировании суточного гидрографа объясняется эффектом осреднения, поскольку внутрисуточное распределение стока в этом случае играет меньшую роль;

10.В связи с тем, что на практике возможно возникновение необходимости моделирования стока с различными временной дискретностью и обеспеченно-

стью исходными данными, в АСП «8Ь8+» должно быть предусмотрена возможность использования всех рассмотренных методов расчета единичного гидрографа; по умолчанию целесообразно использовать биномиальную кривую;

1 ¡.Оптимизационная процедура 8Ь8 вполне робастна по отношению к шагу оптимизации; во всех рассмотренных случаях дискретность от 5 до 100 интервалов позволила получить соизмеримые результаты; в случае, если различные размеры шага оптимизации приводят к сходным решениям, целесообразно назначать наиболее экономичную дискретность (то есть такую, при которой на нахождение оптимума затрачиваются нименьшие ресурсы процессора, выражаемые в числе пусков модели). Наиболее экономически выгодной является дискретность оптимизации от 5 до 10 интервалов, однако в ряде случаев для достижения приемлемого результата необходима более высокая дискретность - до 50 интервалов (т.е. шаг оптимизации равен 2% амплитуды каждого из параметров). Дискретность выше 100 интервалов (при которой шаг оптимизации равен 1% амплитуды) нецелесообразна, поскольку в этом случае поиск может остановиться слишком быстро (в незначительной «депрессии» вблизи исходной точки); в качестве дискретности оптимизации, принимаемой по умолчанию, можно рекомендовать дискретность 20, 33 или 50 интервалов, однако в некоторых случаях (при наличии экспериментального обоснования) она может быть уменьшена до 5 или 10 интервалов;

12.При калибровке модели «Сакраменто» различными способами выявлена повышенная чувствительность к длине обучающей выборки параметров, оптимизированных методом 8СЕ, что подтверждает предварительные выводы о специфике формы дна поверхности целевой функции. Это означает, что метод 8СЕ в данном случае неэффективен. «Случайный» характер изменения значений параметров, найденных методом 8СЕ свидетельствует о значительной невыпуклости поверхности целевой функции и неустойчивости оптимумов;

13.Метод 8Ь8 и его Р-робастная модификация 8Ь8-Б показали близкие значения оптимальных параметров; гидрографы, соответствующие этим парамет-

рам практически не отличаются. Значения критерия MSOF для методов SLS и SLS-F в целом сопоставимы, однако метод SLS-F менее экономичен (в смысле затрат ресурсов процессора), чем «обычный» SLS, но он позволяет получить более стабильные параметры. Он рекомендуется для использования в тех регионах, где имеются достаточно надежные данные о почвогрунтах;

14.Для работы АСП «SLS+» в режиме реального времени необходима разработка динамической базы данных; удобной альтернативой которой может быть прямое подключение пользователя к национальным базам данных;

15.Наиболее перспективными направлениями для дальнейших исследований являются: 1) прогнозирование наводнений, вызванных наложением паводков и половодий, 2) адаптация разработанных методов, алгортимов и процедур к другим моделям (например, модели талого и дождевого стока) и 3) создание методологии выбора наиболее информативных частот целевой функции MISOF.

Представленные в работе методики, процедуры, алгоритмы и рекомендации использованы в учебном процессе ГОУ ВПО «Российский государственный гидрометеорологический университет». Кроме того, они использованы при разработке программного обеспечения автоматизированной системы прогнозирования паводков «SLS+», предназначенной для экспорта в страны Юго-Восточной Азии, Африки, Центральной и Южной Америки. Метод автоматической калибровки SLS используется Национальной Службой Погоды США (U.S. National Weather Service, NOAA) для параметризации модели «Сакраменто», применяемой для оперативного прогнозирования дождевых паводков. Сделанные в результате проделанной работы выводы и рекомендации могут быть использованы для усовершенствования системы прогнозирования катастрофических паводков и половодий в рамках программы «Модернизация и техническое перевооружение учреждений и организаций Росгидромета».

Заключительная часть работы выполнена в рамках аналитической ведомственной целевой программы Министерства образования и науки Российской Федерации «Развитие научного потенциала высшей школы (2009-2010)»

(проект 2.1.1/3962 «Автоматизированная система краткосрочного прогнозирования паводков и половодий»); отдельные элементы диссертационной работы выполнены при поддержке Технического Универститета г. Дельфт (Нидерланды), Национального управления США по исследованию океана и атмосферы (NOAA), Национального аэрокосмического агентства США (NASA), Метеобюро Правительства Австралии и проекта eWater (Австралия). Разработанная АСП «SLS+» признана лучшим инновационным продуктом 2009 г. по направлению «рациональное природопользование», а возглавляемый соискателем авторский коллектив награжден за эту работу Дипломом Комитета по науке и высшей школе Правительства Санкт-Петербурга.

Основное содержание диссертации опубликовано в работах:

из перечня ведущих научных рецензируемых журналов и изданий, в которых по рекомендации Высшей аттестационной комиссии Министерства образования и науки Российской Федерации должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора наук:

1. Кузьмин В. А. Отбор и параметризация прогностических моделей речного стока // Метеорология и гидрология, 2001, № 3, с. 85-90.

2. Кузьмин В. А. Краткосрочное прогнозирование катастрофических половодий и паводков И Метеорология и гидрология, 2001, № 6, с. 89-95.

3. Кузьмин В. А. Основные принципы автоматической калибровки многопараметрических моделей, используемых в оперативных системах прогнозирования дождевых паводков // Метеорология и гидрология, 2009, № 6, с. 92-104.

4. Кузьмин В. А. Алгоритмы автоматической калибровки многопараметрических моделей, используемых в оперативных системах прогнозирования паводков // Метеорология и гидрология, 2009, № 7, с. 74-85.

5. Кузьмин В. А., Заман А. Постобработка и корректировка прогнозов паводков, выпускаемых при помощи автоматизированных систем // Метеорология и гидрология, 2009, № 8, с. 80-90,

6. Кузьмин В. А. Фундаментальные основы автоматизированного прогнозирования катастрофических дождевых паводков // Естественные и технические науки, 2009, №6,

7. Кузьмин В. А. Аппаратно-программный комплекс «INWADA» по поиску, передаче и хранению гидрометеорологической информации в целях фонового прогнозирования опасных гидрологических явлений // Естественные и технические науки, 2010, №1.

8. Kuzmin, V., Seo, D.-J., Koren, V. Fast and efficient optimization of hydrologie model parameters using a priori estimates and stepwise line search // Journal of Hydrology, vol. 353, iss. 1-2, 2008, pp. 109-128.

В других изданиях:

9. Кузьмин В. А. Краткосрочное прогнозирование весеннего стока неизученных рек. СПб, Изд. РГГМИ, 1997, 32 с.

10. Карасёв И. Ф., Кузьмин В. А. Мода и среднее как основные гидрологические характеристики // Труды Академии Водохозяйственных Наук, СПб, 1995.

11. Кузьмин В. А. Использование регрессионных уравнений для прогнозирования стока р. Волги // Моделирование и прогнозирование речного стока. СПб, Изд. РГГМУ, 1999, с. 54.

12. Кузьмин В. А. Краткосрочное прогнозирование катастрофических наводнений при недостаточных исходных данных // Новые технологии в гидрометеорологии. СПб, Изд. РГГМУ, 2001.

13. Кузьмин В. А. Унифицированная самообучающаяся процедура моделирования речного стока // Труды конференции «Современные проблемы стохастической гидрологии». Москва, ИВП, 2001, с. 207

14. Кузьмин В. А. Прогнозирование стока р. Оки на основе модели кинематической волны. Деп. в ВИНИТИ 14.08.95, №2439-В95.

15. Кузьмин В. А. Применение множественной корреляции для прогнозирования уровня Чебоксарского водохранилища. Деп. в ВИНИТИ 14.08.95, №2440-В95.

16. Кузьмин В. А. О выборе критерия оценивания методик гидрологического прогнозирования. Деп. в ВИНИТИ 14.08.95, №2441-В95.

17. Кузьмин В. А. О принципах параметризации математических моделей в прикладной гидрологии. Деп. в ВИНИТИ 02.07.98, №2069-В98.

18. Кузьмин В. А. Выделение идентифицируемых и инерционных компонент речного стока // Материалы Итоговой сессии ученого совета РГГМУ, 2001, с. 82-86.

19. Коваленко В. В., Лубяной А. В., Старостин В. Л., Кузьмин В. А., Вакс Ф. М., Подрядов Д. А. Применение динамических и стохастических моделей водных объектов в прогностических целях II Тезисы Международного Симпозиума «Расчеты речного стока», Санкт-Петербург, 1995.

20. Кузьмин В. А. Критерий отбора моделей при прогнозировании экстремальных половодий // Материалы Итоговой сессии ученого совета РГГМУ, 2000, с. 52.

21. Кузьмин В. А, Аксой X., Определение робастных статистик низкого стока рек Турции // Материалы Итоговой сессии ученого совета РГГМУ, 2000, с. 73.

22. V. Kuzmin, P. van Gelder, Н. Aksoy, I. Kucuk. Application of the stochastic self-training method for the modeling of extreme floods // The Extremes of the Extremes, IAHS Publ. No. 271, 2002, pp. 317-322.

23. Z. Zhang, M. Smith, V. Koren, S. Reed, F. Moreda, V. Kuzmin, R. Anderson. A study of the relationship between rainfall variability and the improvement of using a distributed model // Eds. Y. Chen, K. Takara, I. D. Cluckie, H. F. de Smedt, GIS and Remote Sensing in Hydrology, Water Resources and Environment, IAHS Publ. No. 289, 2004.

24. V. Kuzmin. Short-Term forecasting of flood transformation along floodplain // J. of Floodplain Management, vol.2, No.l, 2000, pp. 50-57.

25. V. Kuzmin. Forecasting of large rivers floods at absence of hydrometric data whereby robust self-training model // NATO ARW Stochastic models of hy-drological processes and their applications to problems of environmental preservation, Moscow, November 23-27, 1998, p. 50-55.

26. V. Kuzmin, P. van Gelder. The principles of catastrophic flood forecasting // River Flood Defence, Eds. F. Toensmann and M. Koch, Vol. 2, pp. G137-G144, 2000, Kassel, Germany.

27. P. van Gelder, V. Kuzmin, P. Visser. Analysis and statistical forecasting of trends of hydrological processes in climate changes // River Flood Defence, Eds. F. Toensmann and M. Koch, Vol. 1, pp. D13-D22, 2000, Kassel, Germany.

28. M. Smith, V. Koren, Z. Zhang, S. Reed, D.-J. Seo, F. Moreda, V. Kuzmin, Z. Cui, R . Anderson. NOAA/NWS Distributed Hydrologic Modeling Research and Development // NOAA Technical Report NWS 45, April, 2004.

29. V. Kuzmin, A. Seed, J. Walker. Australian Government Bureau of Meteorology forecast and real-time observational hydrometeorological data for hydro-logic forecasting // eWater CRC Technical Report, eWater CRC, Canberra, 2007.

30. D. Barrett, V. Kuzmin, J. Walker, T. McVicar, C. Draper. Improved stream flow forecasting by coupling satellite observations, in situ data and catchment models using data assimilation methods // eWater CRC Technical Report, 2008,77 p.

31. T. McVicar, V. Kuzmin, D. Barrett, and J. Walker. eWater Research highlights. Dl: Predicting and Forecasting Streamflow // eWater CRC, 2008.

32. R. M. Anderson, V. Koren, S. Reed, M. Smith, and V. Kuzmin. Regionaliza-tion of Rainfall-Runoff Model Parameters // International Union of Geodesy and Geophysics, Sapporo, Japan, July 9, 2003.

33. V. Kuzmin. A stochastic filter for asymmetric hydrological distributions // Proc. Water Down Under 2008, Adelaide, April 14-17, 2008.

34. V. Kuzmin, N. Sanotskaya, I. Vinokurov. Automatic Calibration of the Sacramento Soil Moisture Accounting Model in Data Sparse Regions II Proc. the 2nd International Multidisciplinary Conference on Hydrology and Ecology (HydroECO 2009), Eds. J. Bruthans, K. Kovar, P. Nachtnebel, Vienna, Austria, April 20-23, 2009.

35. H. Aksoy, P. van Gelder, V. Kuzmin. Generation of the daily streamflow hydrograph // Proc. of the International Workshop on River Runoff: minima and maxima,, Eds. V. Kuzmin, P. van Gelder and C. Clark, June 6-8,2001, Saint Petersburg, Russia.

36. V. Kuzmin and P. van Gelder. Identification of the Fokker-Plank-Kolmogorov equation: an advanced approach // Proc. of the International Workshop on River Runoff: minima and maxima // Eds. V. Kuzmin, P. van Gelder and C. Clark, June 6-8, 2001, Saint Petersburg, Russia.

37. V. Kuzmin. Stochastic analysis of remote sensed data in flood modelling // Proc. 5th International Workshop on Application of remote sensing in hydrology, Montpellier, France, October 2-5, 2001, p. 39.

38. V. Kuzmin. Extreme flood forecasting in developing countries // AGU 2001 SM, Boston, 2001.

39. V. Kuzmin. Stochastic forecasting of extreme flood transformation // Extreme Value Theory and Applications, December 10-15,2001, Nordic Folk Academy, Goteborg, Sweden, p. 9.

40. V. Koren, S. Reed, M. Smith, Z. Zhang, D.-J. Seo, F. Moreda, and V. Kuzmin. Use of spatially variable data in river flood prediction // Proc. AGU-EGS-EUG Assembly, 2003, Nice, France.

41. V. Kuzmin, V. Koren, D.-J. Seo. Does the Global Minimum From Automatic Calibration Provide an 'Optimal' Solution? // Proc. American Geophysical Union Spring Meeting 2004, H41D-03.

42. V. Koren, D.-J. Seo, V. Kuzmin. A priori parameters, uncertainties, and calibration in watershed modeling // Proc. American Geophysical Union Spring Meeting 2005, H44B-01.

43. V. Kuzmin, J. Walker. A Stochastic Filter for Asymmetrically Distributed Streamflow // CAHMDA-III International Workshop, January 9-11, 2008, Melbourne, Australia.

44. V. Kuzmin. Use of the Sacramento soil moisture accounting model in areas with insufficient forcing data, EGU General Assembly 2009, April 19-23, 2009, Vienna, Austria.

45. S. Reed, V. Koren, M. Smith, Z. Zhang, F. Moreda, D.-J. Seo and DMIP Participants (incl. V. Kuzmin). Overall distributed model intercomparison project results // Journal of Hydrology, Vol. 298, Iss. 1-4 (Special Issue on The Distributed Model Intercomparison Project (DMIP)), 2004, pp. 27-60.

46. V. Kovalenko, A. Lubyanoy, V. Starostin, V. Kuzmin, F. Vaks, D. Podryadov. Application of dynamic and stochastic models of water bodies for the forecast purposes // Runoff computations for water projects IHP-V. Technical document in Hydrology, No. 9, Paris, 1997.

X

Соискатель (Кузьмин В. А.)

E-mail: vknoaa@hotmail.com

Подписано в печать 17.02.2010г. Формат 60x84/16 П.л. 3,56 Уч.-изд.л 3,56. Тир.ЮО экз. Отпечатано в типографии ООО «Турусел» 191186, Санкт-Петербург, ул. Миллионная д.1. Тел. 571-5474 Зак. № 13212 от 18.02.2010г.

Содержание диссертации, доктора технических наук, Кузьмин, Вадим Александрович

Введение.

1 Основные принципы автоматизированного прогнозирования опасных гидрологических явлений.

1.1 Общие положения.

1.2 Экономические аспекты прогнозирования опасных гидрологических явлений

1.3 Общие принципы параметризации прогностической модели

1.4 Представление результатов прогнозирования.

1.5 Выводы Главы

2 Концептуальная гидрологическая модель

Сакраменто».

2.1 О выборе модели.

2.2 Общие сведения о модели «Сакраменто».

2.3 Выводы Главы 2.

3 Мультимасштабные целевые функции.

3.1 Общие положения.

3.2 Мультимасштабные целевые функции М80Р,

А80Р и МКОБ.

3.3 Анализ свойств многомерной поверхности целевой функции (на примере модели «Сакраменто»).

3.4 Р-робастность.

3.5 Выводы Главы 3.

4 Оптимизационные процедуры, применяемые для калибровки гидрологических моделей.

4.1 Общие положения.

4.2 Обзор существующих оптимизационных процедур.

4.3 Оптимизационные процедуры группы SLS.

4.4 Постобработка прогнозов.

4.5 Выводы Главы 4.

5 Некоторые аспекты практического применения разработанных методов.

5.1 Автоматизированная система прогнозирования паводков «SLS+».

5.2 Оптимизация параметров единичного гидрографа.

5.3 Основные источники гидрометеорологических данных для «SLS+».

5.4 Статическая и динамическая базы данных аппаратно-программного комплекса «INWADA».

Введение Диссертация по наукам о земле, на тему "Фундаментальные основы и методология автоматической калибровки многопараметрических гидрологических моделей"

Точное и своевременное прогнозирование катастрофических наводнений является одной из наиболее актуальных задач, стоящих перед международным гидрологическим сообществом. В первую очередь, это вызвано стремительными темпами роста ущерба от наводнений в мире. Например, если в начале XX века среднегодовой ущерб от наводнений в США составил 100 млн. долларов, то в его второй половине он превышал 1 млрд. долларов, а в отдельные годы последнего десятилетия - 10 млрд. долларов. Наиболее значительный ущерб от наводнений был вызван ураганом «Катрина» (англ. «Hurricane Katrina») — самым разрушительным ураганом в истории США, который произошёл в конце августа 2005 года. Наиболее тяжелый ущерб был причинён Новому Орлеану в Луизиане, где под водой оказалось около 80 % площади города. В результате стихийного бедствия погибли 1836 жителей, экономический ущерб составил 81,2 млрд долл. [1, 2] Этот ураган начал формироваться 23 августа в районе Багамских островов. До того, как ураган достиг побережья США, ему был присвоен 5-й уровень опасности по шкале ураганов Саффира-Симпсона. Примерно за 12 часов до встречи с побережьем ураган ослабел до уровня 4-й категории. Скорость ветра во время урагана достигала 280 км/ч. 27 августа 2005 прошёл над побережьем Флориды недалеко от Майями и повернул в сторону Мексиканского залива. В понедельник, 29 августа 2005 года ураган «Катрина» достиг юго-восточного побережья США в районе штатов Луизиана и Миссисипи. В зону его. действия попали Луизиана, Техас, юг и центр Миссисипи, юг Алабамы, запад Джорджии, запад и юг Флориды. 29 августа дамбы, которыми был защищён Новый Орлеан, оказались прорванными в нескольких местах. Более 800 тысяч человек остались без электроэнергии и телефонной связи. Официально подтвержденное число жертв составило 1407 человек, по более поздним данным данным 1600, из них более 720 — в Новом Орлеане; кроме того, на декабрь 2005 года 47 человек пропали без вести. Общий экономический ущерб от урагана «Катрина» составил $125 млрд [1,2].

По данным информагентства Синьхуа, ссылающегося на данные Государственного штаба по борьбе с наводнениями и засухой КНР, прямой экономический ущерб от наводнений в Китае за первые 8 месяцев 2009 года составил 71,1 миллиарда юаней (около 10,5 миллиарда долларов), пострадали 91,88 миллиона человек и 7,1 миллиона гектар сельхозугодий

3].

Жертвами тайфуна «Кетсана», который достиг территории Вьетнама 1 октября 2009 г., стали более 200 человек. Несколько десятков человек пропали без вести, около 700 получили ранения. Стихия затронула центральные и высокогорные районы страны. Тайфун повредил или уничтожил 360 тыс. домов, школ и других учреждений. Стихией погублено 73 тыс. га урожая. Этот же тайфун несколькими днями ранее пронесся над Филиппинами, вызвав масштабные наводнения и погубив в общей сложности около 300 человек. Число жертв могло бы быть намного больше, однако власти страны подготовились к приходу стихии и 1 эвакуировали из опасных районов тысячи жителей. Однако «Кетсана» накрыла обширные территории Филиппин, вызвав масштабные наводнения и оползни. Только на столицу страны Манилу в течение 12 часов выпало 42 см осадков, что для данной местности является месячной нормой. Специалисты оценили наводнение как сильнейшее более чем за 40 лет [4].

Не является исключением и Российская Федерация. В качестве наиболее яркого примера можно привести наводнение, произошедшее в июне 2002 года, в результате которого в черте г. Невинномысска рухнули все мосты через р. Кубань, некоторые районы были полностью затоплены, около 10 человек погибли, а ущерб составил больше 2 млрд. рублей [5]. Подобные наводнения повторились в 2007 и в 2008 гг. Необходимо подчеркнуть, что анализ причин этого наводнения и расследование основных факторов низкой точности гидрологических прогнозов позволили впервые выявить в качестве одного из факторов неудовлетворительного прогнозирования низкое качество имеющихся гидрометеорологических данных. В частности, не выдерживают никакой критики данные по регулированию стока, поступающие из водохозяйственных организаций, которым экономически невыгодно сообщать истинную информацию о параметрах зарегулированности речного стока. Данные гидрометрических и метеорологических наблюдений также не отличаются высокими качеством и пространственно-временной дискретностью, что существенно затрудняет или даже делает невозможным применение гидрологических моделей для прогнозирования паводочного стока [б].

Также необходимо отметить, что идеальным - с научной точки зрения - путем решения проблемы прогнозирования катастрофических наводнений, вызванных паводками и половодьями, является разработка индивидуальных методик прогнозирования стока с отдельных водосборов, подразумевающая:

1 Выбор, адаптацию или разработку модели, которая описывает процесс формирования стока с данного водосбора наилучшим образом, отражает специфику действующих гидрометеорологических, геоморфологических и геологических факторов и может быть успешно использована при существующей обеспеченности исходными данными;

2 Процедуру получения и усвоения исходных данных, необходимых для эффективного использования выбранной или разработанной модели;

3 Процедуру параметризации (калибровки) этой модели, позволяющую добиться ее максимально возможной эффективности;

4 Вид представления результатов прогнозирования, наилучшим образом удовлетворяющий требованиям и пожеланиям местных потребителей прогностической информации.

Ниже (в Главе 1) будет показано, что этот путь, подразумевающий создание описанного комплекса прогностических процедур для каждого отдельно взятого объекта, как правило, оказывается не самым эффективным с экономической точки зрения и, следовательно, может быть использован для оперативного прогнозирования, скорее, как исключение, если это в данном случае экономически целесообразно. Поэтому прогностические службы большинства стран мира [7-10] предпочитают осуществлять оперативное прогнозирование стока с больших территорий (например, целых стран или крупных административных единиц) при помощи одной или нескольких гидрологических моделей. (В последнем случае часто выпускаются ансамблевые прогнозы; «выход» моделей, которые наименее эффективны для данного водосбора игнорируются, а прогнозируемые переменные имеют вероятностную интерпретацию) [11-14].

Таким образом, господствующей в мире стратегией развития оперативного прогнозирования стока является разработка полностью автоматизированных систем как фонового (т. е. приближенного, в ряде случаев даже качественного), так и уточненного прогнозирования стока. Однако в этом случае минимизируется как отрицательное, так и положительное влияние человеческого фактора [15-17]. Поэтому целью данной диссертационной работы, посвященной решению целого спектра задач, связанных с автоматизированным прогнозированием стока, является разработка такой автоматизированной системы прогнозирования стока (АСП), которая максимально возможно имитировала бы положительные черты «ручного» моделирования стока и не повторяла бы недостатков последнего [17].

Необходимо отметить, что Президент и Правительство Российской Федерации уделяют огромное внимание и обеспечивают высокий уровень поддержки инновационным информационным и промышленным технологиям, способным повысить благосостояние и национальную безопасность российского народа. В частности, в последние годы российские исследователи получили возможность использовать для решения своих задач мощные суперкомпьютеры (в частности, для целей прогнозирования и развития наземной и космической систем наблюдения за гидрометеорологическими полями). По мнению Министерства природных ресурсов РФ, благодаря введению суперкомпьютеров, точность прогнозов в течение текущего года возрастет в два раза. Объем финансирования программы по установке суперкомпьютеров и необходимой инфраструктуры составляет 25 млн руб. По данным Росгидромета, -в настоящее время ущерб в РФ от опасных гидрометеорологических явлений составляет около 60 млрд руб. Точные прогнозы позволяют снижать этот ущерб на 20-40% [18].

К сожалению, не все гидрологи оказались технически готовы к получению столь мощного инструментария: во-первых, в Российской Федерации крайне мало специалистов-гидрологов, свободно ориентирующихся в современных информационных технологиях, способных адекватно сформулировать гидрологические задачи, требующие решения на суперкомпьютере; во-вторых, в российских исследовательских учреждениях гидрометеорологического профиля (за исключением Гидрометцентра РФ) нет специального программного обеспечения, пригодного для решения таких задач; в-третьих, в настоящее время Российская Федерация, к величайшему сожалению, уступает развитым странам мира (в первую очередь, Японии, США, Австралии и странам ЕС) по качеству, количеству и пространственно-временной дискретности гидрометеорологических данных, а также по их доступности для исследователей и студентов [7—10]. Таким образом, можно констатировать, что российская гидрология не только несколько отстает от задач и реалий сегодняшнего дня, но и практически лишена возможности ликвидировать это отставание за счет быстрого и эффективного повышения квалификации нынешнего и следующего поколений специалистов-гидрологов.

В данной диссертационной работе создавшаяся ситуация исправляется путем разработки инновационных методов прогнозирования речного стока (и, в частности, катастрофических паводков), начиная от фундаментальных основ гидрологического моделирования и заканчивая коммерческим программным обеспечением экспортного уровня, которое может быть использовано как на обычных персональных компьютерах, так и на компьютерах со значительными процессорными ресурсами (суперкомпьютерах). Большое внимание уделено возможности применения выполненных исследований и разработок для быстрого и эффективного обучения как студентов-гидрологов, так и уже сложившихся специалистов гидрометслужбы России, что крайне важно для успеха ее модернизации [18].

11 августа 2005 года в Москве Российская Федерация и Международный Банк Реконструкции и Развития (МБРР) подписали Соглашение о займе (займ 47691Ш) для финансирования проекта «Модернизация и техническое перевооружение учреждений и организаций Росгидромета», предусматривающее предоставление Российской Федерации займа в размере 80 млн. долларов США. 12 декабря 2005 года Соглашение о займе для финансирования проекта «Модернизация и техническое перевооружение учреждений и организаций Росгидромета» вступило в силу. Цель Проекта состоит в том, чтобы совершенствовать возможности Росгидромета по предоставлению гидрометеорологических услуг и обеспечивать эффективность и своевременность оказания этих услуг правительству и населению, а также снизить экологические риски от неблагоприятных метеорологических условий для здоровья населения и экономики. Проект направлен на улучшение прогнозирования погоды и гидрометеорологических услуг в России, в частности, заблаговременное и более точное прогнозирование гидрометеорологических явлений и процессов, которое приведет к уменьшению ущерба для имущества и человеческих жертв, вызванных опасными погодными явлениями, улучшение передачи гидрометеорологических данных внутри России и за ее пределами, а также усовершенствование доступа населения Россйиской Федерации к гидрометеорологическим данным и выпускаемым прогнозам [18]. Основными задачами этого проекта являются: техническое перевооружение гидрометслужбы РФ, совершенствование вычислительной техники, средств архивирования информации и средств связи; модернизация сетей наблюдения; институциональное укрепление Росгидромета; улучшение путей распространения и потребления гидрометеорологической информации; повышение готовности организаций и населения к чрезвычайным ситуациям.

Техническое перевооружение по проекту предусматривает: модернизацию Мирового метеорологического центра (ММЦ) в Москве и средств хранения и архивации данных в Обнинске; реструктуризацию региональных метеорологических центров (РМЦ) в Новосибирске и Хабаровске и модернизацию Главной геофизической обсерватории (ГГО) в Санкт-Петербурге; модернизацию системы связи и передачи данных.

Модернизация сетей наблюдения включает в себя следующие объекты: сеть наземных метеорологических станций; аэрологическая сеть; метеорологические радиолокаторы и грозопеленгаторы; отдельные региональные гидрометеорологические центры; гидрологическая сеть.

Институциональное укрепление Росгидромета включает в себя мероприятия по: укреплению институциональной основы; созданию системы предоставления услуг клиентам; повышению уровня подготовленности к чрезвычайным ситуациям и реагирования.

Данная диссертационная работа может быть использована для непосредственного решения целого ряда задач из приведенного списка, главными из которых являются следующие: повышение точности прогнозов паводков, а в дальнейшем и половодий; составление рекомендаций по развитию и усовершенствованию сети наземных метеорологических станций в регионах, подверженных наводнениям, вызванным дождевыми паводками; составление рекомендаций по использованию метеорологических радиолокаторов как источника информации, необходимой для прогнозирования паводков; составление рекомендаций по развитию сети гидрометрических наблюдений в регионах, где высока повторяемость катастрофических паводков и необходимо их точное и своевременное прогнозирование; созданию системы предоставления клиентам прогностической информации о возможных паводках и половодьях.

Практической целью данной диссертационной работы является создание теоретической базы программного обеспечения «SLS+», разрабатываемого в рамках Аналитической ведомственной целевой программы Минобрнауки РФ «Развитие научного потенциала высшей школы (2009-2010)» (проект 2.1.1/3962 «Автоматизированная система краткосрочного прогнозирования паводков и половодий») и предназначенного для коммерческой реализации в страны Юго-Восточной Азии, Африки, Центральной и Южной Америки. Именно этим объясняется тот факт, что главное внимание выполненного исследования уделяется дождевым паводкам, которые не подвержены влиянию снеготаяния. С другой стороны, накопленный опыт будет использован при разработке очередных поколений АСП «SLS+», которые будут включать опции прогнозирования сезонных половодий. По этой же причине в качестве базовой модели АСП «SLS+» используется концептуальная модель «Сакраменто» (The Sacramento Soil Moisture Accounting Model [19]), хорошо зарекомендовавшая себя при оперативном прогнозировании дождевых паводков в США и многих других странах [19-22]. Модель «Сакраменто» подробно рассмотрена в Главе 3.

Исследования, позволяющие решить перечисленные задачи, были выполнены соискателем в период с 2000 по 2010 гг. в Российском государственном гидрометеорологическом университете (РГГМУ), Техническом университете г. Дельфта (Нидерланды) [23-25], Бюро гидрологического развития Национальной Службы Погоды США (Office of Hydrologie Development, National Weather Service, National Oceanic and Atmospheric Administration) [26-28], Мельбурнском Университете (The University of Melbourne) и Метеобюро Правительства Австралии (The Australian Government Bureau of Meteorology) [29, 30]. Как было отмечено выше, они главным образом сфокусированы на решении крупной научной проблемы - автоматизированного прогнозирования стока малых и средних водотоков в сложных условиях, когда применение обычных методов по ряду причин невозможно, а разработка индивидуальной методики экономически нецелесообразна. Основными факторами, затрудняющими прогнозирование стока, являются изменение климата, естественные и антропогенные изменения водосборов, а так же пространственно-временная неопределенность исходных данных [27, 32-35].

Комплексное влияние этих факторов приводит к тому, что эффективность имеющихся статистических зависимостей или прогностических уравнений с постоянными параметрами (пусть даже полученным по достаточно длинным рядам наблюдений) значительно снижается, поэтому единственным практически применимым подходом к прогнозированию стока является использование математических моделей, параметры которых отражают происходящие на водосборе изменения [36-40]. Что касается неопределенности данных, то она может быть учтена как при помощи параметров выбранной модели, так и посредством специальных процедур, отражающих стохастические свойства ее «входа» и «выхода» (например, постобработки выпускаемых прогнозов) [41, 42].

Таким образом, в данной диссертационной работе рассматриваются вопросы параметризации гидрологических моделей в изменяющихся условиях, основанной на учете изменяющихся стохастических свойств входных данных и внутренней неопределенности самой модели (в общем случае - внутренних «шумов» прогностической системы).

Для решения проблемы параметризации моделей (их калибровки) в данной диссертационной работе предлягается разработанный автором способ квазилокальной оптимизации в физически предопределенном районе области определения целевой функции - SLS (от англ. «Stepwise Line Search») [27, 42-44], который внедрен в США, Австралии и КНР. Базовый алгоритм имеет несколько модификаций, разработанных для калибровки прогностических моделей, применяемых для прогнозирования стока в различных условиях (все эти модификации рассмотрены ниже в Главе 4). Кроме того, он является функциональной основой для постобработки прогнозов (то есть уточнения прогнозируемых переменных, полученных на «выходе» модели вне этой модели) [42]; таким образом, метод SLS служит удобным интегральным инструментом, применяемым для учета всех видов неопределенности («шумов»), влияющей на результаты моделирования. Поэтому его название и легло в основу разработанной АСП, что отражено в ее названии - «SLS+» [27].

Помимо фундаментальной проблемы параметризации (калибровки) многопараметрических гидрологических моделей с взаимозависимыми параметрами в сложных (с точки зрения обеспеченности исходными данными) и изменяющихся условиях, в данной диссертационной работе рассматриваются некоторые важные технические аспекты применения предлагаемых фундаментальных разработок для оперативного прогнозирования дождевых паводков. Подчеркнем, что рассматриваемые водотоки могут быть весьма разнообразными, а процессы стокообразования на них - нестационарными. Поэтому вместо неэффективных и, что самое важное, локальных по своей сути статистических методов прогнозирования стока, в качестве основного метода решения проблемы параллельного моделирования и прогнозирования стока малых и средних водотоков (которое может стать фундаментом моделирования стока с крупных водосборов с использованием подходов, предложенных, например, Ржаницыным [45] и

Горбуновым [46, 47]) предлагается математическое моделирование на основе гибкой параметризации и дополнительного учета разнообразных «шумов».

Для пояснения структуры диссертационной работы необходимо подчеркнуть, что для эффекшвного прогнозирования паводочного стока необходима математически и физически корректная организация всех основных элементов моделирования и их взаимодействия между собой, что на практике делается далеко не всегда. В частности, используемая модель М должна быть адекватной по отношению к описываемым процессам [31, 50-53]. Эта адекватность определяется ее типом, структурой и параметрами, которые, в свою очередь, зависят от «входа» 1К! и «выхода» Ои модели, а также цели ее использования. Иными словами, набор ключевых элементов, включающий входные данные гидрологическую модель М, ее параметры Р и порядок их идентификации Си , в каждом конкретном случае должен соответствовать «выходу» модели наилучшим образом, то есть быть оптимальным с точки зрения выбранного критерия качества (целевой функции) J. Однако этот критерий всегда субъективен, поскольку он является математическим выражением значимости отклонения выпущенного прогноза от цели прогноза, то есть такого значения прогнозируемой переменной, которое считается истинным [50-55].

Обычно в качестве цели прогноза используется некое значение, полученное в результате наблюдения (измерения с помощью тех или иных технических средств), то есть обладающее неопределенностью. Значимость погрешности прогноза определяется назначением прогноза и может формально выражаться весьма сложным выражением. Например, при прогнозировании уровня Н катастрофического паводка или половодья целевая функция 3 [56] может определяться при помощи матрицы потерь, выражающей материальные потери Ь, соответствующие различным погрешностям прогноза ЛЯ, для данного значения цели На ), то есть 3 = Ь(АН1)\Н^ . Матрица потерь - это объективное выражение погрешности в рамках субъективно принятого решения потребителя прогнозов интерпретировать их погрешность как прямые материальные потери.

Таким образом, можно говорить лишь об условной объективности целевой функции У и, следовательно, об условной оптимальности наборов (/,М,С„) или СГ,М,Р).

Данная диссертационная работа физически не может претендовать на абсолютно полное и исчерпывающее описание всех возможных наборов (/, М,СЛ,) или (/, М, Р), поскольку в настоящее время в мире оперативно используется несколько десятков гидрологических моделей и, возможно, несколько сотен моделей не были внедрены именно по той причине, что каждая модель должна сопровождаться подробной инструкцией с описанием методологических подходов по определению наиболее эффективных наборов (/, М, Си ) или (/, М, Р). В первую очередь, важно описать стратегию применения гидрологических моделей в различных условиях, поэтому в представленной работе рассматривается только концептуальная гидрологическая модель «Сакраменто» (с 16 взаимозависимыми параметрами) [19], а также необходимые для ее использования данные и методы калибровки [57-62]. Однако предлагаемый подход может быть применен для повышения эффективности практически любой многопараметрической модели, параметры которой имеют физическую интерпретацию, а структура отражает реальные геофизические процессы [41, 51, 55].

Помимо введения, диссертационная работа состоит из пяти глав, заключения, списка использованных источников информации и приложений. В первой главе рассмотрены основные принципы автоматизированного прогнозирования опасных гидрологических явлений, концепция автоматизированной системы прогнозирования паводков и половодий, а также круг проблем, связанных с этой системой, решение которых возможно только на фундаментальном уровне. Эта глава объясняет практическую необходимость решения фундаментальных проблем, описанных в последующих главах. Во второй главе приводится подробное описание проблемы автоматической калибровки многопараметрических гидрологических моделей с взаимозависимыми параметрами, применяемых для прогнозирования паводков и половодий, излагаются основные принципы выбора целевой функции и их виды. Особое внимание уделяется мультимасштабным целевым функции [27], которые позволяют осуществлять естественное сглаживание невупуклых поверхностей многомерных целевых функций. Они наиболее робастны по отношению к обучающим выборкам и, следовательно, наиболее надежны для прогнозирования катастрофических паводков и половодий [63, 64]. В этой же главе приведено описание концептуальной гидрологической модели «Сакраменто», а также методов ее калибровки как типичной концептуальной модели вида «осадки—сток» [27]. В третьей главе описан анализ свойств многомерной поверхности целевой функции (на примере модели «Сакраменто»), которые, во-первых, позволяют понять причину низкой эффективности существующих оптимизационных процедур, и, во-вторых, являются фундаментом для разработки оптимизационных процедур группы 8Ь8, учитывающих эти свойства и поэтому более эффективных, чем другие. Сами оптимизационные процедуры группы БЬБ, действующие по принципу квазилокальной оптимизации в физически предопределенном районе области определения параметров модели, подробно описаны в четвертой главе). В пятой главе рассмотрены различные аспекты практического применения разработанных методов и подходов, которые были использованы, в частности, при создании учебно-оперативной автоматической системы прогнозирования паводков «8ЬБ+». В Заключении даны рекомендации по повышению точности прогнозов паводков в Российской Федерации. В Заключении обобщены основные результаты проделанной работы, а также даны рекомендации по применению автоматизированной системы прогнозирования паводков и половодий в различных условиях. Кроме того, в нем обозначены дальнейшие перспективы развития гидрологического прогнозирования с учетом тенденций современных информационных технологий. В Приложениях представлены некоторые ключевые программы, необходимые для практического использования АСП «8Ь8+», калибровки модели «Сакраменто и обеспечения работы динамической базы данных «ПЧ\\^АОА», а также графические и табличные материалы, не вошедшие в основную часть работы.

Заключение Диссертация по теме "Гидрология суши, водные ресурсы, гидрохимия", Кузьмин, Вадим Александрович

3.5 Выводы Главы 3

1 Мультимасштабные целевые функции МЗОР, А80Р и М180Р . позволяют повысить эффективность методов оптимизации, связанных с расчетом градиента целевой функции;

2 Мультимасштабные целевые функции М80Р, А80Р и М180Р позволяют приблизить моделируемые гидрографы к фактическим при калибровке модели;

3 Мультимасштабные целевые функции М80Р, А80Г и М180Р позволяют сгладить многомерную невыпуклую поверхность естественным образом, за счет отражения большего числа частот моделируемого процесса;

4 Многомерная поверхность целевой функции для концептуальной гидрологической модели «Сакраменто», тем не менее остается невыпуклой и изобилующей микродепрессиями даже после перехода к мультимасштабным целевым функциям группы М80Р;

5 Процедура Б-преобразования обеспечивает дополнительный сглаживающий эффект;

6 Индексы Р-робастности могут быть использованы для анализа и отбора наиболее надежных гидрологических моделей, для идентификации наиболее стабильных во времени параметров, для оценивания эффективности расширения фазового пространства и других практических задач, связанных с эволюцией топогрфии многомерных целевых функций.

4 ОПТИМИЗАЦИОННЫЕ ПРОЦЕДУРЫ, ПРИМЕНЯЕМЫЕ ДЛЯ КАЛИБРОВКИ ГИДРОЛОГИЧЕСКИХ МОДЕЛЕЙ

4.1 Общие положения

Выбор целевой функции - это лишь первая ключевая составляющая оптимизации параметров. Второй ключевой составляющей является выбор эффективной оптимизационной процедуры, которая должна соответствовать условиям решаемой задачи. Поэтому калибровку модели (тем более, полностью автоматизированную!) необходимо производить на основе полного понимания свойств поверхности целевой функции [27, 56].

Поскольку практической целью выполненного исследования является автоматическое фоновое прогнозирование стока малых и средних водотоков на больших территориях (в первую очередь, в странах Юго-Восточной Азии, Африки, Центральной и Южной Америки [153]), необходимо решить задачу успешной калибровки любой гидрологической модели, которая будет использована для оперативного прогнозирования дождевых паводков. В первой версии АСП «8Ь8+» используется модель «Сакраменто», имеющая 16 параметров, часть из которых является взаимозависимыми [19, 27]. Поэтому в данной работе предлагается целый пакет оптимизационных процедур, разработанных именно для этой модели. Однако при этом предполагается, что если в АСП будет включена другая гидрологическая модель (например, с меньшим числом параметров или с независимыми параметрами), то оптимизационные процедуры, разработанные для модели «Сакраменто» (т.е., для более сложных условий), все равно позволят получать удовлетворительные результаты.

Как было отмечено в предыдущей главе, главной причиной трудности идентификации оптимальных параметров модели «Сакраменто» является ее многопараметричность и повышенная чувствительность (л/ +1) -мерной поверхности к длине обучающих выборок [20, 27].

Необходимо заметить, что существует лишь одна «оптимизационная процедура», которая может гарантировать отыскания одного «наилучшего» оптимума на многомерной поверхности или некоторого числа одинаковых оптимумов, — это полный перебор всех возможных комбинаций параметров с бесконечно малым шагом оптимизации. Даже если перебирать все возможные сочетания 11 параметров модели «Сакраменто» (тех, которые идентифицируются в оперативной деятельности Национальной Службы Погоды США) с шагом 1% от амплитуды значений каждого из параметров, то это при современной скорости выполнения вычислений займет 0,1 сх(101)п « 35.4х 1012 лет для одного водосбора! Даже если предположить, что скорость компьютерных вычислений возрастает приблизительно на порядок в год, то даже через 15 лет подобная процедура будет занимать приблизительно 12 дней. Поэтому необходимо сформулировать стратегию сокращения исследуемых точек.

В настоящее время наиболее широко используются следующие стратегии:

1 Поиск оптимумов на основе различных способов анализа формы поверхности целевой функции и ее топографии [38];

2 «Глобальная» оптимизация (слово «глобальный» используется в кавычках по причине, указанной в предыдущем абзаце) [50, 57-59];

3 Локальная оптимизация, которая представляет собой нахождение оптимального набора параметров в окрестности какой-либо заданной точки [27, 56].

В данной диссертационной работе предлагается четвертая стратегия, которая является модификацией третьей - это квазилокальная оптимизация в физически предопределенном районе многомерной области определения параметров [27]. Рассмотрим этот вопрос более подробно.

4.2 Обзор существующих оптимизационных процедур

Подавляющее большинство оптимизационных процедур, используемых для калибровки гидрологических моделей, были позаимствованы из классической теории линейной и нелинейной оптимизации. Исключением являются методы SCE (Shuffled Complex Evolution [50, 57-59, 155-157]) и SLS (Stepwise Line Search [26-28, 42-44]), которые уже упоминались в предыдущих главах и которые были разработаны специально для калибровки многопараметрических гидрологических моделей. Более того, эти методы разрабатывались в США, в первую очередь, именно для калибровки оперативной модели «Сакраменто». Детальное сравнение метода SCE с другими оптимизационными процедурами уже выполнялось К. Дуаном, X. Гуптой и другими исследователями [50, 67-68, 155-157]; в результате было доказано значительное преимущество метода SCE перед градиентной оптимизацией, методом координатного спуска, методом Розенброка и некоторыми другими [56, 158-160]. Поэтому в данной диссертационной работе эти оптимизационные процедуры будут рассмотрены лишь обзорно, а разработанные соискателем оптимизационные процедуры группы SLS будут сравниваться лишь с методом SCE, который главенствовал наряду с «ручной» калибровкой в оперативной практике Национальной Службы Погоды США (U.S. National Weather Servise) до 2003 г. В частности, ранее было выполнено сравнение метода SCE с рядом так называемых «безусловных методов», к которым относятся;

1 Методы первого порядка (метод градиентного спуска, метод градиентного спуска с дроблением шага, метод наискорейшего спуска, метод сопряженных направлений, метод Давидона-Флетчера-Ривса) [56];

2 Методы нулевого порядка (метод циклического покоординатного спуска, метод Хука-Дживса, метод Розенброка [158-160], метод Пауэлла, метод Нелдера-Мида (нерегулярного симплекса) [161]. Также были изучены (теоретически или экспериментально) «условные» методы оптимизации (известные в отечественной литературе как численные методы нелинейного программирования): метод условного градиента и метод проекции антиградиента. Рассмотрим наиболее известные оптимизационные процедуры с точки зрения их эффективности при выполнении автоматизированной калибровки гидрологических моделей.

Простейшей оптимизационной процедурой является алгоритм линейного поиска [56], который иногда используется для калибровки простых моделей с одним параметром и представляет собой метод нахождения минимального значения функции одной размерности. Обычно это единичное направление минимизируемого функционала J в форме И(а) = J(.x + ас/) Н{а) = /(л-+ас1). При использовании этого алгоритма последовательность действий такова:

1 Зададим счетчик итераций к=0 и возможное минимальное значение х0

2 Повторим следующие операции:

3 Рассмотрим функцию спуска Рк

4 Выберем аК для нахождения возможного минимума /?(«,) = Л^х + акРк)

5 Пусть к=к+1, тогда хм = хк + акРк

6 Повторим операцию до того, как )| V || не примет допустимое значение.

В шаге 4 алгоритм может минимизировать Ь путем решения к \ак) = О или уменьшая Ь до необходимого значения. Таким образом, можно заключить, что этот весьма простой метод интересен, скорее, как методологическая основа более сложных методов (в частности, пошагового линейного алгоритма 8Ь8), а не инструмент калибровки оперативных моделей.

В отличие от линейного алгоритма, метод градиентного спуска используется в гидрологическом моделировании весьма часто. Этот метод является поисковым алгоритмом 1-го порядка. Для нахождения минимума предпринимаются шаги, пропорциональные отрицательному градиенту (или приближенному градиенту) функции в данной точке. Если выполнить шаги, пропорциональные самому градиенту, мы получим максимум функции, и данная процедура называется градиентным подъемом. С точки зрения исследования, проведенного в рамках данной диссертационной работы этот метод, который иногда называется методом пошагового спуска, интересен тем, что некоторые алгоритмические элементы этого метода и пошагового линейного алгоритма 8Ь8 совпадают.

Метод основывается на следующем наблюдении: если функция действительных значений Р(х) определена и дифференцируема в окрестности точки а, то Р(х) уменьшается с максимальной скоростью при условии, что спуск происходит в направлении от а к отрицательному градиенту функции Р, - УР(а). Отсюда следует, что если Ь = а- Р(а) для у>0 принимающих довольно маленькие значения, то Р(а)>Р(Ь). Учитывая это наблюдение, начнем поиск минимального значения с х0 для функции Р. Рассмотрим последовательность х0, хьх2,. такую, что х„+1 = х„-/„У^(хл),и>0. Получим Р(х0)>Р(х,)>Р(х2 )>., так что последовательность (хп) сходится к желаемому минимуму. Значение шага у можно менять при каждой итерации. Отрицательный градиент в точке ортогонален контурной линии; таким образом, градиентный спуск ведет к центру окружностей, то есть к точке, где значение функции Р минимально. В случае, если контурные линии имеют форму эллипса со значительным эксцентриситетом, эффективность метода градинтного спуска снижается. Если же форма поверхности является «патологической», то есть отличается значительной невыпуклостью и наличием зон нулевого градиента (что типично для модели «Сакраменто»), этот метод практически бессилен. Это свойство делает метод градиентного спуска применимым только для калибровки гидрологических моделей с независимыми параметрами (к этому классу обычно относятся физико-математические модели гидрологических процессов). В заключение необходимо заметить, что это относится и к другим градиентным алгоритмам, например, к методу сопряженных градиентов [56, 162].

Тем же самым недостатком обладает и метод Розенброка, который является поисковым алгоритмом нулевого порядка (он использует значения функций без производных). Метод был опубликован Розенброком в 1960 году [158-160]. Алгоритм подходит для тех случаев, когда целевая функция не требует большой вычислительной мощности, и использование сложных поисковых процедур не имеет смысла, поскольку теряется время на оптимизацию расчетов [56].

На каждой итерации алгоритм осуществляет поиск вдоль п линейно независимых и ортогональных направлений. На первой итерации это поиск 0-го порядка направлений базовых векторов. При каждом шаге предпринимается попытка найти новое минимальное значение конечной функции. Если минимальное значение найдено, шаг операции увеличивается до тех пор, пока найти новый минимум не представляется возможным. В таком случае шаг уменьшается, и поиск осуществляется в противоположном направлении (такой же прием применяется в методе 8Ь8). После нахождения нужного значения и поверки его в каждом из заданных направлений, координатную систему вращают, чтобы совместить первый базовый вектор с направлением градиента. Как только размер шага установлен, и все операции повторяются в новой системе координат. Функция Розенброка похожа на симплекс-алгоритм Нелдера-Мида (Neider & Mead [161]), но обладает несколькими преимуществами. Функции Нелдера-Мида иногда не в состоянии найти локальный минимум даже довольно простых функций, если задача состоит в минимизации полинома. Создание новой вращающейся системы координат происходит с помощью процедуры ортогонализации Грама-Шмидта (Gram-Shmidt [161]). Однако в случаях с наличием зон нулевого градиента алгоритм становится численно нестабильным. Эта нестабильность может привести к преждевременному завершению работы. Процедура ортогонализации также занимает много времени, когда размерность пространства поиска увеличивается. Трудности возникают уже • при п = 3. Новая процедура ортогонализации, Предложенная Дж. Палмером (J. Palmer [135]) облегчает задачу. При увеличении шага до достаточно больших значений мы можем покинуть точку локального оптимума и продолжить поиск более глобального минимума. Если изначально задать правильный шаг процедуры (что весьма непросто!), мы практически всегда в итоге придем к нужному значению. Для того чтобы быть уверенными в нахождении глобального оптимума, можно использовать метод глобального поиска, например, метод SCE [50, 57, 58, 155-157].

Метод Нелдера-Мида (или симплекс-метод) [161] основывается на использовании техники нелинейной оптимизации (это вычислительный метод, применяемый для дважды дифференцированных и унимодальных задач). Алгоритм был предложен Джоном Нелдером и Роджером Мидом в 1965 году, и представляет собой технику минимизации объектной функции в многомерном пространстве. Метод использует понятие симплекса, то есть выпуклого многогранника с N+1 вершиной в N-мерном пространстве. Примерами симплексов могут служить отрезок на линии, треугольник на плоскости, тетраэдр в 3-мерном пространстве и так далее. Алгоритм аппроксимирует локальный оптимум в задаче с N-переменными, когда минимизируемый функционал унимодален и меняется плавно. Данный метод определяет поведение функции в нескольких тестовых точках. Затем одна тестовая точка заменяется на новую, и процесс повторяется. Простейший шаг заключается в замене наименее походящей точке другой, которая отражена через центр масс остальных N точек. Если она подходит больше, то мы пробуем экстраполировать значения экспоненциально вдоль линии. Если же новая точка ненамного лучше предыдущей, мы движемся пошагово в окрестности минимума, таким образом, уменьшая симплекс до лучшей точки. Суть метода заключается в последовательном перемещении и деформировании симплекса вокруг точки экстремума. Многие идеи и принципы метода Нелдера-Мида нашли применение в методе SCE, который будет подробно рассмотрен ниже.

В результате многочисленных исследований, выполненных Дуаном и Гуптой [50, 57, 58, 66, 67, 155-157, 164] и соискателем в рамках проекта «еWater» [29], были сделаны следующие выводы:

1 Многие классические методы (например, метод Ньютона, метод эллипсоидов, метод координатного спуска, метод скорейшего спуска и др.) применимы только для выпуклых поверхностей целевой функции. Для их применения в гидрологическом моделировании необходима предварительная регуляризация поверхности целевой функции. Кроме этого, они могут быть использованы для локальной оптимизации.

2 Градиентные методы сверхчувствительны по отношению к зонам нулевого градиента, которыми изобилуют поверхности целевых функций многопараметрических гидрологических моделей с взаимозависимыми параметрами. По этой причине для их применения в гидрологическом моделировании необходима либо предварительная регуляризация поверхности целевой функции, либо они могут быть использованы для локальной оптимизации.

3 Некоторые оптимизационные процедуры не подходят для автоматической калибровки с чисто технической точки зрения. Например, метод Давидона-Флетчера-Ривса (ДФП-метод) не гарантирует нахождение оптимума за конечное число итераций.

4 Эффективность методов локальной оптимизации всецело зависит от двух факторов: корректности (или некорректности) задания точки старта поиска и степени выпуклости (или невыпуклости) поверхности целевой функции.

В качестве альтернативы перечисленным методам Дуан предложил метод «глобальной» оптимизации SCE (Shuffled Complex Evolution [50, 57, 58, 66,67, 155-157,164]), уже упомянутый в предыдущих разделах, котрый имеет много общего с симплекс-методом Нелдера-Мида [158, 159]. Суть метода SCE заключается в следующем. На первом этапе осуществляется поиск «мезодепрессий» (крупных «понижений» на многомерной поверхности целевой функции) путем случайного рассеивания «комплексов» точек при помощи генератора случайных чисел. Затем в обнаруженных «мезодепрессий» строятся «симплексы», как это делается и в методе Нелдера-Мида.

Как было установлено в результате численных экспериментов, выполненных соискателем, а также при личном общении соискателя с разработчиками метода SCE К. Дуаном (Qingyun Duan, University of California, Lawrence Livermore National Laboratory) [164] и X. Гуптой (Hoshin Gupta, University of Arizona, Department of Hydrology and Water Resources), метод SCE имеет два главных недостатка:

1 Для эффективного использования метода SCE для калибровки модели «Сакраменто» (равно как и других многопараметрических моделей с взаимозависимыми параметрами) необходимо либо определить границы района «глобального» поиска (в настоящее время задача ограничения района поиска не решена), либо сократить число оптимизируемых параметров до 6-7 (из 11 идентифицируемых при использовании модели «Сакраменто» для оперативного прогнозирования стока). В противном случае получаются физически нереалистичные параметры, использование которых не всегда позволяет добиться требуемого уровня точности прогнозирования стока. Кроме того, низкая эффективность метода БСЕ объясняется практической неспособностью обнаружить «глубокие» оптимумы в «углах» многомерной области определения параметров (этот недостаток обусловлен низкой вероятностью генерирования начальных «комплексов» в области комбинации предельных значений параметров, как это показано на рисунке 18).

2 Для эффективного использования метода 8СЕ необходимо наличие достаточно мощного процессора, поскольку для удовлетворительной калибровки модели необходимо осуществление большого числа запусков гидрологической модели (обычно не менее 30 тыс.), каждый из которых сопровождается оцениванием значения целевой функции. При существующей скорости компьютерных вычислений калибровка модели для одного водосбора методом ЭСЕ занимает от 3 до 6 часов [27].

Перечисленные недостатки и послужили причиной начала разработки метода автоматической калибровки модели «Сакраменто», который был бы быстрее и эффективнее, чем метод БСЕ.

Исследования были начаты соискателем в марте 2002 г. Одной из главных задач этого исследования являлось получение физически реалистичных параметров, которые не противоречили бы концепции применяемой модели [28, 31, 52, 55, 60 и др.], поскольку наличие нереальных или значительно искаженных параметров, во-первых, является свидетельством неадекватности модели по отношению к прогнозируемому процессу и, во-вторых, как следствие, снижает практическую уверенность в прогнозе [31, 52, 76]. Именно по этой причине «глобальные» оптимумы часто не имеют никакого физического смысла, и их использование для прогнозирования паводков ведет к неудовлетворительному результату, поскольку физически некорректные параметры не позволяют точно рассчитать начальные условия (например, содержание влаги в почве) перед началом очередного паводка.

Исходя из вышесказанного, было принято решение выбрать в качестве основной стратегии автоматической калибровки локальную оптимизацию в физически предопределенном районе многомерной (в случае с моделью «Сакраменто» - 11-мерной или 16-мерной) области определения параметров.

Этот район определяется в соответствии с комплексом расчетных процедур, разработанных В. И. Корнем [21,22,28, 61-63, 87] и основанных на определении параметров модели «Сакраменто» по гидравлическим характеристикам доминирующего на водосборе типа почвы (см. Приложение 9). Затем полученный набор уточняется путем поиска оптимального набора параметров в районе, заданному точкой, выражающей набор «априорных» параметров, найденных методом Корня. Этот подход получил название SLS (от англ. «Stepwise Line Search» - пошаговый линейный поиск [27, 165]. В период с 2002 по 2010 г. алгоритм SLS был неоднократно усовершенствован и модифицирован; в результате была получена целая группа оптимизационных процедур, позволяющая выполнять автоматизированную калибровку гидрологических моделей при различном уровне обеспеченности исходными данными [166-170]. Более подробно эти процедуры будут рассмотрены в следующем разделе.

39 О

Л 385

38

375

0 О д О 5СЕ * ЗЬЗ и- -~~ - - Л А о

V

4 -------- --- <> . - - ------ -.- -.—- - - -. -------------

-1-,- -т— О

0.5

1.5

Относительное расстояние от начальной точки

25

Рисунок 18 — Пример, иллюстрирующий тот факт, что «глобальность» оптимизации достигается в ущерб детальности поиска

4.3 Оптимизационные алгоритмы группы SLS

Рассмотрим оптимизационные алгоритмы руппы SLS более подробно.

Достоинства и недостатки квазилокальной оптимизации связаны исключительно с выбором начальной точки. Вполне очевидно, что поиск решения в окрестности ничего не значащей точки, в общем случае, не может привести к получению эффективных параметров. И наоборот, начальная точка может оказаться настолько хорошей, что никакая ее корректировка не потребуется. На практике влияние неудачной точки можно уменьшить путем увеличения шага. При таком огрублении оптимизационной процедуры теряются все преимущества квазилокальной оптимизации, основанные на предопределении района поиска оптимума [27, 171]. Таким образом, единственным способом добиться успеха при квазилокальной оптимизации является качественное определение исходной точки {a priori параметров).

В. И. Корень предложил хорошо обоснованный способ предопределения физически реалистичных параметров модели «Сакраменто», используемой Речными Прогностическими Центрами СИ ТА для прогнозирования паводков в оперативном режиме [60-62, 146] (см. Приложение 9). Этот способ основан на учете гидравлических характеристик почв, которые можно найти, например, в картах STATSGO [123] или ASRIS [124]. Однако в других странах, где столь детальной информации о почвах нет, применить метод Корня в его оригинальном виде нельзя. В этом случае стартовая точка для квазилокальной оптимизации должна быть определена другими способами, вид которых зависит от уровня обеспеченности исходными данными, в первую очередь почвенно-геологическими [173]. Так, например, ниже будет показан путь автоматического предопределения района поиска оптимумов — процедура

SLS-2L (2-Loops SLS — два цикла SLS), основанная предварительном исследовании мезодепрессий поверхности целевой функции меньшей размерности. Этот способ подходит для использования в тех регионах, где детальная информация о почвах недоступна.

На сегодняшний день группа SLS состоит из следующих оптимизационных алгоритмов:

1 Базового алгоритма метода SLS, который уже используется в Бюро Гидрологического Развития Национальной Службы Погоды США (Office of Hydrologie Development, National Weather Service) для оперативного моделирования дождевых паводков и может применяться в странах с хорошо развитой сетью гидрометеорологических наблюдений [7-10, 27, 42, 43];

2 Алгоритма второго поколения SLS-2L (от англ. «Two-Loops SLS» — два цикла SLS), который подходит для применения в регионах с ораниченными (по пространственному и временному разрешению или качеству) данными о почвах на исследуемом водосборе. Этот метод позволяет сначала предопределить гидравлические параметры почвы, а затем использовать эти параметры для уточненной параметризации модели (например, «Сакраменто»);

3 Алгоритма второго поколения SLS-F (SLS + F-преобразование), состоящего в одновременном вычислении локальных индексов F-робастности (описанных в работах [23-25, 93, 94, 141]) и квазилокальной оптимизации на основе метода SLS [27];

4 Алгоритма второго поколения SLS-E (SLS + Ensemble génération -генерирование ансамблей), подразумевающего генерирование анасамблей одного или нескольких процессов на «входе» модели (например, эффективных осадков и испарения) и калибровку модели для каждого из ансамблей. Этот метод преимущественно предназначен для моделей с сосредоточенными параметрами при сравнительно низкой густоте наземной наблюдательной сети [174, 175];

5 Алгоритмов третьего поколения SLS-2LF, SLS-2LE, SLS-EF, которые получаются при попарном сочетании различных алгоритмов второго поколения (пп. 2-4);

6 Алгоритма четвертого поколения SLS-2LEF, в котором используются алгоритмические особенности всех трех алгоритмов второго поколения (пп. 2-4).

Рассмотрим эти алгоритмы и особенности их применения более подробно.

Базовый оптимизационный алгоритм SLS стартует с предопределенной точки (которую определяет a priori приемлемый набор параметров, определенный в соответствии с уже упоминавшейся методологией Корня по гидравлическим параметрам почвы) и движется в сторону ближайшей (квазилокальной) депрессии по «шаблонному» принципу, как это показано на рисунке 19. Как уже было отмечено выше, для получения преимущества этого алгоритма по сравнению с «глобальной» оптимизацией на ограниченном пространстве важно, чтобы не только начальная точка была достаточно информативной, но и сама техника оптимизации была бы очень эффективной [27, 56]. Сами гидравлические параметры взяты из цифровых карт почв STATSGO (США) [123] и ASRIS (Австралия) [124]. Список тестовых водосборов приведен в Таблицах 9 и 10, а их местоположение - на рисунках 21 и 22.

В соответствии с выводами и рекомендациями Корня, предопределенные параметры модели «Сакраменто» Ра , позволяющие выполнять оперативное прогнозирование паводков, зависят, в первую очередь, от класса почвогрунтов (таблица 11). Кроме того, процентное содержание песка и глины, а также другие характеристики почвогрунтов, определяющие их гидравлические свойства, могут быть получены в результате полевых работ [69—73, 176, 177]. Заметим, что гидравлические параметры почвогрунтов, приведенные в таблице 11, определялись преимущественно, по данным о северо-американских малых и средних водотоках. Поэтому они могут не подойти для непосредственной параметризации оперативных вариантов модели «Сакраменто» для моделирования стока в других странах. Тем не менее, эти параметры вполне подходят для предопределения региона кваз и локальной оптимизации [27, 171, 178].

Теперь, когда исходная точка определена, можно приступать к запуску алгоритма SLS. Метод SLS, представляющий собой алгоритм «шаблонной» оптимизации [27, 56, 165], производит отыскание оптимумов в направлении уменьшения значения целевой функции, последовательно продвигаясь вдоль направления каждого параметра на определенное количество шагов (в нашем примере — на 1 шаг). Алгоритмически, процедура SLS состоит из следующих операций:

1 Старт заключается в оценивании (вычислении) значения целевой функции J(Pa) , соответствующего предопределенному набору (вектору) параметров Ра (здесь и далее по тексту символ вектор опускается); принципиальная зависимость найденного оптимума от начальной точки проиллюстрирована на рисунке 19;

2 Значения всех параметров, кроме первого, фиксируются. Значение первого — увеличивается или уменьшается на один шаг, при этом определяется направление понижения значения целевой функции J;

3 Первому параметру присваивается новое значение, соответствующее уменьшенной величине J (или сохраняется старое, если целевая функция не изменилась), затем это значение фиксируется, и операция, описанная в п.1, выполняется в отношении второго параметра;

4 Операция из п. 3 повторяется в отношении всех остальных параметров, пока все параметры не будут испытаны и, если нужно, исправлены;

5 Операции из пп. 2-4 выполняются до тех пор, пока уменьшение значения 3 не прекратится. Следует подчеркнуть, что многочисленные эксперименты с моделью «Сакраменто», проведенные соискателем в 2002—2006 гг. позволили упростить базовый алгоритм следующим образом: если значение параметра не меняется на протяжении трех последовательных итераций (то есть трех последовательных корректировок всех оставшихся параметров), этот параметр исключается из дальнейшего рассмотрения (это объясняется локальной ортогональностью параметров вблизи оптимума, вызванной дискретностью поиска). Это упрощение позволяет сократить число запусков модели примерно в 4 раза. Набор наименее чувствительных параметров может изменяться от водосбора к водосбору и во времени и отражает взаимозависимость параметров, которая также изменяется во времени и пространстве [27].

6 Если шаг изменения параметров чересчур велик, алгоритм 8Ь8 может пропустить минимум (который мог бы быть обнаружен при более мелком шаге). В работе [27] было показано, что размер шага, равный 1-И0% амплитуды параметра, является вполне универсальным, хотя в некоторых случаях было бы интересно оптимизировать и его (см. Приложения 10 и 11). Условие остановки оптимизации — исключение всех параметров. Результаты параметризации модели «Сакраменто» на основе метода 8Ь8 с постоянным шагом оптимизации равным 5% показаны в работе [27]. Результаты экспериментов по проверке чувствительности базового алгоритма 8Ь8 по отношению к шагу оптимизации для водосборов США и Австралии (местоположение которых указано на рисунках 20 и 21) проиллюстрированы на рисунках 22 и 23.

Ниже будет выполнен представлен подробный анализ зависимости эффективности оптимизации модели «Сакраменто» от выбранного шага оптимизации, что позволит выяснить, насколько важен этот внутренний параметр оптимизационного алгоритма для точности выпускаемых прогнозов дождевых паводков.

Рисунок 19 - Иллюстрация 1) возможности нахождения разных локальных оптимумов методом квазилокальной оптимизации (например, 8Ь8) при незначительном изменении стартовой точки и 2) возможности пропуска «глобального минимума» оптимума при использовании метода 8СЕ.