Разработка методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений

Блохинов, Юрий Борисович

Бесплатный автореферат и диссертация по наукам о земле на тему
Разработка методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений
ВАК РФ 25.00.34, Аэрокосмические исследования земли, фотограмметрия

Автореферат диссертации по теме "Разработка методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений"

На правах рукописи

Блохинов Юрий Борисович

РАЗРАБОТКА МЕТОДОВ АВТОМАТИЗАЦИИ ФОТОГРАММЕТРИЧЕСКИХ ПРОЦЕССОВ НА ОСНОВЕ АЛГОРИТМОВ АНАЛИЗА II ОБРАБОТКИ ИЗОБРАЖЕНИЙ

Специальность:

25.00.34 - Аэрокосмические исследования Земли, фотограмметрия

Автореферат

диссертации на соискание ученой степени

доктора технических наук I

9 ОсЗ 2012

Москва 2011 г.

005010303

Работа выполнена в Государственном научно- исследовательском институте авиационных систем (ФГУП ГосНИИАС) и Московском государственном университете геодезии и картографии (МИИГАиК)

доктор технических наук, профессор Чибуничев Александр Георгиевич

доктор технических наук, профессор Журкин Игорь Георгиевич

доктор географических наук, профессор Книжников Юрий Фирсович

доктор технических наук, профессор Аковецкий Виктор Геннадьевич

Ведущая организация: Центральный научно-исследовательский институт геодезии, аэрофотосъемки и картографии (ЦНИИГАиК) им. Ф.Н.Красовского

Защита состоится "/о" 2012 г. в

да час. На

заседании диссертационного совета Д212.143.01 в Московском государственном университете геодезии и картографии (МИИГАиК) по адресу: 105064, г. Москва, Гороховский пер., д.4, зал заседаний Ученого совета.

С диссертацией можно ознакомиться в библиотеке университета.

Научный консультант: Официальные оппоненты:

Автореферат разослан 201$г.

Ученый секретарь \А

диссертационного совета рш^ Краснопевцев Б.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы. В течение последнего десятилетия потребность в трехмерных цифровых моделях местности (ЦММ) с точки зрения различных технических приложений возросла многократно и для этого есть ряд причин. Прежде всего, значительно расширилась функциональность и техническая база применения ставших уже традиционными географических информационных систем (ГИС) и систем виртуальной реальности. Возникло новое поколение машин, беспилотных летательных аппаратов и автономных наземных роботов с элементами искусственного интеллекта, системы управления которых используют для ориентирования в окружающей среде алгоритмы распознавания на основе цифровых моделей реальных объектов. Еще одним классом систем, связанным с использованием ЦММ, являются быстро развивающиеся и чрезвычайно перспективные экспертные системы, предназначенные для обеспечения ситуационной осведомленности главным образом в чрезвычайных ситуациях и на поле боя. Разнообразие объектов, цифровые модели которых востребованы в различных информационных системах, чрезвычайно велико, от рельефа земной поверхности до зданий городской застройки и отдельных объектов - элементов сцены. Наряду с различными типами серийных домов сюда входят уникальные исторические здания, а также неповторимые произведения искусства, такие, как барельефы и скульптуры. Многочисленные примеры применений такого рода моделей включают в себя детальное документирование, сохранение и воспроизведение материальных предметов культурного наследия, а также использование в образовательном процессе и виртуальном туризме. Автоматизированное построение цифровых моделей таких объектов на основе снимков и опорных данных является задачей и наукоемкой, и весьма актуальной. При этом существенно изменились требования как к качеству моделей, так и к производительности технологий, применяемых для их производства. Понятие «качество» в данном случае включает в себя две составляющие: метрическую

точность предлагаемых моделей архитектурных сооружений и фотографические свойства их текстур.

Основным средством создания ЦММ на основе данных дистанционного зондирования являются цифровые фотограмметрические станции (ЦФС). История их развития начинается с 80-х годов от простых аналогов аналитического плоттера. Современные ЦФС представляют собой гибкий и мощный инструмент, созданный на основе качественно новых технологий и алгоритмов. На протяжении последнего десятилетия были достигнуты большие успехи в области автоматизации основных фотограмметрических процессов: всех видов ориентирования, построении ЦМР, построении ортофото, съемке контуров. Как и ранее наибольшие трудности представляют такие задачи как анализ тонких особенностей рельефа в местах сильных перепадов и съемка контуров искусственных объектов, таких как дороги, здания, мосты и пр. Между тем сегодня в наиболее сложных проектах для достижения наилучшего качества моделей активно привлекаются материалы различных видов съемки: космической, авиационной, наземной. Как результат такого комплексного подхода возникла задача разработки алгоритмов для автоматического анализа стереопар снимков, сделанных с большого базиса, сложность которых заметно превышает аналогичные задачи случая плановой съемки. Можно было бы привести и ряд других новых сложных задач, но их обсуждение выходит за рамки данной работы. Стоит, однако, отметить, что многие из них связаны не с картографией, а с областью инженерной фотограмметрии, которая предъявляет свои особые требования в структуре ЦФС, а также к применяемым в них методам и алгоритмам обработки данных.

Значительный вклад в разработку методов и алгоритмов цифровой фотограмметрии внесли работы Журкина И.Г., Пяткина В.В., Мышляева В.А., Гиммельфарба Г.Л., Гука А.П., Тюфлина Ю.С., Погорелова В.В., Желтова С.Ю., Чекалина В.Ф., Михайлова А.П., Чибуничева А.Г., а также У.Хелавы, Ф.Аккермана, Р.Харалика, Е.Дэвиса, Д.Триндера, Т.Шенка, А.Грюна, Р.Неватиа, Е.Дикманнса, В.Ферстнера и многих других отечественных и

зарубежных ученых. Несмотря на уже достигнутый прогресс проблема автоматизации процессов цифровой фотограмметрии не теряет своей актуальности по причине чрезвычайно динамичного развития этой области информационных технологий и высокой сложности возникающих здесь научных и прикладных задач.

Цель работы состоит в разработке математических методов и алгоритмов, позволяющих значительно повысить степень автоматизации процессов в цифровых фотограмметрических системах. Практической целью работы является разработка цифровых фотограмметрических систем и их реализация на основе созданной алгоритмической базы.

Для достижения цели исследований решаются следующие задачи:

- анализ существующих методов и алгоритмов цифровой фотограмметрии, связанных с обработкой изображений, исследования важнейших свойств этих методов с точки зрения разработки новых и модификации существующих алгоритмов, повышающих их эффективность;

- разработка автоматического метода измерений координат узлов сетки крестов, впечатанных в снимок;

- разработка методов поиска и измерений связующих точек для стереопар снимков с различными геометрическими и фотометрическими характеристиками;

- разработка метода, обеспечивающего автоматическое внешнее ориентирования снимков для опорной информации, представленной в виде цифровых эталонных описаний;

- разработка принципов построения эффективных методов стереоотождествления для произвольно выбранных или информативных точек изображений стереопары;

- разработка методов автоматизированного и автоматического построения моделей типовых зданий;

- создание программных комплексов для обработки произвольного числа стереопар снимков различной геометрии съемки.

Методы исследования: теоретические на основе методов компьютерного зрения, обработки изображений, цифровой фотограмметрии, математической статистики и теории вероятности, оптимизации, линейной алгебры.

Экспериментальные исследования проводились с использованием методов статистического моделирования на реальных цифровых изображениях, полученных различными камерами. Достоверность полученных результатов подтверждена на значительном объеме натурных данных, обработанных в реальных проектах.

Научная новизна диссертационной работы состоит в следующем:

1. Разработаны процедуры контроля и отбраковки соответствующих точек изображений на основе пространственных метрических, топологических и стохастических фильтров.

2. Предложен способ выбора и измерения соответственных точек стереопары на основе выделения, описания и сопоставления контуров стереопары, в котором для устойчивого выделения контуров применяется стратегия комбинированного использования характеристик краев и областей изображения. Этот способ существенно повышает надежность отождествления соответственных точек, особенно при обработке малоконтрастных изображений.

3. Предложен метод кодирования маркированных точек, который позволяет надежно сегментировать их на цифровом изображении, вычислять координаты центров с субпиксельной точностью и с высокой степенью достоверности определять уникальный номер, закодированный в структуре по принципу баркода. Симметричная структура круговых меток обеспечивает масштабно-угловую инвариантность алгоритмов распознавания, декодирования и определения координат центров этих меток.

4. Предложен автоматический метод внешнего ориентирования снимков, основанный на применении в качестве опорной информации трехмерных цифровых моделей деталей объекта съемки.

5. Разработаны иерархические методы стереоотождествления смешанного типа для произвольно выбранных и информативных точек изображений стереопары, благодаря которым достигается сочетание устойчивости алгоритмов с высокой скоростью генерации точек модели. Применение нерегулярных пирамид сеток позволяет строить оптимальное дискретное представление моделируемой поверхности с учетом ее локальной кривизны.

6. Разработана методика контроля и отбраковки неверно отождествленных точек стереопар для регулярных и нерегулярных моделей поверхности.

7. Предложен способ формального описания модели поверхности тела, ограниченной полигонами. Созданное описание считывается и интерпретируется автоматически при последующей алгоритмической обработке ЦМП объекта в процессе формирования его законченной модели.

8. Разработаны алгоритмы создания оптимизированного текстурного покрытия объекта наземной съемки с использованием полного набора снимков. Все операции полностью автоматизированы.

9. Создана методика автоматического формирования цифровых моделей типовых зданий по одиночным снимкам на основе данных наземной фотосъемки, плана фундамента и дополнительных ограничений на форму здания. Составной частью методики является метод поиска элементов фасада на основе комплексного цифрового эталона. Предложена масштабно-инвариантная модификация метода.

На защиту выносятся:

1. Методика выделения, признакового описания и отбраковки соответствующих точек изображений на основе комбинированного использования пространственных метрических, топологических и стохастических фильтров.

2. Метод автоматического внешнего ориентирования снимков, основанный на применении в качестве опорной информации трехмерных цифровых моделей деталей объекта съемки.

3. Методика построения иерархической структуры стереоотождествления смешанного типа для произвольно выбранных или информативных точек изображений стереопары, позволивших значительно повысить как устойчивость алгоритмов, так и скорость генерации точек модели.

4. Методы автоматического контроля и отбраковки неверно отождествленных точек модели поверхности, построенной в результате стереоотождествления снимков, для регулярных и произвольных сеток.

5. Методика автоматизированного и автоматического построения цифровых моделей типовых зданий на основе данных наземной съемки и данных альтернативных источников.

Личный вклад. Все постановки задач в диссертации, их математические формулировки и алгоритмические решения, а также разработка путей технической реализации алгоритмов принадлежит соискателю. Соавторы публикаций принимали участие в разработке алгоритмов и их технической реализации.

Практическая ценность. На основе разработанных методов и алгоритмов был создан ряд отдельных программных компонент, а также программных и программно-аппаратных комплексов, важнейшими из которых являются:

1. Цифровая фотограмметрическая система 7_8расе 2.0, предназначенная для ориентирования стереопар снимков, генерации цифровых моделей рельефа (ЦМР), создания ортофотопланов, а также съемки векторных контуров на основе стереопар космических снимков ТК-350 (или аэрофотоснимков).

2. Цифровая фотограмметрическая система гЭрасе 3.0, предназначенная для выполнения блочной фототриангуляции снимков, генерации цифровых

моделей рельефа (ЦМР), создания ортофотопланов, слияния нескольких ЦМР и ортофотопланов, а также съемки векторных контуров на основе блока аэрофотоснимков. 3. Цифровая фотограмметрическая система 7_Ргох1ша 1.0, предназначенная для выполнения различных видов уравнивания фотограмметрической сети, построения трехмерных цифровых моделей объектов, а также автоматического текстурирования объектов на основе блока наземных фотоснимков.

Созданное программно-алгоритмическое применялось для решения широкого круга практических задач, таких как:

1. Построение ЦМР и ортофотопланов для производства и обновления топографических карт масштаба 1:50000.

2. Производство высокореалистичных моделей местности для виртуальных авиационных тренажеров и систем синтезированного видения.

3. Создание цифровых моделей местности, зданий и препятствий в зоне аэропортов.

4. Создание и оперативное использования геопространственной информации для повышения ситуационной осведомлённости на основе данных наземной и аэрофотосъемки.

5. Построение высокоточных локальных моделей рельефа местности на удалённые и недоступные районы суши Земного шара по материалам космического фотографирования.

6. Создание комплексных цифровых эталонных описаний типовых объектов для систем управления беспилотных летательных аппаратов и наземных автономных роботов с элементами искусственного интеллекта.

Реализация результатов работы. Полученные теоретические и практические результаты использовались при проведении целого ряда научно-исследовательских и опытно-конструкторских работ, а также при выполнении контрактов, в частности:

- НИР "Феникс-НТ", "Вертел", "Возбудитель-АС", "Стажер", ОКР

"Падишах" и др. выполнявшихся по заказам Министерства обороны РФ в 19952010 г.г.

- НИР "Информационные технологии 1996-2000", выполнявшихся по заказам Министерства экономики РФ, Минпромнауки РФ и в соответствии с президентской программой "Национальная технологическая база".

- Контрактов с ЗАО "Совинформспутник" в 1999г. и ООО "Геокосмос ЗД" в 2004г.

Апробация работы. Основные результаты работы докладывались автором на следующих международных конференциях:

- На XI международном симпозиуме "Aerospace. Defense Sensing, Simulation, and Controls". Орландо, Флорида США, 1997;

- На международной научно-технической конференции, посвященной 220-летию со дня основания МИИГАиК, Москва, 1999;

- На XIX конгрессе ISPRS, - г. Амстердам, Голландия, 2000;

- На XX конгрессе ISPRS, - г. Стамбул, Турция, 2004;

- На II международной конференции по фотограмметрии V международного конгресса ГЕОМАТИКА 2007, Куба, Гавана, 2007;

- На XXI конгрессе ISPRS, - г. Пекин, Китай, 2008.

- На международной научно-технической конференции, посвященной 230-летию со дня основания МИИГАиК, Москва, 2009;

- На международной научно-технической конференции "Искусственный интеллект. Интеллектуальные системы. ИИ-2011", Украина, Крым, Кацивели, 2011.

а также на всероссийских конференциях:

- научно-технической конференции-семинаре «Техническое зрение в системах управления мобильными объектами», Таруса, 2010;

- Всероссийской научно-технической конференции «Моделирование авиационных систем», Москва, 2011.

Публикации. Содержание диссертации опубликовано в 27 статьях и докладах, основные из которых приведены в списке литературы. Практические приложения содержатся в ряде научных-технических отчетов, выполненных под руководством и при непосредственном участии автора, а также подтверждаются тремя свидетельствами о государственной регистрации программ для ЭВМ.

Структура и объём работы.

Диссертация состоит из введения, семи глав, заключения, списка литературы (135 наименований), изложенных на 289 страницах, имеет 161 рисунок, 18 таблиц.

Содержание работы.

Во введении кратко обосновывается актуальность темы диссертации, сформулирована основная цель исследования и вытекающие из неё задачи, приводится краткое содержание работы по главам.

В первой главе рассматривается текущее состояние технологий создания реалистичных трехмерных моделей местностей, а также их место и возможности применения в современной технике. Многочисленные примеры реализации авиационных и других технических систем, так или иначе связанных с использованием цифровых моделей местности (ЦММ), включают в себя авиационные тренажеры, системы синтезированного видения, системы оптимизации трафика в аэропортах, сложные и разнообразные системы повышения ситуационной осведомлённости, которые в качестве составляющих компонент могут включать в себя комплексы оперативного создания геопространственных данных, ГИС-приложения с расширенной функциональностью, а также сетевую геоинформационную поддержку, обеспечивающую удаленное взаимодействие участников в реальном времени. Еще одна качественно новая область применения ЦММ связана с разработкой нового поколения беспилотных и пилотируемых летательных аппаратов с элементами искусственного интеллекта, системы управления которых могут

использовать для ориентирования в пространстве известные координаты определенных объектов местности.

Основным инструментом для производства ЦММ на основе данных дистанционного зондирования являются цифровые фотограмметрические станции (ЦФС). Официально о появлении цифровых фотограмметрических станций впервые было объявлено на XVI конгрессе КРИБ 1988 года в Киото. В то время многие видели в ЦФС лишь аналог аналитического плоттера, выполненный на новом оборудовании главным образом для ручных измерений, некоторые исследователи уверяли, что в ближайшем обозримом будущем большинство операций будут выполняться автоматически, причем с очень высокими скоростями. И лишь немногие предвидели развитие качественно новых гибких технологий и алгоритмов на основе цифровой техники и программного обеспечения. Однако уже на этом этапе намечаются те основные тенденции развития ЦФС, которые в последующее десятилетие уведут их неизмеримо далеко от прототипа - аналитических систем:

- Использование множества перекрывающихся снимков вместо двух для построения ЦМР.

- Развитие средств самодиагностики внутри автоматических модулей.

- Интегрирование ЦФС и ГИС.

- Переход на цифровые снимки особенно с появлением Интернета.

- Прямое использование СРБ-измерений в ориентировании.

- Использование данных от лазерного сканера при построении ЦМР.

- Широкое использование моделей сенсоров нецентральной проекции, а также сенсорно независимых аппроксимаций уравнений коллинеарности, таких как рациональные полиномы.

- Растущая интеграция панхром и мультиспектральных снимков, особенно в автоматизируемых процессах.

Также к этому времени уже практически сложилась схема типового рабочего процесса ЦФС.

Первое крупное официальное подведение итогов развития цифровой фотограмметрии относится к 1996 году и связано с XVIII конгрессом КРИЗ в Вене. Сравнение ЦФС производилось главным' образом по реализации основных фотограмметрических функций: набору обрабатываемых сенсоров, фотограмметрической триангуляции, построении ЦМР, построении ортофото, съемке контуров. Всякая оценка прогресса ЦФС, несомненно, должна основываться на достигнутой степени их автоматизации, поскольку именно это качество отличает ЦФС от фотограмметрических устройств предыдущих поколений. На момент 1996 года автоматизация процессов явно находится в начальной фазе развития и особенно это касается съемки контуров. Поражает огромный разрыв между размахом и успехами исследовательских изысканий и тем, что реально может быть использовано в коммерческом продукте. Однако необходимо отметить, что небывалый всплеск исследовательской активности этого периода привел к успеху в решении многих задач, которые можно было бы назвать вспомогательными: выделение краев, снейки, наращивание областей, оконтуривание прямоугольников, связывание и утончение границ, обнаружение выбросов и др. В результате коммерческие ЦФС получили полезные автоматизированные инструменты для измерения зданий, съемки контуров, измерения площадей и решения других полезных задач. Проведенные испытания показали увеличение производительности по сравнению с ручным способом в 2-4 раза при значительно меньшем утомлении человека. Во всех случаях методы анализа и обработки изображений используются для улучшения, уточнения информации, введенной оператором. При этом эффективно используется математическая модель данного объекта - в итоге для каждого объекта проектируется наиболее подходящий ему инструмент.

Подводя итоги развития фотограмметрии за последние полтора десятилетия, можно сказать, что цифровая технология позволила решить большинство задач, которые на нее возлагали. Достигнуты большие успехи в области автоматизации всех процессов, но ни в одной из лучших мировых ЦФС

не достигнута полная автоматизация, что говорит об исключительной сложности решаемой задачи. Оптимизм в этом вопросе связан, прежде всего, с тем, что уже имеющиеся результаты позволили совершить настолько значительный качественный скачок в развитии ЦФС, что очевидно цель стоила потраченных усилий. Другим важным аспектом обсуждаемой проблемы является то обстоятельство, что достигнутые успехи порождают новые возможности и новые сложные задачи, пути решения которых связаны с развитием как цифровой фотограмметрии, так и методов анализа и обработки изображений.

В следующих разделах диссертационной работы представлены методы автоматизации основных фотограмметрических процессов для космической, авиационной и наземной съемки.

Во второй главе излагается автоматическое внутреннее ориентирование снимков для случая, когда координатные метки представлены в виде сетки крестов, впечатанных в снимок. Примерами таких снимков могут служить космические снимки ТК-350 и некоторые аэроснимки. Отличительной особенностью предлагаемого алгоритма является его способность надежно и с субпиксельной точностью находить кресты на изображениях, имеющих большую контурную нагрузку, блики и высокий уровень шумов.

Для поиска крестов используется сенсорная пара в виде двух цифровых матриц и Б" специального вида, согласованного с формой креста:

8- = -

1000 1.11 000

¡00 0 1.11 ООО

|111 1. .1 ]111

|111 1. .1 |111

¡0 0 0 1.11 000

(ООО 1.11 000

1 1 1 |о.о |1 1 1) |1 1 1 ||о .0 ¡1 1 1 | |000||0.0|000 |о О О ¡0.0 ¡ООО [1 1 11|0.0 ||1 1 11 |1 1 1 Цо.о ||1 1 11

Результирующая матрица получается как разница сверток (1 и (1Лу_)*8"

с областью поиска. Весовые коэффициенты \у+ и равны числу единиц в

матрицах Б"1" и Б". Положения локальных максимумов в результирующей матрице являются кандидатами на положение центра креста.

В качестве предобработки изображения применяется гистограммная обработка фрагментов с пороговым отсечением яркости по гистограмме. Показано, что этот прием эффективен в ситуациях, когда максимумы от бликов оказываются сильнее максимума от самого креста. Результаты поиска проходят проверку в соответствии с критерием, учитывающим характерную форму функции отклика креста на сенсорную пару в виде острого пика, резко уменьшающегося в диагональных направлениях

Б=(1т(Ш-1/4 £ £ 1т(7 + л,/ + 0)/1т0',0,

А'--2.2 /=-2.2

где - положение максимума. Если (пороговая величина), то локальный

максимум отбрасывается.

Для ускорения вычислений каждый крест ищется в определенной области. Положение всех крестов прогнозируется по положению трех крестов, задаваемых пользователем: начальным крестом, соседним справа и соседним снизу. Область поиска задается по формуле

Ь=±8*л/хГ+УГ,

где х^ и у^ - расстояние от предполагаемого положения определяемого креста до первого креста, заданного пользователем; 8 - задаваемый коэффициент.

Эталонная сетка представляется в виде регулярной сетки с величиной ячейки Ьр1х =Ьтт * Бтш , где

Ьтт- паспортное значение шага сетки, ^шш" размер пиксела цифрового изображения. х61 =1*Ьр;х, Уе] =.)*Цих-

Определяются параметры обобщенного ортогонального преобразования (перенос - с1х, <1у, поворот- а, растяжение - к), переводящие найденные кресты к положению, наиболее близкому к эталонному по критерию наименьших квадратов расстояний. Величина к* Бгпт предлагается в качестве уточненного значения размера пиксела цифрового изображения. Значения Дх1 и Ду1 используются как критерии искажения исходного изображения.

Дхг= хе;-хп, хп= хА*со8(а)-уА*8т(а)+<1х, Луг= УегУгЬ Упг Уй*со5(а)-хй*8т(а)+с1у,

Для субпиксельного уточнения положения центров впечатанных крестов используются пересечения прямых, являющихся вертикальными и горизонтальными границами крестов. Для их позиционирования вычисляются координаты пересечения нуля второй производной яркости на основе фильтра Марра. По точкам, определяющим верхнюю и нижнюю границу горизонтальной составляющей, строятся по методу наименьших квадратов две прямые. По полученным двум линиям находится усреднённая линия, которая и будет наиболее точно описывать горизонтальную часть креста:

а = (а'+а2)/2, Ь = (Ь'+ Ь2)/2.

Аналогично строится вертикальная прямая. Центр креста определяется как пересечение этих двух линий по формуле:

Ь\+а\Ь2

х :=--

а1-а2~1 у:=а2~х + Ь2

)

где а1, Ы, а2, Ь2 - коэффициенты вертикальной и горизонтальной центральных прямых, записанных в виде:

х = а1-у +Ы, для вертикальной прямой, у = а2-х+Ь2, для горизонтальной прямой.

Полученные таким образом координаты крестов используются для вычисления параметров внутреннего ориентирования и трансформирования снимков.

- Возможность автономной работы без участия оператора.

- Более высокая продуктивность по сравнению с ручным ориентированием.

- Более высокая точность по сравнению с ручным ориентированием.

- Возможность работы со снимками независимо от применяемой камеры и масштаба съемки.

- Независимость от информативности сцен, изображенных на снимках.

- Возможность работы со снимками разного качества.

- Наличие внутренних процедур контроля и отбраковки неправильно выбранных связующих точек.

С учетом этих требований разработаны все основные алгоритмы методики генерации связующих точек. Методика включает в себя методы выделения характерных примитивов изображения, а также алгоритмы последующего анализа и обработки, которые позволяют на их основе сгенерировать конечный набор связующих точек, удовлетворяющий ряду дополнительных условий. Рассматриваются три вида примитивов: точки, контуры и области, проведен сравнительный анализ их существенных свойств и показано, что точки являются наилучшим выбором для решения задачи взаимного ориентирования.

Основным преимуществом использования характерных точек изображения в качестве исходных примитивов для выделения связующих точек являются относительная простота используемых алгоритмов и субпиксельная точность позиционирования при формировании пар точек. Алгоритмы этой группы отличает также достаточно высокая скорость вычислений по сравнению с алгоритмами обработки других видов примитивов. Выделение характерных точек производится с помощью «операторов интереса». В работе показано, что выбор операторов интереса и дескрипторов точек должен опираться на учет специфики наземных, космических и аэрофотоснимков, на их геометрические и фотометрические характеристики.

Существенными особенностями аэрокосмических снимков являются:

1. Относительно небольшие геометрические искажения.

2. Ограниченные изменения параллаксов.

3. Относительно высокий уровень шумов (для космических снимков).

4. Большие размеры обрабатываемых снимков.

Существенными особенностями наземных снимков являются:

1. Значительные геометрические искажения фрагментов.

2. Произвольная глубина сцены и как следствие большой диапазон параллаксов.

3. Объектами съемки, как правило, являются искусственные объекты с очень специфическими текстурами.

4. Относительно небольшие размеры снимков.

В результате проведенных исследований предложены обоснованные решения для аэрокосмических и наземных снимков. Для работы с низко информативными естественными текстурами был разработан оператор интереса, использующий адаптивную оценку дисперсии яркости изображения

^ [ Л'/2 Л72 j N12 N11

где f(x,y)- функция яркости фрагмента, N - размер окна. Отличительной особенностью работы данного оператора является достаточная плотность распределения точек по всей площади изображения даже в случае отсутствия на снимках четких контуров и резких перепадов яркости. Для наземных снимков показано, что поиск характерных точек целесообразно проводить с применением нескольких различных операторов интереса.

Выделенные точки интереса включаются в списки, содержащие очень большое, избыточное число точек. Для первоначального их сопоставления вводится N-мерное пространство численных признаков (дескрипторов), которое может формироваться различными способами. Общие естественные требования к выбору дескрипторов включают в себя свойства инвариантности к геометрическим и фотометрическим преобразованиям изображения. К геометрическим преобразованиям относятся вращение, изменение масштаба и перспективные искажения. Однако до сих пор универсального набора

дескрипторов, оптимального для всех случаев не существует, поэтому решение заключается в выборе наилучшего для определенного круга задач.

Для работы с аэрокосмоснимками в качестве дескрипторов были выбраны алгебраические инварианты Ху, обладающие инвариантностью по отношению к вращению. Исследование вопроса о влиянии формы окна на результат отбора соответствующих пар точек показало преимущество окна круглой формы, которое при углах поворота, близких к 45 градусам может составлять увеличение числа верно отождествленных точек до 50%.

Особенностям изображений наземной съемки наиболее отвечают свойства инвариантов Флюссера, которые представляют собой комплексные моменты:

с„ = ■+ ¡у)' (X - ¡уУ Дх, у)с!х<1у,

где /- мнимая единица, Дх,у) нормализованная яркость фрагмента. При этом производится предварительная нормализация яркости фрагментов, что позволяет компенсировать эффект разной освещенности. Здесь, при наличии значительных перспективных искажений применяется эллиптическое окно, дающее увеличение числа верно отождествленных точек до 30%.

Задача вычисления дескрипторов точек интереса, так или иначе, связана с решением вопроса об объеме выборки, по которой они вычисляются, поскольку при вычислениях любых точечных характеристик реально мы имеем дело не с точкой, а с конечной ее окрестностью (окном), центром которой является данная точка. С этой целью предложен метод выбора размера окна на основе концепции информативного размера точки. В качестве вычислительно простого и эффективного показателя локальной информативности изображения рассматривается дисперсия яркости аы2. Поведение функции роста дисперсии яркости при увеличении размеров окрестности позволяет определить размер окна, при котором достигается максимальное значение дисперсии. В качестве информативного размера I точки принимается абсцисса максимального значения функции Сд,2, т.е. размер окрестности при котором показатель

неоднородности максимален. Важным свойством определенного таким образом информативного размера I является. то, что при изменении масштаба изображения он изменяется пропорционально масштабу и для соответствующих точек двух изображений должно выполняться условие:

1{х„у1) = к-1(х,.,у,),

где 1(х,,у!) - информативный размер точки (х,,у,)эталонного изображения; к-коэффициент расхождения масштабов изображений; 1(х,.,уг)- информативный размер точки (х,.,у,.)эталонного изображения. Это свойство эффективно использовалось для оценки отличия масштабов сравниваемых изображений

Первичный отбор соответствующих точек осуществляется путем выбора нескольких кандидатов, ближайших к рассматриваемой точке в И-мерном пространстве признаков, порожденном набором дескрипторов. Для оценки близости использовалось расстояние Махаланобиса:

¿(х,у) = 1/(х-у)''С-'(х-у), гдех и у векторы инвариантов сравниваемых фрагментов изображений, С-матрица ковариации:

С,у =С0У(Х,.,Х,.) = Е[(Х( - А,ХХУ - //,)], X, - вектор значений к-го дескриптора для всех рассматриваемых точек в обоих изображениях, = Е(Х, ) - среднее значение (математическое ожидание) к-го инварианта, ¡=

Локальные показатели примитива изображения не дают его достаточно полного описания. Вследствие этого возможны ошибки в идентификации точек на основе учета только индивидуальных их характеристик. Поэтому необходимо принимать в рассмотрение также и пространственные соотношения между данной точкой и соседними примитивами изображения. Фильтрация исходного набора кандидатов с учетом пространственных отношений элементов (примитивов) изображения позволяет значительно повысить надежность идентификации. Таким образом, задача стерео отождествления двух точек включается в более общую задачу стерео

отождествления двух изображений. В работе рассматриваются три типа пространственных фильтров: метрический, топологический и стохастический.

В алгоритме метрической фильтрации вычисляются расстояния между всеми точками сравниваемых изображений. Расстояния между точками могут быть записаны в форме матрицы А размером N хЬ1 \

А А • А ■ А>

А 0 г„ • Г)1 • ■ г\ы

А 0 • гъ ■ ■ Г,к

А, о . •

А 0

где = Л](х/-ху.): +(у1 -у,)2 - евклидово расстояние между точками А, и А], (хк'Ук)~ координаты точкиДля определения соответствий между ¿Уточками необходимо сравнить матрицы А'- и А", построенные для двух изображений. Существенным ограничением здесь выступает требование отсутствия больших геометрических искажений изображения, при котором расстояния между парами точек могут сильно меняться. Однако требование ограниченности параллаксов обычно выполняется для большинства стереопар космических и аэрофотоснимков. В то же время, эти снимки часто отличаются большими размерами, и фактор времени автоматической обработки в этом случае становится критическим. Поэтому метрический фильтр успешно применяется при анализе изображений, полученных способом аэрокосмической съемки.

Топологические отношения между точками более устойчивы к трансформациям изображений. На идее сохранения циклического порядка точек основан метод топологической фильтрации. Для тройки произвольных точек (Я,, Я,2, Л,3) изображения У,, не лежащих на одной прямой, и соответствующей ей тройке точек (Л!,Л22,Л2!) изображения К, функция

сЫ

У1-У: У1~У1

принимает значение -1, если Rl лежит по правую сторону от вектора, направленного из Rl в Л', или значение 1, если эта точка лежит по левую сторону от него. Таким образом, соотношение

side(Rl,R{,Rf) = side(R\,R;,Rl) означает, что точка Л,1 и её аналог Л! лежат по ту же сторону от вектора на обоих изображениях. В случае его нарушения можно сделать вывод о неверной привязке одной из точек тройки. Рассмотрев все возможные тройки, можно найти точки, которые с большей вероятностью, чем остальные, привязаны неверно. Несмотря на большую универсальность топологического принципа по сравнению с метрическим, при широкобазисной съемке объектов возможны ситуации, когда и он нарушается.

Метод стохастической фильтрации в задаче поиска соответствий на изображениях стереопары использует наиболее общую модель, задаваемую эпиполярной геометрией съемки в центральной проекции. Общую задачу определения параметров модели по имеющимся данным можно записать следующим образом. Требуется определить вектор параметров в' такой, что

в* =argminF(n,0),

где П= {n,,n2,...,nv} - вектор наблюдений, F(Q,ß) - функция, которая определяет используемую математическую модель. В данном случае модель задана эпиполярным преобразованием. Алгоритм решения задачи робастной оценки параметров RANSAC (RANdom SAmple Consensus) определяет параметры модели за счет поиска наилучшей гипотезы в среди множества всех возможных гипотез 0, порожденных исходными данными, при этом выборки исходного множества генерируются случайным образом. После построения и оценки всех порожденных гипотез из них выбирается гипотеза

во0 =argmax/(i},0)

с наилучшей степенью согласия, которая принимается за результат робастной оценки. Сочетание топологических фильтров с фильтрами на основе RANSAC позволяет реализовать чрезвычайно эффективную схему отбора пар

соответствующих точек в достаточно широком диапазоне базисов съемки при большом разнообразии вариантов снимаемых сцен. Высокая надежность такой схемы в сочетании с относительно высокими временными затратами на реализацию, определяют целесообразность ее использования для автоматизации задач наземной фотограмметрии, в которой условия съемки сложны, но размер снимков как правило невелик.

После формирования набора связующих точек производится уточнение их координат методом субпиксельной корреляции.

Для тестирования разработанной методики автоматической генерации связующих точек в системах аэрокосмической и наземной фотограмметрии, был отобран ряд стереопар цифровых снимков, сделанных разными камерами в разных условиях. Выбор стереопар определялся требованиями наибольшей вариативности представленных данных в смысле геометрических и фотометрических характеристик изображений. При оценке точности используемых алгоритмов производилось их сравнение с результатом ручных измерений. Результаты убедительно продемонстрировали превосходство автоматического способа измерений, показав во всех случаях его более высокую точность и значительно более высокую производительность.

В разделе 7 данной главы проведено исследование возможности применения контуров для взаимного ориентирования изображений. Разработан метод выбора и измерения соответственных точек стереопары на основе выделения, описания и сопоставления контуров стереопары, включающий следующие этапы:

1. Выделение контуров. Для создания робастного метода выделения контуров на реальных изображениях, предложен подход, при котором эффект достигается за счет использования информации, полученной от сопоставления независимых контуров и контуров-границ областей.

2. Для отождествления контуров в одномерном представлении «длина дуги X-кривизна» разработан метод сравнения на основе метода динамического программирования. Для этого вводится мера сходства двух контуров

А = {А,,А:,..„А,,} и й = (д, В.\, как наибольшая стоимость соответствия упорядоченной выборки Т пар особенностей этих контуров: ЩА,В) = шах X и<4,5;) + ][>(Д) + 2>(б,),

<1,ЯеГ /«Г угГ

1 \А-в\ где №(£/) = •! 12-й -функция стоимости сравнения, ¿/(4,5,.) = —!-

- функция сходства особенностей, р(Д) = 0 - штраф за пропуск особенности. Метод дополняется постобработкой отобранных пар по функции стоимости сопоставления отрезков по относительным длинам

( ( сI

Ж.-^Г Ж-*?

V V ' • '))

где Ь - контур на левом изображении, К - контур на правом изображении. Именно применение гибкого метода ДП позволило добиться устойчивого результата при сравнении таких сложных объектов как контуры, нивелируя при этом мелкие вариации многих факторов, включающих изменение условий освещённости и ракурсов съемки, тени, загораживания, а также погрешности сегментации. 3. Для координатной привязки отождествленных контуров и измерения соответственных точек изображения разработан и реализован метод, использующий схему «голосования» точек контура в соответствии с построенной референсной таблицей и последующим сглаживанием аккумулятора с гауссовским ядром.

Разработанный метод выбора и измерения соответственных точек стереопары на основе контуров создает возможность измерения соответственных точек при обработке изображений со слабо выраженными текстурами, когда использование точечных операторов интереса принципиально затруднено.

Четвертая глава посвящена решению проблемы распознавания опорных точек для внешнего ориентирования снимков на основе их цифровых

эталонных описаний. Вводится определение эталонного описания (ЭО) как совокупности данных, позволяющей достаточно полно описать признаки объекта на изображении и ориентированной на применение конкретного алгоритма или класса алгоритмов. В общем случае ЭО может включать фрагменты полутоновых или бинарных изображений, числовые параметры, текстовую информацию. В данной главе рассматриваются решения задачи распознавания опорных точек для ЭО двух типов: кодированных меток и трехмерных цифровых моделей деталей сцены.

Кодированные метки используются для автоматизированной калибровки фотокамер или выполнения высокоточных 30 измерений поверхности. ЭО кодированных меток, как правило, представляют собой бинарные изображения, дополненные текстовым описанием. В данной работе рассматривается методика автоматизированного дистанционного измерения координат, основанная на использовании круговых меток двух типов (рис.1):

О <§)(§)(§>

Рис. 1 - Кодированные метки

Первый тип меток (простые метки) имеет форму кольца с белым кругом в центре. Все метки данного типа идентичны. Второй тип (кодированные метки) представляет собой циркулярный штриховой код, свойства которого подчиняются следующим правилам:

1. Циркулярный штриховой код кодирует целые числа от 1 до 9.

2. Все ширины кратны некоторому значению X, называемому модулем. Центральный круг имеет радиус 2Х, радиус символа кода равен 10Х.

3. Кодирование любого целого числа от 1 до 9 в набор колец производится по простым формулам.

4. Работоспособность алгоритма обеспечивает нормальное разрешение колец до ширины модуля на изображении не менее 1,5 пикселов.

Калибровка производится по снимкам тест-объекта с нанесенными на его поверхность метками, полученных с известных ракурсов и расстояний. Для решения задачи применяются алгоритмы анализа и обработки изображений: сегментация, поиск меток по признакам в соответствии с ЭО (площадь, длина-ширина, структура (центр-углы), вложенность, инварианты эллипса), выделение границ меток, вычисление координат центров, идентификация и декодирование меток.

На основе разработанных алгоритмов было создано программное обеспечение автоматической калибровки камер. Анализ данных тестирования подтвердил высокую эффективность созданной методики.

Цифровые модели (ЦМ) технических объектов и сооружений, как правило, существуют могут быть созданы на основе их чертежей. Для решения задачи внешнего ориентирования снимков таких объектов можно выбрать в качестве опорной информации характерные узлы объекта, а ЭИ этих узлов для заданного набора параметров ориентирования сгенерировать на основе ЦМ. Предполагается, что приблизительные значения элементов внешнего ориентирования (ЭВО) известны, например, из анализа навигационных данных. ЭО в этом случае включает в себя ЭИ и приблизительные значения ЭВО.

В качестве примера такого рода рассматривается задача разработки телевизионной измерительной системы для управления движением и навигации перспективной пилотируемой транспортной системы Международной космической станции, одной из основных задач которой является измерение параметров относительного положения при сближении космических аппаратов. Измерение выполняется на основе снимков единственной камеры, установленной на транспортном корабле при условии откалиброванной съемочной системы. Существенной особенностью предложенных опознаков является их трехмерность. Технология использования трехмерных опознаков

предполагает, что сначала на их основе генерируются двумерные ЭИ узлов, затем производится их поиск на текущем изображении (ТИ).

Для решения задачи поиска наиболее вероятного положения объекта на изображении разработан иерархический алгоритм сопоставления ЭИ и ТИ, зключающий следующие этапы:

- предварительная обработка ТИ, позволяющая устранить или снизить интенсивность шумов различного происхождения;

- построение поля градиентов яркости ТИ и ЭИ;

- нахождение набора наиболее вероятных положений каждого объекта сцены на основе анализа поля градиентов;

- сборка сцены, выбор главного максимума, оценка значений координат объекта;

- в качестве координат отдельно узла используются координаты одной из его характерных точек, выбранной на эталоне.

В каждой точке контура ЭИ узла вычисляется направление градиента:

Л£('".У) = аг<Ле(Еу/Ех), где Ех и Еу - составляющие градиента вдоль осей х и у, для ТИ также вычисляются значения (/,у). В каждом положении контурного эталона, определяется функция отклика

Рис. 2 - Эталонное изображение МКС

где НЕ и ^.-высота и ширина эталонного изображения.

С целью эффективного подавления ложных максимумов и повышения устойчивости алгоритма поиска в работе реализован так называемый структурно-лингвистический подход, позволяющий учитывать информацию о взаимном расположении объектов сцены в качестве дополнительных ограничений. В процессе сборки сцены из отдельных узлов производится аккумулирование значений функции сходства текущего изображения с каждым контурным эталоном в одну агрегированную функцию сходства А,с О») := тах(Д,„ К ), тах О (г)), г е 5„ {тк), 5, {тк) - область поиска. Показано, что процедура сборки не только подавляет ложные, но и усиливает главный максимум. Для количественной оценки надежности главного максимума используется численный показатель, равный отношению величины глобального максимума функции сходства к следующему по величине локальному максимуму:

гпах О

,. при!/

В заключение показано, что применение структурно лингвистического анализа, существенной частью которого является процедура сборки сцены, обеспечивает высокую надежность распознавания отдельных узлов в составе сцены. Проведенное численное моделирование показало также устойчивость предложенных алгоритмов в достаточно широком диапазоне углов наблюдения сцены.

В пятой главе рассмотрена задача создания эффективного метода построения цифровой модели рельефа (ЦМР) путем стереоотождествления соответствующих точек стереопары изображений аэрокосмических снимков. С учетом сложности поставленной задачи проведен анализ особенностей аэрокосмических снимков и проблем, которые они могут вызвать при стереоотождествлении. К наиболее существенным особенностям относятся:

- Яркостные различия изображений стереопары, возникающие при съемке поверхностей объектов под разными углами.

- Геометрические искажения, возникающие при съемке под разными углами и вызванные рельефом местности.

- Наличие на изображениях областей с малой вариацией яркости.

- Высокий уровень шумов (для космических снимков).

- Большие размеры снимков, необходимость отождествления большого количества точек.

В результате предложен метод, сочетающий высокую устойчивость к шумам и ошибкам начального приближения, высокую скорость генерации ЦМР, а также автоматическое выявление и коррекцию ошибок стереоотождествления. Характерными чертами разработанного метода являются:

1. Использование нормированного коэффициента корреляции в качестве меры сходства образов.

2. Использование пирамиды изображений и пирамиды ЦМР для увеличения быстродействия и для обеспечения более надежного отождествления.

3. Автоматическая постобработка ЦМР с целью отбраковки выбросов и восполнения недостающих вершин.

4. Тонкая коррекция ЦМР на основе дифференциального ортофото.

По применяемым для стереоотождествления примитивам метод является площадным, корреляционным и основан на поиске максимума нормированной КФ

к{ Р) = ( 2./Чх,У)-К/-)"Ч Xg\xí,yí)-Ng1)"2

{-.у) ( Т .V)

Для каждого эталона, выбранного на левом изображении, на всех уровнях пирамиды изображений, представляющей собой последовательность N уменьшенных вариантов исходного изображения, решается задача стереоотождествления:

(д\й*)/ =а^та\к(а,Ь), ¡=N„..,1

где /?, - прямоугольная область изменения значений параметров сдвига, которая на верхнем уровне пирамиды оценивается с использованием эпиполярной геометрии и диапазона изменения высоты рельефа, а на более детальных уровнях используется начальное приближение, полученное с предыдущих уровней. Для увеличения точности начального приближения вычисляются субпиксельные координаты максимума корреляционной функции с помощью вычисления координат центра тяжести функции в окрестности ее максимума. При этом на Ы-ом уровне площадь области поиска сокращается в (2Ы~')2 раз:

Для увеличения надежности и скорости стереоотождествления в работе предложен метод построения ЦМР с помощью иерархической стратегии, при которой наряду с пирамидой изображений создается также и пирамида ЦМР с разным разрешением. По начальному приближению локально оцениваются характеристики ЦМР, такие как диапазон высот, наклон поверхности. Эти параметры используются для построения более детальной ЦМР, что значительно сокращает общее время построения ЦМР, а также уменьшает погрешности, которые возникают, когда параметры ЦМР известны грубо.

Результатом применения пирамид изображений и пирамид ЦМР является ускорение метода более чем в 15 раз.

Высокая надежность метода, его робастность по отношению к шумам и ошибкам начального приближения обеспечивается в значительной мере за счет применения процедур автоматической постобработки ЦМР на каждом уровне пирамиды. Стерео отождествление представляет собой набор сложных, иерархически организованных численных процедур, содержащих комплексный критерий качества для оценки достоверности результата отождествления в каждом узле регулярной координатной сетки. Автоматический анализ и постобработка созданной в таком виде матрицы ЦМР позволяют повысить скорость построения ЦМР, а также улучшить ее качество.

Для автоматической коррекции ЦМР разработаны алгоритмические процедуры распознавания аномальных значений высот и замены их значениями более высокой степени правдоподобия. Для устранения нормальных выбросов разработаны процедуры фильтрации и сглаживания. Процедуры восполнения недостающих значений сетки необходимы для завершения цельной модели.

Фильтрация выбросов производится как на основе ранговых статистик, так и с применением непрерывных критериев к выборкам высот, формируемым скользящим окном. Все алгоритмы являются адаптивными с порогом, настраиваемым на локальные свойства рельефа.

Процедуры сглаживания включают метод сглаживания ЦМР, основанный на использовании адаптивной техники скользящего окна и бикубических полиномов и метод Гримпсона, минимизирующий метрику поверхности, выраженную через ее вторые частные производные

Л/-2А/—1 ЛА-1ЛГ-2 ЛУ-1Л/-2

ад = I- 2-, + -м,у + Е - 2-,++ 2£ Ец - - --„,+1 + - +

¿=1 >=о |=о /=1 >=о у=)

+ Р11Мх„У1)-Щх„у,))г

Для восполнения значений высот в незаполненных точках и областях матрицы используются процедуры нелинейной аппроксимации: билинейная интерполяция, интерполяция по обратному расстоянию, триангуляция Делоне. Выбор конкретной формы аппроксимации осуществляется автоматически и зависит от формы и размеров заполняемой области. Для этого производится предварительный анализ топологии и размеров незаполненных областей сетки с применением морфологических операций.

Для улучшения точности и проработки деталей рельефа построенной ЦМР разработан метод коррекции ЦМР с применением ортофото, являющийся модификацией метода итеративного ортофото.

На ряде реальных данных показана высокая эффективность предложенных алгоритмов и высокое качество получаемых результатов.

В шестой главе излагаются вопросы разработки методики автоматизированного создания цифровых моделей зданий, сочетающих в себе

высокую метрическую точность геометрической модели и фотографическое качество текстур, по результатам наземной съемки.

Общий теоретический анализ проблемы позволяет сделать заключение о фундаментальном отличии технологий обработки данных аэрокосмической и наземной фотосъемки, которое определяется не только способом получения снимков, но и различием топологии объектов съемки. Если в первом случае I объект топологически эквивалентен плоскости, то во втором он топологически эквивалентен сфере (рис.3). Вследствие этого, а также ряда других особенностей использовать процесс обработки данных, принятый для аэрокосмической съемки весьма затруднительно, а, скорее всего, невозможно.

Представленная методика включает в себя создание цифровой модели поверхности (ЦМП) и формирование текстурного покрытия объекта. Конечной формой представления ЦМП является TIN (Triangulated Irregular Network),-именно эта форма необходима для создания текстурного покрытия и для экспорта полученных моделей в универсальные распространенные форматы типа 3ds.

Для варианта, когда исходные данные представлены только снимками и при самых общих ограничениях на форму зданий разработан метод автоматизированного создания ЦМП и автоматического формирования текстурного покрытия. На первом этапе построения ЦМП выполняется съемка ограничивающих контуров стен, оконных и дверных проемов по стереомоделям. Полученная геометрическая модель служит основой для

построения TIN. Проблема заключается в том, что для поверхности, топологически эквивалентной сфере, не известен универсальный и эффективный алгоритм аналогичный алгоритму Делоне. Задача еще более усложняется, если речь идет о триангуляции невыпуклого множества, какими и являются многие искусственные объекты.

Предлагается решение проблемы на основе некоторого дополнительного описания структуры поверхности, включающего топологические отношения между векторными графическими элементами - полигонами, представляющими наиболее существенные детали здания. Идея заключается в том, чтобы поставить в соответствие каждому элементу символическое имя и создать описание пространственных связей элементов, то есть, способа их соединения друг с другом. Затем такое описание используется алгоритмом формирования TIN.

Рассмотрим разбиение поверхности объекта О на элементы S;, границами которых являются контуры Pj. По определению, разбиением множества О называется система множеств таких, что: l)SknSm = 0,k^m,

> гДе i = 1,2, ,N; N-число элементов покрытия.

Будем рассматривать только такие представления объекта, в которых ограничивающими контурами составляющих его поверхностей являются полигоны, не обязательно плоские. Для описания структуры объекта вводятся 2 типа отношений между его элементами: примыкание и принадлежность.

Определение 1. Контуры Pj и Рк, ограничивающие поверхности S( и Sk смыкаются (примыкают), если S; с О, Sk с О и Sj ГЛ S^ = 0.

Определение 2. Контур Рт принадлежит контуру Рк, если Sra с Sk.

На основе введенных таким образом отношений строится формальная модель здания, т.е. описание структуры его поверхности с указанием составляющих элементов и способа связи между ними. Модель представляет собой граф разбиения, уровни которого включают контуры стен, контуры

дверных и оконных проемов внешней стены, контуры внутренних поверхностей дверных и оконных проемов и т.д. Таким образом, создается формальное описание объекта, которое прочитывается и интерпретируется алгоритмом построения ТШ ЦМП объекта. Предложенный подход сводит исходную задачу триангуляции поверхности сложной топологии к задаче триангуляции элементарных поверхностей и дает правило их последующего слияния. Поскольку построение графа разбиения в программном интерфейсе выполняется легко и быстро и позволяет ускорить процесс создания модели в несколько раз, можно говорить об эффективной автоматизации процесса.

Завершающим этапом в создании видеореалистичной модели объекта, является получение текстур модели метрического качества на основе исходных снимков. При выполнении этой задачи учитываются как геометрические, так и фотометрические искажения снимков и обеспечивается их эффективная коррекция в процессе формирования текстурных фрагментов. Процесс автоматизирован полностью и включает в себя следующие этапы:

1. Определение видимости полигонов модели для различных точек съемки.

2. Получение текстур из набора снимков с выбором наилучшего снимка. Оптимизация производится по углу отклонения нормали от оси съемки, минимизируются геометрические искажения фрагментов.

3. Автоматическая постобработка текстур. Этот этап обработки наиболее важен, поскольку именно он определяет фотографическое качество текстур. Постобработка включает в себя геометрическую трансформацию (исправление перспективных искажений) и фотометрическую коррекцию текстур, использующую специально разработанные алгоритмы выравнивания яркостей и повышения контраста, а также предложенные модификации медианных и сглаживающих фильтров.

Экспериментальные измерения показали, что методика обеспечивает точность созданных моделей и текстур порядка 1-2 см при съемке объекта бытовой калиброванной камерой разрешения 7,2 Мпикс с расстояний порядка 20м.

Далее (раздел 5) показано, как при использовании дополнительных опорных данных и введении ограничений на форму зданий может быть создан метод полностью автоматического создания ЦМП. В качестве дополнительной информации здесь используется план фундамента, а ограничения на форму выделяют довольно широкий класс так называемых «типовых зданий». В качестве необходимой математической поддержки автоматизации используются методы обработки изображений, математической статистики и теории графов.

Процесс создания геометрической модели объекта включает в себя следующие этапы:

1. Локализация линейных элементов контуров здания на изображениях. Алгоритм основан на классическом преобразовании Хафа. Значительное увеличение его эффективности в данном случае достигается за счет предварительного ограничения на изображении области интереса, вычисляемой по плану фундамента и элементам ориентирования снимка. Это позволяет отсекать ложные максимумы, усиливать главные и значительно сокращает время поиска. Последующая гистерезисная обработка приводит к формированию непрерывных отрезков вдоль заданных направлений и, наконец, фильтрация собранных отрезков по размерам и положению завершает выделение контуров здания на изображениях.

2. Определение пространственных координат линейных элементов контуров. Производится по одиночным снимкам; используются плоскости плана, пиксельные координаты концов отрезков и элементы ориентирования снимка.

3. Пространственная сборка и уточнение модели. Предложенный метод сборки основан на избыточности числа снимков и заданном графе связности стен и ребер здания. Эта информация позволяет произвести уточнение положения ребер пространственной модели и разрешение коллизий за счет применения статистического анализа и анализа графов. В завершение

используется стереофотограмметрический метод для уточнения положения углов здания.

4. Поиск элементов фасада по цифровому эталону. Решается задача детализации геометрической модели здания путём выделения на фасаде повторяющихся элементов (окон, дверей). В качестве эффективного инструмента решения данной задачи разработан и применен метод детектирования по комплексному эталонному описанию. Предложен вариант ускорения алгоритма поиска, а также его масштабно инвариантная модификация.

Рис. 4 - Модель здания, автоматическое создание ЦМП и текстур

Завершающим этапом в создании видеореалистичной модели объекта, является получение текстур модели метрического качества на основе исходных снимков (рис.4). Процесс автоматизирован полностью и описан выше.

В седьмой главе представлена разработка методов автоматического построения дискретной цифровой модели поверхности (ЦМП) по стереопарам снимков, полученных способом наземной съемки. Проведен анализ особенностей этого вида съемки по сравнению с аэрокосмической и проблем, которые они могут вызвать при стереоотождествлении. К наиболее существенным особенностям относятся:

1. Отношение базиса съемки к расстоянию до объекта практически любое.

2. Отклонение схемы съемки от нормального случая съемки.

3. Глубина сцены практически любая.

4. Содержание сцены, текстуры снимков - разнообразие возможных сюжетов и сцен таково, что текстуры и контуры изображений могут быть практически любыми от предельно четких до почти полного их отсутствия.

Приведенные особенности означают наличие больших параллаксов, значительных геометрических искажений и специфических текстурных характеристик сравниваемых фрагментов стереопары. Кроме того, как показано в главе 6, существует фундаментальное различие технологий обработки данных наземной и аэрокосмической съемки, связанное различием топологии объектов съемки. Одним из следствий этого является невозможность построения ЦМП в виде регулярной сети и необходимость использования TIN.

С учетом перечисленного можно сформулировать следующие основные особенности стратегии стереоотождествления разработанного метода:

1. Формирование сетки ЦМП с помощью операторов интереса, использование разных операторов.

2. Применение окна переменной геометрии при вычислении площадных мер сходства точек.

3. Применение пирамиды изображений и пирамиды сеток ЦМП. Последовательное уточнение ЦМП и сгущение сетки TIN на каждом уровне.

4. Автоматическое выявление и коррекция ошибок стереоотождествления.

5. Использование различных стратегий сгущения сетки: в зависимости от информативности изображения или по заданному правилу.

6. Переход от локального стереоотождествления к глобальному.

7. Учет нелинейных деформаций изображения для получения субпиксельной точности измерений.

Использование нескольких операторов интереса очень существенно для создания детальной ЦМП объекта, поскольку разные критерии интереса

отмечают разные особенности текстур изображения, а в итоге - разные особенности формы объекта.

По применяемым для стереоотождествления примитивам метод является площадным, корреляционным и основан на поиске максимума нормированной КФ. Окна непрямоугольной формы отсекают углы фрагментов, где геометрические искажения максимальны. Это позволило повысить число правильно отождествленных точек на 30-50%.

Применение пирамид необходимо по нескольким причинам, важнейшие из которых многократное сокращение времени счета и повышение устойчивости алгоритма к ошибкам начального приближения. Их вероятность для объектов наземной съемки высока из-за большой глубины сцены и соответственно больших параллаксов. Ошибки стереоотождествления обрабатываются на каждом уровне с помощью набора специальных фильтров, которые представляют собой простейший способ учета пространственных отношений внутри группы соседних точек TIN. Предложены варианты фильтров со скользящим окном топологически постоянного размера и фильтры с адаптивно настраиваемыми параметрами включая глубину отсечки и размер ячейки. Эффективность применения нескольких типов фильтров достаточно высока, остаточная доля выбросов составляет менее 0,01% исходной выборки.

Вопрос сгущения сети в случае TIN является нетривиальным. Существенным отличительным свойством разработанного метода является стратегия неравномерного сгущения, которая позволяет построить оптимальное дискретное представление моделируемой поверхности (рис.5). При этом неравномерность расположения точек соответствует локальной информативности изображения, и максимальная их густота наблюдается в зонах наибольшей информативности. Таким образом, предложенный иерархический метод стереоотождествления обладает свойством adanmai(uu TIN по отношению к форме моделируемой поверхности.

Регулярная сетка

Рис. 5 - Стратегии сгущения регулярной и нерегулярной сеток ЦМП

Завершающим шагом к полноте использования информации изображений и получении детальной ЦМП объекта высокой надежности является реализация алгоритма глобального стереоотождествления на основе вероятностной релаксации. При этом каждой точке а| приписывается начальную вероятность отождествляется с меткой Ь, вычисляемая по коэффициенту корреляции

и удовлетворяющая условию

для а; е А. Тогда итеративное уточнение вероятностей отождествления меток и объектов производится по формуле

P?\Ъ¡){l + q?\b])\

Р'к+'\ь1) =

Х^ЧбД^'Чб,.)]

где <?,и,(<^) - фактор поддержки соседей объекта на к-й итерации,

ЩЬЛ

- начальная вероятность отождествления метки. Тогда для

объекта а1 и метки Ь] фактор поддержки определяется как

,„. Е[иш(Ь1)0(а1)]- Е[и("'(Ь^)]- £[0(о,)]

а) (ЬЛ =-гт-

' оф^ф^-ата,)]

£[С/М(АУ)] = --—, £Ща,)] = ^---, £[£/<">(йу)Дв(,)] =

яг -1 иг -1 яг -1

<т[и("'(й/)] = 1М---, <х[ЗД = 1р-:- •

V те -1 I яг -1

Итеративный процесс выполняется пока наибольшая вероятность отождествления для каждого объекта не станет больше, чем 1 - е (где е « 1). Существенно, что:

- среди точек сгущения, полученных за счет релаксации, нет выбросов;

- все точки сгущения имеют низкий коэффициент корреляции и без привлечения контекстной поддержки со стороны окружения не могут быть надежно идентифицированы.

Рис. 6 - Сетка ЦМП до и после релаксации В заключении сформулированы основные результаты и выводы.

Основные результаты работы

1. Проведен анализ существующих методов и алгоритмов цифровой фотограмметрии, базирующихся на интеллектуальном анализе и обработке изображений, исследованы важнейшие свойства этих методов с точки зрения разработки новых и модификации существующих алгоритмов, повышающих их эффективность.

2. Разработан метод автоматических измерений координат крестов сетки, впечатанной в снимок. Метод обладает следующими отличительными особенностями:

- специальная предобработка изображения определяет устойчивость алгоритма поиска по отношению к световым бликам;

- проверка результатов поиска в соответствии с критерием, учитывающим форму отклика, обеспечивает отбраковку ложных максимумов;

- измерение положения крестов с субпиксельной точностью на основе алгоритма, учитывающего все пикселы, образующие крест.

3. Разработана методика автоматической генерации связующих точек для стереопар снимков, отличающихся по условиям съемки и содержанию изображенных сцен. Методика включает в себя методы выделения и признакового описания характерных особенностей изображения, а также алгоритмы их последующего анализа и отбраковки на основе применения пространственных метрических, топологических и стохастических соотношений.

5. На основе классического корреляционного подхода разработан иерархический метод стереоотождествления, использующий наряду с пирамидами изображений пирамиды регулярных сеток ЦМР и позволяющий сочетать устойчивость алгоритмов по отношению к ошибкам начального приближения с высокой скоростью генерации точек модели. Эти преимущества достигаются за счет последовательного уточнения начального приближения, а также выявления и коррекции ошибок стереоотождествления на каждом уровне пирамиды. Метод полностью автоматизирован и предназначен для обработки космических и аэрофотоснимков.

6. Разработан иерархический метод стереоотождествления, использующий пирамиды нерегулярных сеток ЦМП и обладающий свойством адаптации по отношению к форме моделируемой поверхности. Отличительные чертами метода являются максимальное использование информативных зон снимков за счет применения комбинации разных операторов интереса и окон непрямоугольной формы, автоматическая фильтрация ошибок стереоотождествления на каждом уровне пирамиды и включение в ЦМП точек с низким уровнем корреляции благодаря пространственной поддержке ближайших вершин на основе вероятностной релаксации. Метод предназначен для обработки данных наземной съемки.

7. Разработана методика автоматизированного создания цифровых моделей типовых зданий, сочетающих в себе высокую метрическую точность геометрической модели и фотографическое качество текстур на основе материалов наземной фотосъемки и опорных данных. Методика включает в себя метод автоматизированного построения ЦМП на основе его формального описания, а также алгоритмы автоматического создания текстурного покрытия объекта с выбором наилучших текстур из набора снимков и последующей геометрической и фотометрической коррекцией текстур.

8. Разработана методика автоматического создания цифровых моделей типовых зданий с использованием дополнительных данных и ограничений на форму сооружения. Составной частью методики является метод поиска элементов фасада на основе комплексного цифрового эталона. Предложена масштабно-инвариантная модификация метода. В отличие от известной построенная методика основана на работе с одиночными снимками, что приводит к упрощению отдельных процессов и более легкой их автоматизации.

9. Созданы программные комплексы для фотограмметрической обработки стереопар снимков различных типов съемки: космической, авиационной и наземной.

Основное содержание диссертации отражено в следующих публикациях:

1. Блохинов Ю.Б., Желтов С.Ю., Сибиряков A.B., Скрябин C.B. Цифровая фотограмметри-ческая система Z_Space. Особенности и основные алгоритмы. Труды международной научно-технической конференции, посвященной 220-летию со дня основания МИИГАиК, Москва, 1999, с.90-92.

2. Блохинов 10.Б., Бибичев А.Е. Полуавтоматическое дешифрирование зданий серийного типа по крупномасштабным аэрофотоснимкам. Труды международной научно-технической конференции, посвященной 220-летию со дня основания МИИГАиК, Москва, 1999, с.93-94.

3. Блохинов Ю.Б., Корнишев О.В. Автоматическая коррекция аномальных ошибок цифровой модели рельефа. Труды международной научно-технической конференции, посвященной 220-летию со дня основания МИИГАиК, Москва, 1999, с.92-93.

4. Фомченко М.М., Чекалин В.Ф., Блохинов Ю.Б., Васькин В.М., Кудряшов В.Я., Головин Ю.В., Некрасов В.В Обработка космических снимков с помощью фотограмметрической системы «ORTHO/ZSPACE». ГИС обозрение, 2, 1999 с.57-63.

5. Тюфлин Ю.С., Блохинов Ю.Б., Скрябин C.B. Развитие методов фотограмметрии и дистанционного зондирования. Вестник компьютерных и информационных технологий, М., №5, 2004, с.12-19

6. Блохинов Ю.Б., Скрябин C.B., Грибов Д.А. Цифровая фотограмметрическая система Z_Space 2.0. Свидетельство об официальной регистрации программы для ЭВМ №2005613161, Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2005

7. Блохинов Ю.Б., Скрябин C.B., Грибов Д.А. Цифровая фотограмметрическая система Z_Space 3.0. Свидетельство об официальной регистрации программы для ЭВМ №2005613160, Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2005

8. Блохинов Ю.Б., Скрябин C.B., Грибов Д.А., Михайлов А.П., Чибуничев А.Г., Курков В.М., Веркеенко М.С. Цифровая фотограмметрическая система Z_Proxima 1.0. Свидетельство об официальной регистрации программы для ЭВМ №2008613431, Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2008

9. Блохинов Ю.Б., Грибов Д.А., Чернявский A.C. Задача привязки изображений для некоторых случаев ракурсной фотосъемки. Известия РАН. Теория и системы управления, М., №6, 2008, с.129-143

10. Блохинов Ю.Б., Грибов Д.А., Приматов Б.Н., Скрябин C.B., Шашов Ю.Ю. Автоматическая калибровка цифровых камер на основе использования кольцевых кодированных меток. Известия высших учебных заведений. Геодезия и аэрофотосъемка, М., №2, 2009, с. 104-109

11. Блохинов Ю.Б. Алгоритмы автоматической постобработки ЦМР. Труды международной научно-технической конференции, посвященной 230-летию со дня основания МИИГАиК, Москва, 2009, с. 147-148.

12. Михайлов А.П., Чибуничев А.Г., Курков В.М., Блохинов Ю.Б., Скрябин C.B., Грибов Д. А. Технология оперативной цифровой наземной фотограмметрической съемки. Труды международной научно-технической конференции, посвященной 230-летию со дня основания МИИГАиК, Москва, 2009, с.151-152.

13. Блохинов Ю.Б., Гнилицкий В.В., Инсаров В.В., Чернявский A.C. Алгоритм анализа и принятия решения в задаче селекции объектов на изображениях наземных сцен. Техническое зрение в системах управления мобильными объектами. Серия механика, управление и информатика, Труды научно-технической конференции-семинара под ред. Р. Р. Назирова, Таруса, 1618 марта 2010, с.92-109

14. Блохинов Ю.Б., Веркеенко М.С. Алгоритмы формирования видеореалистичных текстур по данным наземной фотосъемки. Известия высших учебных заведений. Геодезия и аэрофотосъемка, М., №5, 2010, с.44-49

15. Блохинов Ю.Б. Автоматизация взаимного ориентирования цифровых снимков на основе алгоритмов машинного зрения. Известия РАН. Теория и системы управления, М., №6, 2010, с.152-163

16. Блохинов Ю.Б. Алгоритмы формирования цифровой модели поверхности и текстурного покрытия в наземной фотограмметрии. Известия высших учебных заведений. Геодезия и аэрофотосъемка, М., №1,2011, с.51-57

17. Блохинов Ю.Б. Методы автоматической постобработки ЦМР. Известия высших учебных заведений. Геодезия и аэрофотосъемка, М., №2,2011, с.20-26

18. Блохинов Ю.Б. Метод автоматического определения элементов ориентирования орбитальной станции по эталонным модельным изображениям ее узлов. Известия высших учебных заведений. Геодезия и аэрофотосъемка, М., №2,2011, с.13-19

19. Блохинов Ю.Б., Веркеенко М.С. Алгоритмы построения цифровых трехмерных моделей уникальных объектов. Известия РАН. Теория и системы управления, М., №4,2011, с. 118-131

20. Блохинов Ю.Б., Горбачев В.А. Привязка наземных объектов на аэрофотоснимках на основе анализа контуров. Известия РАН. Теория и системы управления, М., №5,2011, с.66-77

21. Блохинов Ю.Б., Чернявский A.C. Алгоритмы и результаты моделирования процессов обнаружения и разпознавания трехмерных сцен. «Моделирование авиационных систем», Труды юбилейной всероссийской научно-технической конференции, Москва, 12-14 апреля 2011, с.128-134.

22. Блохинов Ю.Б., Веркеенко М.С. , Скрябин C.B. Комплексные эталонные описаний наземных сцен и особенности их подготовки на основе доступной информации. «Моделирование авиационных систем», Труды юбилейной всероссийской научно-технической конференции, Москва, 12-14 апреля 2011, с.135-142.

23. Блохинов Ю.Б., Чернявский А.С. Метод комплексирования данных разноракурсной съемки для обнаружения сложных объектов в условиях сильной зашумленности. Искусственный интеллект, АН Украины, №3, 2011, с.220-228.

24.ZheItov S.Y., Blochinov Y.B., Stepanov А.А., Sibiryakov A.V. Computer 3D Site Model Generation Based On Aerial Images. - SPIE Proceedings, 1997, vol.3084, pp.336-345.

25. Blokhinov Y.B., A.V. Sibiryakov S.V. Skryabin Z_Space - digital photogrammetric system for Russian TK-350 images. Z_Space - digital photogrammetric system for Russian TK-350 images. XIX Congress of the ISPRS, Vol. XXXIII, Part B2, Com.II, 81-90, Amsterdam, 2000

26. Blokhinov Y.B., Gribov D.A. A new approach to automatic junction of overlapping aerial imagery data. XX Congress of the ISPRS, Vol. XXXV , Part B3, Com.HI, 179-183, Istanbul, 2004

27.Blokhinov Y.B., Gribov D.A., Zheltov S.Y. An automatic contour based detection of terrestrial objects from aerial imagery data. XXI Congress of the ISPRS, Vol. XXXVII, Part B3, Com.IV, 413-419, Beijing, 2008

Подписано в печать 12.12.2011. Гарнитура Тайме Формат 60? 90/16. Бумага офсетная. Печать офсетная. Объем 3,0 усл. печ. л. Тираж 100 экз. Заказ №286 Цена договорная Издательство МИИГАиК 105064, Москва, Гороховский пер., 4

Содержание диссертации, доктора технических наук, Блохинов, Юрий Борисович

Введение.

Глава 1. Анализ технологий современной цифровой фотограмметрии и их применений в современной авиации

1.1 Введение.

1.2 Примеры применения цифровой фотограмметрии в авиационных системах.

1.3 Типы данных и модели объектов.

1.4 Технология создания ЗБ моделей. Цифровые фотограмметрические системы и их эволюция.

1.5 Перспективные тенденции развития ЦФС.

1.6 Выводы по первой главе.

Глава 2. Алгоритмы внутреннего ориентирования, автоматическое измерение элементов разметки снимка

2.1 Необходимость коррекции искажений на этапе внутреннего ориентирования для снимков с впечатанной сеткой крестов.

2.2 Поиск положения крестов с пиксельной точностью.

2.3 Область поиска.

2.4 Определение положения эталонной сетки.

2.5 Преобразование исходного изображения с целью устранения дисторсий

2.6 Определение координат крестов с субпиксельной точностью.

2.7 Выводы по второй главе.

Глава 3. Алгоритмы взаимного ориентирования, особенности разных подходов для различных случаев съемки

3.1 Введение.

3.2 Особенности изображений и алгоритмы их выделения.

3.3 Характерные точки.

3.3.1 Операторы интереса аэрокосмических снимков.

3.3.2 Операторы интереса наземных снимков.

3.4 Отбор соответствующих точек на основе дескрипторов.

3.4.1 Дескрипторы съемки аэрокосмических снимков.

3.4.2 Дескрипторы наземных снимков.

3.5 Отбор соответствующих точек на основе пространственных отношений

3.5.1 Метрическая фильтрация.

3.5.2 Топологическая фильтрация. точек.

3.7 Общие требования к методу выделения контуров.

3.8 Использование линейных особенностей изображения (контура).

3.8.1 Общая характеристика метода.

3.8.2 Выделение контуров.

3.8.3 Сегментация изображений.

3.8.4 Сопоставление контуров и областей.

3.9 Отождествление контуров.

3.9.1 Форма представления.

3.9.2 Отождествление контуров методом динамического программирования.

3.10 Координатная привязка контуров.

3.11 Выводы по третьей главе.

Глава 4. Методы автоматизации внешнего ориентирования для сцен специального вида.

4.1 Постановка задачи, определение эталонного описания.

4.1.1 Кодированные метки.

4.1.2 Узлы специального вида.

4.2 Решение задачи внешнего ориентирования в случае кодированных меток.

4.2.1 Описание меток.

4.2.2 Сегментация меток.

4.2.3 Поиск меток.

4.2.4 Выделение внешней границы сегмента.

4.2.5 Поиск координат центра маркированной точки.

4.2.6 Идентификация меток.

4.2.7 Результаты экспериментальных исследований.

4.3 Решение задачи измерения параметров относительного положения при сближении космических аппаратов.

4.3.1 Формирование эталонных изображений узлов станции на основе ее трехмерной цифровой модели.

4.3.2 Описание метода.

4.3.3 Семантический анализ и сборка сцены.

4.3.4 Результаты численного эксперимента по обнаружению узлов МКС

4.3.5 Результаты численного эксперимента по исследованию устойчивости метода поиска узлов станции.

4.4 Выводы по четвертой главе.

Глава 5. Автоматизация построения цифровых моделей рельефа и ортофото по результатам аэрокосмической съемки.

5.1 Общие понятия и термины.

5.2 Обзор методов построения ЦМР.

5.3 Способы дискретного представления поверхностей.

5.4 Проблемы, возникающие при стереоотождествлении.

5.4.1 Область поиска.

5.4.2 Уникальность эталона.

5.4.3 Начальные приближения.

5.4.4 Геометрические искажения образов.

5.4.5 Яркостные различия образов.

5.4.6 Ложные отождествления.

5.5 Выбор метода решения задачи стереоотождествления.

5.6 Корреляционное стереоотождествление с использованием пирамиды стереопар.

5.7 Представление результатов стереоотождествления.

5.8 Иерархическая стратегия построения ЦМР.

5.9 Получение ЦМР на регулярной сетке.

5.10 Результаты применения иерархической стратегии для создания ЦМР

5.11 Алгоритмы автоматической постобработки цифровых моделей рельефа

5.11.1 Фильтрация выбросов.

5.11.2 Сглаживание ЦМР.

5.11.3 Восполнение значений высот.

5.11.4 Метод ортофотокоррекции ЦМР.

5.12 Выводы по пятой главе.

Глава 6. Методы формирования цифровой модели поверхности и текстурного покрытия для типовых объектов по результатам наземной съемки.

6.1 Введение.

6.2 Особенности обработки данных наземной съемки.

6.2.1 Пространство аэрофотосъемки.

6.2.2 Пространство наземной съемки.

6.3 Автоматизированное построение ЦМП объекта.

6.3.1 Исходные данные для построения ЦМП.

6.3.2 Построение основных контуров объекта.

6.3.3 Формирование семантической пространственной модели объекта

6.3.4 Построение TIN поверхности объекта.

6.4 Создание текстурного покрытия объекта.

6.4.1 Определение видимости полигонов для различных точек съемки

6.4.2 Получение текстур по набору снимков.

6.4.3 Автоматическая постобработка текстур.

6.4.4 Результаты построения ЦМП и текстур здания по эскпериментальным данным.

6.5 Автоматическое построение ЦМП объекта.

6.5.1 Постановка задачи.

6.5.2 Построение геометрической модели объекта.

6.5.3 Поиск элементов фасада по цифровому эталону.

6.5.4 Результаты построения ЦМП и текстур здания по эскпериментальным данным.

6.6 Выводы по шестой главе.

Глава 7. Автоматизация построения цифровых моделей поверхности для уникальных объектов по результатам наземной съемки.

7.1 Введение.

7.2 Особенности наземной съемки, усложняющие обработку данных.

7.3 Исходные данные для построения ЦМП.

7.4 Построение и проверка ЦМП.

7.5 Иерархическая стратегия построения ЦМП.

7.6 Вероятностная релаксация ЦМП.

7.7 Выводы по седьмой главе.

Введение Диссертация по наукам о земле, на тему "Разработка методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений"

Актуальность проблемы. В течение последнего десятилетия потребность в трехмерных цифровых моделях местности (ЦММ) с точки зрения различных технических приложений возросла многократно и для этого есть ряд причин. Прежде всего, значительно расширилась функциональность и техническая база применения ставших уже традиционными географических информационных систем (ГИС) и систем виртуальной реальности. Но, видимо, качественные перемены в использовании ЦММ связаны с разработкой и реализацией нового поколения машин, беспилотных летательных аппаратов и наземных автономных роботов с элементами искусственного интеллекта, системы управления которых используют для ориентирования в окружающей среде алгоритмы распознавания на основе цифровых моделей реальных объектов. Еще одним классом систем, связанным с использованием ЦММ, являются быстро развивающиеся и чрезвычайно перспективные экспертные системы, предназначенные для обеспечения ситуационной осведомленности главным образом в чрезвычайных ситуациях и на поле боя. В то же время существенно изменились требования как к качеству моделей, так и к производительности технологий, применяемых для их производства. Этим объясняется возросшая актуальность разработки специальных алгоритмов и цифровых фотограмметрических систем для обработки данных различных видов съемки: космической, авиационной, наземной. Разнообразие объектов, цифровые модели которых востребованы в различных информационных системах, чрезвычайно велико, от рельефа земной поверхности до зданий городской застройки и отдельных объектов - элементов сцены. Наряду с различными типами серийных домов сюда входят уникальные исторические здания, а также неповторимые произведения искусства, такие, как барельефы и скульптуры. Многочисленные примеры применений такого рода моделей включают в себя детальное документирование, сохранение и воспроизведение материальных предметов культурного наследия, а также использование в образовательном процессе и виртуальном туризме. Автоматизированное построение цифровых моделей таких объектов на основе снимков и опорных данных является задачей и наукоемкой, и весьма актуальной. При этом предъявляются достаточно высокие требования к качеству цифровой модели. Понятие «качество» в данном случае включает в себя две составляющие: метрическую точность предлагаемых моделей архитектурных сооружений и фотографические свойства их текстур.

Основным средством создания ЦММ на основе данных дистанционного зондирования являются цифровые фотограмметрические станции (ЦФС). История их развития начинается с 80-х годов от простых аналогов аналитического плоттера. Современные ЦФС представляют собой гибкий и мощный инструмент, созданный на основе качественно новых технологий и алгоритмов. Развитие ЦФС связано с преодолением многих принципиальных трудностей, особенно в начальный его период. Главным разочарованием цифровой фотограмметрии этого периода являлась неудача в попытках автоматизации съемки отдельных классов объектов при огромных затратах на исследования в этой области. Появилось множество научных работ посвященных поиску искусственных и естественных объектов на цифровых изображениях, включая здания, дороги, мосты, и при этом очень малая их доля была признана пригодной для технологического использования. Однако необходимо отметить, что небывалый всплеск исследовательской активности этого периода привел к успеху в решении многих задач, которые можно было бы назвать вспомогательными: выделение краев, сегментирование областей, снейки, оконтуривание прямоугольников, связывание и утончение границ, обнаружение выбросов и др. В результате коммерческие ЦФС получили автоматизированные инструменты для измерения зданий, съемки контуров, измерения площадей и решения других полезных задач.

Серьезный анализ и правильная оценка результатов этого периода подготовили успехи следующего десятилетия, на протяжении которого были достигнуты большие успехи в области автоматизации основных фотограмметрических процессов: всех видов ориентирования, построении ЦМР, построении ортофото, съемке контуров. Как и ранее наибольшие трудности представляют такие задачи как анализ тонких особенностей рельефа в местах сильных перепадов и съемка контуров искусственных объектов, таких как дороги, здания, мосты и пр. Задачи этого типа по-прежнему являются вызовом для разработчиков алгоритмов и программ. Между тем сегодня в наиболее сложных проектах для достижения высочайшего качества моделей активно привлекаются материалы различных видов съемки: космической, авиационной, наземной. Как результат такого комплексного подхода возникли задачи разработки алгоритмов для автоматического анализа стереопар снимков, сделанных с широкого базиса, сложность которых заметно превышает аналогичные задачи случая плановой съемки. И, наконец, перспективные экспертные системы обеспечения ситуационной осведомленности являются постоянным источником новых сложных задач, в том числе задач экспресс обработки поступающих данных.

Значительный вклад в разработку методов и алгоритмов цифровой фотограмметрии внесли работы Журкина И.Г., Пяткина В.В., Гиммельфарба Г.Л., Гука А.П., Злобина В.К., Киреитова В.Р., Тюфлина Ю.С., Погорелова В.В., Желтова С.Ю., Чекалина В.Ф., Михайлова А.П., Чибуничева А.Г., а также У.Хелавы, Ф.Аккермана, Р.Харалика, Е.Дэвиса, Д.Триндера, Т.Шенка, А.Грюна, Р.Неватиа, Е.Дикманнса, В.Ферстнера и многих других отечественных и зарубежных ученых. Несмотря на уже достигнутый прогресс проблема автоматизации процессов цифровой фотограмметрии не теряет своей актуальности по причине чрезвычайно динамичного развития этой области информационных технологий и высокой сложности возникающих здесь научных и прикладных задач.

Цель работы состоит в разработке математических методов и алгоритмов, позволяющих осуществлять автоматизацию процессов в цифровых фотограмметрических системах. Практической целью работы является разработка принципов построения цифровых фотограмметрических систем и их реализация на основе созданной алгоритмической базы.

Для достижения цели исследований решаются следующие задачи:

- разработка автоматического метода измерений элементов разметки снимков с регулярным их расположением;

- разработка методов поиска и измерений информативных точек снимков, обеспечивающих их попарное соответствие;

- разработка методов автоматизированного и автоматического построения моделей типовых зданий;

Научная новизна диссертационной работы состоит в следующем:

1. Разработаны оригинальные процедуры контроля и отбраковки соответствующих точек изображений на основе пространственных метрических, топологических и стохастических фильтров.

3. Предложен оригинальный метод кодирования маркированных точек, который позволяет надежно сегментировать их на цифровом изображении, вычислять координаты центров с субпиксельной точностью и с высокой степенью достоверности определять уникальный номер, закодированный в структуре по принципу баркода. Симметричная структура круговых меток обеспечивает масштабно-угловую инвариантность алгоритмов распознавания, декодирования и определения координат центров этих меток.

4. Предложен новый автоматический метод внешнего ориентирования снимков, основанный на применении в качестве опорной информации трехмерных цифровых моделей деталей объекта съемки.

5. Разработаны новые иерархические методы стереоотождествления смешанного типа для произвольно выбранных и информативных точек изображений стереопары, благодаря которым достигается сочетание устойчивости алгоритмов с высокой скоростью генерации точек модели. Применение нерегулярных пирамид сеток позволяет строить оптимальное дискретное представление моделируемой поверхности с учетом ее локальной кривизны.

6. Разработана оригинальная методика контроля и отбраковки неверно отождествленных точек для регулярных и нерегулярных моделей поверхности.

7. Предложен оригинальный способ формального описания языкового типа для модели поверхности тела, ограниченной полигонами. Созданное формальное описание объекта может быть прочитано и интерпретировано автоматически при последующей алгоритмической обработке ЦМП объекта в процессе формирования его законченной модели.

9. Создана новая методика автоматического формирования цифровых моделей типовых зданий на основе данных наземной фотосъемки, плана фундамента и некоторых дополнительных ограничений на форму здания. Составной частью методики является оригинальный метод поиска элементов фасада на основе комплексного цифрового эталона. Предложена масштабно-инвариантная модификация метода.

На защиту выносятся:

3. Принципы построения иерархической структуры методов стереоотождествления смешанного типа для произвольно выбранных или информативных точек изображений стереопары, позволивших значительно повысить как устойчивость алгоритмов, так и скорость генерации точек модели.

6. Цифровые фотограмметрические системы, реализующие теоретические разработки автора по автоматизации фотограмметрических процессов при обработке данных космической, наземной и аэрофотосъемки. Практическая ценность. На основе разработанных методов и алгоритмов был создан ряд отдельных программных компонент, а также программных и программно-аппаратных комплексов, важнейшими из которых являются:

1. Цифровая фотограмметрическая система ZSpace 2.0 (космическая), предназначенная для ориентирования стереопар снимков, генерации цифровых моделей рельефа (ЦМР), создания ортофотопланов, а также съемки векторных контуров на основе стереопар космических снимков ТК-350 (или аэрофотоснимков).

2. Цифровая фотограмметрическая система Х8расе 3.0 (авиационная), предназначенная для выполнения блочной фототриангуляции снимков, генерации цифровых моделей рельефа (ЦМР), создания ортофотопланов, слияния нескольких ЦМР и ортофотопланов, а также съемки векторных контуров на основе блока аэрофотоснимков.

3. Цифровая фотограмметрическая система ZProx¡ma 1.0 (наземная), предназначенная для выполнения различных видов уравнивания фотограмметрической сети, построения трехмерных цифровых моделей объектов, а также автоматического текстурирования объектов на основе блока наземных фотоснимков и дополнительных геоданных. Созданное программно-алгоритмическое обеспечение позволило решить широкий круг практических задач, таких как:

1. Построение ЦМР и ортофотопланов для производства и обновления топографических карт масштаба 1:50000.

3. Создание массивов электронных данных о местности и препятствиях в зоне аэропортов.

4. Обеспечение возможности создания и оперативного использования геопространственной информации для повышения ситуационной осведомлённости на основе данных наземной и аэрофотосъемки.

7. Организация процесса обучения технологии обработки российских космических снимков для отечественных и зарубежных студентов. Реализация результатов работы. Полученные теоретические и практические результаты использовались при проведении целого ряда научно-исследовательских и опытно-конструкторских работ, а также при выполнении контрактов, в частности:

НИР "Феникс-НТ", "Вертел", "Возбудитель-АС", "Стажер", ОКР "Падишах" и др. выполнявшихся по заказам Министерства обороны РФ в 1995-2010 г.г.

НИР "Информационные технологии 1996-2000", выполнявшихся по заказам Министерства экономики РФ, Минпромнауки РФ и в соответствии с президентской программой "Национальная технологическая база".

Контрактов с ЗАО "Совинформспутник" в 1999г. и ООО "Геокосмос ЗД" в 2004г.

- На XI международном симпозиуме "Aerospace. Defense Sensing, Simulation, and Controls". Орландо, Флорида США, 1997;

- На международной научно-технической конференции, посвященной 220-летию со дня основания МИИГАиК, Москва, 1999;

- На XIX конгрессе ISPRS, - г. Амстердам, Голландия, 2000;

- На XX конгрессе ISPRS, - г. Стамбул, Турция, 2004;

- На II международной конференции по фотограмметрии V международного конгресса ГЕОМАТИКА 2007, Куба, Гавана, 2007;

- На XXI конгрессе ISPRS, - г. Пекин, Китай, 2008.

- На международной научно-технической конференции, посвященной 230-летию со дня основания МИИГАиК, Москва, 2009;

- На международной научно-технической конференции "Искусственный интеллект. Интеллектуальные системы. ИИ-2011", Украина, Крым, Кацивели, 2011. а также на всероссийских конференциях:

- Всероссийской научно-технической конференции «Моделирование авиационных систем», Москва, 2011.

Публикации. Содержание диссертации опубликовано в 28 статьях и докладах, основные из которых приведены в списке литературы. Практические приложения содержатся в ряде научных-технических отчетов, выполненных под руководством и при непосредственном участии автора, а также подтверждаются тремя свидетельствами о государственной регистрации программы для ЭВМ.

Содержание. Диссертация состоит из семи глав. В первой главе рассматривается текущее состояние технологий создания реалистичных трехмерных моделей местностей, а также их место и возможности применения в современной технике. Проанализировано развитие цифровых фотограмметрических систем (ЦФС), показано, что современные требования к производительности и точности фотограмметрических измерений делают задачу автоматизации ЦФС важнейшей в рассматриваемой области. Обсуждаются перспективы развития цифровой фотограмметрии в свете тех достижений и тенденций, которые показывает развитие техники, в том числе авиационной, на сегодняшний день.

Во второй главе излагается метод учета и коррекции искажений в космических снимках ТК-350 и в некоторых аэроснимках с помощью алгоритмов автоматического поиска крестов.

Третья глава посвящена разработке методики автоматической генерации связующих точек для стереопар снимков, отличающихся по условиям съемки и содержанию изображенных сцен. Методика включает в себя методы выделения характерных особенностей изображения, а также алгоритмы последующего анализа и обработки, которые позволяют на их основе сгенерировать конечный набор связующих точек, удовлетворяющий ряду дополнительных условий. Рассмотрены три вида особенностей: точки, контуры и области.

Четвертая глава посвящена решению проблемы распознавания опорных точек для внешнего ориентирования снимков на основе их эталонных описаний (ЭО). Рассмотрены ЭО двух типов: кодированные метки и трехмерные цифровые модели деталей сцены.

В пятой главе рассмотрены основные задачи, возникающие при стереоотождествлении точек изображений аэрокосмических снимков. Изложены новые методы иерархического стереоотождесгвления, автоматической постобработки ЦМР и тонкой коррекции ЦМР. На множестве реальных данных показана высокая эффективность предложенных алгоритмов и качество получаемых результатов.

В шестой главе излагаются вопросы разработки методов автоматизированного создания цифровых моделей типовых зданий на основе данных наземной фотосъемки и некоторых дополнительных данных. Предложены автоматизированная и автоматическая методики формирования цифровой модели поверхности и текстурного покрытия объекта.

В седьмой плаве представлена разработка методов автоматического построения дискретной цифровой модели поверхности по стереопарам снимков, полученных способом наземной съемки. Рассмотрен и решен ряд задач стереоотождесгвления с учетом особенностей этого вида съемки, которые необходимо учитывать при проектировании алгоритмов автоматической обработки данных. Особое внимание уделяется новой иерархической стратегии построения ЦМП с использованием пирамиды нерегулярных сеток и процедура глобального стереоотождесгвления на основе вероятностной релаксации.

В заключительном разделе сформулированы основные результаты и выводы.

Заключение Диссертация по теме "Аэрокосмические исследования земли, фотограмметрия", Блохинов, Юрий Борисович

7.7 Выводы по седьмой главе

В данной главе представлена разработка методов автоматического построения дискретной цифровой модели поверхности по стереопарам снимков, полученных способом наземной съемки. Особенности, присущие этому способу съемки в отличие от аэро-космосъемки, а также объектам, к которым он применяется, приводят, как правило, к принципиальным трудностям в процессе автоматической обработки данных и восстановления формы поверхности. В процессе разработки были решены следующие задачи:

- Проведен анализ существенных особенностей обработки данных наземной съемки, которые необходимо учитывать при проектировании алгоритмов автоматического отождествления точек.

- Представленный метод стереоотождествления является развитием классического корреляционного метода, в качестве узловых точек выбираются точки интереса. Поскольку для рассматриваемых исходных данных характерно отсутствие четких текстур, наличие больших искажений фрагментов изображения и большая глубина сцены, необходима постобработка полученной нерегулярной ЦМП с целью отбраковки выбросов. С этой целью разработаны пространственные фильтры, принцип работы которых связан с учетом ограничений на расположение соседних узлов сетки.

- Предложена новая иерархическая стратегия построения ЦМП, основанная на применении пирамиды нерегулярных сеток. Фо рмы и текстуры поверхностей объектов таковы, что применение регулярных сеток нецелесообразно, а иногда просто невозможно. Применение комбинации разных операторов интереса и разных типов исходных примитивов позволяет максимально использовать информативные зоны снимков и создавать в этих зонах сетки высокой плотности. Рассмотрены различные стратегии сгущения при переходе на следующий уровень пирамиды.

- На основе вероятностной релаксации реализована процедура глобального стереоотождествления. Показано, что одновременный учет индивидуальной меры сходства отдельных точек и поправки за счет влияния соседних областей заметно улучшают качество ЦМП. Показано также, что все точки сгущения за счет релаксации имеют низкий коэффициент корреляции и без привлечения контекстной поддержки со стороны окружения не могут быть надежно идентифицированы. Можно сделать вывод, что это главное отличие от стереоотождествления изображений аэро-космосъемки, где локальные методы позволяют получать хороший результат.

Разработанные алгоритмы иерархического стереоотождествления и автоматической постобработки ЦМП были реализованы в цифровой фотограмметрической системе 2Ргох1та 1.0.

Цифровая фотограмметрическая система 7Ргох1та 1.0 была разработана для выполнения различных видов уравнивания фотограмметрической сети, построения трехмерных цифровых моделей объектов, а также автоматического текстурирования объектов на основе блока наземных фотоснимков и дополнительных геоданных. В ходе создания алгоритмов стереоотождествления и постобработки ЦМП были учтены все специфические особенности данных наземной фотосъемки, обуславливающие повышенную сложность автоматизации этих процессов по сравнению с аналогичными задачами плановой аэро-космосъемки.

Заключение

Диссертационная работа посвящена разработке методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений. В результате выполненных исследований получены следующие основные результаты:

1. Проведен анализ существующих методов и алгоритмов цифровой фотограмметрии, связанных с анализом и обработкой изображений, исследованы важнейшие свойства этих методов с точки зрения разработки новых и модификации существующих алгоритмов, повышающих их эффективность.

2. Разработан метод автоматических измерений элементов разметки снимков с регулярным их расположением. Метод обладает следующими отличительными особенностями:

- проверка результатов поиска в соответствии с оригинальным критерием обеспечивает отбраковку ложных максимумов;

- измерение положения крестов с субпиксельной точностью на основе оригинального алгоритма.

3. Разработана методика автоматической генерации связующих точек для стереопар снимков, отличающихся по условиям съемки и содержанию изображенных сцен. Методика включает в себя методы выделения характерных особенностей изображения, а также алгоритмы последующего анализа и обработки, которые позволяют на их основе сгенерировать конечный набор связующих точек, удовлетворяющий ряду дополнительных условий. Для решения этой задачи:

- проведен сравнительный анализ и выбор операторов интереса и дескрипторов для различных классов задач в зависимости от геометрических и фотометрических характеристик стереопар;

- созданы оригинальные процедуры контроля и отбраковки неправильно выбранных соответствующих точек и обоснована целесообразность их использования для разных типов стереопар;

- обосновано использование разработанной методики в системах аэрокосмической и наземной фотограмметрии;

- разработан оригинальный метод выделения замкнутых контуров, использующий совместно характеристики краев и областей, что позволяет сформировать набор достаточно стабильных и четких контуров стереопары;

- построена процедура отождествления контуров методом динамического программирования обеспечивающая наилучшее соответствие путем сравнения «многие ко многим» и инвариантная по отношению к масштабу и поворотам;

- предложен новый способ выбора и измерения соответственных точек стереопары на основе выделения, описания и сопоставления контуров стереопары.

4. Предложены оригинальные кодированные метки специальной структуры, которая позволяет надежно сегментировать их на цифровом изображении, вычислять координаты центров с субпиксельной точностью и с высокой степенью достоверности определять уникальный номер, закодированный в структуре по принципу баркода. Симметричная структура обеспечивает масштабно-угловую инвариантность алгоритмов распознавания, декодирования и определения координат центров этих меток.

5. Предложен новый автоматический метод внешнего ориентирования снимков, основанный на применении в качестве опорной информации трехмерных цифровых моделей деталей объекта съемки.

6. На основе классического корреляционного подхода разработан новый иерархический метод стереоотождествления, использующий пирамиды регулярных сеток и позволяющий сочетать устойчивость алгоритмов по отношению к ошибкам начального приближения с высокой скоростью генерации точек модели. Метод обладает следующими преимуществами:

- выбор начального приближения, а также выявление и коррекция ошибок стереоотождествления на каждом уровне пирамиды производится автоматически;

- разработан ряд оригинальных методов автоматической постобработки ЦМР с целью отбраковки выбросов и коррекции значений высот;

- реализован метод итеративного ортофото, улучшающий точность и уменьшающий объем последующего редактирования ЦМР.

Метод предназначен для обработки космических и аэрофотоснимков.

Разработан новый иерархический метод стереоотождествления, использующий пирамиды нерегулярных сеток и использующий в качестве узловых точки интереса изображений. Метод имеет следующие отличительные черты:

- с точки зрения используемых примитивов изображения стереоотождествление принадлежит к смешанному типу, поскольку использует технику площадной корреляции и технику точечных особенностей;

- предложена оригинальная иерархическая стратегия построения ЦМП, основанная на применении пирамиды нерегулярных сеток, при этом применение комбинации разных операторов интереса дает возможность максимально использовать информативные зоны снимков и создавать в этих зонах сетки высокой плотности;

- разработан набор пространственных фильтров, осуществляющих постобработку полученной нерегулярной ЦМП с целью отбраковки выбросов;

- на основе вероятностной релаксации реализована процедура глобального стереоотождествления, позволяющая включить в сгущение ЦМП точки с низким коэффициентом корреляции, которые без привлечения пространственной поддержки со стороны окружения не могут быть надежно отождествлены. Метод предназначен для обработки данных наземной съемки.

8. Разработана методика автоматизированного создания цифровых моделей типовых зданий, сочетающих в себе высокую метрическую точность геометрической модели и фотографическое качество текстур на основе материалов наземной фотосъемки и опорных данных. Для этого были решены следующие задачи:

- предложен оригинальный способ формального описания языкового типа для модели поверхности тела, ограниченной полигонами; созданное описание объекта может быть прочитано и интерпретировано при последующем автоматическом построении TIN ЦМП;

- разработаны алгоритмы создания текстурного покрытия объекта, осуществляющие автоматический выбор наилучшей текстуры из имеющихся снимков, а также последующую геометрическую и фотометрическую коррекцию текстур.

9. Разработана методика автоматического создания цифровых моделей типовых зданий с использованием дополнительных данных и ограничений на форму сооружения. Для этого были дополнительно решены следующие задачи:

- разработан метод локализации прямолинейных элементов здания на изображениях (модифицированный метод Хафа с предварительной сегментацией) и выделения среди них ребер ограничивающих стены;

- разработан метод определения положения ребер здания в пространстве, включая уточнение положения нижних и верхних рёбер стен и последующее уточнение координат плана, использующий избыточность числа снимков;

- разработан метод поиска типовых элементов фасада на основе комплексного цифрового эталона; показано, что предложенная процедура может рассматриваться как вариант обобщенного метода Хафа.

В отличие от классической построенная методика основана на работе с одиночными снимками, что приводит к упрощению отдельных процессов и более легкой их автоматизации.

10.Созданы программные комплексы для фотограмметрической обработки стереопар снимков различных типов съемки: космической, авиационной и наземной.

Библиография Диссертация по наукам о земле, доктора технических наук, Блохинов, Юрий Борисович, Москва

1. В.Г. Аковецкий Аэрокосмический мониторинг месторождений нефти и газа - М.: ООО «Недра-Бизнесцентр», 2008 г., 454 с.

2. Баринова О., Вежневец А."Выделение связных областей в цветных и полутоновых изображениях"- Графика и Мультимедиа, cgm.graphicon.ru. 2006

3. Блохин H.A. Стереофотограмметрическая наземная съемка. M.-JL: ОНТИНКТП, 1937, -382с.

4. Блохинов Ю.Б. Алгоритмы формирования цифровой модели поверхности и текстурного покрытия в наземной фотограмметрии. Известия РАН, Теория и системы управления, №1, 2011, с. 51-57.

5. Блохинов Ю.Б. Методы автоматической постобработки ЦМР Изв. ВУЗов. Геодезия и аэрофотосъемка. 2011. №2. С.61-67.

6. Блохинов Ю.Б. Автоматизация взаимного ориентирования цифровых снимков на основе алгоритмов машинного зрения Изв. РАН. ТиСУ. 2010. №6. С.152-163.

7. Блохинов Ю.Б., Веркеенко М.С. Алгоритмы формирования видеореалистичных текстур по данным наземной фотосъемки. Известия ВУЗов. Геодезия и аэрофотосъемка, №5, 2010, с. 44-49.

8. Блохинов Ю.Б., Горбачев В.А. Привязка наземных объектов на аэрофото-снимках на основе анализа контуров Изв. РАН. ТИСУ, 2011. №5. С.66-77.

9. Ю.Блохинов Ю.Б., Грибов Д.А. Приматов Б.Н. Скрябин C.B. Шашов Ю.Ю. Решение задачи автоматической калибровки цифровых камер на основе использования кольцевых кодированных меток Изв. ВУЗов. Геодезия и аэрофотосъемка. 2009. №2. С. 104-109.

10. П.Блохинов Ю.Б., Грибов Д.А., Чернявский A.C. Задача привязки изображений для некоторых случаев ракурсной фотосъемки Изв. РАН. ТИСУ, 2008. №6. С. 129-143.

11. Гнилицкий В.В., Инсаров В.В., Чернявский A.C. Алгоритмы принятия решения в задаче селекции объектов на изображениях наземных сцен. Известия РАН, Теория и системы управления, №6, 2010, с. 143-151.

12. И.Гонсалес Р., Вудз Р., Цифровая обработка изображений, М.: Техносфера, 2005. 1072 с.

13. Гук А.П. Развитие фотограмметрических технологий на основе имманентных свойств цифровых снимков. Геодезия и картография. 2007. № 12. С. 26-29.

14. Гук А.П., Йехиа Х.М.Х. Автоматический выбор и идентификация характерных точек на разновременных разномасштабных аэрокосмических снимках. Известия высших учебных заведений. Геодезия и аэрофотосъемка. 2010. №2. С. 63-68.

15. Гук А.П., Лазерко М.М. Разработка методик создания 3d моделей по аэрокосмическим снимкам высокого и сверхвысокого разрешения и другим данным дистанционного зондирования. Известия высших учебных заведений. Геодезия и аэрофотосъемка. 2011. № 2. С. 32-34.

16. Журкин И.Г. Автоматизация фотограмметрических процессов при составлении карт по аэрокосмическим снимкам. Диссертация на соискание ученой степепни доктора технических наук. М., 1975.

17. Журкин И.Г. Прямой способ определения элементов внешнего и внутреннего ориентирования снимков. Изв. вузов «Геодезия и аэрофотосъемка», 1979, №5, с.59-64.

18. Журкин И.Г., Волкович Е.В., Жигалов К.Ю. Обновление картографического материала с помощью данных, полученных методом лазерной локации. Геодезия и картография. 2007. № 5. С. 35-37.

19. Журкин И.Г., Андреева H.JI. Технология коррекции систематических ошибок в координатах точек планово-высотной подготовки. Известия высших учебных заведений. Геодезия и аэрофотосъемка. 2010. № 4. С. 5557.

20. Иванов Д.В., Хропов A.A., Кузьмин Е.П., Карпов A.C., Лемпицкий B.C. Алгоритмические основы растровой графики -http://www.intuit.ru/departmentygraphics/rastrgraph/, 2007.

21. Инсаров В. В. Структурно-лингвистический алгоритм обработки изображений и распознавания образов наземных сцен в системе наведения летательного аппарата. Известия Академии Наук, ТИСУ, 2004, №1, с. 145154.

22. Кормен Т., Лейзерсон Ч., Ривест Р. и др. Алгоритмы: построение и анализ / Под ред. И. В. Красикова. 2-е изд. М.: Вильяме, 2005. 1296 с.

23. Лобанов А.Н. Фотограмметрия. М.: Недра, 1984, 552с.

24. Лобанов А.Н. Фототопография, наземная фотограмметрическая съемка. М.: Недра, 1968, -267с.

25. Лобанов А.Н., Журкин И.Г. Автоматизация фотограмметрических процессов М., Недра, 1980, 240с.

26. Павлидис Т. Алгоритмы машинной графики и обработки изображений: Пер. с анг. М.: Радио и связь, 1986, 400с.

27. Погорелов В. В., Сухов А. А., «Построение двухкадровой фототриангуляции с использованием метода самокалибровки», «Геодезия и картография», 1997г., № 10, стр. 27-30

28. Препарата Ф., Шеймос М. Вычислительная геометрия. М.: Мир, 1989, 478с.

29. Приматов Б.Н., Скрябин C.B. Автоматический алгоритм поиска положений впечатанных крестов с субпиксельной точностью Известия высших учебных заведений. Геодезия и аэрофотосъемка, М., №4, 2009, стр. 56-60.

30. Прэтт У. Цифровая обработка изображений Т.2. М.: Мир, 1982. 480 с.

31. Службы аэронавигационной информации. Международные стандарты и рекомендуемая практика. Приложение 15 к Конвенции о международной гражданской авиации. МОГА, Изд. 12-ое, 2004. 105с.

32. Скворцов A.B. Триангуляция Делоне и ее применения. Томск: Изд-во Том. Ун-та, 2002, - 128с.

33. Чибуничев А. Г., «Алгоритмы измерений маркированных точек по цифровым изображениям», Изв. вузов. Геодезия и аэрофотосъемка, № 3, 1992 г., стр. 102-109.

34. Зб.Чибуничев А. Г., Шимаханова Т. М., «Исследование точности определения координат маркированных точек по цифровым изображениям», Изв. вузов. Геодезия и аэрофотосъемка, № 5-6, 1993 г., стр. 118-123.

35. Шапиро JI., Стокман Дж. Компьютерное зрение БИНОМ, Москва, 2006., 752с.

36. Шикин A.B., Боресков Е.В., Компьютерная графика. Полигональные модели., Диалог МИФИ, 2005.

37. Ярославский Л.П. Цифровая обработка сигналов в оптике и голографии: Введение в цифровую оптику. М.: Радио и связь, 1987, с.296. 5.12

38. Ackerman F. High precision digital image correlation. IPSUS, 1984, №

39. Agnello F., Brutto M. L. Integrated Surveying Techniques in Cultural Heritage Documentation ISPRS International Workshop 3D-ARCH 2007 3D Virtual Reconstruction and Visualization of Complex Architectures ETH. Zurich, Switzerland, 2007. P. 141-147.

40. Ahn S. J., Schultes M. A new circlular coded target for the automation of photogrammetric 3d-surface measurements -Optical 3-D. Meashurement Techniques IV. 1997.

41. Ayache N., Faverjon B. Efficient registration of stereo images by matching graph description of edge segments, IJCV, Vol.1, No.2, 107-131, 1987.

42. D. Badouel "An Efficient Ray-Polygon Intersection"- Graphics Gems, San Diego, 1990.

43. Ballard D. H. Generalizing the Hough Transform to detect arbitrary shapes Pattern Recognition, 1981. V.13. N.2. P. 111-122.

44. Bertram S. The UNAMAGE and the automatic photomapper. Photogrammetric Engineering.

45. Blokhinov Y., Gribov D. A new approach to automatic junction of overlapping aerial imagery data XXth ISPRS Congr. Istanbul. Turkey, 2004. V. XXXV. Part B3. P. 179-183.

46. Blokhinov Y., Gribov D., Zheltov S. An automatic contour based detection of terrestrial objects from aerial imagery data XXIth ISPRS Congr. Beijing. China. 2008. V. XXXVII. Part B3. P. 413-419.

47. Blokhinov Y.B., Sibiryakov A.V., Skryabin S.V. ZSpace digital photogrammetric system for Russian TK-350 images, XIX Congress of the ISPRS, Vol. XXXIII, Part B2, Com.II, Amsterdam, 2000, pp. 81-90.

48. Davis E.R. Machine Vision, Amsterdam: Elsevier, 2005.

49. Davis J., Sharma V. Background-subtraction using contour-based fusion of thermal and visible imagery Computer Vision and Image Understanding. 2007. V. 106. P. 162-182.

50. Dreschler L., Nagel H. On the Selection of Critical Points and Local Curvature extrema of Region Boundaries for Interframe Matching Proc. of ICPR, 1982. P. 542-544.

51. El-Hakim S.F., Beraldin J.A., Picard M. et al. Detailed 3D Reconstruction of Large-scale Heritage Sites with Integrated Techniques IEEE Computer Graphics & Applications. 2004. V.23. Pt 3. P. 21-29.

52. El-Hakim S.F., Gonzo L., Girardi S. et al. Photo-realistic 3D Reconstruction of Castles with Multiple-source Image-based Techniques XXth ISPRS Congress. Istanbul, Turkey, 2004. V.34. Pt 5. P. 120-125.

53. El-Hakim S., Gonzo L., Voltolini F. et al. Detailed 3D Modelling of Castles International Journal of Architectural Computing. 2007. V.5. Pt. 2. P. 199-220.

54. Ferrari V., Tuytelaars T., Van Gool L. Wide-baseline multiple view correspondences IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). Madison, USA, 2003.

55. Fischler M. A., Bolles R. C. Random Sample Consensus: A paradigm for model fitting with applications to image analysis and automated cartography -Comm. ofthe ACM. 1981. V. 24. P. 381-395.

56. Flusser J. On the Independence of Rotation Moment Invariants Pattern Recognition. 2000. V. 33. P. 1405-1410.

57. Foerstner W. A feature based correspondence algorithm for image matching ISPRS Commision III Symp. V.26-3/3. Rovaniemi. Finland. 1986. P. 150166.

58. Foerstner W., Gulch E. A fast operator for detection and precise location of distinct points, corners and centres of circular features ISPRS Intercommission Conf. on Fast Processing of Photogrammetric Data. Interlaken, 1987. P. 281305.

59. Fung P.F., Lee W.S. King I. Randomized Generalized Hough Transform for 2-D grayscale object detection Proc. of the 13th Int. Conf. on Pattern Recognition. V.2. Vienna, Austria, 1996. P. 511 - 515.

60. Goshtasby A., Page K. Image Matching by a Probabilistic Relaxation Labeling Process Proc.7-th Int. Conf. Pattern Recognition. Montreal, Canada, 1984. V.l. P. 307-309.

61. Grimson W., 1983, An implementation of a computational theory of visual surface interpolation, Computer Vision, Graphics and Image Processing, 22, pp.39-69.

62. Gruen A. Digital photogrammetric stations revisited International Archives of Photogrammetry and Remote Sensing, Vol.XXXI, P.B2, Vienna, 1996, pp.127-134.

63. Gruen A., Baltsavias E. Adaptive least squares correlation with geometrical constraints. SPIE, 1985, vol. 595.

64. Gruen A., Baltsavias E. Geometrically constrained multiphoto matching, -PERS, 1988, vol. №5.

65. Haber E., Modersitzki J. Intensity gradient based registration and fusion of multi-modal images, International Conference on Medical Image Computing and Computer-Assisted Intervention, vol. 9, pp. 726-733, 2006.

66. Handbook of Discrete and Computational Geometry ed. by Jacob E.Goodman, Jozeph O'Rourke, CRC Press, Boca Raton, New York, 1997, 955p.

67. Harris C.G., Stephens M.J. Combined Corner and Edge Detector Proc. Fourth Alvey Vision Conf. Manchester. 1988. P. 147-151.

68. Hartley R., Zisserman A. Multiple View Geometry in Computer Vision. Cambridge University Press, 2004. 672c.

69. Heipke C. State-of-the-art of digital photogrammetric workstations for topographic applications Photogrammetric Engineering and Remote Sensing. Vol.61, No.l, 1995, pp.49-56.

70. Heipke C. Automation of interior, relative and absolute orientation The International Archives of the Photogrammetry and Remote Sensing. Vienna. 1996. V. XXXI. Part B3. P. 297-311.

71. Hill F., The Pleasures of 'Perp Dot' Products Graphics Gems IV, San Diego, 1994.

72. Hu M. K. Visual pattern recognition by moment invariants IRE Trans. Inform. Theory. 1962. V. 8. P. 179-187.

73. Insarov V.V., Fedosov E.A., Sebriakov G.G. High-precision navigation and guidance systems of aerial vehicles is the use of computer vision technologies 16th IF AC Symposium on automatic Control in Aerospace, Preprints, Vol. 11,2004, pp.27-33.

74. Kersten T., Pardo C.A., Lindstaedt M. 3D Acquisition Modelling and Visualisation of North German Castles by Digital Architectural Photogrammetry XXth ISPRS Congress. Istanbul, Turkey, 2004. V.34. Pt 5. P. 126-131.

75. Kitchen L., Rosenfeld A. Gray-level corner detection Pattern Recognition Letters. 1982. Vol.1. P. 95-102.

76. Lemmens M. Digital photogrammetric workstations GIM International, 2007, Volume 21, Issue 12, pp. 22-25.

77. Levine M.D., O'Handley D.A., Yagi G.M. Computer Determination of Depth Maps, Computer Graphics and Image Processing, Vol.2, No.2, pp. 131150, 1973.

78. Lingua A., Marenchino D., Nex F. Automatic Digital Surface Model (DSM) generation procedure from images acquired by Unmanned Aerial Systems (UASs) RevCAD J. of Geodesy and Cadastre. 2009. P. 53-64.

79. Lue Y. Interest Operator and Fast Implementation Int. Arch. Photogrammetry Remote Sens., V. 27, No. 3, 1988. P. 491-500.

80. Mayer H., Reznik S. MCMC linked with implicit shape models and plane sweeping for 3D building facade interpretation in image sequences. Proc. ISPRS Congress 2008.

81. Moller T., Trumbore B. Fast, minimum storage ray-triangle intersection -Journal of Graphics Tools. 1997. V. 2(1) P. 21-28.

82. Moravec H. Rover visual obstacle avoidance Internat. Joint Conf. on Artificial Intelligence. Vancouver, Canada, 1981. P. 785-790.

83. Mori K., Kikode M., Asada H. An iterative prediction and correction method for automatic stereocomparison. Computer Graphics and Image Processing, Vol.2, No.3,4„ pp 393-401, 1973.

84. Pal N., Pal S. A review on image segmentation techniques Pattern Recognition. 1993. V.26. P. 1277-1294.

85. Parzen E. On estimation of a probability density function and mode. Annals of Mathematical Statistics №33, p.1065-1076.

86. Price K.E. Relaxation techniques for matching. Minutes of the Workshop of Image Matching, September 9-11, Stuttgart University, Germany.

87. Quam L.H., Strat T. SRI image understanding research in cartographic feature extraction. Digital Photogrammetric Stations, Wichmann Verlag, Karlsruhe, 1991, pp.111-121.

88. Remondino F., El-Hakim S., Gruen A. et al. Turning Images into 3-D Models IEEE Signal Processing Magazine. 2008, July. P. 55-64.

89. Remondino F., Zhang L. Surface Reconstruction Algorithms for Detailed Close-range Object Modelling IAPRS&SIS. Bonn, Germany. 2006. V.36. Pt 3.P. 117-121.

90. Rosin M. A note on the least squares fitting of ellipses Pattern Recognition Letters, Volume 14 , Issue 10. 1993.

91. Schenk T. Digital Photogrammetry. Dayton: TerraScience, V.l, 1999.

92. Schenk A.F., 1989, Determination of DEM Using Iteratively Rectified Images, Photogrammetry Technical Report No.3, Department of Geodetic Science and Surveying, The Ohio State University, Columbus, Ohio.

93. Schickler W., Poth Z., 1996, The automatic interior orientation and its daily use, International Atchives of Photogrammetry and Remote Sensing, vol. XXXI, Part B3, Vienna, pp.746-751.

94. Shi J., Malik J. Normalized Cuts and Image Segmentation IEEE Trans, on pattern analysis and machine intelligence. 2000. V. 22. N. 8. P. 888-905.

95. Strassenburg-Kleciak M. Photogrammetry and 3D Car Navigation 51st Photogrammetric Week, September, 3 - 7, Stuttgart, 2007, pp.309-314.

96. Walker S. Digital photogrammetric workstations 1992-96 International Archives of Photogrammetry and Remote Sensing, Vol.XXXI, P.B2, Vienna, 1996, pp.384-395.

97. Walker S. New features in SOCET SET 51st Photogrammetric Week, September, 3 - 7, Stuttgart, 2007, pp.35-40.

98. Weeks A. R. Fundamentals of Electronic Image Processing New York: SPIE Optical Engineering Press, 1996.

99. Zang L. Automatic Digital Surface Model Generation from Linear Array Images-DISS. ETHNO. 16078. Zurich, 2005. 219p.

Информация о работе

Блохинов, Юрий Борисович
доктора технических наук
Москва, 2011
ВАК 25.00.34

Диссертация

Разработка методов автоматизации фотограмметрических процессов на основе алгоритмов анализа и обработки изображений - тема диссертации по наукам о земле, скачайте бесплатно

Автореферат

Похожие работы