тема10.doc

10.1 Фильтрация изображений

Обычно изображения, сформированные различными информационными системами, искажаются действием помех. Это затрудняет как их визуальный анализ человеком-оператором, так и автоматическую обработку в ПЭВМ. При решении некоторых задач обработки изображений в роли помех могут выступать и те или иные компоненты самого изображения. Например, при анализе космического снимка земной поверхности может стоять задача определения границ между ее отдельными участками - лесом и полем, водой и сушей и т.п. С точки зрения этой задачи отдельные детали изображения внутри разделяемых областей являются помехой.

Ослабление действия помех достигается фильтрацией. При фильтрации яркость (сигнал) каждой точки исходного изображения, искаженного помехой, заменяется некоторым другим значением яркости, которое признается в наименьшей степени искаженным помехой. Что может послужить основой для таких решений? Изображение часто представляет собой двумерную функцию пространственных координат, которая изменяется по этим координатам медленнее (иногда значительно медленнее), чем помеха, также являющаяся двумерной функцией. Это позволяет при оценке полезного сигнала в каждой точке кадра принять во внимание некоторое множество соседних точек, воспользовавшись определенной похожестью сигнала в этих точках. В других случаях, наоборот, признаком полезного сигнала являются резкие перепады яркости. Однако, как правило, частота этих перепадов относительно невелика, так что на значительных промежутках между ними сигнал либо постоянен, либо изменяется медленно. И в этом случае свойства сигнала проявляются при наблюдении его не только в локальной точке, но и при анализе ее окрестности. Заметим, что понятие окрестности является достаточно условным. Она может быть образована лишь ближайшими по кадру соседями, но могут быть окрестности, содержащие достаточно много и достаточно сильно удаленных точек кадра. В этом последнем случае, конечно, степень влияния далеких и близких точек на решения, принимаемые фильтром в данной точке кадра, будет совершенно различной.

Таким образом, идеология фильтрации основывается на рациональном использовании данных как из рабочей точки, так и из ее окрестности. В этом проявляется существенное отличие фильтрации от рассмотренных выше поэлементных процедур: фильтрация не может быть поэлементной процедурой обработки изображений.

Задача заключается в том, чтобы найти такую рациональную вычислительную процедуру, которая позволяла бы достигать наилучших результатов. Общепринято при решении этой задачи опираться на использование вероятностных моделей изображения и помехи, а также на применение статистических критериев оптимальности. Причины этого понятны - это случайный характер как информационного сигнала, так и помехи и это стремление получить минимальное в среднем отличие результата обработки от идеального сигнала. Многообразие методов и алгоритмов связано с большим разнообразием сюжетов, которые приходится описывать различными математическими моделями. Кроме того, применяются различные критерии оптимальности, что также ведет к разнообразию методов фильтрации. Наконец, даже при совпадении моделей и критериев очень часто из-за математических трудностей не удается найти оптимальную процедуру. Сложность нахождения точных решений порождает различные варианты приближенных методов и процедур.
^ Оптимальная линейная фильтрация. Уравнение Винера-Хопфа. Пусть - значение яркости изображения - полезного сигнала на пересечении -ой строки и -го столбца, а наблюдаемое на входе фильтра изображение описывается моделью:

Здесь - значение помехи в точке с координатами ,
- функция, описывающая взаимодействие сигнала и помехи, а и - соответственно число строк и столбцов в кадре.

В дальнейшем будем придерживаться принятой при цифровой обработке изображений декартовой системы координат с началом в левом верхнем углу кадра и с положительными направлениями из этой точки вниз и вправо. На рис. 10.1 показаны примеры окрестностей различных типов, изображенные в виде совокупностей точек. Центром окрестностей, рабочей точкой, в которой осуществляется обработка, является точка с координатами (на рис. 3.1 не зачернена). В зависимости от типа окрестности различают каузальную, некаузальную и полукаузальную фильтрацию изображений. Понятие

а)	б)	в)
Рис. 10.1 Примеры окрестностей различных видов

каузальности (причинно-следственной зависимости) связывают с соотношением координат текущей точки и точек, входящих в окрестность. Если обе координаты (номер строки и номер столбца) всех точек окрестности не превышают соответствующих координат текущей точки, то окрестность и использующая ее обработка называются каузальными. Пример такой окрестности представлен на рис. 10.1.а.

Некоторые точки окрестности, приведенной на рис. 10.1.б, удовлетворяют принципу каузальности. Вместе с тем, здесь имеются и такие точки, обе координаты которых превышают соответствующие координаты рабочей точки. Фильтрация, опирающаяся на использование окрестностей с сочетанием таких свойств, называется некаузальной.

Окрестности, показанной на рис. 10.1.в, соответствует полукаузальная фильтрация. Одна из координат всех точек окрестности - в данном примере номер строки - не превышает соответствующей координаты рабочей точки. Вторая же координата - в примере номер столбца - у некоторых точек также не превышает соответствующей координаты рабочей точки. Однако среди точек окрестности имеются и такие, у которых эта вторая координата превышает соответствующую координату рабочей точки.

Смысл, заложенный в данную классификацию, состоит в том, что, согласно принципу причинности, на формирование отклика физически осуществимого фильтра не могут оказывать влияния элементы входного сигнала, не поступившие к моменту формирования выходного отсчета. Этот принцип естественным образом «работает» в динамических системах, где все происходящие в них процессы являются временными процессами. При цифровой обработке изображений часто приходится иметь дело с ранее сформированными изображениями, уже хранящимися в памяти устройства обработки. В этом смысле соотношение координат, строго говоря, уже не играет такой принципиальной причинной роли, как при обработке сигналов в реальном масштабе времени. Вместе с тем, традиционно сложилась описанная выше классификация процедур обработки изображений, которой, в определенной мере, будем придерживаться и мы в последующем изложении.

При линейной фильтрации выходной эффект определяется линейной комбинацией входных данных:

В этом выражении - результат фильтрации полезного сигнала в точке кадра с координатами ; - множество точек (точнее - множество их координат), образующих окрестность; - весовые коэффициенты, совокупность которых представляет собой двумерную импульсную характеристику (ИХ). Если область конечна, то импульсная характеристика имеет конечную длину и фильтр называется КИХ-фильтром. В противном случае импульсная характеристика имеет бесконечную длину, а фильтр название БИХ-фильтра. В выражении (10.2) принято, что ИХ не зависит от координат точки , в которой определяется выходной эффект. Процедуры обработки изображений, обладающие свойством независимости от координат, называются однородными.

Наиболее распространенным критерием оптимальности, применяемым для оценки качества обработки, является критерий минимума среднего квадрата ошибок. Применительно к фильтрации запишем его выражение в виде:

, (10.3)

Где
- символ математического ожидания. Согласно (10.3) отыскание оптимального фильтра заключается в определении его ИХ таким образом, чтобы средний квадрат ошибки , выражающей различие между сигналом и оценкой , формируемой фильтром, был минимальным. Математическое ожидание вычисляется по всем случайным величинам, содержащимся в (10.3), что означает ориентацию критерия на учет средних ошибок.

Оптимизационную задачу (10.3) нетрудно свести к решению уравнения или системы уравнений. Для этого вычислим производную от левой части этого выражения по коэффициенту и приравняем ее нулю. Учитывая, что операции дифференцирования, суммирования и математического ожидания являются линейными и поэтому перестановочны, приходим к выражению:

Входящие в него математические ожидания являются, как нетрудно видеть, отсчетами корреляционных функций, для которых введем следующие обозначения:

С их учетом (3.4) примет более компактный вид:

Считая автокорреляционную
и взаимно корреляционную
функции известными, замечаем, что (10.5) представляет собой линейное относительно искомых коэффициентов алгебраическое уравнение. Число неизвестных в этом уравнении равняется числу точек в окрестности и является конечным в случае КИХ-фильтра и бесконечным при БИХ-фильтрации. Ограничимся в данном параграфе рассмотрением КИХ-фильтрации. Линейное алгебраическое уравнение со многими неизвестными имеет бесконечное множество решений. Если повторить дифференцирование (10.3) по остальным неизвестным, то получим еще уравнений, отличающихся друг от друга левыми частями и коэффициентами в правых частях, т.к. определяющие их корреляции вычисляются каждый раз в различных точках. В результате образуется система линейных алгебраических уравнений с неизвестными, называемая в теории фильтрации уравнением Винера-Хопфа :

(10.6)

Если разрешить ее относительно всех неизвестных , то будет найдена искомая импульсная характеристика линейного фильтра, минимизирующего средний квадрат ошибок фильтрации.

Определим средний квадрат ошибок оптимальной фильтрации. Для этого необходимо выполнить возведение в квадрат в выражении (10.3) и учесть в полученном выражении уравнение Винера-Хопфа (10.6). В результате нетрудно получить:

, (10.7)

Где - средний квадрат ошибок фильтрации.

Остановимся на анализе изменения средней яркости изображения при его фильтрации. Вычислив математическое ожидание от обеих частей (10.2), находим:

, (10.8)

Где принято, что средняя яркость входного изображения не зависит от координат и, как результат, получено, что и средняя яркость выходного изображения
также постоянна во всех точках кадра. Очень часто при обработке стремятся сохранить среднюю яркость изображения. Как следует из полученного выражения, достичь этого удается при выполнении равенства

, (10.9)

Которое является дополнительным требованием к импульсной характеристике фильтра. Поэтому оптимизационную задачу (10.3) необходимо решать с учетом данного ограничения типа равенства.

Вместо этого часто перед фильтрацией осуществляют вычитание средней яркости из входного изображения. Как следует из (10.8), среднее значение яркости на выходе фильтра при этом также равно нулю независимо от свойств импульсной характеристики. Это позволяет решать систему уравнений (10.6), игнорируя преобразование средней яркости. Желаемое же ее значение восстанавливается после фильтрации простым прибавлением к выходному эффекту.

^ Масочная фильтрация изображений при наличии аддитивного белого шума. Распространенным видом помехи является белый шум, аддитивно воздействующий на изображение. Наблюдаемое в этом случае изображение (10.1) имеет вид:

А корреляционная функция шума описывается выражением:

.

Здесь – дисперсия шума, а - символ Кронекера. Считаем, что входной сигнал центрирован, т.е. имеет нулевое математическое ожидание, а изображение и шум взаимно независимы, поэтому для корреляционной функции входного сигнала справедливо:

Где - дисперсия, а - нормированная корреляционная функция полезного сигнала. Нетрудно видеть, что в этих условиях взаимная корреляционная функция совпадает с корреляционной функцией полезного сигнала . Поэтому уравнение Винера -Хопфа (3.6) приводится к виду:

, (10.11)

Где - отношение дисперсий сигнала и шума.

Преобразуем также выражение (10.7) для ошибок фильтрации, для чего запишем в явном виде то из уравнений в (10.11), которое соответствует значениям : , откуда находим:

. Сравнивая это соотношение с (10.7), окончательно получаем:

,

Где - относительный средний квадрат ошибок фильтрации. Таким образом, для определения ошибок фильтрации необходимо знать отношение сигнал/шум (которое входит также и в уравнение Винера-Хопфа) и значение оптимальной импульсной характеристики в точке (0,0).

Для того чтобы при решении уравнения (10.11) воспользоваться существующими программными средствами ЭВМ, необходимо выполнить его упорядоченное преобразование к каноническому векторно-матричному виду. Для этого требуется совокупность неизвестных величин представить в виде вектора . Точно также множество величин, образующих левые части (10.11), следует представить в виде вектора , а множество коэффициентов правой части в виде матрицы размера . Тогда уравнение и его решение примут вид:

В практике цифровой обработки изображений широко используется масочная фильтрация. Ее линейная разновидность является одним из вариантов двумерной КИХ-фильтрации. В качестве маски используется множество весовых коэффициентов, заданных во всех точках окрестности , обычно симметрично окружающих рабочую точку кадра. Распространенным видом окрестности, часто применяемым на практике, является квадрат 33 с рабочим элементом в центре, изображенный на рис. 10.1.б. Применяют различные разновидности масок, одним из эвристических вариантов является равномерная маска, все девять весовых коэффициентов которой равны 1/9. Такой выбор коэффициентов отвечает условию сохранения средней яркости (10.9) и поэтому в процессе обработки центрировать изображение не требуется.

Визуально эффективность фильтрации можно оценить с помощью рис.10.2. На рис. 10.2.а показан зашумленный портрет (изображение без шума приведено на рис. 9.3.а) при отношении сигнал/шум равном -5дБ. Результат масочной фильтрации при оптимальном виде ИХ, найденной из (10.11), приведен на рис.10.2.б. Результат фильтрации, выполненной равномерным масочным оператором не приводится, поскольку с визуальной точки зрения он мало отличается от рис.10.2.б. При этом, однако, с количественной точки зрения различия достаточно заметны: если при оптимальной КИХ относительная ошибка , то при равномерной КИХ она возрастает почти на 30% и составляет . Различие резко возрастает при более высоком уровне шума. Так, например, при отношении сигнал/шум равном -10дБ имеем и , т.е. применение равномерной КИХ вместо оптимальной приводит в этом случае к увеличению ошибок более чем вдвое.

Здесь полезно отметить определенное разногласие в оценках качества, даваемых человеческим глазом и применяемыми количественными показателями. Глаз является слишком совершенным изобретением природы, чтобы с ним могли соревноваться достаточно примитивные математические показатели типа среднего квадрата ошибок. Поэтому некоторые результаты, рассматриваемые с точки зрения математических показателей как катастрофические, визуально могут быть вполне удовлетворительными. Означает ли это, что математические критерии вообще непригодны при цифровой обработке изображений? Конечно, нет. Цифровая обработка изображений находит применение в различных информационных системах с автоматическим принятием решений, основанным на этой обработке.

Функционирование таких систем, где отсутствует человеческий глаз, полностью подчинено математическим критериям и качество их работы оценивается только математическими показателями. Понятно, что и качество изображений, используемых в этих системах, также должно оцениваться только математическими критериями.

В заключение данного параграфа подчеркнем, что в целом применение описанных процедур фильтрации приводит к существенному снижению уровня шума на изображении. Количественно эффективность данной обработки можно охарактеризовать коэффициентом улучшения отношения сигнал/шум , где учтено, что величина определяет отношение сигнал/шум после фильтрации. Улучшение зависит от уровня шума на исходном изображении и составляет в приведенном эксперименте при дБ и при дБ. Коэффициент улучшения тем выше, чем сильнее шум на исходном изображении.
^ Рекуррентная каузальная фильтрация изображений. Проблема борьбы с шумом не решается полностью применением масочных фильтров по следующим причинам. Во-первых, ограниченность размера окрестности, используемой масочным фильтром, приводит к его потенциально ограниченной способности к подавлению шума. Это проявляется при значительном уровне шума на изображении - в меньшей степени при оптимальном выборе КИХ, сильнее при неоптимальной КИХ. Можно, конечно, увеличивать размер окрестности, прибегая к использованию КИХ-фильтров с более длинными импульсными характеристиками. Однако при этом усиливается второй недостаток масочного фильтра, состоящий в его и без того достаточно высокой вычислительной трудоемкости.

В настоящее время отсутствуют методы двумерной фильтрации, в которых сочетаются предельно достижимое качество фильтрации и низкие требования к вычислительным ресурсам ЭВМ, реализующей обработку. Существует много подходов к решению данной проблемы, но все они для достижения компромисса между точностью и реализуемостью прибегают к тем или иным приближениям. Рассмотрим один из них.

Идея заключается в использовании двумерного БИХ-фильтра с таким видом импульсной характеристики, при которой его практическая реализация была бы простой, и с такими параметрами этой импульсной характеристики, при которых эффективность фильтрации приближалась бы к потенциально возможной. Создать фильтр с такими свойствами удается на основе аналогии с одномерным фильтром Калмана.

Наиболее простым примером одномерной фильтрации является калмановская фильтрация однородной стационарной гауссовской последовательности, имеющей корреляционную функцию экспоненциального вида

Здесь - дисперсия последовательности, а - коэффициент ее одношаговой корреляции, определяемый параметром , имеющим смысл ширины спектра последовательности. При ее наблюдении на фоне гауссовского белого шума оптимальный каузальный фильтр реализуется рекуррентным алгоритмом, который в стационарном (установившемся) режиме фильтрации имеет вид:

Нетрудно установить, что импульсная характеристика этого фильтра имеет экспоненциальный вид:

Где - параметр, лежащий в пределах , и получивший название коэффициента усиления фильтра Калмана. Первое слагаемое в алгоритме (10.12) определяет вклад в оценку сигнала на текущем -м шаге фильтрации, вносимый оценкой предыдущего шага, и называется одношаговым прогнозом. Второе учитывает влияние текущего наблюдения и называется новой информацией. Коэффициент усиления определяет чувствительность фильтра к этой новой информации. При высоком уровне шума параметр приближается к нулю. При этом, кроме общего снижения ИХ, увеличивается параметр , приближаясь к единице. Это означает удлинение импульсной характеристики и, следовательно, сужение полосы пропускаемых фильтром частот. Очевидно, эти свойства ИХ способствуют эффективной фильтрации шума. При снижении шума, наоборот, стремится к единице, - к нулю, что соответствует расширению полосы частот до бесконечности. Здесь уместно отметить, что фильтрация не только ослабляет действие шума, но, к сожалению, и вносит так называемые динамические искажения в полезный сигнал. Механизм этих искажений очень прост и заключается в неравной передаче на выход фильтра различных спектральных компонент сигнала. Фильтр Калмана “ведет себя” вполне разумно, когда при исчезновении шума на входе расширяет полосу пропускаемых частот до бесконечности, поскольку именно при этом условии исчезают и динамические ошибки фильтрации.

Отталкиваясь от (3.13) как от одномерного аналога, будем находить двумерную БИХ для каузальной фильтрации изображений от некоррелированного шума в виде двумерной экспоненты:

Здесь, как и в случае одномерного фильтра, - коэффициент одношаговой корреляции изображения по строке и по столбцу, которые будем здесь считать одинаковыми. Для определения параметра (или ), остающегося единственным неизвестным параметром двумерного фильтра, воспользуемся уравнением Винера-Хопфа в форме (3.4), переписав его в виде:

Замечая, что выражение в круглых скобках является ошибкой фильтрации, представим эту формулу в виде:

. (10.15)

Смысл данного выражения состоит в том, что при оптимальной линейной фильтрации ошибка ортогональна всем элементам наблюдаемых данных, используемых при фильтрации. Но тогда нетрудно убедиться и в ортогональности ошибки и результата фильтрации (получаемой оценки)

, (10.16)

Для чего достаточно вычислить левую часть этого выражения с учетом (10.2) и (10.15).

Для дальнейшего необходимо воспользоваться в (10.16) принятым представлением импульсной характеристики (10.14), в результате данное соотношение превращается в уравнение относительно искомого параметра . В него входят корреляционная функция сигнала и взаимно-корреляционная функция сигнала и наблюдаемых данных. Поэтому необходимо конкретизировать корреляционную функцию сигнала, в качестве которой воспользуемся биэкспоненциальным представлением:

. (10.17)

С учетом этого, считая, что кадр имеет бесконечные размеры (это позволяет принять бесконечными соответствующие пределы суммирования в (10.2), можно получить следующее алгебраическое уравнение

(10.18)
относительно параметра , численное решение которого не представляет проблемы. Анализируя (3.18), легко заметить, что при это уравнение

Удовлетворяется при , а при его решением является . Эти предельные значения можно интерпретировать как изменения частотно-полосовых характеристик двумерного фильтра, аналогичные поведению параметров фильтра Калмана в подобных предельных ситуациях.

Подставив в (10.7) выражения ИХ (10.14) и корреляционной функции (10.17), можно получить следующую формулу для среднего квадрата ошибок фильтрации:

.

Рекуррентный характер алгоритма (10.19) является важным положительным качеством рассматриваемого фильтра. Как следует из (10.19), его работа требует выполнения на каждом шаге обработки всего трех операций умножения и трех суммирования, причем структура алгоритма универсальна и, в частности, не зависит от отношения сигнал/шум. Для сравнения, масочный фильтр с размером окрестности 33 элементов требует выполнения на каждом шаге при общем виде КИХ девяти умножений и восьми суммирований. Таким образом, по количеству операций рекуррентный фильтр выигрывает у простейшего масочного практически в три раза. Очевидно, что попытка улучшить качество фильтрации масочным фильтром за счет увеличения размера применяемой окрестности приводит к увеличению числа операций и дальнейшему увеличению его проигрыша по этой характеристике.

При фильтрации реальных изображений ограниченного размера возникает граничная проблема получения оценок в точках нулевой строки и нулевого столбца. Естественным решением является использование здесь обычной (одномерной) калмановской фильтрации.

Пример применения описанного двумерного фильтра показан на рис. 10.3, где представлен результат эксперимента с тем же портретом и при том же отношении сигнал/шум -5 дБ, что и при испытании масочного фильтра.

Поэтому здесь не приводится показанное на рис.10.2.а входное изображение с шумом. Результат двумерной рекуррентной фильтрации представлен на рис.10.3.а, а на рис.10.3.б для сравнения повторен результат оптимальной масочной фильтрации (рис.10.2.б). Визуальная оценка говорит в пользу двумерного рекуррентного фильтра, поскольку уровень остаточного шума на рис.10.3.а ниже. Сравнение по среднему квадрату ошибок совпадает с субъективной оценкой: величина при масочной фильтрации составляет, как говорилось ранее, 0.309, а при двумерной рекуррентной - 0.29. Различие заметно усиливается при более высоком уровне шума. Так, при отношении сигнал/шум -10 дБ имеем соответственно равным 0.57 и 0.43.

Необходимо отметить, однако, следующее. Вместе с уменьшением уровня шума при двумерной рекуррентной фильтрации наблюдается более значительная утрата резкости обработанного изображения. Это является проявлением упоминавшихся выше динамических искажений, более сильных при бесконечной импульсной характеристике, чем при конечной.

Во-вторых, рассмотренный двумерный фильтр не является абсолютно оптимальным, поскольку его структура определена волевым решением при выборе ИХ в виде (10.14). Поэтому и получаемое при его помощи ослабление шума не является предельным.

^ Применение фильтра Винера для некаузальной двумерной фильтрации. Потенциально наилучшие результаты обработки изображения, в частности, результаты фильтрации, достигаются при использовании некаузального принципа, поскольку этот принцип основан на применении абсолютно всех исходных данных при обработке каждой точки кадра. Понятно, что при рациональном использования этих данных получаемый эффект максимален. Одним из известных вариантов линейной некаузальной фильтрации изображений является фильтр Винера. Его применение связано с предположением о стационарности изображения. Поскольку наличие краев изображения служит нарушением стационарности, то винеровская фильтрация, не является строго оптимальной. Однако при размерах кадра, значительно превышающих интервал корреляции изображения, влияние границ является малым. Эти соображения служат важным стимулом к применению винеровской фильтрации для борьбы с шумом.

Технически фильтр Винера реализуется при помощи дискретного преобразования Фурье в частотной области . Поэтому, прежде чем рассматривать уравнение Винера-Хопфа, которое остается методологической основой фильтрации помех и в этом случае, нам необходимо познакомиться с двумерным дискретным преобразованием Фурье (ДПФ), некоторыми его свойствами и принципами линейной фильтрации на основе ДПФ.
^ 10.2 Двумерное дискретное преобразование Фурье

Обозначим через (10.20)

Двумерное поле (двумерный сигнал), описывающее дискретное изображение размера строк и столбцов. Вне указанных границ этот сигнал не определен. Выполним периодическое продолжение данного финитного сигнала, введя двумерный периодический сигнал

. (10.21)

Если сигнал существует только внутри прямоугольника со сторонами элементов

Результаты восстановления расфокусированных изображений

При расфокусировке искажающая система хорошо аппроксимируется цилиндрической функцией рассеяния точки (ФРТ) радиуса r.

Цилиндрическая ФРТ

Ниже приведены результаты восстановления трёх реальных расфокусированных изображений одного и того же объекта (страницы книги). Съёмка проводилась без штатива с расстояния примерно 50 см. Степень расфокусировки объектива вручную увеличивалась от кадра к кадру. Параметры фильтра Винера r и отношение сигнал/шум (SNR) подбирались вручную таким образом, чтобы обеспечить наилучшее визуальное качество восстановления. Для компенсации краевых эффектов производится плавное уменьшение яркости изображения на краях.

Изображение A

Результат восстановления изображения A. r = 53, SNR = 5200

Изображение B

Результат восстановления изображения B. r = 66, SNR = 4400

Изображение C

Результат восстановления изображения C. r = 102, SNR = 7100

Видно, что даже при существенной расфокусировке читаемость текста практически
полностью восстанавливается.

Результаты восстановления смазанных изображений автомобильных номеров

Смаз изображения возникает при взаимном движении камеры и объекта относительно друг друга во время экспозиции. Рассмотрим только тот случай, когда снимаемый объект линейно перемещается относительно неподвижной камеры. В таком случае искажающая система хорошо аппроксимируется ФРТ в виде отрезка, который направлен вдоль движения объекта. Такая ФРТ задаётся двумя параметрами: L длина и THETA угол смаза.

ФРТ при линейном смазе

Ниже представлено искажённое изображение двух легковых автомобилей, полученное при недостаточно короткой экспозиции, приведшей к появлению заметного смаза.

Искажённое изображение двух легковых автомобилей

Ниже представлены результаты восстановления номеров обоих автомобилей с помощью фильтра Винера. Значение параметров L, THETA и SNR подбирались таким образом, чтобы обеспечить наилучшее визуальное качество восстановления номера автомобиля.

Результат восстановления номера светлого автомобиля. L = 78, THETA = 15, SNR = 300

Результат восстановления номера тёмного автомобиля. L = 125, THETA = 0, SNR = 700

Видно, что даже при значительном смазе удаётся восстановить читаемость номеров
автомобилей.

Алгоритм фильтрации реализован на C++ OpenCV в виде консольного приложения.
Исходные коды можно найти по ссылкам ниже.

Литература

1. R.C. Gonzalez, R.E. Woods. Digital image fundamentals. 1987.
2. И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор. Цифровая обработка изображений в информационных системах. 2000.

Результаты восстановления расфокусированных изображений

При расфокусировке искажающая система хорошо аппроксимируется цилиндрической функцией рассеяния точки (ФРТ) радиуса r.

Цилиндрическая ФРТ

Ниже приведены результаты восстановления трёх реальных расфокусированных изображений одного и того же объекта (страницы книги). Съёмка проводилась без штатива с расстояния примерно 50 см. Степень расфокусировки объектива вручную увеличивалась от кадра к кадру. Параметры фильтра Винера r и отношение сигнал/шум (SNR) подбирались вручную таким образом, чтобы обеспечить наилучшее визуальное качество восстановления. Для компенсации краевых эффектов производится плавное уменьшение яркости изображения на краях.

Изображение A

Результат восстановления изображения A. r = 53, SNR = 5200

Изображение B

Результат восстановления изображения B. r = 66, SNR = 4400

Изображение C

Результат восстановления изображения C. r = 102, SNR = 7100

Видно, что даже при существенной расфокусировке читаемость текста практически
полностью восстанавливается.

Результаты восстановления смазанных изображений автомобильных номеров

Смаз изображения возникает при взаимном движении камеры и объекта относительно друг друга во время экспозиции. Рассмотрим только тот случай, когда снимаемый объект линейно перемещается относительно неподвижной камеры. В таком случае искажающая система хорошо аппроксимируется ФРТ в виде отрезка, который направлен вдоль движения объекта. Такая ФРТ задаётся двумя параметрами: L длина и THETA угол смаза.

ФРТ при линейном смазе

Ниже представлено искажённое изображение двух легковых автомобилей, полученное при недостаточно короткой экспозиции, приведшей к появлению заметного смаза.

Искажённое изображение двух легковых автомобилей

Ниже представлены результаты восстановления номеров обоих автомобилей с помощью фильтра Винера. Значение параметров L, THETA и SNR подбирались таким образом, чтобы обеспечить наилучшее визуальное качество восстановления номера автомобиля.

Результат восстановления номера светлого автомобиля. L = 78, THETA = 15, SNR = 300

Результат восстановления номера тёмного автомобиля. L = 125, THETA = 0, SNR = 700

Видно, что даже при значительном смазе удаётся восстановить читаемость номеров
автомобилей.

Алгоритм фильтрации реализован на C++ OpenCV в виде консольного приложения.
Исходные коды можно найти по ссылкам ниже.

Литература

1. R.C. Gonzalez, R.E. Woods. Digital image fundamentals. 1987.
2. И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор. Цифровая обработка изображений в информационных системах. 2000.

Инверсная фильтрация обладает низкой помехоустойчивостью, потому что этот метод не учитывает зашумленность наблюдаемого изображения. Значительно менее подвержен влиянию помех и сингулярностей, обусловленных нулями передаточной функции искажающей системы, фильтр Винера , т.к. при его синтезе наряду с видом ФРТ используется информация о спектральных плотностях мощности изображения и шума.

Спектральная плотность сигнала определяется соотношением:

где – автокорреляционная функция.

Взаимная спектральная плотность сигнала определяется соотношением:

, (14)

где – функция взаимной корреляции.

При построении фильтра Винера ставится задача минимизации среднеквадратического отклонения обработанного изображения от предмета:

где – математическое ожидание. Преобразуя эти выражения можно показать, что минимум достигается, когда передаточная функция определяется следующим выражением:

.

Дальнейший анализ показывает, что восстановление изображения, формирование которого описывается выражением должно осуществляться с использованием следующего ОПФ восстанавливающего преобразователя:

Если шума на изображении нет, то спектральная плотность функции шума равна 0 и выражение, которое называют фильтром Винера, превращается в обычный обратный фильтр.

При уменьшении спектральной плотности мощности исходного изображения передаточная функция фильтра Винера стремится к нулю. Для изображений это характерно на верхних частотах.

На частотах, соответствующих нулям передаточной функции формирующей системы, передаточная функция фильтра Винера также равна нулю. Таким образом, решается проблема сингулярности восстанавливающего фильтра.

Рис. 1. Примеры фильтров

Примеры восстановления показывают, что фильтр Винера значительно лучше подавляет шумы. Осциллирующая помеха на результатах восстановления изображения вызвана краевыми эффектами. Очевидно, что ее уровень существенно меньше, чем при инверсной фильтрации, однако винеровский фильтр лишь частично компенсирует краевые эффекты, которые делают качество восстановления неудовлетворительным. Компенсацией краевых эффектов занимаются специально. Однако эти методы не являются оптимальными и не всегда обеспечивают эффективную компенсацию искажений и избавление от краевых эффектов одновременно.

Инверсная фильтрация обладает низкой помехоустойчивостью, потому что этот метод не учитывает зашумленность наблюдаемого изображения. Значительно менее подвержен влиянию помех и сингулярностей, обусловленных нулями передаточной функции искажающей системы, фильтр Винера (смотри главу 3), т.к. при его синтезе наряду с видом ФРТ используется информация о спектральных плотностях мощности изображения и шума. При этом полагается, что изображение является реализацией случайного двумерного поля. Частотная характеристика восстанавливающего фильтра Винера, полученная для периодически продолженных изображений, с учетом (2.34) имеет вид

где , , - спектральные плотности мощности периодически продолженных шума, наблюдаемого и исходного изображений; - взаимная спектральная плотность мощности периодически продолженных исходного и наблюдаемого изображений; - символ комплексного сопряжения. Как и при инверсной фильтрации, обработка производится в частотной области.

Преобразуем передаточную функцию фильтра Винера (4.28) следующим образом:

(4.29)

Анализируя соотношения (4.28) и (4.29), можно отметить следующее:

1. При отсутствии шума фильтр Винера переходит в инверсный фильтр. Следовательно, в области низких частот, где, как правило, отношение сигнал/шум велико, передаточные функции инверсного и винеровского фильтров практически совпадают.

2. При уменьшении спектральной плотности мощности исходного изображения передаточная функция фильтра Винера стремится к нулю. Для изображений это характерно на верхних частотах.

3. На частотах, соответствующих нулям передаточной функции формирующей системы, передаточная функция фильтра Винера также равна нулю. Таким образом решается проблема сингулярности восстанавливающего фильтра.

На рис. 4.18 приведены одномерные сечения типичных передаточных функций винеровских фильтров (сплошная линия). Здесь же для сравнения приведены сечения передаточных функций инверсных фильтров (4.15) и (4.16), которые обозначены штриховой линией.

Рассмотрим результаты моделирования винеровского алгоритма восстановления. На рис. 4.19.а и 4.21.а приведены результаты искажения изображений «Сатурн» и «Часы» сверткой с гауссовской ФРТ () с последующим «обрезанием» краев и добавлением аддитивного дельта-коррелированного шума (). На рис. 4.20.а и 4.22.б приведены изображения, полученные в результате смаза () изображений «Сатурн» (рис. 4.6) и «Часы» (рис. 4.22.а) () также с последующим «обрезанием» краев и добавлением аддитивного дельта-коррелированного шума ().

Размеры всех наблюдаемых и восстановленных изображений равны элементов. Результаты восстановления винеровским фильтром изображения «Сатурн» (рис. 4.19.б и рис.4.20.б) свидетельствуют о том, что фильтр Винера значительно лучше подавляет шумы. Осциллирующая помеха на результатах восстановления изображения «Часы» (рис. 4.21.б и рис.4.22.в) вызвана краевыми эффектами. Очевидно, что ее уровень существенно меньше, чем при инверсной фильтрации (см. рис.4.13.в). Однако винеровский фильтр лишь частично компенсирует краевые эффекты, которые делают качество восстановления неудовлетворительным.

Таким образом, за счет использования информации о спектральных характеристиках изображения и шума, фильтр Винера обладает относительно высокой помехоустойчивостью и у него отсутствует сингулярность, обусловленная нулями передаточной функции формирующей системы. Основным недостатком фильтра Винера остается наличие краевых эффектов, которые проявляются в виде осциллирующей помехи, маскирующей восстановленное изображение.