Image Processing Toolbox. Краткий курс теории обработки изображений
Мы полагаем, что на практике наиболее широко применимым метопом деконволюции слелуегг считать мультипликативный метод винеровской фильтрации (см. § 16). Рассматриваемый здесь пример иллюстрирует различные практические аспекты винеровской фильтрации с применением некоторых методов предварительной обработки, описанных в § 15.
На рис. 3, а показан фрагмент изображения а из примера 1. Здесь мы принимаем изображение а за истинное изображение (см. § 4, первый абзац). Предположим теперь, что этот фрагмент фотографируется несфокусированной камерой, так что получается искаженное изображение с которой свертывается изображение а для получения изображения имеет форму однородного кружка (см. табл. 1.1) диаметром 15 элементов, что соответствует изображению а на рис. 2 в примере 2. Допустим, что, если не считать несфокусированности объектива, получаемые нами фотографии имеют столь высокое качество, что на искаженном изображении в имеется только шум квантования, связанный с восьмиразрядной точностью дискретизации. Далее мы покажем, что такое практически незашумленное исходное идеальное искаженное изображение [см. определения (3.4) и Изображение - это полный искаженный вариант изображения а. Последнее содержит 242 х 242 элементов, тогда как изображение состоит из 256 х 256 элементов. Поскольку диаметр ФРТ равен 15 элементам, максимальное горизонтальное (или вертикальное) размытие каждой точки на изображении а составляет 7 элементов слева и справа (или нверх и вниз), чем и объясняется, что изображение имеет на 14 элементов больше, чем изображение а, как в горизонтальном, так и в вертикальном направлениях. Поскольку изображение является «незашумленным», можно без труда практически идеально восстановить изображение а методом винеровской фильтрации. Отмстим, что «полнота» изображения имеет даже более существенное значение, чем отсутствие зашумленности. Различные виды искаженных изображений, которые встречается в практических приложениях, всегда записаны в кадрах конечных размеров, так что информация, содержащаяся в «заданном» искаженном изображении, всегда как-то «обрезана» вблизи границ. При попытках восстановить истинное изображение, исходя из усеченного искаженного изображения, мы обычно встречаемся со значительными трудностями.
Тэперь предположим, что вместо изображения у нас имеется изображение 6, состоящее из центральных 228 х 228 элементов изображения Резкое усечение по внешней границе изображения в сводят на нет процедуры восстановления, если не принять соответствующих мер. На практике эти краевые эффекты оказываются даже более
(кликните для просмотра скана)
важными, чем зашумленность изображения. Поэтому качество восстановленных изображения, полученных на основе изображения я, незначительно изменилось бы, если бы мы добавили к последнему некий реальный уровень шума. (Конечно, нам ничего не стоило добавить шум к изображению и, но тогда нам пришлось бы кшорить о влиянии уровня шума, что сильно увеличило бы объем данного примера. Читатель, у которого возннка сомнения по поводу того, что эффект усечении можез быть более существенным, чем влияние шума в реальных искаженных изображениях, может обратиться к литературе. указанной в вволных замечаниях к данной главе).
Изображения и демонстрируют, что происходит, когда винерозекан фильтрации осуществляется без отмеченных мер предосторожности (т. е. без предварительной обработки. рассматриваемо» в § 15). Величина введенная в формуле (16.5), предполагается постоянной, т. е. равной константе фильтра которая введена после формулы (16.8). При получении изображений гид были взяты жачення константы равные 0.0009 и 0,01. Артефакты в виде «ряби» и низкая четкость «восстановленных» деталей типичны для искаженных изображений, подвергнутых винеровской фильтрации без предварительной обработки. Эти два изображения позволяют сделать еще один важный практический вывол: качество восстановленного изображения в какой-то мере зависит от взятого значения константы
Отмстим олин вычислительный момент практического характера, связанный к изображениями Поскольку винсровская фильтрация оенпнанз на преобразовании Фурье, для экономии машинного времени приходится прибегать к алгоритму БПФ (см. § 12 и пример 2). Для этого нужно, чтобы изображения, которые трубуется фильтровать. состояли из элементов, где целое положительное число. Мы могли бы «дополнить нулями» изображение в [см. § 12, перед абэаием, содержащим формулы (12.14) - (12.17)]. Но мы предпочли «участить» его методом билинейной интерполяции (см. § 45 и текст, относящийся к формуле (47.1)]. гак чтобы и нем было элементов. После вннеровскон фильтрации «частота» каждого восстановленного изображения (т. е. была снопа уменьшена до элементов.
Прежде чем демонстрировать выгоды предварительной обработки, рассмотрим кадра которые определены в § 15 и представлены на рис. 3. о. Кадр это кадр записи, в пределах которого существует фактически записанное изображение (см. § 4). В нашем примере кадр из 228 х 228 элементов, содержащий изображение в. Иногда оказывается удобным считать, что имеется некое «исходное изображение». лишь частью которого является рассматриваемое истинное изображение (т. е. в нашем примере изображение а). Но если фактически записанное изображение есть все, что нам известно, то мы можем получить какую-либо информацию только о той части исходного изображения, которая непосредственно влияет на фактически записанное изображение. Действие состоит в том, что каждая точка исходного изображения размывается к некую область плоскости изображения с центром в Исходной точке, по площади равную кадру ФРТ. Последний представляет собой минимальный прямоугольный кадр, содержащий все точки х, в которых величина заметно отлична от нуля (в данном примере это квадрат размером элементов). Вообще говоря, ширина ФРТ неодинакова слева (скажем, в пределах элементов), справа (в пределах элементов), вверху (в пределах элементов) и внизу (в пределах элементов); поэтому кадр состоит из элементов, так как нулевое искажение характеризуется кадром ФРТ, содержащим один элемент (а не нуль элементов!) в рассматриваемом примере Таким образом, ФРТ размывает часть исходною изображения, лежащую в пределах области в кадр на рис. 3, а), размеры которого равны размерам области плюс элементов в горизонтальном направлении и элементов в вертикальном направлении (в нашем примере кадр состоит их элементов). Обратно, ФРТ размывает на область по
крайней мере частично, каждую точку исходного изображения, которая лежит в пределах калра И. Поэтому часть исходного изображения, лежащая в пределах кадра и есть та часть, которая оказывает непосредственное влияние на фактически записанное изображение. Назовем эту часть исходною изображения истинным изображением (в нашем примере это изображение а). Кроме того, размывает истинное изображение на больший кадр на рис. 3. а), размеры которою равны размерам кадра увеличенным на элементов изображения в горизонтальном направлении и элементов в вертикальном направлении; в нашем примере кадр (состоит из 256 х 256 элементов (это кадр, ограничивающий изображение 6).
Желательно иметь какой-то объективный критерий качества восстановления. Мы здесь выбрали критерий средней абсолютной ошибки
Элемент восстановленного изображения, истинного изображения (обозначение показывает, что все элементы изображения лежат в пределах калра . На рис. 3. и представлена зависимость величины (5 от Кривая А подтверждает вывод, сделанный выше о том, что изображение а можно более или менее хорошо восстановить по изображению если величина достаточно мала, то величина (2 становится ничтожно малой. Кривая И показывает, что наилучшее восстановление изображения в (без предварительной обработки) соответствует весьма значительному уровню зашумленности (эквивалентный среднеквадратичный «уровень шума» составляет что существенно выше, чем в большей части важных практических приложений, и этим подтверждается сделанный ранее вывод о том. что эффект усечения изображения в может доминировать над влиянием любого реального уровня зашумленности).
Чтобы критерий ошибки имел значимость, все изображения, рассматриваемые в данном примере, нормированы так, что все квантованные отсчеты изображений лежат в пределах
Теперь мы можем проиллюстрировать улучшение качества восстановленного изображения, которое достигается методом предварительной обработки - расширением границ, описанным в абзаце, содержащем формулу (15.34), и в шести последующих абзацах. Изображение это результат применения метода расширения границ с целью получить из изображения в оценку идеального искаженного изображения (которое существует на кадре Подчеркнем, что не может быть и речи о том, чтобы достоверно восстановить часть изображения лежащую между границами кадров . От применения метола расширения границ можно ожидать только компенсации эффектов усечения - о восстановлении истинного изображения вне области нечего и думать. Изображение есть наилучший результат восстановления по изображению (соответствует минимуму кривой С на рис. 3, н). По сравнению с изображением здесь заметное улучшение, но многие детали изображения остаются еще несколько искаженными и имеется остаточная «рябь», которая обусловлена тем, что простое расширение границ не позволяет получить искаженное изображение, достаточно близкое к свертке истинною изображения с в этом проявляется принципиальная несогласованность конечных сверток (см. § 14).
Изображение з - это полученная из изображения в методом расширения границ с перекрыванием оценка периодически продолженного (с перекрыванием) искаженною изображения (оно повторяется в плоскости изображения в смежных ячейках, каждая из которых конгруэнтна кадру изображение з отвечает одной такой ячейке). Изображение и - наилучшее восстановленное изображение, которое можно получить из изображения изображение и соответствует минимуму кривой на рис. Налицо значительное улучшение по сравнению с изображением Хотя некоторые мелкие
детали, имеющиеся на изображении а, не четко восстанавливаются на изображении и. шссь значительно меньше «ряби», которая сильно портит изображения и в меньшей степени Это проявление принципиальной несогласованности периодических сверток, отмеченное в следующем абзаце после формулы (14.8). Здесь видно, насколько важно с чисто практической точки зрения следить за тем, чтобы расчеты как можно более согласовались с формулами математической физики, на которых оснеован тот или иной процесс обработки, если это, конечно, можно сделать без больших усложнения. Изображение к - результат применения винеровской фильтрации к изображению при Изображение к лишь немного хуже изображения и, чем подтверждается наш вывод о том, что качество восстановленного изображения почти не зависит от величины если она достаточно близка к оптимальному значению.
Теперь покажем, к чему приводит в случае винеровского фильтра применение неверной ФРТ. Изображение восстановлено по изображению з с применением гауссовской ФРТ (см. табл. 1.1.) вместо ФРТ, отвечающей расфокусировке. Эффективный диаметр гауссовского «колокола» был таким же, как и диаметр кружка ФРТ в случае расфокусировки (этот кружок представлен на рис. 2 а, а случай гауссовского размытия - на рис. 1, е). Изображение получено в результате восстановления с ФРТ. отвечающей расфокусировке, но при диаметре кружка, равном 19. а не 15 элементам изображения. Константа в случае изображений была взята такой же, как и в случае изображения и. Изображения заметно хуже изображения и. чем подтверждается наш вывод о том, что правильная оценка формы ФРТ важнее, чем точное задание оптимального значения константы фильтра
Результаты восстановления расфокусированных изображений
При расфокусировке искажающая система хорошо аппроксимируется цилиндрической функцией рассеяния точки (ФРТ) радиуса r.
Цилиндрическая ФРТ
Ниже приведены результаты восстановления трёх реальных расфокусированных изображений одного и того же объекта (страницы книги). Съёмка проводилась без штатива с расстояния примерно 50 см. Степень расфокусировки объектива вручную увеличивалась от кадра к кадру. Параметры фильтра Винера r и отношение сигнал/шум (SNR) подбирались вручную таким образом, чтобы обеспечить наилучшее визуальное качество восстановления. Для компенсации краевых эффектов производится плавное уменьшение яркости изображения на краях.
Изображение A
Результат восстановления изображения A. r = 53, SNR = 5200
Изображение B
Результат восстановления изображения B. r = 66, SNR = 4400
Изображение C
Результат восстановления изображения C. r = 102, SNR = 7100
Видно, что даже при существенной расфокусировке читаемость текста практически
полностью восстанавливается.
Результаты восстановления смазанных изображений автомобильных номеров
Смаз изображения возникает при взаимном движении камеры и объекта относительно друг друга во время экспозиции. Рассмотрим только тот случай, когда снимаемый объект линейно перемещается относительно неподвижной камеры. В таком случае искажающая система хорошо аппроксимируется ФРТ в виде отрезка, который направлен вдоль движения объекта. Такая ФРТ задаётся двумя параметрами: L длина и THETA угол смаза.
ФРТ при линейном смазе
Ниже представлено искажённое изображение двух легковых автомобилей, полученное при недостаточно короткой экспозиции, приведшей к появлению заметного смаза.
Искажённое изображение двух легковых автомобилей
Ниже представлены результаты восстановления номеров обоих автомобилей с помощью фильтра Винера. Значение параметров L, THETA и SNR подбирались таким образом, чтобы обеспечить наилучшее визуальное качество восстановления номера автомобиля.
Результат восстановления номера светлого автомобиля. L = 78, THETA = 15, SNR = 300
Результат восстановления номера тёмного автомобиля. L = 125, THETA = 0, SNR = 700
Видно, что даже при значительном смазе удаётся восстановить читаемость номеров
автомобилей.
Алгоритм фильтрации реализован на C++ OpenCV в виде консольного приложения.
Исходные коды можно найти по ссылкам ниже.
Литература
- R.C. Gonzalez, R.E. Woods. Digital image fundamentals. 1987.
- И.С. Грузман, В.С. Киричук, В.П. Косых, Г.И. Перетягин, А.А. Спектор. Цифровая обработка изображений в информационных системах. 2000.
Реконструкция размытых изображений в MATLAB
Рассмотрим некоторые подходы к решению задачи восстановления изображений с использованием функции протяженности точки. При реализации алгоритмов в среде MATLAB будем использовать соответствующие функции (deblurring functions) пакета Image Processing Toolbox.
Определим некоторые понятия, которыми будем пользоваться в процессе изложения материала.
Деконволюция - процесс, обратный к свертке.
Оператор (функция) искажения - это оператор, который используется для моделирования искаженных изображений. Искажения, вносимые функцией протяженности точки, являются аналогичными тем, которые возникают на практике.
Функция оптического преобразования - в частотной области функция оптического преобразования характеризует отзыв линейной, инвариантной системы на импульс. Функция оптического преобразования является Фурье-преобразованием функции протяженности точки.
Функция протяженности точки - в пространственной области функция протяженности точки характеризует степень, с которой оптическая система размывает (распространяет) точечный свет. Функция протяженности точки является инверсным преобразованием Фурье от функции оптического преобразования.
Рассмотрим коротко основы технологии обработки размытых изображений.
Причины размытости изображений.
Причиной низкого качества (размытости) изображений могут быть различные факторы. Это может быть перемещение камеры в процессе захвата изображений, большое время экспозиции, розфокусировка, атмосферная турбулентность, рассеяние света в конфокальных микроскопах и т. д.
Модель размытых изображений.
Размытые и искаженные изображения приближенно могут быть описаны выражением
где - размытое изображение;
Оператор искажения, определяемый функцией протяженности точки. Свертка этой функции с изображением, является причиной искажений;
Исходное изображение;
Аддитивный шум, который вносится во время захвата изображений и искажает их.
Функция протяженности точки
Исходя из рассмотренной модели, фундаментальная задача восстановления размытых изображений состоит в деконволюции размытого изображения с функцией протяженности точки, которая в точности отображает искажения. Качество обработки размытых изображений определяется, главным образом, знаниями о функции протяженности точки.
Проиллюстрируем это на примере. Для создания функции протяженности точки используем функцию fspecial, которая будет симулировать искажения, обусловленные движением, зададим также длину размытия (LEN=31), и угол степени размытия (THETA=11). После того, как создана функция протяженности точки, используем, например, функцию imfilter для свертки с исходным изображением I, и создания размытого изображения.
I = imread("peppers.png");
I = I(60+,222+,:);
figure; imshow(I); title("Original Image");
LEN = 31;
THETA = 11;
PSF = fspecial("motion",LEN,THETA); % создание функции протяженности точки
Blurred = imfilter(I,PSF,"circular","conv");
figure; imshow(Blurred); title("Blurred Image");
 |
| Исходное изображение Размытое изображение |
Использование функций обработки размытых изображений
В пакете Image Processing Toolbox системы MATLAB существует четыре функции обработки размытых изображений:
- deconvwnr - выполняет восстановление размытых изображений с использованием винероской фильтрации;
- deconvreg - выполняет восстановление размытых изображений с использованием регуляризационных фильтров;
- deconvlucy - выполняет восстановление размытых изображений с использованием алгоритма Лаки-Ричардсона (Lucy-Richardson);
- deconvblind - выполняет восстановление размытых изображений с использованием алгоритма слепой деконволюции;
Функции протяженности точки могут принимать различный вид, который будет определять искажения на изображении. Функция deconvwnr используется при обработке изображений с небольшим разрешением. Функция deconvreg выполняет восстановление минимального квадратного разрешения, которое потом будет характеризовать результирующее изображение. Используя эти функции существует возможность понизить уровень шума в процессе обработки изображений, но при этом нужно задавать некоторые его параметры.
В основу функции deconvlucy положен алгоритм Лаки-Ричардсона (Lucy-Richardson). Эта функция является итерационной, использует технологию оптимизации и статистику Пуассона. Используя эту функцию, не нужно указывать информацию о аддитивном шуме искаженных изображений.
Функция deconvblind используется для реализации алгоритма слепой деконволюции, когда неизвестна функция протяженности точки, искажающая изображение. Результатом работы функции deconvblind является восстановленное изображение и функция протяженности точки. При выполнении алгоритма используются итерационные модели, аналогичные функции deconvlucy.
Восстановление размытых изображений методами винеровской фильтрации
Для восстановления изображений функция deconvwnr использует фильтр Винера. Винеровская деконволюция может быть эффективной, когда частотная характеристика изображения и аддитивного шума известны, хотя бы в небольшой степени. При отсутствии шума фильтр Винера превращается в идеальный инверсный фильтр.
Для восстановления размытых изображений используется модель, учитывающая те особенности функции протяженности точки, которые являются причинами искажений. Когда функция протяженности точки известна точно, тогда результат восстановления размытых изображений очень хороший.
1. Считываем изображение в рабочее пространство MATLAB.
I = imread("peppers.png");
I = I(10+,222+,:);
figure;imshow(I);title("Original Image");
Исходное изображение
2. Создание функции протяженности точки.
LEN = 31;
THETA = 11;
PSF = fspecial("motion",LEN,THETA);
3. Симуляция размытости на изображении.
Blurred = imfilter(I,PSF,"circular","conv");
figure; imshow(Blurred);title("Blurred Image");
Размытое изображение
4. Восстановление размытого изображения.
Изображение восстановленное методами винеровской фильтрации
Анализ результатов обработки
Результаты работы функции deconvolution можно использовать для определения оптимальных аргументов при реализации функции deconvwnr. Используя эти аргументы можно определить соотношение шум-сигнал и/или автокорреляционную функцию для усовершенствования результатов восстановления.
Фильтрация изображений
Как правило, свойства сигнала проявляются не только при наблюдении его в локальной точке, но и при анализе ее окрестности. Естественно, что влияние ближних и дальних точек будет различно. Таким образом, идеология фильтрации изображения основывается на рациональном использовании данных как из рабочей точки, так и из окрестности. При решении этой задачи опираются на использование вероятностных моделей как изображения, так и помехи (шума), а также на статистические критерии оптимальности.
Оптимальная линейная фильтрация. Уравнение Винера-Хопфа.
Пусть наблюдаемое изображение y есть некоторая функция от идеального сигнала x и помехи n . В точке с координатами (i , j ): yij = f (xij , nij ), i =0¸I -1, j =0¸J -1.
Если обе координаты (номер строки и номер столбца) всех точек окрестности не превышают координат рабочей точки (i , j ), т. е. окрестность расположена левее и выше, то фильтрация называется каузальной.
Если обе координаты некоторых точек окрестности выше (i , j ), то фильтрация некаузальная. Если по одной из координат выполняет принцип каузальности, а по второй нет, то это полукаузальная фильтрация.
Такая классификация пошла из теории сигналов с точки зрения физической осуществимости фильтра, работающего в реальном времени. Если при обработке цифрового массива, мы имеем дело с уже сформированным изображением, то соотношение координат уже не играет принципиальной роли.
При линейной фильтрации выходной эффект определяется линейной комбинацией входных данных с весовыми коэффициентами a :
Где S – множество точек образующих окрестность.
Совокупность весовых коэффициентов a представляет собой двумерную импульсную характеристику. Если область S конечна, то импульсная характеристика имеет конечную длину и фильтр называется КИХ-фильтром. Если импульсная характеристика бесконечна, то БИХ-фильтром.
Легко заметить, что от координат рабочей точки (i , j ) импульсная характеристика не зависит. Такая процедура обработки, не зависящая от координат, называется однородной.
В качестве критерия оптимальности для оценки фильтрации выбирается критерий минимума среднего квадрата ошибок:
.
Если вычислить производную этого выражения по коэффициенту a (k ,l ) и приравнять ее 0, то получим
Мат. ожидания, входящие в это выражение есть корреляционная и автокорреляционная функции:
Если корреляционные функции известны, то это выражение есть линейное алгебраическое уравнение относительно коэффициентов а . Если повторять дифференцирование (1) относительно остальных коэффициентов а , то получим систему линейных уравнений. Количество уравнений равно количеству точек в окрестности S - nS . Эта система уравнений называется уравнением Винера-Хопфа. Если разрешить ее относительно всех неизвестных a , то будет найдена импульсная характеристика линейного фильтра, минимизирующего средний квадрат ошибок фильтрации.
Как изменяется средняя яркость изображения при фильтрации?
, то есть средняя яркость входного и выходного изображений не зависят от координат и постоянны во всех точках. Чтобы сохранить среднюю яркость должно выполняться
. Либо перед фильтрацией среднюю яркость вычитают из входного изображения, а после фильтрации ее снова прибавляют.
Рекуррентная каузальная фильтрация
Масочная фильтрация может рассматриваться как один из вариантов двумерной КИХ-фильтрации. Масочные фильтры не решают проблему борьбы с шумом по причине ограниченности размера окрестности. Поэтому стоит задача найти фильтр с бесконечной импульсной характеристикой, такой чтобы эффективность фильтрации приближалась к потенциально возможной, а практическая реализация была простой.
Этим условиям отвечает фильтр Калмана. Пусть полезный сигнал – это однородная стационарная гауссовская последовательность, имеющая корреляционную функцию экспоненциального вида
Если такая последовательность наблюдается на фоне гауссовского белого шума, то оптимальный каузальный фильтр реализуется рекуррентным алгоритмом, который в установившемся режиме имеет вид
Импульсная характеристика этого фильтра имеет экспоненциальный вид
Параметр 0<A <1 это коэффициент усиления фильтра Калмана.
Первое слагаемое в (2) определяет вклад в оценку сигнала на текущем i -ом шаге фильтрации, вносимый оценкой предыдущего шага, и называется одношаговым прогнозом. Второе слагаемое учитывает влияние текущего наблюдения yi и называется новой информацией. Коэффициент усиления А определяет чувствительность фильтра к этой новой информации. При высоком уровне шума параметр А приближается к 0. Это означает удлинение импульсной характеристики и сужение полосы пропускаемых фильтром частот. При снижении шума, наоборот А стремится к 1.
Однако фильтрация не только ослабляет шум, но и вносит динамические искажения в полезный сигнал. Искажения заключаются в неравной передаче на выход фильтра различных спектральных составляющих сигнала.
В двумерном случае БИХ для каузальной фильтрации изображений от некоррелированного шума имеет вид двумерной экспоненты:
Для определения параметра А , воспользуемся уравнением Винера-Хопфа
https://pandia.ru/text/80/293/images/image013_30.gif" width="229" height="23">
Смысл данного выражения в том, что при оптимальной линейной фильтрации ошибка ортогональна всем элементам наблюдаемых данных, используемых при фильтрации, а также и результату фильтрации https://pandia.ru/text/80/293/images/image015_26.gif" width="392" height="28"> (4)
Рекуррентный характер (4) обеспечивает сокращение выполняемых операций. На каждом шаге требуется 3 операции умножения и 3 сложения. Структура алгоритма универсальна и не зависит от отношения сигнал/шум.
Двумерная каузальная рекуррентная фильтрация существенно снижает уровень шума, по сравнению с масочными фильтрами, но и больше теряется резкость.
Некаузальная двумерная фильтрация
Некаузальный принцип позволяет добиться лучших результатов фильтрации, поскольку используются все точки изображения. Рассмотрим линейный фильтр Винера. Технически он реализуется в частотной области при помощи дискретного преобразования Фурье.
В уравнении Винера-Хопфа заменим конечную область S на бесконечную
Вместо реальных функций Bxy , By , a подставим периодически продолженные функции с двумерным периодом RI 1,I 2. При этом область определения импульсной характеристики сужается до размеров прямоугольника RI 1,I 2.
Применим к обеим частям двумерное ДПФhttps://pandia.ru/text/80/293/images/image020_19.gif" width="132" height="59">.
Рассмотрим насколько отличаются обычное и циклическое уравнение Винера-Хопфа. Рисунок иллюстрирует формирование сумм aB . При достаточно большом значении интервала наблюдения I соседние зоны не перекрываются и результаты совпадают. Если же интервал соизмерим с размахом корреляционной функции, то произойдет наложение соседних областей и уравнение исказится. Таким образом винеровская фильтрация должна применяться для достаточно больших изображений.
Эффекты, связанные с периодичность функций отсутствуют для внутренних точек, однако возникают граничные эффекты. Ими либо пренебрегают, а если эти эффекты недопустимы, то область наблюдения функций R I1,I2 удлиняют нулями.
Фильтр Винера лучшим образом подавляет шумы, но и еще больше дефокусирует изображение.
Для винеровской фильтрации требуется знать спектральную плотность мощности изображения. Можно предварительно измерить характеристики по реальному изображению и ввести в ЭВМ в виде таблиц. А можно выбрать математическую модель изображения и по реальному изображению измерить параметры модели. В частности, часто используется модель гауссовского двумерного поля с корреляционной функцией Bx (i, j )= D x F |i|+|j|, где D x – дисперсия, а F - одношаговая корреляция.
Пространственная реставрация изображений
Задачи пространственной реставрации возникают с целью устранения геометрических искажений, коррекции нерезкости и снижения уровня шумов различного происхождения. Реставрацию можно рассматривать как процесс оценивания: некоторое полученное изображение подвергают преобразованию, чтобы найти оценку идеального изображения, которое наблюдалось бы на выходе идеальной гипотетической системы, не вносящей никаких искажений. В качестве основы методов реставрации используют различные модели искажений, возникающих в реальных системах. Существуют 2 подхода к моделированию искажений априорный и апостериорный. В первом случае измеряют отклики физической системы на произвольное изображение. Во втором случае измеряются параметры конкретного искаженного изображения.
Общая схема формирования изображения: исходное, неизвестное изображение u(k, l) проходит через некоторый известный оператор искажений W (омега), в результате получается наблюдаемое изображение s(x, y)= W{ u(k, l) }. Задача реставрации найти оценку u - https://pandia.ru/text/80/293/images/image023_17.gif" width="633" height="44">h (x ,y ) – двумерная импульсная характеристика или функция рассеяния точки искажающей системы.
Следует отметить, что кадр ФРТ не всегда симметричен относительно начала координат. В частности, симметрией ФРТ не обладают каузальные линейные системы. Действие ФРТ сводится к тому, что каждая точка исходного изображения u (k, l ) «размазывается» в некоторую область, ограниченную кадром Qh.
Кадр Qu исходного изображения может быть построен путем перемещения Qh по кадру наблюдаемого изображения Qs. Поэтому, даже если регистрируемый объект имеет бесконечные размеры, наблюдаемое изображение формируется лишь за счет некоторой его части. Причем размеры кадра наблюдаемого изображения всегда меньше размеров исходного или равны им. Размеры кадров исходного и наблюдаемого изображений равны лишь при отсутствии линейных искажений, т. е. когда импульсная характеристика искажающей системы равна дельта-функции. Нас будет интересовать восстановление изображения в пределах кадра Qs. В некоторых случаях удается восстановить изображение в пределах кадра Qu исходного изображения, так как та его часть, которая лежит вне пределов кадра Qs также оказывает влияние на наблюдаемое изображение s (х, у ).
Совместим центр кадра наблюдаемого изображения s с началом координат, тогда
.
Двумерные функции с непрерывными аргументами x, y, k, l заменим на массивы отсчетов с расстоянием D между узлами.
Операция свертки эквивалентна умножению в частотной области. Это позволяет выполнить быструю имитацию линейных искажений с помощью ДПФ, заменив обычную свертку циклической. Как правило, размеры кадра ФРТ много меньше размеров кадра исход-ного изображения, поэтому перед преобразованием массив h должен быть дополнен нулями.
Рассмотрим импульсные и частотные характеристики формирующих систем при смазе и расфокусировке.
Размытие вследствие движения (смаз)
Смаз изображения возникает при взаимном движении камеры и объекта относительно друг друга во время экспозиции. Наблюдаемое изображение окажется как бы результатом наложения со смещением множества исходных изображений. Будем считать, что камера перемещается с постоянной скоростью относительно объекта.
Импульсная характеристика и передаточная функция такой системы
https://pandia.ru/text/80/293/images/image028_16.gif" width="409" height="75">, – целая часть числа.
Восстановление изображений
Решение проблемы восстановления изображений усложняют следующие факторы:
1. Искажения типа расфокусировки или смаза проявляются в ослаблении верхних пространственных частот. При этом отношение сигнал/шум на верхних частотах будет хуже чем в целом по изображению. При восстановлении сигнал должен быть усилен в той же мере в какой он был ослаблен, но при этом усиливаются и шумы. Поэтому улучшение качества по резкости может привести к ухудшению качества по зашумленности.
2. Яркость на краях кадра зависит от яркости объектов, расположенных вне кадра. При восстановлении изображений из-за неполной информации возникают краевые эффекты. Практически можно восстановить только центральную часть изображения, если объекты наблюдаются на постоянном фоне.
3. Если передаточные функции искажающей системы имеют нули, то это приводит к полной утрате данных об исходном изображении на соответствующих частотах.
Алгоритмы восстановления изображений разделяют на 3 группы: алгоритмы решения системы алгебраических уравнений, алгоритмы фильтрации в частотной области и итерационные алгоритмы.
Алгебраические методы восстановления изображений
Линейное искажение исходного изображения при отсутствии шума в дискретном случае имеет вид
https://pandia.ru/text/80/293/images/image032_13.gif" width="13" height="23">.gif" width="59" height="23 src=">
Однако матричное уравнение (5) представляет собой недоопределенную систему линейных алгебраических уравнений, так как количество неизвестных Lu , больше числа уравнений Lz (размеры исходного изображения всегда больше размеров искаженного изображения). Поэтому матрица h является прямоугольной матрицей. Для отыскания решения используются различные методы псевдообращения матриц.
Если увеличить число отсчетов нерезкого изображения, то система будет переопределенной. Также переопределенную систему можно получить если выразить некоторые компоненты вектора идеального изображения через априорные данные. Например, известно, что объект расположен на черном фоне, тогда за пределами контура компоненты u можно считать нулевыми.
Если недоопределенная система разрешима, то она имеет несколько решений. Возникает проблема выбора единственного решения из множества возможных, которое и будет принято за оценку. Среди всех возможных решений недоопределенной разрешимой системы выбирается решение, минимизирующее норму ошибки восстановления
Норма ошибки будет минимальна, если
Обобщенная обратная матрица (6)
В общем случае норма ошибки не равна нулю.
Точное восстановление исходного изображения при отсутствии шумов возможно, во-первых, когда искаженное изображение получено в результате циклической свертки исходного изображения и ФРТ, во-вторых, когда объекты расположены в центре кадра и наблюдаются на фоне постоянной яркости, причем расстояние до границ больше апертуры ФРТ. В этих случаях объекты, расположенные вне кадра не будут влиять на кадр, т. е. ограничение размеров кадра наблюдаемого изображения не приводит к потере информации.
Для искаженных изображений, наблюдаемых в присутствии шумов , добавляются отсчеты вектора-столбца n . Как правило, это делает систему уравнений неразрешимой, т. е. можно найти лишь приближенное решение из условия минимума нормы ошибки:
Оптимальное решение получается также при помощи обобщенной обратной матрицы. Основным недостатком алгебраических алгоритмов восстановления является необходимость выполнения операций обращения, умножения и транспонирования над матрицами огромных размеров. Возможно осуществлять приближенную реставрацию. При этом нерезкое изображение разбивается на фрагменты, которые обрабатываются независимо. Полезно предусматривать перекрытие фрагментов и использовать только их центральные части.
Методы восстановления на основе пространственной фильтрации
Эти методы восстановления изображений реализуются с помощью ДПФ в частотной области. При этом обычная свертка заменяется циклической как в модели формирования искаженного изображения, так и в процедуре восстановления методом пространственной фильтрации..gif" width="309" height="25 src=">
Применяя к этому выражению ДПФ, получаем
https://pandia.ru/text/80/293/images/image041_8.gif" width="152" height="27">.
В пространственно-частотной области спектр оценки можно записать как
Инверсный фильтр
Простейший способ восстановления четкости искаженного изображения это обработка его в частотной области инверсным фильтром. Передаточная функция определяется соотношением . Спектр оценки исходного изображения
При отсутствии шума достигается точное восстановление исходного изображения. При наличии шума к исходному изображению добавляется этот шум, прошедший через инверсный фильтр.
Обычно передаточная функция формирующей системы стремится к нулю на высоких частотах. Кроме того, нули могут быть и в рабочей полосе частот. При этом инверсный фильтр становится сингулярным, т. е. на соответствующих частотах передаточная функция инверсного фильтра стремится к бесконечности. Наличие даже слабого шума приводит к интенсивным шумовым составляющим, разрушающим изображение.
https://pandia.ru/text/80/293/images/image047_1.jpg" width="194" height="157 src=">
Частотные характеристики искажающей системы
с гауссовской ФРТ, инверсного фильтра и фильтра Винера
Существуют частные методы ослабления шумов, которые заключаются в ограничении полосы инверсного фильтра. Последовательно с инверсным фильтром включают корректирующее звено, модуль передаточной функции которого стремится к нулю за пределами некоторой наперед заданной граничной частоты. При этом граничную частоту выбирают из компромисса между снижением уровня шума и четкостью восстановления изображения.
При восстановлении инверсным фильтром возникают краевые эффекты в виде осциллирующей помехи большой мощности, маскирующей восстановленное изображение. Краевые эффекты возникают и при отсутствии шумов. Таким образом инверсный фильтр может использоваться только для восстановления изображений с постоянным уровнем фона на краях.
Фильтр Винера
При синтезе фильтра Винера учитывается информация о спектральной плотности мощности изображения и шума. Поэтому он менее подвержен влиянию помех и нулей передаточной функции искажающей системы. Частотная характеристика фильтра Винера:
где https://pandia.ru/text/80/293/images/image050_8.gif" width="73" height="27 src=">- взаимная спектральная плотность мощности исходного и наблюдаемого изображений, * - символ комплексного сопряжения.
Преобразуем передаточную функцию фильтра Винера:
1. При отсутствии шума фильтр Винера переходит в инверсный фильтр. Следовательно, в области низких частот, где, как правило, отношение сигнал/шум велико передаточные функции этих фильтров практически совпадают.
2. При уменьшении спектральной плотности мощности исходного изображения передаточная функция фильтра Винера стремится к 0. Для изображения это характерно на высоких частотах.
3. На частотах, соответствующих нулям передаточной функции формирующей системы, передаточная функция фильтра Винера также равна 0.
Основным недостатком фильтра Винера остается наличие краевых эффектов, проявляющихся в виде осциллирующей помехи (ряби или полос).
Компенсация краевых эффектов
Краевые эффекты возникают из-за синтеза фильтров без учета ограниченного размера изображений. Для компенсации краевых эффектов применяют умножение наблюдаемого изображения на функцию окна w (i, j ) плавно спадающую до нуля к краям кадра. После этого изображение восстанавливается фильтром Винера. Функция окна полагается разделимой по координатам. При вертикальном или горизонтальном смазе используется одномерная функция окна.
https://pandia.ru/text/80/293/images/image053_2.jpg" width="413" height="228 src=">
Вместе с уменьшением краевых эффектов сужаются границы восстанавливаемого изображения. Оптимальные параметры окон зависят от параметров искажающей системы и определяются опытным путем.
Другой путь – учесть ограниченные размеры изображения на этапе синтеза фильтра Винера. Корреляционная функция усеченного изображения может быть получена путем умножения корреляционной функции неограниченного изображения на следующее окно:
(Пси)https://pandia.ru/text/80/293/images/image055_7.gif" width="256" height="45 src=">, Y - спектральная плотность окна.
Такой фильтр хорошо компенсирует краевые эффекты и не требует дополнительной подстройки.
Если требуется расширить границы изображения, чтобы извлечь больший объем информации, применяется процедура экстраполяции. Двумерную функцию яркости s(i, j) продолжают за границы кадра, так чтобы она была гладкой, а на границе экстраполированного кадра QЭ равнялась 0. Одномерная экстраполяция: яркость задается в виде полинома
f (i )=a 0+a 1i +a 2i 2+..., f (j )=a 0+a 1j +a 2j 2+...
Можно одновременно применять экстраполяцию и окно для усечения изображения.
Все рассмотренные алгоритмы восстановления линейные. Они достаточно просто синтезируются, поддаются анализу и эффективны. Однако эти методы не оптимальны, так как большинство изображений имеют негауссовские характеристики. Синтез нелинейных методов восстановления гораздо сложнее, но существуют методы приближения, учитывающие априорные данные об изображениях и помехах.
Итерационные методы восстановления
Наиболее простой и широко распространенный итерационный метод Ван Циттера. Представим передаточную функцию инверсного фильтра в виде геометрической прогрессии:
Спектр оценки исходного изображения при инверсной фильтрации будет
Это выражение позволяет представить процедуру нахождения оценки в виде последовательных приближений:
Взяв обратное преобразование Фурье получим итерационную процедуру
Эту процедуру можно интерпретировать как последовательное нахождение поправок к искаженному изображению s . Если на каком-то шаге будет найдено точное решение, то на последующих шагах оценка изменяться не будет.
При использовании итерационных алгоритмов встают 2 вопроса: сходится ли алгоритм и к какому решению он сходится. Алгоритм Ван Циттера сходится к оценке изображения при инверсной фильтрации если передаточная функция искажающей системы 0 < H (w1, w2) < 1.
Это условие выполняется для гауссовской ФРТ (для смаза - нет). Если это условие не выполняется, то передаточную функцию нормируют:
Тогда итерационный алгоритм имеет вид
где h 1 и h 2 – импульсные характеристики фильтров с передаточными функциями H* (w1, w2) и |H (w1, w2)|2.
Рассмотренный алгоритм является линейным, но итерационный процесс позволяет эффективно бороться с краевыми эффектами и усилением шумов при восстановлении изображений. С увеличением длины ряда возрастают граничная частота и коэффициент усиления фильтра. В качестве критерия остановки можно использовать критерий минимума нормированной среднеквадратической ошибки оценивания:
,
где Qe - кадр, расположенный в центре наблюдаемого изображения.
Итерационные алгоритмы могут быть легко преобразованы в нелинейные путем введения ограничений для восстанавливаемого изображения. Ограничения касаются таких априорных свойств изображения как неотрицательная яркость, диапазон яркости, минимальная мощность сигнала, ограничение на пространственную и спектральную протяженность и т. д. Даже учет диапазона яркости приводит к значительному улучшению качества восстанавливаемого изображения.
Если Y{} – оператор ограничения, то алгоритм с ограничением имеет вид
Итерационный алгоритм с ограничением сходится, если сходится исходный линейный алгоритм и оператор ограничения является нерасширяющим, т. е. не приводит к увеличению энергии изображения.
Загрузка...
