第三节 线性滤波图像复原方法最常见的图像复原任务是去除图像畸变、补偿图像模糊和减弱噪声效应,以使空间图像复原。一般说,如图像降质系统为线性位移不变系统,且噪声是加法性类型时,可在一个统一的线性代数范畴内,将其用公式表示成为一种类型的图像复原问题,这就是复原的代数方法。
根据式(7.2.29)所表示的离散图像模型,图像复原的代数方法的核心是这样的一个思路,即由给定的降质图像
和对退化模型
及噪声
的先验了解,寻找一个对原始图像
的最优估计
,而使事先确定的最优准则为最小。如果最优准则采用常用的最小二乘方准则函数,可推导出下面介绍的反向滤波(或称为逆滤波)、维纳滤波等图像复原方法。同时,也可看出这些方法本质上都是采用线性滤波的方法进行图像复原,故也称为线性滤波复原方法。
(一)基本原理
反向滤波图像复原是最简单复原代数方法,它是采用了无约束条件的最小二乘方复原。由式(7.2.29)可得降质模型噪声项为
(7.3.1)
如果我们对
一无所知,可以根据这样的最优准则,即寻找出
应使
和
之偏差,符合最小二乘方准则,即
的范数的平方尽可能最小,这就要求假设噪声项
的范数也尽可能的最小。换言之,我们希望找到一个
,使
(7.3.2)
为最小。式中,根据定义
,
分别为
的
的范数的平方。
我们将式(7.3.2)看为准则函数,即
(7.3.3)
这样,上述问题等效于寻找一个
,使准则函数
为最小,在这里除了要求式(7.3.3)为最小外,
不受到任何约束,因此,称为无约束复原。
为使式(7.3.3)为最小,可将
对
求偏导数,并使结果为零。即
(7.3.4)
解得 为
(7.3.5)
令
,
为一方阵,并假设逆矩阵
存在,则式(7.3.5)化为
(7.3.6)
上式表明在最小二乘方准则下寻找出的最优估计图像
可由降质图像
和降质系统冲激响应的逆矩阵
求得。从式(7.3.6)可进一步推出反向滤波的复原方法。
由式(7.3.6)和(7.2.51)可得到
(7.3.7)
先用
左乘上式二端,得
(7.3.8)
再用
左乘上式二端,得
(7.3.9)
由7-2-6节讨论可知,
的诸元素为
,
的诸元素为
,而
,故可得到所对应的元素之间的关系为
![]()
即得
![]()
在
时
(7.3.10)
式中
。
式(7.3.10)表示在无约束的条件下,最小二乘方复原后的估计图像的付立叶变换
。由于我们有时将
当作一个滤波函数,原始图像的付立叶变换乘以此滤波函数后,可得降质图像的付立叶变换
,即
。现在估计图像的付立叶变换
是降质后图像的付立叶变换
乘以
而得到的,
起了反向滤波作用,故称为反向滤波法(又称为逆滤波法)。
在求出
以后,再进行付立叶反变换可得
,即
(7.3.11)
(二)零点的影响
在实际使用反向滤波进行图像复原时,从式(7.3.10)可看出:如果在
平面上有一些点或区域的
,即出现了零点,就会导致不定角。因此,即使没有噪声,一般地说也不可能精确的复原
。但是,如果
的零点只是位于
平面中少数几个已知点上,那么计算
时一般可将它们忽略不计,而不会明显地影响复原的结果。
如果在考虑噪声时,将式(7.2.69)代入式(7.3.10)得
(7.3.12)
从此式可看出,如果
为零或变得非常小时,则
项对复原的结果起主导作用。因此,在考虑噪声存在时,
的零点影响更为严重。另外,在大多数的实际问题中,
离开原点衰减得很快,而噪声项一般多在高频范围,其衰减速度较慢。因此,为了避免
的值太小,复原只好局限于离原点不太元的有限区域内进行。而且所能做的最多是仅仅复原
平面上信噪比高的那些频率,这是使用反向滤波进行图像复原时应该注意的地方。
![]()
图 7-3-1 反向滤波图像复原的例子
反向滤波图像复原的例子如图7-3-1所示。图7-3-1(a)是原始图像
;图7-3-1(b)是降质后模糊图像;图7-3-1(c)是在原点附近复原的结果(不包括
过分小的数值);图7-3-1(d)是离原点较远的区域内复原的结果,很显然,已完全复原不了原始图像“5”字的样子。
(三)消除因匀速直线运动引起的图像模糊
作为反向滤波器图像复原的实例,本节讨论如何去除因匀速直线运动引起的图像模糊。这种复原问题在实际中经常会遇到,如在飞机、宇宙飞行器等运动物体上所拍摄的照片,由于照象机镜头在曝光瞬间的偏移会产生这类性质的模糊。同时,通过本节的讨论,可看出是如何处理
的零点问题的。最后,导出了非常适合于计算机处理的递推公式。
假设原始图像
在记录过程中有一平面运动。令
和
分别为在
方向和
方向上运动的分量。记录媒体(例如胶片)任何一点的总曝光量,是在快门打开的期间对瞬间曝光进行积分而得到的。为了突出图像运动的影响,假设快门的打开与关闭是瞬时发生的,并且光学成象过程是完善的。那末,在曝光时间
内,所产生的模糊图像
为
(7.3.13)
由7-2-4节第二部分的讨论,注意积分区间为0到
,由式(7.2.17)可得降质图像的付立叶变换
为
(7.3.14)
式中
为降质系统传递函数。由式(7.2.18)可得
(7.3.15)
作为例子,设图像只在
方向上作匀速直线运动,其速率为
,而
。在
时,图像移动了总的距离为
。此时式(7.3.15)变为
(7.3.16)
此时
的函数形式是
函数。很显然,在
时出现零点,即
,其中
为整数。在进行图像复原运算时,可将零点忽略;或在
较小时,取
,在
范围内(不包括原点)进行复原运算,这对复原结果一般影响不大。
为了避免上述零点问题的出现,如果假设
只在
之内有值,其零点在区间以外出现,就可以根据在这区间内,对退化模型的了解,用递推的方法直接复原出图像
。
再假设
是时不变的,即
。暂时去掉此变量,将式(7.3.13)写成
(7.3.17)
令
,代入上式得
(7.3.18)
为简单起见,忽略前面的常数项得
(7.3.19)
![]()
对上式微分,有
(7.3.20)
或
(7.3.21)
仅从上式还不能确定
,还需作进一步推导。为了推导方便,设
,
为一整数,则变量
可表示为
(7.3.22)
式中
为区间
内的数值,
为
的整数部分。例如
,则
为
的整数部分,即
,那末可得
。
还应指出:对于
时,则
可设为整数
中任何一个数。例如,当
时,则从式(7.3.22)可得
,
。
将式(7.3.22)代入式(7.3.21)得
(7.3.23)
设
(7.3.24)
代表了曝光期间在
范围内移动的景物部分。此时,式(7.3.23)可通过
用递推的方式表示为另一种形式。
当
时
(7.3.25)
当
时
(7.3.26)
代入式(7.3.25)得
(7.3.27)
当
时
(7.3.28)
代入式(7.3.27)得
(7.3.29)
很明显,根据递推原理,可得到如下的结果:
(7.3.30)
因
,代入上式得
(7.3.31)
因为
变化的范围的
,而
的变化范围为
,故上式可等效为
(7.3.32)
式中
是已知的,只要知道了
,就可求出原始图像
现在推导
的估算问题。
首先应指出:当
由0变到
时,
从0变到
。因为
的自变量为
,该变量总是在
范围内变化,因而可得出在
区间内计算
。由于
重复了
次,我们定义
(7.3.33)
那么,式(7.3.32)可改写为
(7.3.34)
如果在
时,对式(7.3.34)的左右两端进行计算,并把
时的结果相加起来,并注意到
,
,其结果为
(7.3.35)
二边除以
得
(7.3.36)
很明显这一式子右端的第一个和式是未知的。但是,在
的值很大时,它将趋于
的平均值。因此,这一和式可近似看为一常数
,
的大小为
的平均值。上式可近似写成
(7.3.37)
或者对
得
(7.3.38)
用式(7.3.33)代替 得
(7.3.39)
这样,就近似求得
的关系式,将它代入式(7.3.32)得出只有
方向上匀速直线运动
,
的结果表示式
(7.3.40)
如果引入变量
得
(7.3.41)
同样,假设
只在
之内有值,且
,可得到曝光期间只有
方向均匀直线运动的递推公式
(7.3.42)
根据上面两式,就不难写出在
方向上均有匀速直线运动的表示式。
利用上述递推方法进行图像复原的实例如图7-3-2所示。图7-3-2(a)所示的图像为曝光期间在
方向上有匀速直线运动所造成的模糊,移动的距离差不多等于照片宽度的八分之一。图7-3-2(b)是利用递推公式(7.3.41)得到的去掉模糊后的结果,经表明该公式给出的近似误差是完全许可的。
![]()
图 7-3-2 (a)匀速直线运动造成的模糊 (b)利用式(7.3.41)复原的图像
反向滤波图像复原是一种无约束复原,它除了寻找一个最优估计图像 ,使准则函数
![]()
最小外,其它不受任何约束。它只要求了解降质系统的冲激响应(或传递函数)的知识,就能利用式(7.3.6)或(7.3.10)进行复原。但由于传递函数存在零点的问题,复原只能局限于离原点不太远的有限区域内进行,这有相当大的随意性和局限性。
本节讨论的最小二乘方滤波图像复原是另一种复原技术。它是一种约束复原,除了要求了解关于降质模型的传递函数的情况外,还需知道(至少在理论上)噪声的统计特性和噪声与图像相关情况。对于不同的复原技术需要不同的噪声的先验知识。本节首先讨论的基于维纳(Wiener)滤波理论的图像复原滤波器,要求了解噪声的频谱密度,而接着讨论的由菲利浦(Phillips,1962)提出的约束的最小二乘方复原只需要知道噪声的均值和方差。
(一)约束复原的基本原理
在约束最小二乘法复原问题中,令
为
的线性算子,要设法寻找一个最优估计
,使形式为
的、服从约束条件
的函数最小化。该最小化问题,可利用拉格朗日乘数法进行处理。即将约束条件表示为
,然后加上函数
,其中
为一常数,称为拉格朗日(Lagrange)乘子。也就是说:要寻找一个
,使下列准则函数为最小
(7.3.43)
将式(7.3.43)对
偏微分,并使结果为零,则得
(7.3.44)
对(7.3.44)式求解
得
(7.3.45)
式中
。这个量必须调整到约束条件被满足为止,在下面将要讨论这一问题。式(7.3.45)是本节讨论的最小二乘方滤波复原的基础,问题的核心是如何选择一个合适的变换矩阵
。选择
型式不同,可得到不同类型的最小二乘方滤波复原方法。如选用图像
和噪声
的相关矩阵
和
表示
就可得到维纳滤波复原方法。如改用其它型式,如菲利浦提出的以平滑度为基础的,使某个函数的二阶层数最小,即
选用拉普拉斯算子型式表示,就可推导出另一种约束最小二乘方复原。下面分别进行讨论。
(二)维纳滤波图像得原
设
和
分别为原始图像
和噪声
的相关矩阵,其定义分别为
(7.3.46)
(7.3.47)
式中
代表数学期望运算。
的第
个元素用
表示,它是
的第
个和第
个元素之间的相关。同样,
的第
个元素的
给出了在
中相应的第
个和第
个元素之间的相关。因为
和
的元素为实数,那么
(7.3.48)
(7.3.49)
因此,
和
均为实对称矩阵。对大多数的图像函数,象素(即
和
的元素)之间的相关不会延伸到图像中20到30个点子的距离之外。因而,典型的相关矩阵在主对角线附近将有一个非零元素带,而在右上角和左下角的区域将为零值。
假设任意两象素的相关性,只与象素的距离有关,而和它们所在的位置无关时,可以证明
和
近似为分块循环矩阵。因此,根据7-2-6节的讨论,可利用一个
的特征向量组成的
矩阵对它们进行对角线化。设
和
为
和
相应的对角矩阵,则
(7.3.50)
(7.3.51)
如前所述,矩阵
和
中的诸元素分别为相关矩阵
和
中诸元素的付立叶变换。我们用
和
表示
和
矩阵中各元素,而
和
中的各元素是
和
中各元素之间的自相关函数。由信息论可知,随机向量的自相关函数的付立叶变换是随机向量的功率谱密度。因此
和
分别是
和
的谱密度。
如果我们选择线性算子
满足如下关系:
(7.3.52)
将此式代入式(7.3.45)得
(7.3.53)
利用式(7.2.51)、(7.5.53)、(7.3.50)和(7.3.51)可得
(7.3.54)
式中符号
表示“共轭”。
二边左乘
,并进行某些矩阵变换,上式可化为
(7.3.55)
可以看出括号内的矩阵都是对角矩阵,利用7-2-6节讨论的概念,可将式(7.3.55)的元素写成以下的形式
![]()
(7.3.56)式中
(
为拉格朗日乘子)。因已假设
,故
(7.3.57)
下面讨论式(7.3.56)表示的各种情况:
1.当
时,式(7.3.56)的大括号内的项被称为维纳滤波器。若
为变数,则称此式是参变维纳滤波器。需要指出的是:当
时,一般不能说可以利用式(7.3.56)在约束条件的意义上得到最佳解。因为,正如上面所指出的:
必须调整到满足约束条件
才行。
2.在元噪声存在,即
时,式(7.3.56)变成
(7.3.58)
这就是前面讨论过的反向滤波形式。因此,反向滤波器可看为是维纳滤波器的一种特殊情况。也可以说:式(7.3.56)中的分母上的
项是在有噪声的情况下,在统计意义上对传递函数的修正,它为了在有噪声的情况下提供最佳复原(在均方意义上)而使
变平滑。
3.式(7.3.56)求解的关键是要知道频谱密度
和
。而对随机噪声的统计性质的了解往往是困难的和有限的。因而,最一般的假设是为白噪声,即其频谱密度为一常数,并且与图像不相关。这种假设通常会产生一些问题,因白噪声的概念是一个数学上的抽象。但是,只要噪声的带宽远大于图像的带宽就可近似看成白噪声,虽然不太确切,但它却是一个方便的模型。至于图像与噪声不相关,在一些实际应用中这个假设也不符合实际情况。例如,底片颗粒噪声或医学X射线和核扫描图像。
如假设在白噪声,即
=常数。那么,可认为
等于在零点时的谱密度
它等于
(7.3.59)
4.如果不知道噪声的统计性质,即
和
未知时,式(7.3.56)可近似为
(7.3.60)
式中
是噪声对信号的频谱密度之比,它近似为一常数。此式可使退化图像得到一定程度的复原,但是否为最优复原,还值得进一步地研究。
(三)约束最小二乘方复原
上节讨论的维纳滤波器是一个统计过程的最小二乘方法,它的最佳准则是以图像和噪声的相关矩阵为基础的,这意味着维纳滤波器是在对一族图像在平均的意义上是最佳的。同时要求原始图像和噪声属于均匀随机场(一个随机场,如它的期望值
与位置
无关,且它的自相关函数是位移不变的,则称为均匀随机场),并且它们的频谱密度是已知的,但在实际使用中,人们往往没有这方面的先验知识。
本节讨论的约束最小二乘方复原是菲利浦提出的,它的最佳准则是以平滑度为基础的。例如,使某个函数的二阶导数为最小。这意味着该复原过程,对每个给定的图像都是最佳的,同时只要求知道噪声的均值和方差,对每个给定的图像都是最佳的,同时只要求知道噪声的均值和方差,这一般容易了解的先验知识。本节将简叙这种复原的基本原理。
正如上节所指出的:式(7.3.45)是最小二乘方滤波复原的基础,关键是如何选择合适的变换矩阵
。维纳滤波方法选用了相关矩阵
,而菲利浦平滑法选用了平滑矩阵
。本节先从一维情况开始讨论,然后扩展到二维。
如给定一维离散函数
,其中
。该函数在某一点
处的二阶导数可近似地表示为 :
(7.3.61)
约束最小二乘法的最佳准则是使
在所有的
处为最小。即使
最小 (7.3.62)
或用矩阵符号表示为
最小 (7.3.63)
式中
(7.3.64)
为一平滑矩阵。
为一向量,它的元素就是
的抽样值。
推广到二维情况,在某一点
处的二阶导数,即称为拉普拉斯算子,它可近似地表示为:
(7.3.65)
其约束最小二乘方复原的最佳准则是使
最小 (7.3.66)
式(7.3.65)可直接在计算机中完成,但也可用
与下面算子
进行卷积得到相同的运算。
(7.3.67)
正如7-2-5节所指出的:在离散卷积过程中为了避免重叠误差,必须用添零的方法扩展
和
。
如果
的大小为
,因
的大小为
,那扩展后的
,
。那么,扩展函数的卷积为
(7.3.68)
此式与式(7.2.27)是一致的。
根据类似于7-2-5节的方法,我们可以把上面的平滑准则表示为平滑矩阵形式。首先,建立一个分块循环矩阵
(7.3.69)
式中每个子矩子
是由
的第
行组成的
的循环矩阵,即
(7.3.70)
此分块循环矩阵
称为平滑矩阵。它可用7-2-6节定义的矩阵
进行对角线化,即
(7.3.71)
式中
为对角矩阵,其元素
是
中元素
的二维付立叶立变。
因为上面讲的卷积运算与式(7.3.67)等效,可将式(7.3.66)的平滑准则表示成为式(7.3.63)的形式,即使
最小 (7.3.72)
式中
为
维矢量,
矩阵的大小为
。
如令
,代入式(7.3.45)得
(7.3.73)
利用式(7.2.51)、(7.2.53)和(7.3.71),式(7.3.73)可表示为
(7.3.74)
将上式两边左乘
,并进行一些矩阵变换,则上式可化为
(7.3.75)
注意括号内的元素是对角线化的。利用7-2-6节中所讨论的概念,可以把式(7.3.75)的元素表示为
(7.3.76)
式中
。当
时,
。
式(7.3.76)就是利用菲利浦平滑度约束而推导出的最小二乘方复原方式,它类似于前节导出的参变维纳滤波器。式(7.3.76)与(7.3.56)的主要差别在于:前者不要求确切知道统计特性参数——频谱密度。
与维纳滤波器要求一样,式(7.3.76)中的
也要调整到满足约束条件
,才能得到最佳结果。其中有一个重要问题是应知道一些关于
的情况:
(7.3.77)
其中
是噪声的方差,
是噪声的均值。式(7.3.77)的重要性在于它能利用噪声的均值和方差来确定约束条件,而这些量往往可以近似地计算出或在实际使用中测量出来。