第三节 线性滤波图像复原方法

  最常见的图像复原任务是去除图像畸变、补偿图像模糊和减弱噪声效应,以使空间图像复原。一般说,如图像降质系统为线性位移不变系统,且噪声是加法性类型时,可在一个统一的线性代数范畴内,将其用公式表示成为一种类型的图像复原问题,这就是复原的代数方法。

  根据式(7.2.29)所表示的离散图像模型,图像复原的代数方法的核心是这样的一个思路,即由给定的降质图像 和对退化模型 及噪声 的先验了解,寻找一个对原始图像 的最优估计 ,而使事先确定的最优准则为最小。如果最优准则采用常用的最小二乘方准则函数,可推导出下面介绍的反向滤波(或称为逆滤波)、维纳滤波等图像复原方法。同时,也可看出这些方法本质上都是采用线性滤波的方法进行图像复原,故也称为线性滤波复原方法。

  一、反向滤波图像复原

  (一)基本原理

  反向滤波图像复原是最简单复原代数方法,它是采用了无约束条件的最小二乘方复原。由式(7.2.29)可得降质模型噪声项为

   (7.3.1)

  如果我们对 一无所知,可以根据这样的最优准则,即寻找出 应使 之偏差,符合最小二乘方准则,即 的范数的平方尽可能最小,这就要求假设噪声项 的范数也尽可能的最小。换言之,我们希望找到一个 ,使

   (7.3.2)

  为最小。式中,根据定义

分别为 的范数的平方。

  我们将式(7.3.2)看为准则函数,即

   (7.3.3)

  这样,上述问题等效于寻找一个 ,使准则函数 为最小,在这里除了要求式(7.3.3)为最小外, 不受到任何约束,因此,称为无约束复原。

  为使式(7.3.3)为最小,可将 求偏导数,并使结果为零。即

   (7.3.4)

  解得 为

   (7.3.5)

  令 为一方阵,并假设逆矩阵 存在,则式(7.3.5)化为

   (7.3.6)

  上式表明在最小二乘方准则下寻找出的最优估计图像 可由降质图像 和降质系统冲激响应的逆矩阵 求得。从式(7.3.6)可进一步推出反向滤波的复原方法。

  由式(7.3.6)和(7.2.51)可得到

   (7.3.7)

  先用 左乘上式二端,得

   (7.3.8)

  再用 左乘上式二端,得

   (7.3.9)

  由7-2-6节讨论可知, 的诸元素为 的诸元素为 ,而 ,故可得到所对应的元素之间的关系为

  

  即得

  在

   (7.3.10)

  式中

  式(7.3.10)表示在无约束的条件下,最小二乘方复原后的估计图像的付立叶变换 。由于我们有时将 当作一个滤波函数,原始图像的付立叶变换乘以此滤波函数后,可得降质图像的付立叶变换 ,即 。现在估计图像的付立叶变换 是降质后图像的付立叶变换 乘以 而得到的, 起了反向滤波作用,故称为反向滤波法(又称为逆滤波法)。

  在求出 以后,再进行付立叶反变换可得 ,即

   (7.3.11)

  (二)零点的影响

  在实际使用反向滤波进行图像复原时,从式(7.3.10)可看出:如果在 平面上有一些点或区域的 ,即出现了零点,就会导致不定角。因此,即使没有噪声,一般地说也不可能精确的复原 。但是,如果 的零点只是位于 平面中少数几个已知点上,那么计算 时一般可将它们忽略不计,而不会明显地影响复原的结果。

  如果在考虑噪声时,将式(7.2.69)代入式(7.3.10)得

   (7.3.12)

  从此式可看出,如果 为零或变得非常小时,则 项对复原的结果起主导作用。因此,在考虑噪声存在时, 的零点影响更为严重。另外,在大多数的实际问题中, 离开原点衰减得很快,而噪声项一般多在高频范围,其衰减速度较慢。因此,为了避免 的值太小,复原只好局限于离原点不太元的有限区域内进行。而且所能做的最多是仅仅复原 平面上信噪比高的那些频率,这是使用反向滤波进行图像复原时应该注意的地方。

图 7-3-1 反向滤波图像复原的例子

  反向滤波图像复原的例子如图7-3-1所示。图7-3-1(a)是原始图像 ;图7-3-1(b)是降质后模糊图像;图7-3-1(c)是在原点附近复原的结果(不包括 过分小的数值);图7-3-1(d)是离原点较远的区域内复原的结果,很显然,已完全复原不了原始图像“5”字的样子。

  (三)消除因匀速直线运动引起的图像模糊

  作为反向滤波器图像复原的实例,本节讨论如何去除因匀速直线运动引起的图像模糊。这种复原问题在实际中经常会遇到,如在飞机、宇宙飞行器等运动物体上所拍摄的照片,由于照象机镜头在曝光瞬间的偏移会产生这类性质的模糊。同时,通过本节的讨论,可看出是如何处理 的零点问题的。最后,导出了非常适合于计算机处理的递推公式。

  假设原始图像 在记录过程中有一平面运动。令 分别为在 方向和 方向上运动的分量。记录媒体(例如胶片)任何一点的总曝光量,是在快门打开的期间对瞬间曝光进行积分而得到的。为了突出图像运动的影响,假设快门的打开与关闭是瞬时发生的,并且光学成象过程是完善的。那末,在曝光时间 内,所产生的模糊图像

   (7.3.13)

  由7-2-4节第二部分的讨论,注意积分区间为0到 ,由式(7.2.17)可得降质图像的付立叶变换

   (7.3.14)

  式中 为降质系统传递函数。由式(7.2.18)可得

   (7.3.15)

  作为例子,设图像只在 方向上作匀速直线运动,其速率为 ,而 。在 时,图像移动了总的距离为 。此时式(7.3.15)变为

   (7.3.16)

  此时 的函数形式是 函数。很显然,在 时出现零点,即 ,其中 为整数。在进行图像复原运算时,可将零点忽略;或在 较小时,取 ,在 范围内(不包括原点)进行复原运算,这对复原结果一般影响不大。

  为了避免上述零点问题的出现,如果假设 只在 之内有值,其零点在区间以外出现,就可以根据在这区间内,对退化模型的了解,用递推的方法直接复原出图像

  再假设 是时不变的,即 。暂时去掉此变量,将式(7.3.13)写成

   (7.3.17)

  令 ,代入上式得

   (7.3.18)

  为简单起见,忽略前面的常数项得

   (7.3.19)

  对上式微分,有

   (7.3.20)

  或 (7.3.21)

  仅从上式还不能确定 ,还需作进一步推导。为了推导方便,设 为一整数,则变量 可表示为

   (7.3.22)

  式中 为区间 内的数值, 的整数部分。例如 ,则 的整数部分,即 ,那末可得

  还应指出:对于 时,则 可设为整数 中任何一个数。例如,当 时,则从式(7.3.22)可得 ,

  将式(7.3.22)代入式(7.3.21)得

   (7.3.23)

  设 (7.3.24)

   代表了曝光期间在 范围内移动的景物部分。此时,式(7.3.23)可通过 用递推的方式表示为另一种形式。

  当

   (7.3.25)

  当

   (7.3.26)

  代入式(7.3.25)得

   (7.3.27)

  当

   (7.3.28)

  代入式(7.3.27)得

   (7.3.29)

  很明显,根据递推原理,可得到如下的结果:

   (7.3.30)

  因 ,代入上式得

   (7.3.31)

  因为 变化的范围的 ,而 的变化范围为 ,故上式可等效为

   (7.3.32)

  式中 是已知的,只要知道了 ,就可求出原始图像 现在推导 的估算问题。

  首先应指出:当 由0变到 时, 从0变到 。因为 的自变量为 ,该变量总是在 范围内变化,因而可得出在 区间内计算 。由于 重复了 次,我们定义

   (7.3.33)

  那么,式(7.3.32)可改写为

   (7.3.34)

  如果在 时,对式(7.3.34)的左右两端进行计算,并把 时的结果相加起来,并注意到 , ,其结果为

   (7.3.35)

  二边除以

   (7.3.36)

  很明显这一式子右端的第一个和式是未知的。但是,在 的值很大时,它将趋于 的平均值。因此,这一和式可近似看为一常数 的大小为 的平均值。上式可近似写成

   (7.3.37)

  或者对

   (7.3.38)

  用式(7.3.33)代替 得

   (7.3.39)

  这样,就近似求得 的关系式,将它代入式(7.3.32)得出只有 方向上匀速直线运动 , 的结果表示式

   (7.3.40)

  如果引入变量

   (7.3.41)

  同样,假设 只在 之内有值,且 ,可得到曝光期间只有 方向均匀直线运动的递推公式

   (7.3.42)

  根据上面两式,就不难写出在 方向上均有匀速直线运动的表示式。

  利用上述递推方法进行图像复原的实例如图7-3-2所示。图7-3-2(a)所示的图像为曝光期间在 方向上有匀速直线运动所造成的模糊,移动的距离差不多等于照片宽度的八分之一。图7-3-2(b)是利用递推公式(7.3.41)得到的去掉模糊后的结果,经表明该公式给出的近似误差是完全许可的。

图 7-3-2 (a)匀速直线运动造成的模糊 (b)利用式(7.3.41)复原的图像

  二、最小二乘方滤波图像复原

  反向滤波图像复原是一种无约束复原,它除了寻找一个最优估计图像 ,使准则函数

  

  最小外,其它不受任何约束。它只要求了解降质系统的冲激响应(或传递函数)的知识,就能利用式(7.3.6)或(7.3.10)进行复原。但由于传递函数存在零点的问题,复原只能局限于离原点不太远的有限区域内进行,这有相当大的随意性和局限性。

  本节讨论的最小二乘方滤波图像复原是另一种复原技术。它是一种约束复原,除了要求了解关于降质模型的传递函数的情况外,还需知道(至少在理论上)噪声的统计特性和噪声与图像相关情况。对于不同的复原技术需要不同的噪声的先验知识。本节首先讨论的基于维纳(Wiener)滤波理论的图像复原滤波器,要求了解噪声的频谱密度,而接着讨论的由菲利浦(Phillips,1962)提出的约束的最小二乘方复原只需要知道噪声的均值和方差。

  (一)约束复原的基本原理

  在约束最小二乘法复原问题中,令 的线性算子,要设法寻找一个最优估计 ,使形式为 的、服从约束条件 的函数最小化。该最小化问题,可利用拉格朗日乘数法进行处理。即将约束条件表示为 ,然后加上函数 ,其中 为一常数,称为拉格朗日(Lagrange)乘子。也就是说:要寻找一个 ,使下列准则函数为最小

   (7.3.43)

  将式(7.3.43)对 偏微分,并使结果为零,则得

   (7.3.44)

  对(7.3.44)式求解

   (7.3.45)

  式中 。这个量必须调整到约束条件被满足为止,在下面将要讨论这一问题。式(7.3.45)是本节讨论的最小二乘方滤波复原的基础,问题的核心是如何选择一个合适的变换矩阵 。选择 型式不同,可得到不同类型的最小二乘方滤波复原方法。如选用图像 和噪声 的相关矩阵 表示 就可得到维纳滤波复原方法。如改用其它型式,如菲利浦提出的以平滑度为基础的,使某个函数的二阶层数最小,即 选用拉普拉斯算子型式表示,就可推导出另一种约束最小二乘方复原。下面分别进行讨论。

  (二)维纳滤波图像得原

  设 分别为原始图像 和噪声 的相关矩阵,其定义分别为

   (7.3.46)

   (7.3.47)

  式中 代表数学期望运算。 的第 个元素用 表示,它是 的第 个和第 个元素之间的相关。同样, 的第 个元素的 给出了在 中相应的第 个和第 个元素之间的相关。因为 的元素为实数,那么

   (7.3.48)

   (7.3.49)

  因此, 均为实对称矩阵。对大多数的图像函数,象素(即 的元素)之间的相关不会延伸到图像中20到30个点子的距离之外。因而,典型的相关矩阵在主对角线附近将有一个非零元素带,而在右上角和左下角的区域将为零值。

  假设任意两象素的相关性,只与象素的距离有关,而和它们所在的位置无关时,可以证明 近似为分块循环矩阵。因此,根据7-2-6节的讨论,可利用一个 的特征向量组成的 矩阵对它们进行对角线化。设 相应的对角矩阵,则

   (7.3.50)

   (7.3.51)

  如前所述,矩阵 中的诸元素分别为相关矩阵 中诸元素的付立叶变换。我们用 表示 矩阵中各元素,而 中的各元素是 中各元素之间的自相关函数。由信息论可知,随机向量的自相关函数的付立叶变换是随机向量的功率谱密度。因此 分别是 的谱密度。

  如果我们选择线性算子 满足如下关系:

   (7.3.52)

  将此式代入式(7.3.45)得

   (7.3.53)

  利用式(7.2.51)、(7.5.53)、(7.3.50)和(7.3.51)可得

   (7.3.54)

  式中符号 表示“共轭”。

  二边左乘 ,并进行某些矩阵变换,上式可化为

   (7.3.55)

  可以看出括号内的矩阵都是对角矩阵,利用7-2-6节讨论的概念,可将式(7.3.55)的元素写成以下的形式

  
                           (7.3.56)

  式中 ( 为拉格朗日乘子)。因已假设 ,故

   (7.3.57)

  下面讨论式(7.3.56)表示的各种情况:

  1.当 时,式(7.3.56)的大括号内的项被称为维纳滤波器。若 为变数,则称此式是参变维纳滤波器。需要指出的是:当 时,一般不能说可以利用式(7.3.56)在约束条件的意义上得到最佳解。因为,正如上面所指出的: 必须调整到满足约束条件 才行。

  2.在元噪声存在,即 时,式(7.3.56)变成

   (7.3.58)

  这就是前面讨论过的反向滤波形式。因此,反向滤波器可看为是维纳滤波器的一种特殊情况。也可以说:式(7.3.56)中的分母上的 项是在有噪声的情况下,在统计意义上对传递函数的修正,它为了在有噪声的情况下提供最佳复原(在均方意义上)而使 变平滑。

  3.式(7.3.56)求解的关键是要知道频谱密度 。而对随机噪声的统计性质的了解往往是困难的和有限的。因而,最一般的假设是为白噪声,即其频谱密度为一常数,并且与图像不相关。这种假设通常会产生一些问题,因白噪声的概念是一个数学上的抽象。但是,只要噪声的带宽远大于图像的带宽就可近似看成白噪声,虽然不太确切,但它却是一个方便的模型。至于图像与噪声不相关,在一些实际应用中这个假设也不符合实际情况。例如,底片颗粒噪声或医学X射线和核扫描图像。

  如假设在白噪声,即 =常数。那么,可认为 等于在零点时的谱密度 它等于

   (7.3.59)

  4.如果不知道噪声的统计性质,即 未知时,式(7.3.56)可近似为

   (7.3.60)

  式中 是噪声对信号的频谱密度之比,它近似为一常数。此式可使退化图像得到一定程度的复原,但是否为最优复原,还值得进一步地研究。

  (三)约束最小二乘方复原

  上节讨论的维纳滤波器是一个统计过程的最小二乘方法,它的最佳准则是以图像和噪声的相关矩阵为基础的,这意味着维纳滤波器是在对一族图像在平均的意义上是最佳的。同时要求原始图像和噪声属于均匀随机场(一个随机场,如它的期望值 与位置 无关,且它的自相关函数是位移不变的,则称为均匀随机场),并且它们的频谱密度是已知的,但在实际使用中,人们往往没有这方面的先验知识。

  本节讨论的约束最小二乘方复原是菲利浦提出的,它的最佳准则是以平滑度为基础的。例如,使某个函数的二阶导数为最小。这意味着该复原过程,对每个给定的图像都是最佳的,同时只要求知道噪声的均值和方差,对每个给定的图像都是最佳的,同时只要求知道噪声的均值和方差,这一般容易了解的先验知识。本节将简叙这种复原的基本原理。

  正如上节所指出的:式(7.3.45)是最小二乘方滤波复原的基础,关键是如何选择合适的变换矩阵 。维纳滤波方法选用了相关矩阵 ,而菲利浦平滑法选用了平滑矩阵 。本节先从一维情况开始讨论,然后扩展到二维。

  如给定一维离散函数 ,其中 。该函数在某一点 处的二阶导数可近似地表示为 :

   (7.3.61)

  约束最小二乘法的最佳准则是使 在所有的 处为最小。即使 最小 (7.3.62)

  或用矩阵符号表示为

   最小 (7.3.63)

  式中

   (7.3.64)

   为一平滑矩阵。 为一向量,它的元素就是 的抽样值。

  推广到二维情况,在某一点 处的二阶导数,即称为拉普拉斯算子,它可近似地表示为:

   (7.3.65)

  其约束最小二乘方复原的最佳准则是使

   最小 (7.3.66)

  式(7.3.65)可直接在计算机中完成,但也可用 与下面算子 进行卷积得到相同的运算。

   (7.3.67)

  正如7-2-5节所指出的:在离散卷积过程中为了避免重叠误差,必须用添零的方法扩展

  如果 的大小为 ,因 的大小为 ,那扩展后的 , 。那么,扩展函数的卷积为

   (7.3.68)

  此式与式(7.2.27)是一致的。

  根据类似于7-2-5节的方法,我们可以把上面的平滑准则表示为平滑矩阵形式。首先,建立一个分块循环矩阵

   (7.3.69)

  式中每个子矩子 是由 的第 行组成的 的循环矩阵,即

   (7.3.70)

  此分块循环矩阵 称为平滑矩阵。它可用7-2-6节定义的矩阵 进行对角线化,即

   (7.3.71)

  式中 为对角矩阵,其元素 中元素 的二维付立叶立变。

  因为上面讲的卷积运算与式(7.3.67)等效,可将式(7.3.66)的平滑准则表示成为式(7.3.63)的形式,即使 最小 (7.3.72)

  式中 维矢量, 矩阵的大小为

  如令 ,代入式(7.3.45)得

   (7.3.73)

  利用式(7.2.51)、(7.2.53)和(7.3.71),式(7.3.73)可表示为

   (7.3.74)

  将上式两边左乘 ,并进行一些矩阵变换,则上式可化为

   (7.3.75)

  注意括号内的元素是对角线化的。利用7-2-6节中所讨论的概念,可以把式(7.3.75)的元素表示为

   (7.3.76)

  式中 。当 时,

  式(7.3.76)就是利用菲利浦平滑度约束而推导出的最小二乘方复原方式,它类似于前节导出的参变维纳滤波器。式(7.3.76)与(7.3.56)的主要差别在于:前者不要求确切知道统计特性参数——频谱密度。

  与维纳滤波器要求一样,式(7.3.76)中的 也要调整到满足约束条件 ,才能得到最佳结果。其中有一个重要问题是应知道一些关于 的情况:

   (7.3.77)

  其中 是噪声的方差, 是噪声的均值。式(7.3.77)的重要性在于它能利用噪声的均值和方差来确定约束条件,而这些量往往可以近似地计算出或在实际使用中测量出来。