图像处理技术

第二节　图像质量评价

　　一、概述
　　图像质量评价的研究是图像信息工程的基础技术之一。如在图像通信工程中，将被摄物体的光学图像传送到接受端，再生出可接受图像，其中要经过光电变换、传输、处理、记录以及其它变换等过程，所有这些技术的优劣都会归集到图像质量的评价。例如，在图像处理中的图像编码技术，就是在保持被编码图像一定质量的前提下，以尽可能少的码字来表示图像，以便节省信道和存储器容量。而图像增强就是为了改善图像的主观视觉显示质量。还有图像恢复则是用于补偿图像的降质，使恢复后的图像尽可能地接近原始图像质量。这些都要求有一个合理的图像质量评价方法。
　　图像质量的含义包括两个方面：一个是图像逼真度，即描绘被评价对象与标准图像的偏离程度。另一个则是图像可懂度，就是表示图像能向人或机器提供信息的能力。影响图像质量的因素是随图像技术及系统设备不同而变化的。
　　影响图像质量的因素为：
　　发送环境为；
　　信源的性质为；
　　变换系统的特性为；
　　传输系统、处理系统的特性为；
　　逆变换系统的特性为；
　　接收环境为；
　　收信者的视觉和处理信息的特性为。
　　图像通信的图像质量可以表达为：。

　　可见这是一个包括许多变量且不独立的复杂函数。在某些情况下，可以固定一些变量从而得到图像质量与某一个或几个变量之间的关系。例如固定为某典型值，而只求与的关系，即

　　，

　　其中分别为的典型值。而一般被称为图像的传输质量。
　　如果把变换、逆变换及传输处理系统的特性包括在内，则，其中，分别是的典型值，而为图像的通信质量。
　　多年来，人们都在寻找图像逼真度和可懂度的定量测量方法，以作为评价图像和设计图像系统的依据，这样可以消除现有的许多定性测试方法的不精确性。但是由于目前对人的视觉系统性质还没有充分的理解，对人的心理因素也还找不到定量描述的方法。因此，现在对图像质量的评价主要采用所谓的主观评价的方法（这在后面的章节中会阐述）。
　　首先，我们先了解一下图像的质量问题：
　　二、图像质量
　　人眼只能分辨约40级灰度。这意味着如果黑与白之间的灰度范围被分为超过40个以上的等分，相邻的灰度级可能对人眼来说看起来是相同的，然而，视网膜有一种内在的边缘增强处理功能，使眼睛能检测出远小于总范围的灰度跃变。
　　例如，考虑一组由从黑到白按灰度级排列的 256个正方形区域构成的灰级靶。正常的人很容易看到相邻正方形间的边界，即使其灰度差别仅是256级中的1级。但是，如果用一个窄条盖住正方形间的边界，相邻正方形看起来就会具有相同的亮度。就是说，人眼看出到的是边缘而不是灰度级的差别。
　　图像的显示方法与图像的质量有着紧密的关系。要想对图像的质量有所了解，就必须对图像的显示方法有一定的了解。
　　目前我们对于图像显示方法有两种基本类型。永久性的和暂时性的。永久性显示方法是通过永久性地改变记录媒体的光吸收特性而在纸、胶片或其他永久记录媒体上产生图像的硬拷贝。暂时性显示方法则是在显示屏幕上产生一幅暂时的图像。
　　CRT 显示系统的扫描点的亮度由待显示数字图像的灰度值控制。有些CRT设备既可被用作胶片扫描仪也可被用作胶片记录器。
　　通常，显示系统产生的图像的每一像素的亮度直接受数字图像中对应像素的灰度值控制。然而显示的主要功能是让人类观察者理解和揭示图像的内容。所以，在某些情况下使显示过程与人眼的特性相匹配是有帮助的。例如．人眼对图像中的细节（空间高频信息）有很可观的分辨能力即锐视度（acuity），而对图像中的低频（变化较慢）信息则不怎么敏感。某些图像如果不是直接显示而是用轮廓线、阴影、颜色和其他图形学方法表示，那么它们可能更容易理解。
　　1.暂时显示
　　最常见的暂时显示采用光栅扫描的阴极射线管。像素点亮度随位置不同而变化以产生图像。如果给一台普通的电视监视器提供合适的视频信号，也可用作数字图像显示器。由于显示点在连续不断地扫描，它必须（根据存储的数字图像）不断地刷新、暂时显示可从一幅存储在专用随机存取存储器的数字图像进行刷新。
　　激光显示器采用移动的镜子或其他手段使光束偏移，用Kerr元件调制光束强度。气体放电显示器由两片玻璃夹以细网筛构成，在玻璃间形成充以电离化气体的小室矩阵。通过密切对应的水平与竖直寻址技术，这些小室可以在持续的外加电压作用下发光。
　　几种新型固态显示器即将问世，它们分别使用液晶和发光二极管技术，可望成为小型和相对便宜的显示器。
　　2.永久显示
　　用于将图像永久记录在纸或胶片上的设备称为图像记录或硬拷贝设备。本节讨论作为它们基础的各种技术。
　　抖动 (Dithering)有些印制技术能以从白到黑的任意灰度级印出每一像素。而另一些却只能打印实心点或什么也不打印（使纸保持其自然的白色状态）。
　　在报纸印制中使用的半色调技术通过改变排列成规则图案的小黑点的大小来仿真灰度级。在图片中较亮的区域，这些点与其间距相比十分地小。在图像较暗的部分点直径变大，直到它们合并成一个黑块。
　　用实心点图案仿真灰度级的处理过程称为抖动或半影调。人们曾采用过不同形状的点和图案，但效果是相同的。从足够远的距离观看，这些点自身是无法辨别的，图案呈现出整片的灰度影调。
　　彩色印制

　　人类的视觉系统能独立地感觉三个波段的光──红(red)、绿(green)和蓝（blue）。它们被称为基色，因为人眼能识别的颜色均可由红，绿和蓝通过适当混合来复现。彩色 CRT利用了这个特性，使用成千上万的微小的红，绿和蓝色发光点在管表面重现画面。
　　而硬拷贝的视觉效果是通过反射光呈现的，其图像的基本构成要素是三种颜料，分别吸收红光、绿光或蓝光。从理论上讲，按适当比例混合这三种颜料可以再现任何可见的颜色。
　　在白光下，吸收蓝光的颜料看起来是黄色的，吸收绿光的颜料看起来是品红色的，而吸收红光的颜料看起来是青色的。青（cyxn）、品红（magemta）和黄色（yellow）称为补色（see－ondary color），被用做彩色打印中的三个基本色并构成了所谓的 CMY系统。
　　理论上，等量青、品红和黄色颜料的混合呈现黑色，因为红、绿和蓝光被它们分别吸收掉了．而稀释的混合物将呈现灰色，因为它只能吸收一部分人射光．混合三种补色而得到的黑色被称为合成黑。
　　但在实践中，可得到的颜料往往不能产生令人看起来舒服的灰色影调。因此，实际的彩色印制通常使用第四种墨水 ──黑（black）墨水以保证正确表达灰度信息。这种系统称作CMYK系统或四色印制法。
　　CRT和激光图像记录器

　　一种常用的永久显示技术是 CRT胶片记录器。它基本上是一个安装在CRT显示器前的照相机，其快门打开时，整幅图像一个像素一个像素地被显示以使胶片曝光。只需显示一遍，用不着刷新。
　　像素亮度的调制既可以通过控制点的亮度来实现，也可以通过控制每个像素的显示时间来实现。胶片上的像素曝光量与曝光强度和曝光时间的乘积成比例。如果使用点强度调制，必须补偿荧光亮度与电子束流的关系曲线的非线性。
　　滚筒显示设备使用一个慢速转动的滚简带动纸或感光胶片使之通过一个其运动方向与纸或胶片运动方向垂直的线性扫描机构。线性扫描元件可以使用一个作单线扫描的阴极射线管。扫描线成像在纸上以达到田光的效果。扫描机构也可以是能使光敏纸曝光的激光束或使电解纸曝光的电流。
　　电解纸经过敏化，当局部定位电流通过纸时会使受影响的部分变暗。通常，变暗的程度与电流成正比例，这就提供了调制像素亮度的一种手段。但是，用实心黑线像素半调法可以获得更好的效果，因为达到饱和的电解过程有相当好的可重复性。
　　最后，还可以把静电荷图像写在纸上。用来吸引（黑粉）。然后加热将黑粉永久性地熔合在纸上。这种技术与通常用于复印机的技术类似。
　　滚筒感光胶片记录器使用的滚筒和丝杠装置来曝光单张胶片。它使用一个物镜将孔成像在未曝光的胶片上。孔被光源照射，典型的光源是发光二极管。照射光源的强度按照数字图像的灰度级调制。孔的大小与形状及像素的水平和竖直间距一般也是可调的。
　　喷墨打印机
　　不论是单色的还是彩色的，液体喷墨打印机的工作方式都是从一组安放在可随意组装的夹头上的细喷口喷射出墨水流。墨水（溶于水中的不透明颜料）喷到介质（纸或胶片）上，变干后留下一个小点。有时还通过加热来加速干燥过程并防止墨水在干燥之前发生浸润。
　　使用普通纸时，墨水干之前会在纸上扩散使打印的像素稍稍变大，图像变模糊。专用（但很贵）的纸能控制这种现象并产生更清晰的图像。通常点密度在每英寸300到600点。

　　3.显示特性
在本节中，我们将讨论那些共同决定数宇图像显示系统质量及其在特定应用中的适用性的特性。最重要的显示特性是图像的大小．光度分辨率和空间分辨率，低频响应和噪声特性。
　　（１）显示图像的大小
　　系统显示图像大小的能力包括两部分。第一是显示器自身的物理尺寸，它应该足够大以允许方便地详察和理解所显示的图像。第二是显示系统能处理的最大数字图像的大小。显示器必须与待显示的最大图像的行数和每行像素数相适应。发展趋势是处理更大幅图像。显示器大小不足会降低整个图像处理设备的效果。
　　（２）光度分辨率
　　对于显示系统，光度分辨率是指系统在每个像素位置产生正确的亮度或光密度的精度，特别引起人们兴趣的方面之一是系统能产生的离散灰度级数量，它部分地依赖于控制每个像素亮度的比特数。
　　有些显示器只能处理4bit数据，因而只能产生16种不同的灰度级；而另一些可处理8bit数据，产生256种灰度级。但是设计一个能接收8位数据的显示器是一件事，而制造一个能可靠地显示 256级不同灰度的系统却是相当不同的另一件事。有效灰度级数决不会多于数字数据中灰度级数，但很可能会少一些。
　　如果显示系统内部的电了噪声占满一个以上的灰度级，那么灰度级的有效数目就会减少。作为一个粗略的经验估计，方均根（ RMS）噪声级代表了灰度分辨率的实际下限。例如，若 RMS噪声是从黑到白的总的显示范围的 l％，则该显示器可认为具有 100级灰度的光度分辨率，即使显示系统接受8位数据，它也只有100个有效灰度级。如果是一个6bit显示系统，则有64级灰度、采用 RMS噪声级的原因是，如果可以假设噪声是正态分布侧约68％的时间它会处于一倍标准差之内。
　　（３）灰度的线性
　　另一个重要的显示特性是灰度的线性。它的含义是亮度或密度正比于输入灰度级的程度。任何显示设备都有一条输入灰度级与输出亮度的变换曲线。为了进行正确的运算操作，这条曲线应当是线性的，并且保持恒定、对包含（需经显影及放大的）胶片记录器的永久性显示设备来说，必须有仔细的质量控制以得到可再现的结果。
　　幸运的是，人眼并不是很精确的光度计。转换曲线中轻微的非线性，以及从图像的一侧到另一侧10％到20％的亮度影调渐变很难被察觉、但如果变换曲线的两端有明确肩部（或趾部），则在亮区（或暗区）可能会丢失信息或使图像质量下降。
　　（４）显示标定
　　在使用电视监视器的暂时性显示中，变换曲线部分依赖于监视器的亮度和对比度旋钮的调整位置、硬拷贝印制机往往也在前面板或后面板上有一个以上的调节钮。有时，它们包括一个用来调整非线性的变换曲线形状的γ设定旋扭。这样就让用户能修改变换曲线以适合他们的特殊要求或个人品味。然而在大多数情况下，这些处理是由软件而不是由显示系统来完成才最令人满意──显示系统应该仅起把数据无附加“增强”地显示给操作者的作用。
　　显示标定能保证所显示的图像恰当地表达该数字图像、一幅包含所有不同灰度级的线条（或几何方形）灰度测试卡被显示在监视器上或送往图像记录器，然后调整不同的设置以使亮度的全范围都可见；并且在两端均没有灰度级的丢失。
　　一个图像处理系统经过恰当的标定后，从硬拷贝记录器印制出的结果就与屏幕上显示的图像看起来正好一样，而且它也就是数字图像数据的精确表达。
　　（５）低频响应
　　在本节中，我们讨论显示系统再现大块等灰度级区域即平坦区域的能力。这种能力主要依赖于显示点的形状、点间距和显示系统的幅度噪声和位置噪声。既然我们的目标是使数字处理对视觉效果的影响最小，我们希望平坦区域以均匀一致的亮度显示出来。
　　4.像素极性
　　一个平坦区域当然能以介了黑与白之间的任何灰度显示。例如，在阴极射线管显示器上，一个高亮度像素在暗的管表面上被显示为一个亮斑。零亮度使管面上保持出原来的暗状态。在 CRT胶片记录器中，一个高亮度像素在透明的胶片上留下一个黑点，零亮度像素处胶片仍然为透明的。这样，任何显示系统都有特定的像素极性。但无论极性如何，零亮度区域总会呈现均匀一致。因而，平坦区域的平坦性只有在为中等亮度或高亮度时才会成为问题。根据显示系统极性的不同，高亮区可能是黑或白色。
　　三、图像质量的主观评价
　　（一）一般图像质量的主观评价
　　图像的主观评价就是以人作为图像的观察者，对图像的优劣作出主观评定。这是目前普遍采用的方法。选择主观评价的观察者应考虑这样两类人：一类是未受过训练的“外行”观察者，一类是训练有素的“内行”。所谓“内行”观察者是指对图像技术有一定经验的人，他们能够凭自己的观察对图像质量提出严格的判断，对易被“外行”所忽略的图像中默写细小将质都会被他们发现。
　　主观评价大体可以分为两种类型：绝对评价和相对评价。
　　绝对评价是由观察者根据一些事先规定的评价尺度或自己的经验个，对被评价图像提出质量判断，在有些情况下，也可以提供一组标准图像作参考，帮助观察者对图像质量作出合适的评价。绝对评价常用的评价尺度称为“全优度尺度”，也就是观察者对图像的优劣以数字给分。如：
　　非常好的图像　　　　　　　　　　5分
　　好的图像　　　　　　　　　　　　4分
　　中等的图像　　　　　　　　　　　3分
　　差的图像　　　　　　　　　　　　2分
　　非常差的图像　　　　　　　　　　1分
　　相对评价是由观察者将一批图像由好到坏进行分类，也就是对图像进行互相比较得出豪华并给出分数。相对评价常用所谓“群优度尺度”。即：
　　一批中最好的图像　　　　　　　　7分
　　比该批的平均水平好的图像　　　　6分
　　稍好于该批的平均水平图像　　　　5分
　　该批平均水平的图像　　　　　　　4分
　　稍次于该批的平均水平图像　　　　3分
　　比该批的平均水平差的图像　　　　2分
　　一批中最差的图像　　　　　　　　1分
　　评价的结果用一定数量的观察者的平均分数得出，其平均分数定义为：
　　
　　其中为图像属于类的分数，为判定该图像属于类的观察者人数。

　　很明显，上式分子即表示该图像所得的总分数，而分母则表示参加评价给出分数的观察者总数。
　　为了保证图像主观评价在统计上有意义，参加评分的观察者至少应有20名。而且应该注意到主观评价结果往往受图像类型、试验环境等因素的影响。如果图像是观察者很熟悉的内容，则观察者就容易挑出毛病，而给出低分数。而那些观察者所不熟悉的图像内容，即使有些明显降质也往往被漏掉而给出高分数。因此，测试条件应尽可能与使用条件相匹配。
　　图像主观评价的尺度往往也是根据实际使用条件和观察者类型来选择。如评价广播电视图像质量时多采用表 2-2-1所示的国际上规定的五级评分质量和妨碍尺度。对一般人来讲多采用质量尺度。对电视专业人员说来，使用妨碍尺度作为评价尺度为宜。

表 2-2-1　尺度评分法项目
　　图像的主观评价除绝对评价和相对评价两种方法外，还有一些在特定场合下应用的具体方法，如在编码图像质量评价中常常应用的对比试验方法，即在规定条件下，按一定随机方式切换给定的标准图像和评价图像，直到观察者觉察不出或很少觉察到两幅图像的差别为止，那么就可以认为待评价图像和给定的标准图像有相同的质量。
　　（二）电视图像质量的主观评价
　　在主观评价试验中，图像质量评定分数不仅是图像本身特性的函数，而且还是观察者特性以及观察者条件的函数。例如，电视图像的质量不仅与图像本身的几种失真因素（杂波、回波、清晰度、对比度、亮度等）有关，而且与观察者类型，试验图像类型和观察条件等有关。即：
　　
　　其中分别是杂波、回波、清晰度、对比度、亮度相对应的变量。分别是与观察者类型、试验图像类型、观察条件相对应的变量。
　　由于这些失真因素可能单独出现，也可能几个同时出现，它们之间可以是相关的，也可以是不相关的。加上观察者心理因许的不确定性，因此，找出这些失真因素与图像质量的定量关系十分困难，但是又十分必要。各个国家在这一领域都在不断地寻找、研究，并取得了一定的成果。
　　四、用波形和测试图案进行图像质量评价
　　对电视系统通常使用电子测试波形或由摄象机摄取测试图案卡片来观察其性能变化，以进行图像质量测试和评价。
　　例如，对模拟电视信号在传输信道上的降质效应可以通过比较被传输信号和被接收信号的降质视频信号的方法来进行评价。
　　对图像的几何失真、灰度线性以及空间分辨率的测试可以将适当的电子测试信号加在显示器上来进行。如点和线栅图案在检测图像几何失真方面是常用的，而且可以用来检测彩色显示的基色配准情况。灰度卡可以检测图像的灰度线性情况。标准彩条测试卡可以检测图像的彩色特性。空间频率响应可由对于阶跃信号亮度响应的测量推导出来。
　　用波形和测试图案对图像进行评价的方法，在许多电视测量技术中已有比较详细的介绍。不过虽然这种方法简单易行，但所得到的结果往往与主观质量评价的结果不一致。然而这种方法对测试图像系统的某些物理性质还是有用的，如对校准和补偿图像的获取和器件显示方面是很有价值的。
　　五、图像逼真度的测量
　　在研究图像逼真度测量方法之前，我们必须分析一下图像中某一点的亮度和色彩变化引起人们的主观感觉是如何变化的，以什么样的亮度和彩色量度来描述才能符合人的视觉特性，从而与人的主观感觉一致，得到尽可能与主观评价一致的结果。为此，需定义出点光源在亮度、色调、饱和度方面感觉上差别的量度。下面我们先找出符合主观感觉的亮度量度，在进一步分析研究适合于主观感觉的彩色量度。
　　（一）亮度的量度
　　假定有一亮度为的白光源，放在紧靠着的、具有同样谱能分布而亮度为白光源附近。研究表明，在亮度变化的一个相当宽的范围内，人的视觉对比灵敏度即韦伯（Weber）比是一个常数（约为 2％），也就是说，在一定的亮度范围内，人的眼睛观察亮区时候刚刚察觉到有亮度变化的亮度差，要比在观察暗区时的能察觉的亮度差大，因此，图像亮度的线性变化给人们的感觉并不是线性的。对此，不同学者根据不同实验结果得到一些略有差别的结论。
　　视觉心理实验结果表明，人的感觉亮度和亮度基本成对数关系。因此，人所能察觉到的亮度增量的量度应是以为底的对数增量形式，而不是线性增量，以下面的式子表示：
　　
　　（二）彩色量度
　　人的彩色感觉是由于在人眼中存在三种分别对红、绿、蓝色光最敏感的视细胞。当外界色光刺激人眼时，由这三种细胞不同程度的反应混合而成彩色感觉。因此，图像的色彩变化给人主观色彩感觉变化就不是象亮度变化那样简单。为此，就必须先来假设一个由彩色三刺激值所定义的欧几里德空间，通过对这个彩色立体的研究来获得彩色差的量度。
　　设是由三个刺激值所给定的彩色。是由三个刺激值所给定的彩色。对于彩色和的差别，即感觉上的彩色差用三刺激值坐标空间距离尺度来表示，即
　　
　　如果这种彩色差的测度与主观感觉适配的话，那么刚可觉察的彩色差度量就应与按三刺激值偏移所得到的主观感觉“ 刚可察觉彩色差JNCD ”相适配。实验表明当三刺激值对应于红、绿、蓝时，并不是这种情况。这是因为人的眼睛对红、绿、蓝三个刺激的灵敏度不同。一般对蓝刺激的变化最敏感，而对绿刺激的变化最不敏感。
　　（三）黑白图像的逼真度
　　关于黑白图像的逼真度的定量测量已经进行了许多的研究工作。合理的逼真度测量方法应和主观试验结果基本一致，而且要求简单易行。当然也希望这种测量给图像系统的最佳化设计能提供一些性能参数。黑白图像逼真度测量可分为单变量和双变量两种。单变量测量就是根据某一图像场的测试结果，对该图像给予数字表示的性能评价。而双变量测量则是在一对图像场中进行数字比较。
　　数字图像处理中图像的逼真度测量，可以在表示图像的数字阵列上进行，也可以在由数字图像变换得来的模拟图像上进行。当然直接对数字图像进行测量比较简单方便，但是由于人观察的图像并不是数字图像，而是由数字图像变换来的连续显示图像。因此，为了和主观试验结果一致，必须使测试过的数字图像在变换到连续显示图像过程中的降质非常小，或者这种降质是可以预测的。否则测试以后的降质将被漏掉而影响逼真度测量的精确性。现在对上述两种情况下的测试进行分析：
　　1.连续图像场逼真度
　　设为一个定义在矩形区域内的连续图像场，而这个连续图像场是由数字图像场在区域内，按下列公式内插所产生的：
　　
　　式中为连续内插函数，为取样间隔，于是空间域单变量逼真度以下公式表示：

　　

　　其中，是某一种运算符。
　　图像逼真度双变量测量的研究，在某些方面获得了一些成果。下面讨论由标准或理想图像作为参考图像和它的降质图像所组成的一对图像场，这两个图像场的“接近程度”的量度是用它们的互相关函数表示：
　　
　　2.离散图像逼真度
　　在数字图像处理系统中通常较多地使用输出显示图像的离散抽样来确定图像逼真度而不是被显示的连续图像。因此研究和主观实验有关的连续图像离散抽样所取得的图像的逼真度的量度是十分重要的。
　　获得图像逼真度的离散量度的一个简捷方法是将连续量度“ 离散化”。如果两个图像场的抽样满足奈奎斯特定律，那么，这个误差量度应和连续图像误差量度相同。但在实际图像处理系统中连续图像的数字样本，并不是所显示连续图像的奈奎斯特抽样。因为显示系统本身有着降质，而且产生最佳二维重建波形是很困难的。虽然如此，为了方便，还是要常常使用上述这种不精确的量度。
　　表 2-2-2列出了几种最常用的离散黑白图像逼真度（归一化均方误差NMSE）的量度。另一种常用的离散图像逼真度为峰值均方误差PMSE，定义为：
　　
　　式中：为被变换的图像场；
　　　　　为的最大值；
　　　　　峰值均方误差通常被表示成等效的信噪比PSNR：
　　　　　
　　　　　对均方误差同样处理为：

　　　　　
　　在处理如表 2-2-2中的拉氏运算符，或卷积运算符之类变换时，图像阵列界限是有限的，因而计算均方误差必须被限制在处理阵列和的中心区域，以避免“卷绕”失真之类的边缘误差效应。

均方误差

点变换
均方误差

幂律

对数变换

拉　　氏
均方误差

卷　　积
均方误差

表 2-2-2　离散黑白图像的归一化均方误差

　　（四）彩色图像逼真度
　　彩色图像逼真度定量测量的推导要比黑白图像困难得多，不仅由于图像函数的维数增加了，而且还要满足许多感觉现象。彩色逼真度的测量应定量地逐点测量其JNCD，还要与空间效应及彩色适应一致。