第二节 最佳分类器一般情况下，分类是在图像经过数字化，预处理以及特征提取以后，或者已经选定
个特征情况下进行。分类的目的是判别由此
个特征所代表的模式是属于
个类别中的哪一类。通常用
表示类别。而模式
写成
维空间的一个矢量，即
因此，分类器设计主要是寻找最为合理有效的判决函数。
设
为一个随机矢量，分类的
个类别为
分类的目的就是判别
是属于
还是
。若任一类的先验概率为
，其后验概率为
。简单地根据概率判别规则，可以获得如下判决：
若
，
；
,则判
类 （9.2.1）
若利用贝叶斯定理，并且设随机矢量
的条件概率密度函数为
。那么，判决夫则可写成如下形式
（9.2.2）
改写式（9.2.2）为
（9.2.3）
；
则判
类
式（9.2.3）中的
称其为似然比。
也可以将式（9.2.2）改写成对数形式为
（9.2.4）
；
则判
类
这就是最小错误概率的贝叶斯判决或称为最大似然判决。由此可以建立若干种形式的判决函数。例如
（9.2.5a）
（9.2.5b）
（9.2.5c）
上三式中，
；
若
，对全部
，则判决
类 （9.2.6）
由此可见，最小错误概率贝叶斯判决是根据后验概率最大这个原则来进行分类的，即选择后验概率最大的那一类为随机矢量
所代表的模式的属类。
下面我们从另一个不同的角度来讨论另一个最佳分类。一般来讲任何统计判决规则总是可能存在错误的分类。假若对一次给定的判决，能够给出一个把
误判为
风险或代价
。那么平均风险最小的判决也是一种最佳分类。下面仅讨论二个类别的统计分类问题。多种类别的判决可以类推。
设两类为
和
。则存在四种可能的分类，
其四种选择的概率分别记为：
或
其中
和
为
所在的
维空间中的两个区域，
和
互不交迭且充满整个空间，故
和
是等价的，
。其相应的四种选择风险或代价记为
。再求出平均风险或平均代价为：
因为
代入并整理得到
（9.2.7）
为了使风险
最小，希望第二项被积函数值是负值，由此，即可获得风险
的最小判决，即
（9.2.8）
则判
或
。
若被积函数为正值，为使
最小，可将
分到
区域上的办法来解决。则整个规则可用如下不等式表式：
则判
或
（9.2.9）
写成似然比形成为
（9.2.10）
则判
或
这就是最小风险或代价的贝叶斯判决。可以证明，也可以想象，若风险
满足下列条件式（9.2.11），最小风险贝叶斯判决就是最小错误概率的贝叶斯判决。
（9.2.11）
这样一个风险函数，称之为0—1风险函数。
在最小风险的贝叶斯判决中，根据分类的目的与要求，可以给类别不同的选择途径以不同的风险。然而，如果我们难以给出适当而合理的风险函数时，那么一个明显的事实或法则，就是去设法限制或约束某一错误概率，而使另一错误概率为最小。这就是奈曼一皮而逊判决的基本思路。
设两类
和
，存在两种错误概率
和
为
（9.2.12）
其中，
为属于
类的
被错误分到
的概率；
为属于
类的
被错误分到
的概率。
根据上述基本思路，令
（
为某一常数），且以它为约束条件使
最小。在这种情况下，用拉格朗日乘子法来约束错误概率
，而不固定
。根拓具有约束条件的求极值方法，必须找出
（9.2.13）
的最小值。其中
为拉格朗日乘子。将（9.2.12）式中的
和
代入（9.2.13）式中得到
（9.2.14）
这里采用在不同区域
使总错误概率
减小的方法。即将
分别分配到
和
上得
（9.2.15 a）
（9.2.15 b）
为了减小
，式（9.2.15）a、b两式中的被积函数应取负值，于是得到
则
或
（9.2.16 a）
或
则判
或
（9.2.16 b）
若
，则为两类的边界。若写成似然比形式：
则判
或
（9.2.17）
这就是奈曼─皮而逊判决。
若令
则从（9.2.4）式，（9.2.10）和（9.2.17）式可以看出，上述三种判决准则的差别只是从不同角度来确定一个最佳分类门限
而已。