2.2 线性鉴别分析

线性鉴别分析的基本思想是由费希尔^[3]最早提出的，其目的是选择使得费希尔准则函数达到极值的向量作为最佳投影方向，从而使得样本在该方向上投影后，达到最大的类间离散度和最小的类内离散度。在费希尔思想的基础上，Wilks^[4]和Duda^[5]分别提出了鉴别向量集的概念，即寻找一组鉴别向量构成子空间，以原始样本在该子空间内的投影向量作为鉴别特征用于识别，该方法被称为经典的费希尔线性鉴别分析方法。同时，该方法一直受到研究人员的普遍关注^[6，7]，广泛应用于人脸识别等领域。除经典的费希尔线性鉴别分析方法外，在1975年，Foley和Sammon^[8]提出了另一种基于费希尔准则的线性鉴别法。该方法旨在找到一组满足正交条件的最佳鉴别向量用于特征抽取，并被推广到多类情形^[9]。

在1999年，金忠和杨静宇等从统计不相关的角度，提出了具有统计不相关性的最优鉴别向量集的概念^[10-12]。与Foley和Sammon的鉴别向量集不同的是，具有统计不相关性的最优鉴别向量集是满足共轭正交条件的。但金忠和杨静宇等在参考文献[10，11]中给出的求解最佳鉴别向量集的算法较为复杂，而在参考文献[12]中仅就一种特殊情况，即费希尔准则函数所对应的广义特征方程的特征值互不相等的条件下，给出了一种简捷算法，并指出在该条件下不相关的线性鉴别分析与经典的费希尔鉴别法^[4]是等价的。

在本节中，我们进一步完善了具有统计不相关性的线性鉴别分析的理论构架，给出了求解不相关的最优鉴别向量集的一个非常简单而有效的算法，并指出统计不相关的线性鉴别分析的理论是经典的费希尔线性鉴别法的进一步发展。

2.2.1 基本概念

设ω₁，ω₂，…，ω_c为c个模式类，X为一个N维随机向量，其类间散布矩阵S_b和类内散布矩阵S_w分别定义为

式中，P（ω_i）为第i类模式的先验概率，m_i=E{X/ω_i}为第i类模式的均值，m₀=为X的均值。设X共有M个训练样本，其中第i类模式有M_i个训练样本，不妨设X_ij表示第i类模式的第j个样本（j=1，…，M_i，i=1，…，c）。则，类内散布矩阵S_w的估计如下：

由式（2-12）和式（2-13）的定义知，S_w、S_b均为非负定矩阵。易证明S_t=S_b+S_w。当S_w可逆时，S_w与S_t均为正定矩阵。

费希尔准则函数定义为

式中，ϕ为任意一个N维非零列向量。

费希尔准则函数非常巧妙地将样本在投影向量上的类间离散度和类内离散度结合在一起，为确定最优投影方向提供了一个非常完美的准则。选取使得目标函数J_f（ϕ）达到最大值的向量ϕ作为投影方向，其物理意义是投影后的样本具有最大的类间离散度和最小的类内离散度。

不难证明，当S_w可逆时，费希尔准则与以下准则等价^[13]：

本节我们只讨论类内散布矩阵S_w非奇异的情形。

2.2.2 经典的费希尔线性鉴别与Foley-Sammon线性鉴别方法

经典的费希尔线性鉴别分析^[4，5]旨在通过最优化准则函数式（2-17）或式（2-18）找到一个最优的投影矩阵W_opt。

事实上，经典的费希尔线性鉴别分析的最优投影轴，即W_opt的列向量u₁，u₂，…，u_d一般取为广义特征方程S_bϕ=λS_wϕ的d个最大的特征值所对应的特征向量^[4，5]。也就是说，u₁，u₂，…，u_d满足以下条件：

S_b u_j =λ_jS_wu_j,j=1,…,d,λ₁≥…≥λ_d

由于S_bϕ=λS_wϕ至多存在c-1个非零特征向量，故最优投影轴的个数d≤c-1。

Foley-Sammon线性鉴别分析^[7]旨在寻找一组最优鉴别向量集ϕ₁，…，ϕ_d，它们在最大化费希尔准则函数的同时满足以下正交条件

事实上，Foley-Sammon最佳鉴别向量集的第一个向量取为费希尔最佳鉴别方向，即广义特征方程S_bϕ=λS_wϕ的最大特征值所对应的单位特征向量ϕ₁。在Foley-Sammon最佳鉴别向量集的前i个鉴别向量ϕ₁，…，ϕ_i求出之后，第i+1个鉴别向量ϕ_i+1可以由求解下列优化问题得到：

式中，R^N是指欧几里得空间。

参考文献[9，10]分别给出了多类情况下ϕ_i+1的计算公式，其中参考文献[10]的方法更为简明，即引理2-1。

引理2-1 ϕ_i+1为广义特征方程式（2-21）的最大特征值λ_max所对应的特征向量，且J_f（ϕ_i+1）=λ_max。

式中，，D_i=（ϕ₁，ϕ₂，…，ϕ_i）^T。

由最优鉴别向量集构成的Foley-Sammon变换是特征抽取（特征向量维数压缩）的经典方法之一，在图像识别等领域得到广泛应用。

2.2.3 具有统计不相关性的线性鉴别分析

本节从最优化的角度，利用费希尔准则即为广义瑞利商（Generalized Rayleigh Quotient）这一特点，分析了广义瑞利商的极值性质，利用广义瑞利商所对应的广义特征方程存在共轭正交的特征向量这一结论，解决该共轭正交条件下最优鉴别向量集的求解问题。

在此，为方便起见，我们采用费希尔准则的等价准则式（2-16）进行讨论。

式（2-16）的准则函数即为矩阵S_b相对于S_t的广义瑞利商。Foley和Sammon的目标是在欧几里得空间R^N中找到标准正交的最优鉴别矢量集ϕ₁，ϕ₂，…，ϕ_d，其实质是在超单位球面ϕ^Tϕ=1上寻找满足正交条件且使得目标J（ϕ）最大的ϕ₁，ϕ₂，…，ϕ_d。

由广义瑞利商式（2-16）的性质^[14]：J（μϕ）=J（ϕ），∀μ∈R。故要找到一组使得目标函数J（ϕ）达到极值的投影向量，我们在超椭球面ϕ^TS_tϕ=1上讨论更为方便。其实，在S_t正定的情况下，我们在线性空间R^N内重新定义内积：

式中，α,β∈R^N。

我们将定义了以上内积的线性空间R^N记作R^N（S_t）。那么，向量α与β在内积空间R^N（S_t）中正交，即α^TS_tβ=0，也就是所谓的α与β关于矩阵S_t共轭正交。

我们知道，内积空间R^N（S_t）和欧几里得空间R^N是同构的。因此，在空间R^N（S_t）中考虑问题并没有丧失任何信息。这样，广义瑞利商式（2-16）的极值问题就转化为在内积空间R^N（S_t）中的超单位球面上讨论了。现在，我们的问题是，如何找到满足上述条件的广义瑞利商式（2-16）的极值点，即如何在空间R^N（S_t）中找到一组标准正交的且使得目标J（ϕ）达到极值的最优鉴别向量ϕ₁，ϕ₂，…，ϕ_d。

换而言之，该问题就是在欧几里得空间R^N中寻找满足S_t共轭正交条件式（2-23）且使得目标函数J（ϕ）达到极值的最优鉴别向量ϕ₁，ϕ₂，…，ϕ_d。

具体来讲，第一个鉴别向量仍取为费希尔最佳鉴别方向，即特征方程S_bϕ=λS_tϕ的最大特征值所对应的特征向量ϕ₁；前i个鉴别向量ϕ₁，…，ϕ_i求出之后，第i+1个鉴别向量ϕ_i+1可以由求解下列优化问题得到。

为了求解该最优化问题，我们引入以下理论。

定理2-2^[14] 当S_t可逆时，在超椭球面ϕ^TS_tϕ=1上，ϕ为目标函数J（ϕ）极值点的充分必要条件是，ϕ为广义特征方程S_bϕ=λS_tϕ的属于特征值λ的特征向量，且满足J（ϕ）=λ。

以下我们讨论特征方程S_bϕ=λS_tϕ的特征值和特征向量的性质。

定理2-3 当S_t非奇异时，广义特征方程S_bϕ=λS_tϕ的特征值均为非负实数，有且仅有q个非零特征值，其中，q=rank（S_b）。

证明：广义特征方程S_bϕ=λS_tϕ的两边左乘ϕ^T得ϕ^TS_bϕ=λϕ^TS_tϕ。

又因S_t正定的，S_b非负定的，则有ϕ^TS_bϕ≥0，ϕ^TS_tϕ＞0，故λ≥0。

当S_t非奇异时，设q=rank（S_b），则，故广义特征方程S_bϕ=λS_tϕ有且仅有q个非零特征值。

定理2-4 广义特征方程S_bϕ=λS_tϕ存在N个特征向量ϕ₁，ϕ₂，…，ϕ_N满足以下条件：

式中，λ_i（i=1，…，N）为S_bϕ=λS_tϕ的特征向量ϕ_i所对应的特征值。

证明：由于S_t为正定矩阵，则必存在正交矩阵U=（u₁，…，u_N），使得U^TS_tU=Λ=diag（a₁，…，a_N）。其中，u₁，…，u_N为S_t的标准正交的特征向量，a₁，…，a_N为所对应的特征值，且满足a_j＞0，j=1，…，N。

令，则W^TS_tW=I，那么S_t=（W^-1）^TW^-1，代入S_bϕ=λS_tϕ得

令φ=W^-1ϕ，则ϕ=Wφ，于是式（2-27）等价于S_bWφ=λ（W^-1）^Tφ，即

式（2-28）中，令，易证明为非负定矩阵，故其存在N个标准正交的φ₁，…，φ_N，即

使得，其中，λ_j为对应的特征向量，且λ_j≥0，j=1，…，N。

令ϕ_j=Wφ_j，j=1，…，N，则

由式（2-29）和式（2-30）得

由以上推导过程可见，ϕ_j即为S_bϕ=λS_tϕ的对应于λ_j的特征向量，即

由式（2-31）和式（2-32）得

定理2-4说明广义特征方程S_bϕ=λS_tϕ存在N个关于矩阵S_t共轭正交的特征向量。

推论2-2 广义特征方程S_bϕ=λS_tϕ的关于S_t共轭正交的特征向量ϕ₁，…，ϕ_N线性无关，且R^N=span{ϕ₁，…，ϕ_N}。

为了讨论的方便，不妨设S_bϕ=λS_tϕ的特征值是从大到小顺序排列的，即满足λ₁≥…≥λ_N。

定理2-5 模型2-2的最优解为ϕ_i+1。

证明：若前i个最优鉴别向量为ϕ₁，…，ϕ_i，由推论2-2和模型2-2中的共轭正交条件可知，ϕ只可能从R^N的子空间span{ϕ_i+1，…，ϕ_N}中选取，故ϕ可以表示为ϕ=c_i+1ϕ_i+1+…+c_Nϕ_N。再由定理2-2、定理2-3可得

显然，J（ϕ_i+1）=λ_i+1，因此，ϕ可取为ϕ_i+1。

定理2-6 在费希尔准则函数下，满足S_t共轭正交条件的有效最优鉴别向量的个数最多为q个，其中，q=rank（S_b）≤c-1，c为样本类别数；且所取的d个（d≤q）最优鉴别向量可由特征方程S_bϕ=λS_tϕ的前d个最大的特征值所对应的关于S_t共轭正交的特征向量构成。

证明：由定理2-3可知，λ_j＞0，j=1，…，q；λ_q+1=…=λ_N=0。

由定理2-2可知，J（ϕ_j）=λ_j，j=1，…，N。

故J（ϕ_j）=0，j=d+1，…，N。根据费希尔准则的物理意义，向量ϕ_q+1，…，ϕ_N不提供任何投影鉴别信息，即有效的最优鉴别向量个数最多为q（q≤c-1）个。再由定理2-5可知，d个（d≤q）最优鉴别向量可取为λ₁，λ₂，…，λ_d所对应的关于S_t共轭正交的特征向量ϕ₁，ϕ₂，…，ϕ_d。

定理2-4的证明过程给出了求解最优鉴别向量ϕ₁，ϕ₂，…，ϕ_d的具体算法。

最优鉴别向量ϕ₁，ϕ₂，…，ϕ_d可构成以下线性变换：

Y作为X的费希尔鉴别特征表示，可用于后续的分类。

2.2.4 相关性分析

设线性鉴别变换Y=Φ^TX，其中，Φ=（ϕ₁，ϕ₂，…，ϕ_d），ϕ₁，ϕ₂，…，ϕ_d为最优鉴别向量。原始特征向量X变换为Y=（y₁，…，y_d）^T，其第i个分量为，i=1，…，d。则y_i与y_j之间的协方差为

故y_i与y_j的统计相关系数可表达为

定理2-7 设ϕ₁，…，ϕ_d为统计不相关的最优鉴别向量集，且（i=1，…，d），则ρ（y_i，y_j）=0，i≠j。

该定理说明，统计不相关的线性鉴别变换能够彻底消除模式样本特征之间的统计相关性。

相比较而言，经典的费希尔线性鉴别法是，直接取广义特征方程S_bϕ=λS_tϕ或S_bϕ=λS_wϕ的c-1个最大的特征值对应的特征向量作为投影向量，而这些特征向量之间不一定在任何时候都满足S_t共轭正交条件。接下来，我们具体分析经典的费希尔线性鉴别法的一些性质。

设ξ_i和ξ_j为S_bϕ=λS_tϕ的两个线性无关的特征向量，λ_i和λ_j分别为对应的特征值，以下结论成立。

性质2-1 若λ_i≠λ_j，则ξ_i和ξ_j关于S_t共轭正交，即。

证明：既然S_bξ_i=λ_iS_tξ_i，S_bξ_j=λ_jS_tξ_j，则

故=0

由于λ_i≠λ_j，必然有=0。

然而，当λ_i=λ_j，则相对应的线性无关的特征向量ξ_i和ξ_j不一定关于S_t共轭正交，这一点类似于实对称矩阵的特征向量的性质。

总之，经典的费希尔线性鉴别法无法从理论上保证其鉴别向量之间的共轭正交性，故无法保证变换后的样本特征之间是统计不相关的。而具有统计不相关性的鉴别分析在理论上确保了这一点，故我们认为具有统计不相关性的鉴别分析的理论，是经典的费希尔线性鉴别法理论^[4，5]的完善与发展。

性质2-1说明，在广义特征方程S_bϕ=λS_tϕ或S_bϕ=λS_wϕ的特征值互不相等的条件下，其特征向量关于S_t共轭正交。此时，具有统计不相关性的鉴别分析法与经典的费希尔线性鉴别分析方法等价，这正是金忠和杨静宇等在参考文献[12]中得出的结论。

另外，由于Foley-Sammon鉴别分析方法中的鉴别向量之间是正交的，一般不满足共轭正交条件，故Foley-Sammon变换通常无法消除模式样本特征之间的相关性，甚至变换后的特征分量之间是强相关的。本章后面的实验将验证这一点。

2.2.5 等价的最优鉴别向量集

由本书2.2.4节的讨论可知，不相关的最优鉴别向量集可取为，广义特征方程S_bϕ=λS_tϕ的前d个最大的特征值所对应的关于S_t共轭正交的特征向量。其实，该最优鉴别向量集也可取为，广义特征方程S_bϕ=λS_wϕ的前d个最大的特征值所对应的关于S_t共轭正交的特征向量。下面，我们将证明这一结论。

引理2-2 当S_w非奇异时，S_bϕ=λS_tϕ的任意特征值满足0≤λ_j＜1，j=1，…，N。

证明：由定理2-2和定理2-4可知，S_bϕ=λS_tϕ的特征值满足：λ_j=J（ϕ_j），j=1，…，N。

当S_w非奇异时，S_w为正定矩阵，故，j=1，…，N。

因此，，j=1，…，N。

从而有λ_j=J（ϕ_j）＜1，j=1，…，N。

再由S_b的非负定性知，λ_j≥0，j=1，…，N。

引理2-3 当S_w非奇异时，ξ是广义特征方程S_bϕ=λS_tϕ的属于特征值λ的特征向量，当且仅当ξ是广义特征方程S_bϕ=λS_wϕ的属于特征值的特征向量。

证明：若ξ是广义特征方程S_bϕ=λS_tϕ的属于特征值λ的特征向量，则有S_bξ=λS_tξ。

由于S_t=S_b+S_w，从而有（1-λ）S_bξ=λS_wξ，由引理2-2可知，1-λ＞0，上式可变化为。

故ξ是广义特征方程S_bϕ=λS_tϕ的属于特征值λ的特征向量，当且仅当ξ是广义特征方程S_bϕ=λS_wϕ的属于特征值的特征向量。

设广义特征方程S_bϕ=λS_tϕ中的正特征值为λ₁，…，λ_r，其中，r=rank（S_b）。设λ₁，…，λ_r对应的特征向量分别为ϕ₁，…，ϕ_r，由引理2-3可知，ϕ₁，…，ϕ_r分别对应于广义特征方程S_bϕ=λS_wϕ中的正特征值。易证明，它们满足以下关系，即引理2-4。

引理2-4λ₁≥…≥λ_r当且仅当。

由定理2-4，引理2-2～引理2-4可知，广义特征方程S_bϕ=λS_tϕ或S_bϕ=λS_wϕ均存在一组关于S_t共轭正交的特征向量，而且前d个（d≤r）最大的特征值所对应的特征向量是完全相同的。因此，我们可得到一个统一的结论，即定理2-8。

定理2-8 具有统计不相关性的最优鉴别向量集ϕ₁，…，ϕ_d（d≤r）可取为广义特征方程S_bϕ=λS_tϕ或S_bϕ=λS_wϕ的前d个最大的特征值所对应的关于S_t共轭正交的特征向量。

2.2.6 几种等价的费希尔准则

现在，我们来分析一下几种常用的费希尔准则。费希尔准则分为两类：一类是基于单个投影向量定义的，另一类是基于投影向量集的整体来定义的。式（2-15）和式（2-16）属于前一类，而式（2-17）和式（2-18）属于后一类。关于整体定义的费希尔准则，除了以上提到的两个，还有一个Guo^[15]等提出的广义费希尔准则：

式中，S_b和S_w分别表示类间散布矩阵和类内散布矩阵；Φ=（ϕ₁，…，ϕ_d），表示特征抽取算子，其列向量ϕ₁，…，ϕ_d为投影向量集。

严格地讲，不管采用哪种费希尔准则，在最优化该准则时，都要考虑鉴别向量之间的关系，而以往的很多讨论都忽略了这一点。

不难证明，在共轭正交条件下，以上准则都是等价的。但需要指出的是，在正交条件下，这些准则彼此之间常常是不等价的。