求解广义最佳鉴别矢量集的一种迭代算法及人脸识别

广义最佳鉴别矢量集是Foley-Sammon最佳鉴别矢量集的一种推广,它与Foley-Sammon最佳鉴别矢量集的不同之处在于广义最佳鉴别矢量集从整体上考虑投影集的可分性,即样本在广义最佳鉴别矢量上的投影集从整体上具有最佳的可分性。该文给出了广义最佳鉴别矢量的定义,对求解广义最佳鉴别矢量集的已有算法从理论上作了分析,指出了其中的不足之处,给出了一种迭代算法,从理论上证明了迭代结果收敛于精确解,并对其误差作了分析。最后,将此方法用于人脸识别,结果显示,新方法比已有的方法更有效。     

求解广义最佳鉴别矢量集的一种改进算法

鉴于广义最佳临别矢量集是Ｆｏｌｅｙ－Ｓａｍｍｏｎ最佳鉴别矢量集的一种推广,给出了广义最佳鉴别矢量的定义,并从理论上对已有的求解广义最佳鉴别矢量集的算法作了分析,指出了其中的不足之处,并给出了一种改进的算法,将此方法用于人脸识别,结果显示,新方法比已有的方法更有效。     

2维不相关鉴别矢量集算法

在人脸识别算法中,已有的计算不相关鉴别矢量集的算法均是基于图像向量模型的,因而将遇到所谓的小样本问题,而且由于采用迭代求解方式,算法运算速度缓慢,为此提出了一种新的求取不相关鉴别矢量集的算法,即一种基于图像矩阵模型的2维不相关鉴别矢量集算法。算法由于采用了图像矩阵模型,解决了小样本问题,通过对类内散布矩阵的白化变换,使得推广的2维线性鉴别分析模型具有类似的2维主成分分析模型的形式,从而将两种算法的模型有效地联系起来,进而可以非迭代地求得2维不相关鉴别矢量集,不但求解速度快且数值解稳定。在ORL和Yale人脸库上的实验结果表明,该算法不但减少了计算时间,同时也提高了识别率,为求解不相关鉴别矢量集提供了一个新的思路。     

一种新的求解无相关鉴别矢量集方法

无相关鉴别矢量集方法是解决模式识别问题的有效方法．通常情况下，无相关鉴别矢量集是通过递归方式获得的，计算时间较长．该文提出了一种求解无相关鉴别矢量集的非递归方法．首先根据总体散布矩阵构造无相关投影空间．对于无相关投影空间中的任何正交矢量集，其在原空间中的特征统计无关．然后在无相关投影空间求解基于Fisher线性判别准则的正交矢量集，从而得到原空间的无相关鉴别矢量集．理论分析和实验结果表明：该文方法和Jin等的方法所求解的无相关鉴别矢量集是一致的．而应用本文方法求解无相关鉴别矢量集计算时间较短，在类别数为C的情况下，二者的时间比为(C-1)：2．     

基于最小距离最大原则的模式分类

广义最佳鉴别矢量集是用于高维空间模式分类的有效方法。在高维空间模式分类的情况下，通常训练样本数要小于特征空间维数，从而使类内散布矩阵奇异，不能直接求解。对于这种情况下求解问题，人们给出了一系列求解方法。但这些方法均是应用平均的类间距离，而没有考虑到类问分布的最坏情况。该文对此进行改进，提出了一种新的基于最小距离最大原则的广义最佳鉴别矢量集的求解方法。实验结果表明，提出的方法要优于已有的方法。     

Fisher极小准则不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于广义Fisher准则求解不相关鉴别矢量集的快速算法,但该算法要求总体散度矩阵可逆.针对高维小样本的情况,文中提出求解不相关鉴别矢量集的改进方法.该方法的基本思路是在类间散度矩阵的值空间中运用广义Fisher极小准则求解鉴别矢量集,并讨论在该子空间中进行求解的合理性.针对高维情况下类间散度矩阵值空间的计算效率问题,提出首先利用PCA算法将数据降维,然后在低维空间中求解值空间的策略并讨论其合理性.在ORL人脸数据库上的实验验证该方法的有效性,其识别率高于传统的Fisher脸方法和不相关空间算法.     

一种新的图像特征抽取方法研究

对最佳鉴别矢量的求解方法进行了研究，根据矩阵的分块理论和优化理论，在一定的条件下，从理论上得到类间散布矩阵和总体散布矩阵的一种简洁表示方法，提出了求解最佳鉴别矢量的一种新算法，该算法的优点是计算量明显减少。ORL人脸数据库的数值实验，验证了上述论断的正确性。实验结果表明，虽然识别率与分块维数之间存在非线性关系，但可以通过选择适当的分块维数来获得较高的识别率。类间散布矩阵和总体散布矩阵的一种简洁表示方法适合于一切使用Fisher鉴别准则的模式识别问题。     

一种改进的不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于Fisher准则求解不相关鉴别矢量集的快速算法,但应用在人脸识别中将遇到小样本问题,本文提出一种改进的不相关空间算法,较有效地解决这一问题,其思想是将原始数据空间降到一个低维的子空间,从而避免了总体散布矩阵奇异,并在理论上证明,在这个子空间中求解不相关鉴别矢量集等价于在原空间中求解不相关鉴别矢量集,另外根据散布矩阵的对称性,引入一种计算方法,进一步提高求解不相关鉴别矢量集的速度,最后,在人脸库上的实验结果验证该算法的有效性.     

快速核Foley—Sammon鉴别分析及其在人脸识别上的应用

核Foley-Sammon鉴别分析由于可以抽取得到原始样本的非线性正交特征,因此被广泛应用于模式识别的研究领域.但是该算法在具体求解每一个特征矢量过程中均需求解相应的广义特征方程,因此非常耗时.为了克服这一困难,提出了一种新的快速近似算法即核Foley-Sammon鉴别分析,有效地避免了多次求解广义特征方程.在ORL人脸数据库上的实验结果表明,该算法不仅在识别性能上优于核线性鉴别分析,而且在特征抽取速度上优于传统的核Foley-Sammon鉴别分析.     

模式识别中广义核函数Fisher最佳鉴别

本文在线性Fisher鉴别与核函数Fisher鉴别的基础上,依据D.H.Foley和J.W.Sammon提出的广义Fish-er最佳鉴别概念,将两类模式识别问题的求解方法进行非线性推广,引入了相应的概念,导出并证明了广义核函数Fisher最佳鉴别,得出了广义核函数Fisher最佳鉴别的决策函数.广义核函数Fisher最佳鉴别在判断测试样本时采用竞争原则,将测试样本判为具有最大决策函数值所属的类别,为解决多类模式识别问题提供了一种有效途径.广义核函数Fisher最佳鉴别具有充分的理论依据,泛化能力强,在多类模式识别中具有重要的意义和应用价值.     

广义DKL变换及其在人脸识别中的应用研究

1 引言在模式识别领域中,Fisher线性判别方法有着重大的影响,其基本思想是在Fisher鉴别准则函数取极值的条件下,求得一个最佳鉴别方向,然后再将模式高维特征向量投影到该最佳鉴别方向上,构成一维鉴别特征空间,于是模式鉴别分析就在一维空间中进行。 Foley和Sammon在1970年发展了Fisher线性判别方法,提出了Sammon最佳鉴别平面的技术,并将它用于解决两类问题。Sammon最佳鉴别平面的技术在模式识别领域     

具有统计不相关性的最佳鉴别特征空间的维数定理

提出并严格证明了具有统计不相关性的最佳鉴别特征空间的维数定理：对含有L个类别的模式识别问题，具有统计不相关性的最佳鉴别特征空间的维数为（L－1）：说明了具有统计不相关性的最佳鉴别变的与Wilks所提出的经典的模式特征抽取方法的关系。在一定的条件下，具有统计不相害性的最佳鉴别矢量集等价于Wilks所提出的经典鉴别矢量集。经典的模式特征抽取方法可以用来在不损失任何Fisher鉴别信息的意义下，对含有L个类别的模式识别问题。抽取（L－1）个具有统计不相关性的最佳鉴别特征。     

Class-incremental generalized discriminant analysis

Generalized discriminant analysis (GDA) is the nonlinear extension of the classical linear discriminant analysis (LDA) via the kernel trick. Mathematically, GDA aims to solve a generalized eigenequation problem, which is always implemented by the use of singular value decomposition (SVD) in the previously proposed GDA algorithms. A major drawback of SVD, however, is the difficulty of designing an incremental solution for the eigenvalue problem. Moreover, there are still numerical problems of computing the eigenvalue problem of large matrices. In this article, we propose another algorithm for solving GDA as for the case of small sample size problem, which applies QR decomposition rather than SVD. A major contribution of the proposed algorithm is that it can incrementally update the discriminant vectors when new classes are inserted into the training set. The other major contribution of this article is the presentation of the modified kernel Gram-Schmidt (MKGS) orthogonalization algorithm for implementing the QR decomposition in the feature space, which is more numerically stable than the kernel Gram-Schmidt (KGS) algorithm. We conduct experiments on both simulated and real data to demonstrate the better performance of the proposed methods.     

一种变形Fisher判别准则函数及最优判别向量集

基于Fisher判别准则函数式，提出了一种无约束的最优判别矢量集，并给出了求解算法，另外，当训练样本矢量数小于样本矢量维数（即小样本问题），类内散布矩阵奇异，此时求F-S最优判别向量集及文中提出的无约束的最优判别矢量集都已不可行，对此提出了一种变形的Fisher判别准则函数，并给出了求解最优判别向量集算法。用ORL标准人脸库进行实验，实验结果表明，提出的两种最优判别向量集都有良好的分类能力。     

一种具有统计不相关性的广义最优判别向量集

提出了一种新的最优判别向量集即统计不相关广义最优判别向量集 ,并给出了计算公式。用ORL人脸数据库进行人脸识别实验 ,结果表明该方法有较强的特征提取能力。     

Feature Extraction Method Based on the Generalised Fisher Discriminant Criterion and Facial Recognition

In this paper we view the optimal set of discriminant vectors as a global transform, and consider its separability from a global view point. Based on this idea, the concept of a generalised Fisher discriminant criterion and that of a generalised optimal set of discriminant vectors is introduced. After that, a new algorithm is given to calculate the generalised optimal set of discriminant vectors defined in this paper, which is particularly suited to the case of a small number of samples where the scatter matrix is singular. It is then applied to an experiment on human facial recognition, and the results show that the new algorithm is superior to existing methods in terms of correct classification rate.     

最优鉴别特征的抽取及图像识别

利用Fisher鉴别准则函数即为广义Rayleigh商这一特点,首先分析了广义Rayleigh商的极值性质,指出以共轭正交的约束条件代替Foley-Sammon正交条件的合理性。然后利用广义特征方程存在共轭性正交的特征向量这一结论,巧妙地解决了该共轭正交条件下最优鉴别矢量集的求解问题。从理论上分析了该最优鉴别矢量集较经典的Foley-Sammon最优鉴别矢量集以及Fisher线性鉴别法的优越性。另外,进一步讨论了在小样本情况下,类内散布矩阵奇异时鉴别矢量集的求解问题,并给出了简单易行的算法。最后,在CENPARMI手写体阿拉伯数字库和ORL标准人脸库上的试验结果证实了算法的有效性和稳定性。