小样本情况下Fisher线性鉴别分析的理论及其验证

线性鉴别分析是特征抽取中最为经典和广泛使用的方法之一。近几年,在小样本情况下如何抽取F isher最优鉴别特征一直是许多研究者关心的问题。本文应用投影变换和同构变换的原理,从理论上解决了小样本情况下最优鉴别矢量的求解问题,即最优鉴别矢量可在一个低维空间里求得;给出了特征抽取模型,并给出求解模型的PPCA+LDA算法;在ORL人脸库3种分辨率灰度图像上进行实验。实验结果表明,PPCA+LDA算法抽取的鉴别向量有较强的特征抽取能力,在普通的最小距离分类器下能达到较高的正确识别率,而且识别结果十分稳定。     

不相关最佳鉴别矢量集的有效算法*

线性鉴别分析中处理小样本问题的方法有两类：①在模式识别之前,通过降低模式样本特征向量的维数达到消除奇异性的目的;②发展算法获得低维鉴别特征。将这两种方法结合起来,解决了高维小样本情况下基于广义Fisher线性鉴别准则的不相关最优鉴别矢量集的求解问题,给出了抽取最优鉴别矢量的有效算法。     

快速Foley—Sammon鉴别变换及脸象鉴别

为了解决小样本情况下,类内散布矩阵不可逆时,Foley-Sammon最优鉴别矢量集的求解问题,给出了一种快速近似算法,首先从理论上说明了当类内散布矩阵不可逆时,将在原始特征空间内求解最佳鉴别矢量集的问题映射到等于或小于c-1（c为样本类别数）维的欧氏空间内进行是可行的,由于样本类别数远远小于原始特征空间的维数,故该算法不仅大大减少了特征抽取的时间,也提高了分类识别的速度,在ORL标准人脸库上的试验结果表明,该算法不仅在识别率和识别时间上优于传统的扰动法和补空间法,而且比经典的特征脸方法和Fisher脸方法更为有效。     

一种新颖的核鉴别通用矢量集算法

为了进一步增强鉴别通用矢量集算法的性能,提出一种核鉴别通用矢量集算法.首先利用核函数将原始样本隐式地映射到高维特征空间;然后在高维特征空间里利用再生核理论建立鉴别通用矢量集算法的等价求解模型;最后根据新的求解模型,应用二次Gram-Schmidt正交化方法求出核类内零空间中的鉴别矢量集.在人脸库上的实验结果验证了文中算法的有效性.     

人脸识别中基于核的子空间鉴别分析

尽管基于Fisher准则的线性鉴别分析被公认为特征抽取的有效方法之一，并被成功地用于人脸识别，但是由于光照变化、人脸表情和姿势变化，实际上的人脸图像分布是十分复杂的，因此，抽取非线性鉴别特征显得十分必要。为了能利用非线性鉴别特征进行人脸识别，提出了一种基于核的子空间鉴别分析方法。该方法首先利用核函数技术将原始样本隐式地映射到高维（甚至无穷维）特征空间；然后在高维特征空间里，利用再生核理论来建立基于广义Fisher准则的两个等价模型；最后利用正交补空间方法求得最优鉴别矢量来进行人脸识别。在ORL和NUST603两个人脸数据库上，对该方法进行了鉴别性能实验，得到了识别率分别为94％和99．58％的实验结果，这表明该方法与核组合方法的识别结果相当，且明显优于KPCA和Kernel fisherfaces方法的识别结果。     

最优鉴别特征的抽取及图像识别

利用Fisher鉴别准则函数即为广义Rayleigh商这一特点,首先分析了广义Rayleigh商的极值性质,指出以共轭正交的约束条件代替Foley-Sammon正交条件的合理性。然后利用广义特征方程存在共轭性正交的特征向量这一结论,巧妙地解决了该共轭正交条件下最优鉴别矢量集的求解问题。从理论上分析了该最优鉴别矢量集较经典的Foley-Sammon最优鉴别矢量集以及Fisher线性鉴别法的优越性。另外,进一步讨论了在小样本情况下,类内散布矩阵奇异时鉴别矢量集的求解问题,并给出了简单易行的算法。最后,在CENPARMI手写体阿拉伯数字库和ORL标准人脸库上的试验结果证实了算法的有效性和稳定性。     

一种改进的Fisher判别方法在人脸识别中的应用

对核Fisher鉴别分析进行了深入分析,发现了一种等价的但更为简单的非线性特征抽取方法.该方法利用一个映射将原始输入空间变换到一个更低维的空间RN中,然后在该空间上利用线性Fisher鉴别分析进行最优特征抽取.讨论了特征提取的一般模型,并提出了一种基于矩阵相似度的特征提取算法.通过ORL人脸数据库的数值实验,表明该算法比传统Fisher算法有更好的性能.     

基于核的Fisher非线性最佳鉴别分析在人脸识别中的应用

抽取最佳鉴别特征是人脸识别中的重要一步。对小样本的高维人脸图像样本,由于各种抽取非线性鉴别特征的方法均存在各自的问题,为此提出了一种求解核的Fisher非线性最佳鉴别特征的新方法,该方法首先在特征空间用类间散度阵和类内散度阵作为Fisher准则,来得到最佳非线性鉴别特征,然后针对此方法存在的病态问题,进一步在类内散度阵的零空间中求解最佳非线性鉴别矢量。基于ORL人脸数据库的实验表明,该新方法抽取的非线性最佳鉴别特征明显优于Fisher线性鉴别分析(FLDA)的线性特征和广义鉴别分析(GDA)的非线性特征。     

基于加权Fisher准则的线性鉴别分析及人脸识别

提出了一种基于加权Fisher准则线性鉴别分析的人脸识别方法。该方法引入了一种新的权函数对Fisher准则加权,以提高样本在低维线性空间中的可分性,然后探讨了高维、奇异情况下如何降低运算量的问题,并给出了一个简单高效的算法。在ORL标准人脸库上进行测试,由该算法抽取的特征在最近邻分类器和最小距离分类器下均达到96%的正确识别率,这一结果优于经典的特征脸和Fisher脸方法在该库上的识别结果。     

快速核Foley—Sammon鉴别分析及其在人脸识别上的应用

核Foley-Sammon鉴别分析由于可以抽取得到原始样本的非线性正交特征,因此被广泛应用于模式识别的研究领域.但是该算法在具体求解每一个特征矢量过程中均需求解相应的广义特征方程,因此非常耗时.为了克服这一困难,提出了一种新的快速近似算法即核Foley-Sammon鉴别分析,有效地避免了多次求解广义特征方程.在ORL人脸数据库上的实验结果表明,该算法不仅在识别性能上优于核线性鉴别分析,而且在特征抽取速度上优于传统的核Foley-Sammon鉴别分析.     

A novel method for Fisher discriminant analysis

A novel model for Fisher discriminant analysis is developed in this paper. In the new model, maximal Fisher criterion values of discriminant vectors and minimal statistical correlation between feature components extracted by discriminant vectors are simultaneously required. Then the model is transformed into an extreme value problem, in the form of an evaluation function. Based on the evaluation function, optimal discriminant vectors are worked out. Experiments show that the method presented in this paper is comparative to the winner between FSLDA and ULDA.     

不相关鉴别分析改进算法

不相关鉴别分析是一种非常有效并起着重要作用的线性鉴别分析方法,它能抽取出具有不相关性质的特征分量。但是,由于每一个鉴别矢量的得出都要求解一个特征方程,不相关鉴别分析算法一直是计算代价很大的算法,在需求解的鉴别矢量个数较多时尤其如此。该文基于一个等效的Fisher准则函数,提出了不相关鉴别分析的另一问题模型。使用Lagrange乘子法,可求出对应该问题模型的“不相关”鉴别矢量解的简洁的表示式。关于CENPARMI手写体阿拉伯数字库和ORL人脸图象库的实验表明,该文提出的不相关鉴别分析改进算法计算效率较原算法有较大提高。     

Why can LDA be performed in PCA transformed space?

PCA plus LDA is a popular framework for linear discriminant analysis (LDA) in high dimensional and singular case. In this paper, we focus on building a theoretical foundation for this framework. Moreover, we point out the weakness of the previous LDA based methods, and suggest a complete PCA plus LDA algorithm. Experimental results on ORL face image database indicate that the proposed method is more effective than the previous ones.     

鲁棒多视图协同完整鉴别子空间学习算法

为了有效地融合多视图信息并使有利于多视图完整子空间学习的视图主导多视图学习,提出了多视图协同完整子空间学习策略。进一步,为了使对象在潜在完整子空间中的完整特征表示具有更好的鉴别能力,将Fisher鉴别分析引入到了多视图完整子空间学习中。Fisher鉴别分析可以在最小化对象的完整特征表示的类内散度的同时最大化对象的完整特征表示的类间散度。将多视图协同完整空间学习策略和Fisher鉴别分析融合在一起,提出了鲁棒多视图协同完整鉴别子空间学习算法。实验结果表明,所提算法能够有效地融合多视图信息并挖掘鉴别信息,是一种有效的多视图完整子空间学习算法。     

Feature Extraction Method Based on the Generalised Fisher Discriminant Criterion and Facial Recognition

In this paper we view the optimal set of discriminant vectors as a global transform, and consider its separability from a global view point. Based on this idea, the concept of a generalised Fisher discriminant criterion and that of a generalised optimal set of discriminant vectors is introduced. After that, a new algorithm is given to calculate the generalised optimal set of discriminant vectors defined in this paper, which is particularly suited to the case of a small number of samples where the scatter matrix is singular. It is then applied to an experiment on human facial recognition, and the results show that the new algorithm is superior to existing methods in terms of correct classification rate.     

一种新的基于高斯混合模型的线性判别分析

Fisher准则函数的前提条件就是假设每类样本数据满足单峰高斯分布,即各类样本在模式空间的分布近似椭球状,但是当训练样本数据较多且呈多峰分布时,传统的Fisher准则函数并不能准确反映样本数据的分布,显然基于Fisher准则函数的线性判别分析得到的最优判别矢量集也不是最优的。针对这种情况,通过引入高斯混合模型的概念,提出了一种新的基于高斯混合模型的线性判别分析方法,同时也给出了在该模型下的最优判别矢量集的直接求解方法,并通过实验证明了该算法的有效性。     

完备的双子空间边界近邻鉴别分析

针对边界Fisher鉴别分析算法不能够有效解决小样本问题,提出了一种完备的双子空间边界近邻鉴别分析算法。该算法通过理论分析将MFA的目标函数分解成两部分,对此目标函数的求解,首先要对高维样本进行PCA降维至一个低维子空间, 而这一过程并不损失任何有效的鉴别信息,对此通过定理1和定理2进行了证明;然后再分别求出类内边界近邻互补子空间的两投影矩阵。最后人脸库上的实验结果表明了所提方法的有效性。     

Generalized nonlinear discriminant analysis and its small sample size problems

This paper develops a generalized nonlinear discriminant analysis (GNDA) method and deals with its small sample size (SSS) problems. GNDA is a nonlinear extension of linear discriminant analysis (LDA), while kernel Fisher discriminant analysis (KFDA) can be regarded as a special case of GNDA. In LDA, an under sample problem or a small sample size problem occurs when the sample size is less than the sample dimensionality, which will result in the singularity of the within-class scatter matrix. Due to a high-dimensional nonlinear mapping in GNDA, small sample size problems arise rather frequently. To tackle this issue, this research presents five different schemes for GNDA to solve the SSS problems. Experimental results on real-world data sets show that these schemes for GNDA are very effective in tackling small sample size problems.