正交约束的无监督统计不相关最佳鉴别平面

赵海涛等提出的改进的最佳鉴别平面(IODP)只能用于有监督模式,基于此,本文提出将IODP扩展到无监督模式下的方法。在优化模糊Fisher准则求取第一条最佳鉴别矢量的基础上,求取同时满足正交约束与模糊总体散布矩阵共轭正交约束的第二条最佳鉴别矢量,构成正交约束的无监督统计不相关最佳鉴别平面(OUUODP),进而获得一种新的无监督特征抽取方法。对CMU-PIE人脸数据库进行实验,结果表明,当类别差异较大时,该方法能够抽取有利于分类的特征,获得了优于主成分分析与独立成分分析方法的性能。     

基于无监督最佳鉴别平面的人脸识别*

最佳鉴别平面作为一种重要的特征抽取方法,在人脸特征降维中具有重要的影响。然而,传统的最佳鉴别平面是基于Fisher准则的,只能用于有监督模式。为此,提出了一种将最佳鉴别平面扩展到无监督模式下的方法,其基本思想是以投影空间中模糊类间离散度和模糊类内离散度的比值最大为优化目标,计算出无监督模式下最佳鉴别矢量及模糊离散度矩阵,进而获得一种新的基于无监督最佳鉴别平面的特征抽取方法。较之同属于无监督特征抽取的主成分分析,该方法更容易获得有利于分类的特征。对CMU-PIE人脸数据库进行实验,结果表明,在样本类别信息缺失的情况下,该方法尽管无法具有与有监督模式下的最佳鉴别平面特征抽取方法同样的性能,但当不同类之间差异较大时,将优于主成分分析方法。     

最佳鉴别矢量集在无监督模式下的扩展

基于Fisher准则函数的最佳鉴别矢量集是一种重要的有监督特征提取方法,在模式识别领域有着重要的影响．提出一种将最佳鉴别矢量集扩展到无监督模式下的方法,其基本思想是通过定义的模糊Fisher准则函数将Fisher线性判别扩展成一种半模糊聚类算法,通过该算法求得最佳鉴别矢量和模糊散布矩阵,进而构造出最佳鉴别矢量集．实验表明,在聚类有效性、分类准确率均优于无监督模式下常用的主成分分析特征提取算法．     

最优鉴别特征的抽取及图像识别

利用Fisher鉴别准则函数即为广义Rayleigh商这一特点,首先分析了广义Rayleigh商的极值性质,指出以共轭正交的约束条件代替Foley-Sammon正交条件的合理性。然后利用广义特征方程存在共轭性正交的特征向量这一结论,巧妙地解决了该共轭正交条件下最优鉴别矢量集的求解问题。从理论上分析了该最优鉴别矢量集较经典的Foley-Sammon最优鉴别矢量集以及Fisher线性鉴别法的优越性。另外,进一步讨论了在小样本情况下,类内散布矩阵奇异时鉴别矢量集的求解问题,并给出了简单易行的算法。最后,在CENPARMI手写体阿拉伯数字库和ORL标准人脸库上的试验结果证实了算法的有效性和稳定性。     

具有统计不相关性的最佳鉴别特征空间的维数定理

提出并严格证明了具有统计不相关性的最佳鉴别特征空间的维数定理：对含有L个类别的模式识别问题，具有统计不相关性的最佳鉴别特征空间的维数为（L－1）：说明了具有统计不相关性的最佳鉴别变的与Wilks所提出的经典的模式特征抽取方法的关系。在一定的条件下，具有统计不相害性的最佳鉴别矢量集等价于Wilks所提出的经典鉴别矢量集。经典的模式特征抽取方法可以用来在不损失任何Fisher鉴别信息的意义下，对含有L个类别的模式识别问题。抽取（L－1）个具有统计不相关性的最佳鉴别特征。     

一种新的求解无相关鉴别矢量集方法

无相关鉴别矢量集方法是解决模式识别问题的有效方法．通常情况下，无相关鉴别矢量集是通过递归方式获得的，计算时间较长．该文提出了一种求解无相关鉴别矢量集的非递归方法．首先根据总体散布矩阵构造无相关投影空间．对于无相关投影空间中的任何正交矢量集，其在原空间中的特征统计无关．然后在无相关投影空间求解基于Fisher线性判别准则的正交矢量集，从而得到原空间的无相关鉴别矢量集．理论分析和实验结果表明：该文方法和Jin等的方法所求解的无相关鉴别矢量集是一致的．而应用本文方法求解无相关鉴别矢量集计算时间较短，在类别数为C的情况下，二者的时间比为(C-1)：2．     

模糊逆Fisher鉴别分析及其在人脸识别中的应用

在逆Fisher鉴别分析的基础上,引入了模糊数学的思想,提出了模糊逆Fisher鉴别分析并成功应用于人脸识别。模糊逆Fisher鉴别分析通过隶属度函数将样本归入所有的类别之中,根据隶属度重新定义了类间散布矩阵和类内散布矩阵,进而将样本的原始分布信息通过相应的隶属度函数完全融入到了最后提取到的特征中。在ORL和FERET人脸库上的实验结果证明了基于模糊逆Fisher鉴别准则特征提取方法的优越性。     

快速Foley—Sammon鉴别变换及脸象鉴别

为了解决小样本情况下,类内散布矩阵不可逆时,Foley-Sammon最优鉴别矢量集的求解问题,给出了一种快速近似算法,首先从理论上说明了当类内散布矩阵不可逆时,将在原始特征空间内求解最佳鉴别矢量集的问题映射到等于或小于c-1（c为样本类别数）维的欧氏空间内进行是可行的,由于样本类别数远远小于原始特征空间的维数,故该算法不仅大大减少了特征抽取的时间,也提高了分类识别的速度,在ORL标准人脸库上的试验结果表明,该算法不仅在识别率和识别时间上优于传统的扰动法和补空间法,而且比经典的特征脸方法和Fisher脸方法更为有效。     

基于加权不相关鉴别分析的人脸识别

提出了一种基于加权不相关鉴别分析的人脸识别方法。该方法引入了一种新的权函数对Fisher准则加权,以改善样本在低维线性空间中的可分性;然后,以给出的加权Fisher准则为目标函数,在共轭正交的约束下求解其最佳投影方向,从而保证所提取的最佳鉴别特征之间的统计不相关性。实验结果表明,与经典的特征脸方法和Fisher脸方法相比,该方法对光照变化、表情变化以及时间变化等不敏感,具有更好的鲁棒性。     

基于PSO的Fisher准则下小样本最佳鉴别变换

小样本条件下,Fisher准则中类内散布矩阵一般是奇异的,无法直接求解.本文提出利用粒子群优化理论,在无需求类内散布矩阵逆的情况下求解Fisher准则下小样本最佳鉴别变换的方法.讨论了通过粒子群优化算法的位置-速度搜索模型获取最佳鉴别投影向量的方法和步骤.实验对比类内散布矩阵非奇异时,采用计算特征向量方法和本文方法的差异.分析验证小样本条件下类内散布矩阵奇异时,通过本文方法进行最佳鉴别变换的分类效果.实验证实本文算法的有效性.     

一种新的基于最大散度差准则的特征抽取方法

本文基于最大散度差准则（MSDC）,利用统计不相关投影空间,提出了一组具有统计不相关性的最佳鉴别矢量的计算方法。该方法的目标是寻求一组鉴别矢量集,既要使投影后的特征空间的类间散度最大,而类内散度最小;又要使最佳鉴别矢量之间具有统计不相关性。另外,本文还揭示了最大散度差鉴别准则与Fisher准则的内在关系。在ORL与NUST603人脸库上的实验结果表明,本文所提出的方法在识别性能上优于原MSDC特征抽取方法与传统的PCA方法。     

Feature extraction using fuzzy inverse FDA

This paper proposes a new method of feature extraction and recognition, namely, the fuzzy inverse Fisher discriminant analysis (FIFDA) based on the inverse Fisher discriminant criterion and fuzzy set theory. In the proposed method, a membership degree matrix is calculated using FKNN, then the membership degree is incorporated into the definition of the between-class scatter matrix and within-class scatter matrix to get the fuzzy between-class scatter matrix and fuzzy within-class scatter matrix. Experimental results on the ORL, FERET face databases and pulse signal database show that the new method outperforms Fisherface, fuzzy Fisherface and inverse Fisher discriminant analysis.     

一种改进的基于Fisher准则的线性特征提取方法

针对现有的基于Fisher准则的线性特征提取方法存在的不足,提出了一种新的改进的Fisher特征提取方法.通过重新定义类内散度矩阵与类间散度矩阵,削弱了边缘样本与边缘类别的影响,提高了准则模型的准确性,进而提高了判别矢量的特征提取能力.同时,也给出了一种实用的求解具有统计不相关的最优判别矢量集的方法,实验结果表明,算法得到的最优判别矢量具有更好的特征提取能力.     

一种基于Fisher鉴别极小准则的特征提取方法

特征提取是模式识别研究领域的一个热点．为了更好地解决人脸识别中的特征提取问题,定义了一种新的基于Fisher鉴别极小准则的特征提取方法,并且提出了类间散布矩阵零空间的概念,解决了先前Fisher线性变换方法中的最终特征维数受类别数的限制．在人脸数据库上的实验结果验证了该算法的有效性．     

Orthogonal vs. uncorrelated least squares discriminant analysis for feature extraction

In this paper, a new discriminant analysis for feature extraction is derived from the perspective of least squares regression. To obtain great discriminative power between classes, all the data points in each class are expected to be regressed to a single vector, and the basic task is to find a transformation matrix such that the squared regression error is minimized. To this end, two least squares discriminant analysis methods are developed under the orthogonal or the uncorrelated constraint. We show that the orthogonal least squares discriminant analysis is an extension to the null space linear discriminant analysis, and the uncorrelated least squares discriminant analysis is exactly equivalent to the traditional linear discriminant analysis. Comparative experiments show that the orthogonal one is more preferable for real world applications.     

Fisher极小准则不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于广义Fisher准则求解不相关鉴别矢量集的快速算法,但该算法要求总体散度矩阵可逆。针对高维小样本的情况,文中提出求解不相关鉴别矢量集的改进方法。该方法的基本思路是在类间散度矩阵的值空间中运用广义Fisher极小准则求解鉴别矢量集,并讨论在该子空间中进行求解的合理性。针对高维情况下类间散度矩阵值空间的计算效率问题,提出首先利用PCA算法将数据降维,然后在低维空间中求解值空间的策略并讨论其合理性。在ORL人脸数据库上的实验验证该方法的有效性,其识别率高于传统的Fisher脸方法和不相关空间算法。     

Face recognition using fuzzy maximum scatter discriminant analysis

As we know, classical Fisher discriminant analysis usually suffers from the small sample size problem due to the singularity problem of the within-class scatter matrix. In this paper, a novel fuzzy linear classifier, called fuzzy maximum scatter difference (FMSD) discriminant criterion, is proposed to extract features from samples, especially deals with outlier samples. FMSD takes the scatter difference between between-class and within-class as discriminant criterion, so it will not suffer from the small sample size problem. The conventional scatter difference discriminant criterion (SDDC) assumes the same level of relevance of each sample to the corresponding class. In this paper, the fuzzy set theory is introduced to the conventional SDDC algorithm, where the fuzzy k-nearest neighbor is adopted to achieve the distribution information of original samples. The distribution is utilized to redefine the scatter matrices that are different from the conventional SDDC and effective to extract discriminative features from outlier samples. Experiments conducted on FERET and ORL face databases demonstrate the effectiveness of the proposed method.