基于概率类和不相关判别的半监督局部Fisher 方法

Fisher 判别分析是统计模式识别中经典的有监督维数约简方法, 可以在最大化类间散度的同时最小化类内散度, 但存在分析过程中仅使用有标记数据而忽略无标记数据的问题. 鉴于此, 提出基于概率类和不相关判别的半监督局部Fisher (SLFisher) 方法, 以实现半监督学习的高维映射到低维的类间数据对尽可能地分离, 且类内邻近数据尽可能地紧凑. 采用2 组标准数据集进行实验, 结果表明了SLFisher 方法能够有效提高识别率.     

一种邻域自适应半监督局部Fisher判别分析算法

针对利用局部化思想解决多模数据的判别分析问题时,根据经验对局部邻域大小进行全局统一设定无法体现局部几何结构的差异性的不足,提出一种邻域自适应半监督局部Fisher判别分析（neighborhood adaptive semi-supervised local Fisher discriminant analysis,NA-SELF）算法。该算法在半监督局部Fisher判别分析算法的基础上,结合马氏距离和余弦相似度确定初始近邻数,并根据样本空间概率密度估计调整近邻数。通过人工数据集和5组UCI标准数据集对该算法的特征降维性能进行验证,并与典型的维数约简算法和采用传统k近邻方法的判别分析算法进行比较,实验结果表明该算法具备更高的有效性。     

稀疏局部Fisher判别分析

提出一种稀疏局部Fisher判别分析（Sparsity Local Fisher Discriminant Analysis,SLFDA）。该算法在局部Fisher判别分析降维的基础上,通过平衡参数引入稀疏保持投影,在投影降维过程中保持了数据的全局几何结构和局部近邻信息。在UCI数据集和YaleB人脸数据集上的实验表明,该算法融合局部Fisher判别分析和稀疏保持投影的优点;与现有的半监督局部Fisher判别分析降维算法相比,该算法提高了基于最短欧氏距离的分类算法的精度。     

Ear recognition based on uncorrelated local Fisher discriminant analysis

In this paper, we propose an improved manifold learning method, called uncorrelated local Fisher discriminant analysis (ULFDA), for ear recognition. Motivated by the fact that the features extracted by local Fisher discriminant analysis are statistically correlated, which may result in poor performance for recognition. The aim of ULFDA is to seek a feature submanifold such that the within-manifold scatter is minimized and between-manifold scatter is maximized simultaneously in the embedding space by using a new difference-based optimization objective function. Moreover, we impose an appropriate constraint to make the extracted features statistically uncorrelated. As a result, the proposed algorithm not only derives the optimal and lossless discriminative information, but also guarantees that all extracted features are statistically uncorrelated. Experiments on synthetic data and Spain, USTB-2 and CEID ear databases are performed to demonstrate the effectiveness of the proposed method.     

常用Fisher判别函数的判别矩阵研究

在线性判别分析(Linear discriminant analysis, LDA)中, 比迹函数、比值函数和迹比函数是三种常用的Fisher判别函数, 每一个判别函数都可得到一个正交判别(Orthogonal discriminant, OD)矩阵和一个不相关判别(Uncorrelated discriminant, UD)矩阵. 本文的主要目的是对这6种判别矩阵的获取方法及其性质进行系统分析, 拟期更清楚地认识它们的联系与区别. 当类内协方差阵非奇异时, 比迹、比值函数的判别矩阵和迹比函数的OD矩阵的获取方法及性质已有研究, 本文对迹比函数的UD矩阵的获取方法及性质进行了补充研究, 得到了迹比函数的UD矩阵与比迹、比值函数的UD矩阵是同一矩阵以及迹比函数的UD矩阵的判别函数值不超过它的OD矩阵的结论. 当类内协方差阵奇异时, 6种判别矩阵的获取方法遇到了困难, 为克服这一困难, 本文首先用极限的思想重新定义了这三种判别函数, 然后采用求极限的方法得到了6种判别矩阵的获取方法. 从所得的获取方法可以看出, 当所需的判别向量均在类内协方差阵的零空间中时, 6个判别矩阵是同一矩阵.     

Fisher极小准则不相关空间算法及其在人脸识别中的应用

不相关空间算法是一种基于广义Fisher准则求解不相关鉴别矢量集的快速算法,但该算法要求总体散度矩阵可逆。针对高维小样本的情况,文中提出求解不相关鉴别矢量集的改进方法。该方法的基本思路是在类间散度矩阵的值空间中运用广义Fisher极小准则求解鉴别矢量集,并讨论在该子空间中进行求解的合理性。针对高维情况下类间散度矩阵值空间的计算效率问题,提出首先利用PCA算法将数据降维,然后在低维空间中求解值空间的策略并讨论其合理性。在ORL人脸数据库上的实验验证该方法的有效性,其识别率高于传统的Fisher脸方法和不相关空间算法。     

Uncorrelated linear discriminant analysis based on weighted pairwise Fisher criterion

In this paper, we propose a novel uncorrelated, weighted linear discriminant analysis (UWLDA) method for feature extraction and recognition. The UWLDA first introduces a weighting function to restrain the dominant role of the classes with larger distance and then searches the optimal discriminant vectors under the conjugative orthogonal constrains in the null space of the within-class scatter matrix and its conjugative orthogonal complement space, respectively. As a result, the proposed technique not only derive the optimal and lossless discriminative information, but also guarantee that all extracted features are statistically uncorrelated. Experiments on FERET face database and AR face database are performed to test and evaluate the proposed algorithm. The results demonstrate the effectiveness of UWLDA.     

子空间半监督Fisher判别分析

Fisher判别分析寻找一个使样本数据类间散度与样本数据类内散度比值最大的子空间, 是一种很流行的监督式特征降维方法. 标注样本数据所属的类别通常需要大量的人工, 消耗大量的时间, 付出昂贵的成本. 为了解决同时利用有类别信息的样本数据和没有类别信息的样本数据用于寻找降维子空间的问题, 我们提出了一种子空间半监督Fisher判别分析方法. 子空间半监督Fisher判别分析寻找这样一个子空间, 这个子空间即保留了从有类别信息的样本数据中学习的类别判别结构, 也保留了从有类别信息的样本数据和没有类别信息的样本数据中学习的样本结构信息. 我们还推导了基于核的子空间半监督Fisher判别分析方法. 通过人脸识别实验验证了本文算法的有效性.     

苹果近红外光谱的特征提取和分类研究

采用近红外光谱分析法对不同种类的苹果样品进行分类,提出一种基于非相关判别转换的苹果近红外光谱定性分析新方法。实验分别采用主成分分析、Fisher判别分析和非相关判别转换三种方法对苹果光谱数据进行特征提取,并使用K-近邻分类算法建立三种苹果分类识别模型,最后使用"留一"交叉验证法进行模型检验。结果表明,使用非相关判别转换方法建立的模型正确识别率优于使用主成分分析和Fisher判别分析建立的模型。     

具有统计不相关性的最佳鉴别特征空间的维数定理

提出并严格证明了具有统计不相关性的最佳鉴别特征空间的维数定理：对含有L个类别的模式识别问题，具有统计不相关性的最佳鉴别特征空间的维数为（L－1）：说明了具有统计不相关性的最佳鉴别变的与Wilks所提出的经典的模式特征抽取方法的关系。在一定的条件下，具有统计不相害性的最佳鉴别矢量集等价于Wilks所提出的经典鉴别矢量集。经典的模式特征抽取方法可以用来在不损失任何Fisher鉴别信息的意义下，对含有L个类别的模式识别问题。抽取（L－1）个具有统计不相关性的最佳鉴别特征。     

基于加权不相关鉴别分析的人脸识别

提出了一种基于加权不相关鉴别分析的人脸识别方法。该方法引入了一种新的权函数对Fisher准则加权,以改善样本在低维线性空间中的可分性;然后,以给出的加权Fisher准则为目标函数,在共轭正交的约束下求解其最佳投影方向,从而保证所提取的最佳鉴别特征之间的统计不相关性。实验结果表明,与经典的特征脸方法和Fisher脸方法相比,该方法对光照变化、表情变化以及时间变化等不敏感,具有更好的鲁棒性。     

一种基于Fisher鉴别极小准则的特征提取方法

特征提取是模式识别研究领域的一个热点．为了更好地解决人脸识别中的特征提取问题,定义了一种新的基于Fisher鉴别极小准则的特征提取方法,并且提出了类间散布矩阵零空间的概念,解决了先前Fisher线性变换方法中的最终特征维数受类别数的限制．在人脸数据库上的实验结果验证了该算法的有效性．     

无监督模式下统计不相关最佳鉴别平面

统计不相关最佳鉴别平面是一种重要的特征抽取方法,在模式识别领域中具有广泛的应用。然而,统计不相关最佳鉴别平面是基于Fisher准则和总体散布矩阵共轭正交条件的,需要通过样本类别信息计算Fisher最佳鉴别矢量,因而只能用于有监督模式。提出了一种将统计不相关最佳鉴别平面扩展到无监督模式下的方法,其基本思想是将模糊概念引入Fisher线性判别分析,通过对模糊Fisher准则的优化,在无监督模式下计算出最佳鉴别矢量及模糊散布矩阵,再根据共轭正交约束条件,求得第二条最佳鉴别矢量,进而获得一种基于无监督统计不相关最佳鉴别平面的特征抽取方法。对UCI数据集及CMU-PIE人脸数据库进行实验,结果表明,在样本类别信息缺失的情况下,该方法尽管无法具有与有监督模式下的统计不相关最佳鉴别平面特征抽取方法同样的性能,但当类别差异较大时,能够抽取有利于分类的统计不相关特征,获得优于主成分分析与独立成分分析等常见无监督特征抽取方法的性能。     

一种新的基于Schur分解的Fisher鉴别分析方法

特征抽取是模式识别研究领域的一个热点。本文提出了一种新的基于Schur分解的Fisher鉴别分析的特征抽取方法。此方法引入了零空间的概念,指出了前人算法中的不足之处;给出了一个完整的基于Schur分解的Fisher鉴别分析方法。ORL人脸数据库上的实验表明了该方法的有效性。     

Fisher线性鉴别分析的理论研究及其应用

Fisher线性鉴别分析已成为特征抽取的最为有效的方法之一.但是在高维、小样本情 况下如何抽取Fisher最优鉴别特征仍是一个困难的、至今没有彻底解决的问题.文中引入压缩 映射和同构映射的思想,从理论上巧妙地解决了高维、奇异情况下最优鉴别矢量集的求解问题, 而且该方法求解最优鉴别矢量集的全过程只需要在一个低维的变换空间内进行,这与传统方法 相比极大地降低了计算量.在此理论基础上,进一步为高维、小样本情况下的最优鉴别分析方法 建立了一个通用的算法框架,即先作K-L变换,再用Fisher鉴别变换作二次特征抽取.基于该 算法框架,提出了组合线性鉴别法,该方法综合利用了F-S鉴别和J-Y鉴别的优点,同时消除了 二者的弱点.在ORL标准人脸库上的试验表明,组合鉴别法所抽取的特征在普通的最小距离分 类器和最近邻分类器下均达到97%的正确识别率,而且识别结果十分稳定.该结果大大优于经 典的特征脸和Fisherfaces方法的识别结果.     

最大散度差和大间距线性投影与支持向量机

首先对Fisher鉴别准则作了必要的修正,并基于新的鉴别准则设计了最大散度差分 类器;然后探讨了当参数C趋向无穷大时,最大散度差分类器的极限情况,得到了大间距线 性投影分类器;最后通过分析说明,大间距线性投影分类器实际上是在模式样本线性可分的条 件下,线性支持向量机的一种特殊情况.在ORL和NUST603人脸库上的测试结果表明,最 大散度差分类器和大间距线性投影分类器可以与线性支持向量机、不相关线性鉴别分析相媲 美,优于Foley-Sammon鉴别分析方法.     

张量局部Fisher判别分析的人脸识别

子空间特征提取是人脸识别中的关键技术之一,结合局部Fisher判别分析技术和张量子空间分析技术的优点, 本文提出了一种新的张量局部Fisher判别分析(Tensor local Fisher discriminant analysis, TLFDA)子空间降维技术. 首先,通过对局部Fisher判别技术进行分析,调整了其类间散度目标泛函, 使算法的识别性能更高且时间复杂度更低;其次,引入张量型降维技术对输入数据进行双边投影变换而非单边投影, 获得了更高的数据压缩率;最后,采用迭代更新的方法计算最优的变换矩阵.通过ORL和PIE两个人脸库验证了所提算法的有效性.     

Kernel Uncorrelated and Regularized Discriminant Analysis: A Theoretical and Computational Study

Linear and kernel discriminant analysis are popular approaches for supervised dimensionality reduction. Uncorrelated and regularized discriminant analysis have been proposed to overcome the singularity problem encountered by classical discriminant analysis. In this paper, we study the properties of kernel uncorrelated and regularized discriminant analysis, called KUDA and KRDA, respectively. In particular, we show that under a mild condition, both linear and kernel uncorrelated discriminant analysis project samples in the same class to a common vector in the dimensionality-reduced space. This implies that uncorrelated discriminant analysis may suffer from the overfitting problem if there are a large number of samples in each class. We show that as the regularization parameter in KRDA tends to zero, KRDA approaches KUDA. This shows that KUDA is a special case of KRDA, and that regularization can be applied to overcome the overfitting problem in uncorrelated discriminant analysis. As the performance of KRDA depends on the value of the regularization parameter, we show that the matrix computations involved in KRDA can be simplified, so that a large number of candidate values can be crossvalidated efficiently. Finally, we conduct experiments to evaluate the proposed theories and algorithms.     

不相关鉴别分析改进算法

不相关鉴别分析是一种非常有效并起着重要作用的线性鉴别分析方法,它能抽取出具有不相关性质的特征分量。但是,由于每一个鉴别矢量的得出都要求解一个特征方程,不相关鉴别分析算法一直是计算代价很大的算法,在需求解的鉴别矢量个数较多时尤其如此。该文基于一个等效的Fisher准则函数,提出了不相关鉴别分析的另一问题模型。使用Lagrange乘子法,可求出对应该问题模型的“不相关”鉴别矢量解的简洁的表示式。关于CENPARMI手写体阿拉伯数字库和ORL人脸图象库的实验表明,该文提出的不相关鉴别分析改进算法计算效率较原算法有较大提高。     

MFASSC:基于间隔Fisher分析的半监督聚类方法

针对高维数据的聚类问题,提出一种基于间隔Fisher分析(MFA)的半监督聚类算法。该算法首先使用已标记样本进行MFA映射,得到投影矩阵W后,再利用求得的投影方法对未标记样本进行降维;然后在低维空间引入基于约束的球形K-means(PCSKM)算法对降维后的数据进行半监督聚类,根据第一次的聚类结果,交替进行降维与聚类操作,直到算法收敛为止。该算法利用监督信息有效地集成了数据降维和半监督聚类。实验结果表明,该方法能够有效处理高维数据,同时能提高聚类性能。