局部Fisher判别分析算法及仿真研究*

复杂化工过程常被多种类型的故障损坏,正常的训练数据无法建立准确的操作模型。为了提高复杂化工过程中故障的检测和分类能力,传统无监督Fisher判别分析(Fisher Discriminant Analysis,FDA)算法无法在多模态故障数据中的应用,本文提出基于局部Fisher判别分析(Local Fisher Discriminant Analysis,LFDA)的故障诊断方法。首先计算训练数据的局部类内和类间离散度矩阵,寻找LFDA的投影方向;其次把训练数据和测试数据向投影向量上投影,提取特征向量;最后计算特征向量间的欧氏距离,运用KNN分类器进行分类。把提出的LFDA方法应用到Tennessee Eastman(TE)过程,监控结果表明,LFDA的效果好于FDA和核Fisher判别分析(Kernel Fisher Discriminant Analysis,KFDA),说明LFDA方法在分类及检测不同类的故障方面具有高准确性及高灵敏度的优势。     

稀疏局部Fisher判别分析

提出一种稀疏局部Fisher判别分析（Sparsity Local Fisher Discriminant Analysis,SLFDA）。该算法在局部Fisher判别分析降维的基础上,通过平衡参数引入稀疏保持投影,在投影降维过程中保持了数据的全局几何结构和局部近邻信息。在UCI数据集和YaleB人脸数据集上的实验表明,该算法融合局部Fisher判别分析和稀疏保持投影的优点;与现有的半监督局部Fisher判别分析降维算法相比,该算法提高了基于最短欧氏距离的分类算法的精度。     

基于核正交半监督鉴别分析的人脸识别算法

针对人脸识别中的非线性特征提取和有标记样本不足问题,提出了在核空间具有正交性半监督鉴别矢量的计算方法。算法利用核函数将人脸数据映射到高维非线性空间,在该空间采用边界Fisher判别分析（Marginal Fisher Analysis,MFA）算法将少量有类别标签样本进行降维,同时采用无监督鉴别投影（Unsupervised Discriminant Projection,UDP）对大量无标签样本进行学习,以半监督的方法构造算法的目标函数,在特征值求解时以正交方式找出最优投影向量,进行人脸识别。通过实验,在ORL和YALE人脸数据库上验证了该算法的有效性。     

多流形判别分析在人脸识别中的研究

局部保持投影LPP(Locality Preserving Projection)是一种有效的非线性降维方法,能够使投影降维后的数据与原输入空间中的相似局部结构保持一致,但是该方法没有充分利用类间样本点的权重等重要信息。为了解决这个问题,提出基于Fisher准则的多流形判别分析FMMDA(Fisher Multi-Manifold Discriminant Analysis)方法。结合Fisher准则训练样本类内拉普拉斯图和样本均值类间拉普拉斯图,既保持了原样本的相似局部结构,又充分地利用了不同类别之间的权重。在ORL及Yale人脸库上验证了该方法的有效性。与其他几种最先进的方法相比,FMMDA方法取得了更好的识别效果。     

一种新的局部判别投影方法

为解决多模数据的分类问题,局部化思想被引入到判别分析中,称为局部判别分析.该文以人工数据为例深入分析了近年来提出的较为成功的两种局部线性判别分析方法:LFDA(Local Fisher Discriminant Analysis)和MFA(Marginal Fisher Analysis)的不足.为克服这两种方法中没有...     

小波核局部Fisher判别分析的高光谱遥感影像特征提取

为了提高高光谱遥感影像的分类精度,充分利用影像的光谱和局部信息,文中提出小波核局部Fisher判别分析的高光谱遥感影像特征提取方法.通过小波核函数将数据集从低维原始空间映射至高维特征空间,考虑到数据的局部信息,利用加权矩阵计算散度矩阵,对局部Fisher判别准则函数求解最优特征矩阵,使不同类别的样本在高维特征空间中的可分离性更佳.在2个公开高光谱数据集上的实验表明,文中方法的总体分类精度和Kappa系数都有所提高.     

用于人脸识别的正则正交化的局部判别分析

非线性结构保持能力的不足是正则正交化的线性判别分析ROLDA(Regularized Orthogonal Linear Discriminant Analysis)在人脸识别中的主要问题。提出一个用于人脸识别的正则正交化的局部Fisher判别分析ROLFDA(Regularized Orthogonal LocalFisher Discriminant Analysis)降维算法。该算法在ROLDA基础上引入局部结构保持,继承ROLDA的特性,克服了ROLDA的非线性能力的不足的问题。在YaleB和AR人脸数据集上的实验验证了该算法的有效性。     

核Direct LDA子空间高光谱影像地物分类

为降低高光谱影像的数据维数,提高地物分类识别效率,提出了一种地物分类方法——核直接线性判别分析(Kernel Direct Linear Discriminant Analysis,KDLDA)子空间法;并推导出类先验概率的一般形式下KDLDA的解。KDLDA子空间法先采用KDLDA提取遥感影像的非线性可分特征,然后在KDLDA子空间采用最小距离分类器进行分类识别。机载可见光/红外成像光谱仪(Airborne Visible/Infrared Imaging Spectrometer,AVIRIS)的高光谱影像识别结果表明,相比原空间法、LDA子空间法、直接线性判别分析(Direct Linear Discriminant Analysis,DLDA)子空间法、核线性判别分析(Kernel Linear Discriminant Analysis,KLDA)子空间法,KDLDA子空间法可显著提高识别效率。     

一种核正交局部敏感辨别分析算法

为了发掘嵌入在人脸样本的非线性结构信息,把核方法和基向量正交化思想引入局部敏感分析算法中,提出一种新的人脸识别算法-核正交局部敏感辨别分析(Kernel based Orthogonal Locality Sensitive Discriminant Analysis).并给出了算法的推导过程及计算步骤.首先用核方法提取人脸样本的非线性信息,并将其投影至高维非线性空间,然后采用局部敏感辨别分析做线性映射,最后采用施密特正交化方法得到正交的基向量,从而使算法更好地描述人脸非线性流形结构特征.在ORL和YaleB人脸库的人脸识别实验证明了所提算法的有效性.     

基于MB-LBP和改进的LFDA的人脸识别

提出了一种基于多块LBP(Multi-scale Block Local Binary Patterns,MB-LBP)和改进的局部化的Fisher判别分析(Local Fisher Discriminant Analysis,LFDA)的人脸识别算法。该算法利用MB-LBP的局部和整体描述能力强化了标注样本的局部分析和训练样本的全局分析;以每个样本与同类其他样本的欧氏距离均值作为参数,克服了类内散度计算限制;通过参数融合训练样本的总散度信息保持样本的全局结构。实验表明,MB-LBP为局部保持分析和全局保持分析提供了良好的基础;在少量标注样本情况下,改进的LFDA的适应性和识别率明显优于LFDA。     

基于稀疏张量判别分析的人体行为识别

在模式识别中,如何在提取关键特征的同时对样本进行降维与识别是研究的热点之一。在局部Fisher判别分析（LFDA）的基础上,结合张量表示和稀疏分析,本文提出一种基于稀疏张量的特征提取方法：稀疏张量局部Fisher判别分析（STLFDA）。该方法把张量局部Fisher判别分析（TLFDA）算法中特征分解问题转化为线性回归问题,并用弹性网络解决线性回归中的特征选择问题,既满足了张量局部Fisher判别分析的目标,又保证了得到的投影矩阵的稀疏性。通过在Weizmann人体行为数据库上的实验,表明了稀疏张量局部Fisher判别分析（STLFDA）算法的有效性。     

Generalising combinatorial discriminant analysis through conditioning truncated Rayleigh flow

Knowledge and Information Systems - Fisher’s Linear Discriminant Analysis (LDA) has been widely used for linear classification, feature selection, and metrics learning in multivariate data...     

基于一种改进的类内散布矩阵的核鉴别分析法

基于核的非线性判别方法及算法的研究近年来得到广泛的研究。在这些方法中,一个主要的缺点是对L类判别问题,判别向量最多只有[L-1]个。定义一种改进的核类间散布矩阵,并对两类问题给出改进的核鉴别分析法,该方法克服了以上缺陷。试验结果表明所提出的方法与其他方法相比具有很好的识别性能。     

苹果近红外光谱的特征提取和分类研究

采用近红外光谱分析法对不同种类的苹果样品进行分类,提出一种基于非相关判别转换的苹果近红外光谱定性分析新方法。实验分别采用主成分分析、Fisher判别分析和非相关判别转换三种方法对苹果光谱数据进行特征提取,并使用K-近邻分类算法建立三种苹果分类识别模型,最后使用"留一"交叉验证法进行模型检验。结果表明,使用非相关判别转换方法建立的模型正确识别率优于使用主成分分析和Fisher判别分析建立的模型。     

Kernel-based nonlinear discriminant analysis for face recognition

Linear subspace analysis methods have been successfully applied to extract features for face recognition.But they are inadequate to represent the complex and nonlinear variations of real face images,such as illumination,facial expression and pose variations,because of their linear properties.In this paper,a nonlinear subspace analysis method,Kernel-based Nonlinear Discriminant Analysis (KNDA),is presented for face recognition,which combines the nonlinear kernel trick with the linear subspace analysis method-Fisher Linear Discriminant Analysis (FLDA).First,the kernel trick is used to project the input data into an implicit feature space,then FLDA is performed in this feature space.Thus nonlinear discriminant features of the input data are yielded.In addition,in order to reduce the computational complexity,a geometry-based feature vectors selection scheme is adopted.Another similar nonlinear subspace analysis is Kernel-based Principal Component Analysis (KPCA),which combines the kernel trick with linear Principal Component Analysis (PCA).Experiments are performed with the polynomial kernel,and KNDA is compared with KPCA and FLDA.Extensive experimental results show that KNDA can give a higher recognition rate than KPCA and FLDA.     

基于核Fisher判决分析的高性能多类分类算法

探讨了核Fisher判决分析算法(KernelFisherDiscriminantAnalysis,KFDA),并提出了一种基于KFDA的高性能多类分类算法。在进行多类分类时,首先通过一个非线性映射将训练样本映射到一个高维的核空间中,建立一个KFDA子空间,在该高维空间中,不同类别的样本之间的差异增大,同类样本聚集在一起,因此,在这个高维核空间中,就可以利用简单的最近邻法进行多类分类。实验结果表明,该算法在保证分类精度的条件下提高了分类器的训练和分类的速度。     

Robust $$l_{2,1}$$ l 2 , 1 Norm-Based Sparse Dictionary Coding Regularization of Homogenous and Heterogenous Graph Embeddings for Image Classifications

Neural Processing Letters - In the field of manifold learning, Marginal Fisher Analysis (MFA), Discriminant Neighborhood Embedding (DNE) and Double Adjacency Graph-based DNE (DAG-DNE) construct the...     

统计模式识别中的维数削减与低损降维

较为全面地回顾了统计模式识别中常用的一些特征选择、特征提取等主流特征降维方法,介绍了它们各自的特点及其适用范围,在此基础上,提出了一种新的基于最优分类器——贝叶斯分类器的可用于自动文本分类及其它大样本模式分类的特征选择方法——低损降维.在标准数据集Reuters-21578上进行的仿真实验结果表明,与互信息、χ^2统计量以及文档频率这三种主流文本特征选择方法相比,低损降维的降维效果与互信息、χ^2统计量相当,而优于文档频率.     

Face recognition by sparse discriminant analysis via joint L2,1-norm minimization

Recently, joint feature selection and subspace learning, which can perform feature selection and subspace learning simultaneously, is proposed and has encouraging ability on face recognition. In the literature, a framework of utilizing L_2,1-norm penalty term has also been presented, but some important algorithms cannot be covered, such as Fisher Linear Discriminant Analysis and Sparse Discriminant Analysis. Therefore, in this paper, we add L_2,1-norm penalty term on FLDA and propose a feasible solution by transforming its nonlinear model into linear regression type. In addition, we modify the optimization model of SDA by replacing elastic net with L_2,1-norm penalty term and present its optimization method. Experiments on three standard face databases illustrate FLDA and SDA via L_2,1-norm penalty term can significantly improve their recognition performance, and obtain inspiring results with low computation cost and for low-dimension feature.     

基于核化原理的非线性典型相关判别分析

典型相关判别分析是将传统的典型相关分析应用于判别问题，它是一类重要的特征提取算法，但其本质上只能提取数据的线性特征，应用统计学习理论中的核化原理可以将这样的线性特征提取算法推广至非线性特征提取算法，该文研究了如何将这一原理应用于典型相关判别分析，提出了基于核化原理的非线性典型相关判别分析，并且给出了求解该问题的一个自适应学习算法．数值实验表明，基于核化原理所导出的非线性典型相关判别分析比传统的典型相关判别分析更有效，另外，该文从理论上证明，所提出的新方法与Fisher核判别分析等价。