基于非线性映射的Fisher判别分析

提出一种非线性分类3-法——基于非线性映射的Fisher判别分析（NM-FDA）．首先提取基向量;然后采用Nystrom方法,以基向量为训练样本．将形式未知的非线性映射近似表达为已知形式的非线性映射,这种近似的非线性映射将变量由非线性的输入空间转换到线性的特征子空澡;最后对映射数据进行线性Fisher判别分析．实验采用7组标准数据集,结果显示NM-FDA具有较强的分类能力．     

神经网络极速学习方法研究进展

神经网络已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但学习方法的速度不能满足实际需求。传统的误差反向传播方法(BP)主要是基于梯度下降的思想,需要多次迭代;网络的所有参数都需要在训练过程中迭代确定,因此算法的计算量和搜索空间很大。ELM(Extreme Learning Machine,ELM)是一次学习思想使得学习速度提高很多,避免了多次迭代和局部最小值,具有良好的泛化性能、鲁棒性与可控性。但对于不同的数据集和不同的应用领域,无论ELM是用于数据分类或是回归,ELM算法本身还是存在问题,所以本文对已有方法深入对比分析,并指出极速学习方法未来的发展方向。     

基于核Fisher判别分析视频运动目标的分类

针对线性判别分析只能提取线性特征而不能描述非线性特征的缺点,采用将核函数和 Fisher判别分析方法的可分性结合起来的核 Fisher判别分析的方法对视频中的运动目标进行自动分类,运动目标包含人、汽车和宠物三类。该方法取得了较好的分类效果,且在查全率、查准率和 F1-Measure 获得了满意的性能。     

基于零空间核判别分析的人脸识别

提取有效特征对高维数据的模式分类起着关键作用.零空间线性判别分析(null-space linear discriminant analysis,NLDA)在数据降维和特征提取上表现出较好的性能,但是该方法本质上仍是一种线性方法.为有效提取数据的非线性特征,提出了零空间核判别分析算法(null-space kernel discriminant analysis,NKDA)并将其应用于人脸识别.利用核函数将原始样本隐式地映射到高维特征空间后,采用一次瘦QR分解求核类内散布矩阵的零空间鉴别矢量集,最后再进行一次Cholesky分解求得具正交性的核空间鉴别矢量集.与NLDA相比,NKDA具有更好的识别性能且在大样本情况下也能应用.另外,基于NKDA,提出了增量NKDA算法,当增加新的训练样本时能正确地更新NKDA鉴别矢量集.在ORL库、Yale库和PIE子库上的实验结果表明了算法的有效性和效率,在有效降维的同时能进一步提高鉴别能力.     

张量线性判别分析算法研究

针对传统线性判别分析中存在的小样本问题及对TensorLDA算法中两个投影矩阵不能同时计算、低维特征提取不充分的问题,文中研究并实现了张量子空间下的张量线性判别分析（TensorLDA）算法。并且提出了h-TensorLDA算法,即先用单位矩阵初始化,再利用优化准则求另一个投影矩阵,并进行多次迭代的改进方法。采用ORL数据库测试算法的性能,在ORL人脸数据库上It—TensorLDA比TensorLDA的平均识别率高1．88％,比Fisherfaces的平均识别率高3．03％。因此,文中算法有效避免了小样本问题,提高了人脸识别效果。     

基于图嵌入正则化的人脸线性判别分析

提出一种基于图嵌入正则化的人脸线性判别分析方法。构造非监督最优类可分准则,基于图嵌入理论,求解该最优类可分准则下的最优投影向量,在非监督的图嵌入框架下利用样本局部类别信息提高人脸识别率,降低矩阵计算复杂度。在典型的人脸数据库上的实验证明了该方法的有效性。     

基于MCE准则的语音识别特征线性判别分析

提出了一种基于最小分类错误（Minimum classification error,MCE）准则的线性判别分析方法（Linear discriminant analysis,LDA）,并将其应用到连续语音识别中的特征变换.该方法采用非参数核密度估计方法进行数据概率分布估计;根据得到的概率分布,在最小分类错误准则下,采用基于梯度下降的线性搜索算法求解判别分析变换矩阵.利用判别分析变换矩阵对相邻帧梅尔滤波器组输出拼接的超矢量变换降维,得到时频特征.实验结果表明,与传统的MFCC特征相比,经过本文判别分析提取的时频特征其识别准确率提高了1.41%,相比于HLDA（Heteroscedastic LDA）和近似成对经验正确率准则（Approximate pairwise empirical accuracy criterion,aPEAC）判别分析方法,识别准确率分别提高了1.14%和0.83%.     

结构化稀疏线性判别分析

在监督场景下线性判别分析(linear discriminant analysis, LDA)是一种非常有效的特征提取方法.然而,LDA在小样本情况下通常会出现过拟合现象,并且学习的投影变换难以给出人类认知上的解释.针对这些问题,特别是可解释性结构的发现,借助于LDA的线性回归模型和结构化稀疏L-{2,1}范数,提出了结构化稀疏线性判别分析(structured sparse LDA, SSLDA)方法.进一步,为了去除线性变换间的相关性,提出了正交化的SSLDA(orthogonalized SSLDA, OSSLDA),它能更加有效地学习到细致的结构信息.为了求解这2个模型,引入了一个半二次的优化算法,它在投影变换和新引入的辅助变量之间采用交替优化的思想.为了验证所提出的方法,在AR、扩展的YaleB和MultiPIE 3个人脸数据库上对比了LDA及其变种方法,实验表明了所提出方法的有效性以及可解释性.     

基于特征融合和模糊核判别分析的面部表情识别方法

提出了基于特征融合和模糊核判别分析（FKDA）的面部表情识别方法。首先,从每幅人脸图像中手工定位34个基准点,作为面部表情图像的几何特征,同时采用Gabor小波变换方法对每幅表情图像进行变换,并提取基准点处的Gabor小波系数值作为表情图像的Gabor特征;其次,利用典型相关分析技术对几何特征和Gabor特征进行特征融合,作为表情识别的输入特征;然后,利用模糊核判别分析方法进一步提取表情的鉴别特征;最后,采用最近邻分类器完成表情的分类识别。通过在JAFFE国际表情数据库和Ekman“面部表情图片”数据库上的实验,证实了所提方法的有效性。     

多重核线性判别分析及其权值优化

为了提高非线性分类精度,借鉴在支持向量机(SVM)框架下发展起来的多重核学习方法,针对基于核的线性判别分析(KLDA)构造多重核.进而,使用拉格朗日乘子法优化最大边缘准则(MMC),提出了多重核权值优化算法.在FERET和CMU PIE人脸图像库上的实验表明,与基于单个核的LDA相比,多重核线性判别分析能够达到更高的分类性能.     

核典型相关性鉴别分析

提出一种新的基于典型相关性的核鉴别分析,以图片集为基础的人脸识别算法。把每个图片集映射到一个高维特征空间,然后通过核线性鉴别分析(KLDA)处理,得到相应的核子空间。通过计算两典型向量的典型差来估计两个子空间的相似度。根据核Fisher准则,基于类间典型差与类内典型差的比率建立核子空间的相关性来得到核典型相关性鉴别分析(KDCC)算法。在ORL、NUST603、FERNT和XM2VTS人脸库上的实验结果表明,该算法能够更有效提取样本特征,在识别率上要优于典型相关性鉴别分析(DCC)和核鉴别转换(KDT)算法。     

基于KISOMAP-LDA-KNN算法TE过程故障诊断研究

针对化工连续生产过程的时序性及非线性等特征,文章提出了一种基于KISOMAP-LDA-KNN的非线性故障辨识方法。首先采用核等距映射（KISOMAP）算法在保持训练数据内在几何结构下进行非线性降维,然后使用线性判别（LDA）算法保持数据的最佳分类效果下进行降维,完成过程的特征提取,最后用K近邻（KNN）算法进行模式分类。将上述方法应用到TE过程,仿真结果验证了该故障诊断方法有较高的辨识能力。     

核不相关鉴别分析以及它在字符识别中的应用

核不相关鉴别分析是在线性不相关鉴别分析的基础上发展起来的．然而,由于核函数的运用,计算核不相关矢量集变得更加复杂．为了解决这个问题,提出一种解决核不相关鉴别分析的有效算法．该算法巧妙地利用了矩阵的分解,然后在一个矩阵对上进行广义奇异值分解．与此同时,提出了几个相关的定理．最重要的是,提出的算法能克服核不相关鉴别分析中矩阵的奇异问题．在某种意义上,提出的算法拓宽了已有的算法,即从线性问题到非线性问题．最后,用手写数字字符识别实验来验证提出的算法是可行和有效的．     

A novel method for Fisher discriminant analysis

A novel model for Fisher discriminant analysis is developed in this paper. In the new model, maximal Fisher criterion values of discriminant vectors and minimal statistical correlation between feature components extracted by discriminant vectors are simultaneously required. Then the model is transformed into an extreme value problem, in the form of an evaluation function. Based on the evaluation function, optimal discriminant vectors are worked out. Experiments show that the method presented in this paper is comparative to the winner between FSLDA and ULDA.     

聚类与动态RBF网络的模式识别应用研究

通过PCA方法来提取人脸特征,这些特征进一步映射到Fisher最优子空间,在这个子空间,类间分布同类内分布的比率最大。然后,提出一种新颖的有监督的聚类方法,利用有限的训练数据信息来选择RBF的结构和初始参数。最后,提出了一种混合的学习算法来训练RBF神经网络,使得在梯度下降寻优算法中大大降低了搜索空间的维数。在ORL数据库上进行的仿真结果表明,这个方法无论是在分类的错误率上还是在学习的效率上都能表现出极好的性能。     

不相关鉴别分析改进算法

不相关鉴别分析是一种非常有效并起着重要作用的线性鉴别分析方法,它能抽取出具有不相关性质的特征分量。但是,由于每一个鉴别矢量的得出都要求解一个特征方程,不相关鉴别分析算法一直是计算代价很大的算法,在需求解的鉴别矢量个数较多时尤其如此。该文基于一个等效的Fisher准则函数,提出了不相关鉴别分析的另一问题模型。使用Lagrange乘子法,可求出对应该问题模型的“不相关”鉴别矢量解的简洁的表示式。关于CENPARMI手写体阿拉伯数字库和ORL人脸图象库的实验表明,该文提出的不相关鉴别分析改进算法计算效率较原算法有较大提高。