基于核Fisher判别的分类器算法及其在语种识别中的应用研究

GMM与SVM的建模和识别性能具有较好的互补性,因此GMM-SVM在语种识别中得到广泛使用,以其为基础的GMM-MMI-SVM已成为语种识别的主流研究方法.但是SVM在判别时仅仅使用了训练样本中的一些特殊样本即支持向量,并没有使用全部样本,从而影响了系统识别性能的进一步提高.针对上述问题,提出一种基于核Fisher判别的分类算法-GMM-MMI-KFD.该算法的核心思想是用核Fisher准则(KFD)替代SVM分类准则,从语音片段中提取出特征向量序列,分别通过GMM-MMI分类器与GMM-KFD分类器进行判决打分.相对SVM,KFD更注重语音数据非线性分布的特点,并且将样本向高维空间H上投影后可以最大限度地增大类间距,减小类内距.实验数据表明,GMM-MMI-KFD方法在语种识别中具有更高的识别率.     

多流形判别分析在人脸识别中的研究

局部保持投影LPP(Locality Preserving Projection)是一种有效的非线性降维方法,能够使投影降维后的数据与原输入空间中的相似局部结构保持一致,但是该方法没有充分利用类间样本点的权重等重要信息。为了解决这个问题,提出基于Fisher准则的多流形判别分析FMMDA(Fisher Multi-Manifold Discriminant Analysis)方法。结合Fisher准则训练样本类内拉普拉斯图和样本均值类间拉普拉斯图,既保持了原样本的相似局部结构,又充分地利用了不同类别之间的权重。在ORL及Yale人脸库上验证了该方法的有效性。与其他几种最先进的方法相比,FMMDA方法取得了更好的识别效果。     

基于混合PCA和KFD的多级说话人确认

提出一种基于混合主成分分析(PCA)分类器和核Fisher判别(KFD)的多级说话人确认方法。利用PCA对注册说话人的特征向量进行降维,根据转换矩阵得到说话人特征向量的主成分空间和截断误差空间,结合这2个空间构造混合PCA分类器,用于快速判断最有可能的R个目标说话人,并采用KFD寻找最终目标说话人。仿真实验结果验证了该方法的有效性。     

基于自适应邻域选择的局部判别投影算法

在多模数据分类中,使用局部Fisher判别分析和边界Fisher分析方法构建邻域不能充分反映流形学习对邻域的要求.为此,提出一种基于自适应邻域选择的局部判别投影算法.采用自适应方法扩大或者缩小近邻系数k,以构建邻域,从而保持局部线性结构,揭示流形的内在几何结构,利用局部化方法使得投影空间中同类近邻样本尽量紧凑、异类近邻样本尽量分开.在ORL和YALE入脸数据库中进行实验,结果表明,在不同训练样本个数下,该算法均能获得较高的识别率.     

稀疏局部Fisher判别分析

提出一种稀疏局部Fisher判别分析（Sparsity Local Fisher Discriminant Analysis,SLFDA）。该算法在局部Fisher判别分析降维的基础上,通过平衡参数引入稀疏保持投影,在投影降维过程中保持了数据的全局几何结构和局部近邻信息。在UCI数据集和YaleB人脸数据集上的实验表明,该算法融合局部Fisher判别分析和稀疏保持投影的优点;与现有的半监督局部Fisher判别分析降维算法相比,该算法提高了基于最短欧氏距离的分类算法的精度。     

基于Gabor和改进LDA的人耳识别

针对人耳识别中无法避免的小样本问题,提出了基于Gabor特征和改进LDA(ILDA)的识别算法。该算法首先提取人耳局部Gabor特征,然后重新定义Fisher准则和类内分散度矩阵,再将高维空间映射到低维后寻找最优投影方向,最后利用训练样本与测试样本特征投影值的欧氏距离进行分类识别。与传统方法相比,新算法能有效解决人耳识别中的小样本问题,获得较高的识别准确率。     

全局加权稀疏局部保留投影

针对稀疏保留投影(SPP)算法运行时间较长并且忽略了样本的类间差异信息的问题,在稀疏保留投影算法的基础上,提出了全局加权稀疏局部保留投影(GWSLPP)算法。该算法在保持样本的稀疏重构关系的同时,使样本具有很好的鉴别能力,算法通过对样本进行稀疏重构处理;然后对样本进行投影并且最大化样本的类间散度;最后利用得到的投影将样本分类。该算法分别在FERET人脸库和YALE人脸库上进行实验。实验结果表明,全局加权稀疏保留算法在执行时间和识别率综合性能上,优于局部保留投影(LPP)、SPP和FisherFace算法,执行时间只有25s,识别率能达到95%以上,实验数据验证了算法的有效性。     

全局加权稀疏局部保留投影

针对稀疏保留投影(SPP)算法运行时间较长并且忽略了样本的类间差异信息的问题,在稀疏保留投影算法的基础上,提出了全局加权稀疏局部保留投影(GWSLPP)算法。该算法在保持样本的稀疏重构关系的同时,使样本具有很好的鉴别能力,算法通过对样本进行稀疏重构处理;然后对样本进行投影并且最大化样本的类间散度;最后利用得到的投影将样本分类。该算法分别在FERET人脸库和YALE人脸库上进行实验。实验结果表明,全局加权稀疏保留算法在执行时间和识别率综合性能上,优于局部保留投影(LPP)、SPP和FisherFace算法,执行时间只有25s,识别率能达到95%以上,实验数据验证了算法的有效性。     

局部保持多投影向量Fisher判别分析算法

特征选择是在损失较少信息的情况下处理高维图像数据的关键技术,是高维数据预处理的重要步骤.通过引入Fisher判别分析(Fisher Discriminant Analysis,FDA)和典型相关分析(Canonical Correlation Analysis,CCA)的思想,采用以样本的类标号形式给出的先验信息,考虑样本数据的局部性,提出了一种监督的基于Fisher判别信息的局部保持多投影向量分析方法(Locality Preserving Multi-projection Vector Fisher Discriminant Analysis,LPMVF).通过定义新准则,LPMVF具有以下优点:(1)便于计算,可有效避免奇异性;(2)借助标准核映射,可快速将LPMVF推广到非线性的特征空间;(3)与CCA算法类似,LPMVF最终得到一对投影变换,可有效嵌入样本数据,可将原始数据投影成一系列有用的特征形式,并使数据的投影在嵌入空间中更具可分离性;(4)与局部化的Fisher判别分析(Local Fisher Discriminant Analysis,简称LFDA)相比,LPMVF也能够有效保持数据样本间...     

基于局部保持的核稀疏表示字典学习

为了利用核技巧提高分类性能, 在局部保持的稀疏表示 字典学习的基础上, 提出了两种核化的稀疏表示字典学习方法. 首先, 原始训练数据被投影到高维核空间, 进行基于局部保持的核稀疏表示字典学习; 其次, 在稀疏系数上强加核局部保持约束, 进行基于核局部保持的核稀疏表示字典学习. 实验结果表明, 该方法的分类识别结果优于其他方法.     

一种面向不平衡数据集的核Fisher线性判别分析方法

实际应用中,很多分类问题是面向不平衡数据的分类,而不平衡数据集会导致许多分类器的性能下降。文中介绍核Fisher线性判别分析的分类机制,分析不平衡数据导致核Fisher线性判别分析失效的原因,进而提出一种加权核Fisher线性判别分析方法。该方法通过调整两类样本的核协方差矩阵对核类内离散度矩阵的贡献, 可克服不平衡数据对分类性能的影响。为进一步测试该方法, 对UCI数据集进行实验测试,实验结果表明该方法可有效改进分类器的分类性能。     

基于KL和核Fisher判别的车位检测方法

提出一种基于KL变换和核Fisher判别的车位检测方法,对车位图像进行预处理,将该车位图像投影至已通过KL变换构造出的特征车位子空间中,得到的投影系数即为车位的特征向量,利用核Fisher判别进行车位占用情况的判别。仿真实验采用3种不同的核函数进行核Fisher判别比较,结果表明,采用高斯径向基核函数的车位检测判别方法检测的效果最佳,检测正确率高达97.6%。     

基于改进结构保持数据降维方法的故障诊断研究

传统基于核主成分分析(Kernel principal component analysis,KPCA)的数据降维方法在提取有效特征信息时只考虑全局结构保持而未考虑样本间的局部近邻结构保持问题,本文提出一种改进全局结构保持算法的特征提取与降维方法.改进的特征提取与降维方法将流形学习中核局部保持投影(Kernel loc...     

基于PCA和核Fisher判别的说话人确认

针对核Fisher判别技术在说话人确认中实时性较差的问题,提出了一种基于PCA和核Fisher判别的说话人确认方法.利用PCA进行特征向量的降维、去冗余,以减少后续计算的复杂度,提高说话人确认的速度,使用基于核函数的Fisher判别技术对说话人进行确认,从而在整体上提高系统的实时性.并通过实验验证了该方法的有效性.     

基于模糊核Fisher判别的说话人识别

在深入研究核Fisher判别方法的基础上,提出一种新的模糊核Fisher判别算法应用于说话人识别。采用模糊C均值聚类方法选择样本数据的同时,得到样本的模糊隶属度矩阵和聚类中心向量,进而对核Fisher判别算法中的类间离散度矩阵和类内离散度矩阵进行改进,生成模糊核Fisher判别算法,将其应用于说话人语音识别。     

局部Fisher判别分析算法及仿真研究*

复杂化工过程常被多种类型的故障损坏,正常的训练数据无法建立准确的操作模型。为了提高复杂化工过程中故障的检测和分类能力,传统无监督Fisher判别分析(Fisher Discriminant Analysis,FDA)算法无法在多模态故障数据中的应用,本文提出基于局部Fisher判别分析(Local Fisher Discriminant Analysis,LFDA)的故障诊断方法。首先计算训练数据的局部类内和类间离散度矩阵,寻找LFDA的投影方向;其次把训练数据和测试数据向投影向量上投影,提取特征向量;最后计算特征向量间的欧氏距离,运用KNN分类器进行分类。把提出的LFDA方法应用到Tennessee Eastman(TE)过程,监控结果表明,LFDA的效果好于FDA和核Fisher判别分析(Kernel Fisher Discriminant Analysis,KFDA),说明LFDA方法在分类及检测不同类的故障方面具有高准确性及高灵敏度的优势。     

基于随机子空间的局部鉴别投影*

针对高维数据容易对噪声敏感及容易造成维数灾难问题,文中提出基于随机子空间的局部鉴别投影算法(RSLDP).利用随机子空间方法对高维的原始数据进行特征选择,在生成的低维特征子空间构造近邻图,降低噪声影响.RSLDP通过最大化局部类间加权散度和最小化局部类内加权散度,同时最小化样本的总体局部散度,改进局部最大间距鉴别嵌入算法,较好刻画样本与其类间类内近邻中心点的关系,有利于鉴别特征的提取.在CMU PIE和AR这2个人脸数据库上的实验表明文中算法的有效性.     

基于核的Fisher非线性最佳鉴别分析在人脸识别中的应用

抽取最佳鉴别特征是人脸识别中的重要一步。对小样本的高维人脸图像样本,由于各种抽取非线性鉴别特征的方法均存在各自的问题,为此提出了一种求解核的Fisher非线性最佳鉴别特征的新方法,该方法首先在特征空间用类间散度阵和类内散度阵作为Fisher准则,来得到最佳非线性鉴别特征,然后针对此方法存在的病态问题,进一步在类内散度阵的零空间中求解最佳非线性鉴别矢量。基于ORL人脸数据库的实验表明,该新方法抽取的非线性最佳鉴别特征明显优于Fisher线性鉴别分析(FLDA)的线性特征和广义鉴别分析(GDA)的非线性特征。     

Feature scaling for kernel fisher discriminant analysis using leave-one-out cross validation

Kernel fisher discriminant analysis (KFD) is a successful approach to classification. It is well known that the key challenge in KFD lies in the selection of free parameters such as kernel parameters and regularization parameters. Here we focus on the feature-scaling kernel where each feature individually associates with a scaling factor. A novel algorithm, named FS-KFD, is developed to tune the scaling factors and regularization parameters for the feature-scaling kernel. The proposed algorithm is based on optimizing the smooth leave-one-out error via a gradient-descent method and has been demonstrated to be computationally feasible. FS-KFD is motivated by the following two fundamental facts: the leave-one-out error of KFD can be expressed in closed form and the step function can be approximated by a sigmoid function. Empirical comparisons on artificial and benchmark data sets suggest that FS-KFD improves KFD in terms of classification accuracy.