核诱导距离度量的鲁棒判别分析

提出了基于核诱导距离度量的鲁棒判别分析算法(robust discriminant analysis based on kernel-induced distance measure,KI-RDA)。KI-RDA不仅自然地推广了线性判别分析(linear discriminant analysis,LDA),而且推广了最近提出的强有力的基于非参数最大熵的鲁棒判别分析(robust discriminant analysis based on nonparametric maximum entropy,MaxEnt-RDA)。通过采用鲁棒径向基核,KI-RDA不仅能有效处理含噪数据,而且也适合处理非高斯分布的非线性数据,其本质的鲁棒性归咎于KI-RDA通过核诱导的非欧距离代替LDA的欧氏距离来刻画类间散度和类内散度。借助这些散度,为特征提取定义类似LDA的判别准则,导致了相应的非线性优化问题。进一步借助近似策略,将优化问题转化为直接可解的广义特征值问题,由此获得降维变换(矩阵)的闭合解。最后在多类数据集上进行实验,验证了KI-RDA的有效性。由于核的多样性,使KI-RDA事实上成为了一个一般性判别分析框架。     

动态加权非参数判别分析

线性判别分析(LDA)是最经典的子空间学习和有监督判别特征提取方法之一.受到流形学习的启发,近年来众多基于LDA的改进方法被提出.尽管出发点不同,但这些算法本质上都是基于欧氏距离来度量样本的空间散布度.欧氏距离的非线性特性带来了如下两个问题:1)算法对噪声和异常样本点敏感;2)算法对流形或者是多模态数据集中局部散布度较大的样本点过度强调,导致特征提取过程中数据的本质结构特征被破坏.为了解决这些问题,提出一种新的基于非参数判别分析(NDA)的维数约减方法,称作动态加权非参数判别分析(DWNDA).DWNDA采用动态加权距离来计算类间散布度和类内散布度,不仅能够保留多模态数据集的本质结构特征,还能有效地利用边界样本点对之间的判别信息.因此,DWNDA在噪声实验中展现出对噪声和异常样本的强鲁棒性.此外,在人脸和手写体数据库上进行实验,DWNDA方法均取得了优异的实验结果.     

基于拉普拉斯方向的差值线性判别分析

标准的LDA方法通常有3个问题:1)为了确保类内散度矩阵的非奇异性,必须首先通过PCA进行维数约简,这限制了对更多维数空间的使用;2)当每人只有单个训练样本时,类内散度矩阵必然奇异,此时LDA无法工作;3)缺乏对像素间的局部相关性的考虑。为了解决这些问题,提出一种基于拉普拉斯方向的差值线性判别分析方法。该方法通过拉普拉斯方向实现更鲁棒的图像相异性测度,通过引入差值散度矩阵来避免类内散度矩阵的奇异性。实验结果显示,该算法对表情变化、光照改变及不同遮挡情况获得了更高的识别率,尤其针对光照变化,效果更加显著。     

平均紧性约束下的最坏分离空间平滑判别分析

空间平滑的线性判别分析(SLDA)和基于空间平滑欧氏距离的线性判别分析(IMEDA)是目前结合图像特有的空间结构信息进行图像判别降维的两种主要方法,具有比线性判别分析(LDA)更显著的分类效果.与SLDA和IMEDA不同,文中通过参数化投影方向,约束平均类内散度(或紧性)上界和最大化最坏类间散度(或分离度),产生的降维算法分别称为WSLDA和WIMEDA.它们的求解最终可归结为简单的特征值优化问题,避免使用完整特征值分解的缺点.在Yale、AR和FERET标准人脸集上的实验验证它们的有效性.     

一种可调控制参数的LDA人脸识别算法

线性判别分析（LDA）方法进行高维的人脸识别时,经常会遇到小样本问题（SSS）和边缘类重叠问题。本文提出一种新的LDA方法,重新定义类内离散度矩阵,利用参数来权衡其特征值估计的偏差和方差,以解决小样本问题;对类间离散矩阵加权,让边缘类均匀分布,防止边缘类的重叠,以提高识别率。大量的实验已经证明该方法能根据小样本问题的严重度调控参数以达到最高识别率,比传统的方法更优。     

基于SVM与非参数LDA 的雷达自动目标识别

针对非参数线性判别分析（LDA）的类间散布矩阵，就如何有效描述类边界结构这一问题，提出一种SVM与k近邻（kNN）法相结合的非参数类间散布矩阵构造方法——SVM—kNN．该方法消除了非类边界样本对类边界结构信息的扭曲．将SVM—kNN非参数LDA方法用于外场实测高分辨距离像的特征提取，并将识别结果与加权kNN非参数LDA法和谱域原空间法比较，结果表明，SVM—kNN非参数LDA方法能显著提高识别效率．     

基于Fisher判别分析的增量式非负矩阵分解算法

增量式非负矩阵分解算法是基于子空间降维技术的无监督增量学习方法.文中将Fisher判别分析思想引入增量式非负矩阵分解中,提出基于Fisher判别分析的增量式非负矩阵分解算法.首先,利用初始样本训练的先验信息,通过索引矩阵对新增系数矩阵进行初始化赋值.然后,将增量式非负矩阵分解算法的目标函数改进为批量式的增量学习算法,在此基础上施加类间散度最大和类内散度最小的约束.最后,采用乘性迭代的方法计算分解后的因子矩阵.在ORL、Yale B和PIE等3个不同规模人脸数据库上的实验验证文中算法的有效性.     

面向Kullback-Leibler散度不确定集的正则化线性判别分析

线性判别分析是一种统计学习方法. 针对线性判别分析的小样本奇异性问题和对污染样本敏感性问题, 目前许多线性判别分析的改进算法已被提出. 本文提出了基于Kullback-Leibler (KL)散度不确定集的判别分析方法. 提出的方法不仅利用了L_s范数定义类间距离和L_r范数定义类内距离, 而且对类内样本和各类中心的信息进行基于KL散度不确定集的概率建模. 首先通过优先考虑不利区分的样本提出了一种正则化对抗判别分析模型并利用广义Dinkelbach算法求解此模型. 这种算法的一个优点是在适当的条件下优化子问题不需要取得精确解. 投影(次)梯度法被用来求解优化子问题. 此外, 也提出了正则化乐观判别分析并采用交替优化技术求解广义Dinkelbach算法的优化子问题. 许多数据集上的实验表明了本文的模型优于现有的一些模型, 特别是在污染的数据集上, 正则化乐观判别分析由于优先考虑了类中心附近的样本点, 从而表现出良好的性能.     

类依赖的线性判别分析

线性判别分析(LDA)是一种常用的特征提取方法,其目标是提取特征后样本的类间离散度和类内离散度的比值最大,即各类样本在特征空间中有最佳的可分离性.该方法利用同一个准则将所有类的样本投影到同一个特征空间中,忽略了各类样本分布特征的差异.本文提出类依赖的线性判别方法(Class-Specific LDA,CSLDA),对每一类样本寻找最优的投影矩阵,使得投影后能够更好地把该类样本与所有其他类的样本尽可能分开,并将该方法与经验核相结合,得到经验核空间中类依赖的线性判别分析.在人工数据集和UCI数据集上的实验结果表明,在输入空间和经验核空间里均有CSLDA特征提取后的识别率高于LDA.     

基于MCE准则的语音识别特征线性判别分析

提出了一种基于最小分类错误（Minimum classification error,MCE）准则的线性判别分析方法（Linear discriminant analysis,LDA）,并将其应用到连续语音识别中的特征变换.该方法采用非参数核密度估计方法进行数据概率分布估计;根据得到的概率分布,在最小分类错误准则下,采用基于梯度下降的线性搜索算法求解判别分析变换矩阵.利用判别分析变换矩阵对相邻帧梅尔滤波器组输出拼接的超矢量变换降维,得到时频特征.实验结果表明,与传统的MFCC特征相比,经过本文判别分析提取的时频特征其识别准确率提高了1.41%,相比于HLDA（Heteroscedastic LDA）和近似成对经验正确率准则（Approximate pairwise empirical accuracy criterion,aPEAC）判别分析方法,识别准确率分别提高了1.14%和0.83%.