稀疏局部Fisher判别分析

提出一种稀疏局部Fisher判别分析（Sparsity Local Fisher Discriminant Analysis,SLFDA）。该算法在局部Fisher判别分析降维的基础上,通过平衡参数引入稀疏保持投影,在投影降维过程中保持了数据的全局几何结构和局部近邻信息。在UCI数据集和YaleB人脸数据集上的实验表明,该算法融合局部Fisher判别分析和稀疏保持投影的优点;与现有的半监督局部Fisher判别分析降维算法相比,该算法提高了基于最短欧氏距离的分类算法的精度。     

自适应正则化核二维判别分析

传统的半监督降维技术中,在原特征空间中定义流形正则化项,但其构造无助于接下来的分类任务.针对此问题,文中提出一种自适应正则化核二维判别分析算法.首先每个图像矩阵经奇异值分解为两个正交矩阵与一个对角矩阵的乘积,通过两个核函数将两个正交矩阵列向量从原始非线性空间映射到一个高维特征空间.然后在低维特征空间中定义自适应正则化项,并将其与二维矩阵非线性方法整合于单个目标函数中,通过交替优化技术,在两个核子空间提取判别特征.最后在两个人脸数据集上的实验表明,文中算法在分类精度上获得较大提升.     

基于流形距离的半监督判别分析

大量无类别标签的数据具有对分类有用的信息,有效地利用这些信息来提高分类精确度,是半监督分类研究的主要内容.提出了一种基于流形距离的半监督判别分析(semi-supervised discriminant analysis based on manifold distance,简称SSDA)算法,通过定义的流形距离,能够选择位于流形上的数据点的同类近邻点、异类近邻点以及全局近邻点,并依据流形距离定义数据点与其各近邻点之间的相似度,利用这种相似度度量构造算法的目标函数.通过在ORL,YALE人脸数据库上的实验表明,与现有算法相比,数据集通过该算法降维后,能够使基于距离的识别算法具有更高的分类精确度.同时,为了解决非线性降维问题,提出了Kernel SSDA,同样通过实验验证了算法的有效性.     

格拉斯曼流形上的半监督判别分析

将图像集合表示为格拉斯曼流形上的点能够获得更好的识别性能.传统格拉斯曼流形上的判别分析方法仅考虑了带标签样本的统计信息,忽略了无标签样本.鉴于此,基于流形正则化思想,提出了一个新的格拉斯曼流形上的半监督判别分析方法(SDAGM),将其应用于图像集合的识别问题.通过构建近邻图刻画格拉斯曼流形上的所有样本局部几何结构,并使其作为正则化项添加到格拉斯曼流形上的判别分析目标函数中,本文方法不但考虑标签信息,而且利用了一致性假设.标准数据集上的实验结果表明了SDAGM的有效性.     

一种利用半监督Fisher判别分析检测推荐攻击的方法

协同推荐系统容易受到推荐攻击,为了检测该攻击,很多无监督、有监督及半监督检测方法被提出,其中,半监督检测方法的优势在于可以利用无标签用户概貌提升检测性能.然而,已有半监督检测方法的准确率较低,针对该问题,本文提出一种基于半监督Fisher判别分析(Semi-supervised Fisher Discriminant ...     

流形上的Laplacian半监督回归

把流形学习与半监督学习相结合,研究了流形上的半监督回归问题.简要介绍了半监督流形学习的Laplacian正则化框架,在此基础上推导了基于一类广义损失函数的Laplacian半监督回归,它能够利用数据所在流形的内在几何结构进行回归估计.具体给出了线性ε-不敏感损失函数,二次ε-不敏感损失函数和Huber损失函数的Laplacian半监督回归算法,在模拟数据和Boston Housing数据上对算法进行了实验,并对实验结果进行了分析.这些结果将为进一步深入研究半监督流形回归问题提供一些可借鉴的积累.     

一种邻域自适应半监督局部Fisher判别分析算法

针对利用局部化思想解决多模数据的判别分析问题时,根据经验对局部邻域大小进行全局统一设定无法体现局部几何结构的差异性的不足,提出一种邻域自适应半监督局部Fisher判别分析（neighborhood adaptive semi-supervised local Fisher discriminant analysis,NA-SELF）算法。该算法在半监督局部Fisher判别分析算法的基础上,结合马氏距离和余弦相似度确定初始近邻数,并根据样本空间概率密度估计调整近邻数。通过人工数据集和5组UCI标准数据集对该算法的特征降维性能进行验证,并与典型的维数约简算法和采用传统k近邻方法的判别分析算法进行比较,实验结果表明该算法具备更高的有效性。     

基于Fisher判别分析的增量式非负矩阵分解算法

增量式非负矩阵分解算法是基于子空间降维技术的无监督增量学习方法.文中将Fisher判别分析思想引入增量式非负矩阵分解中,提出基于Fisher判别分析的增量式非负矩阵分解算法.首先,利用初始样本训练的先验信息,通过索引矩阵对新增系数矩阵进行初始化赋值.然后,将增量式非负矩阵分解算法的目标函数改进为批量式的增量学习算法,在此基础上施加类间散度最大和类内散度最小的约束.最后,采用乘性迭代的方法计算分解后的因子矩阵.在ORL、Yale B和PIE等3个不同规模人脸数据库上的实验验证文中算法的有效性.     

MFASSC:基于间隔Fisher分析的半监督聚类方法

针对高维数据的聚类问题,提出一种基于间隔Fisher分析(MFA)的半监督聚类算法。该算法首先使用已标记样本进行MFA映射,得到投影矩阵W后,再利用求得的投影方法对未标记样本进行降维;然后在低维空间引入基于约束的球形K-means(PCSKM)算法对降维后的数据进行半监督聚类,根据第一次的聚类结果,交替进行降维与聚类操作,直到算法收敛为止。该算法利用监督信息有效地集成了数据降维和半监督聚类。实验结果表明,该方法能够有效处理高维数据,同时能提高聚类性能。     

正则化半监督判别分析方法

为了克服加权线性判别分析(WLDA)只利用有标签的训练样本而不能反映样本数据流形结构的缺点,提出一种正则化的半监督判别分析方法。首先构建所有样本的近邻图来估计数据的局部流形结构,然后将此作为正则项引入WLDA的准则函数中。该方法避免了类内散度矩阵奇异,同时保持了样本数据的判别结构和几何结构。在ORL和YALE人脸数据库上的实验结果证明了该算法的有效性。     

基于概率类和不相关判别的半监督局部Fisher 方法

Fisher 判别分析是统计模式识别中经典的有监督维数约简方法, 可以在最大化类间散度的同时最小化类内散度, 但存在分析过程中仅使用有标记数据而忽略无标记数据的问题. 鉴于此, 提出基于概率类和不相关判别的半监督局部Fisher (SLFisher) 方法, 以实现半监督学习的高维映射到低维的类间数据对尽可能地分离, 且类内邻近数据尽可能地紧凑. 采用2 组标准数据集进行实验, 结果表明了SLFisher 方法能够有效提高识别率.     

局部Fisher判别分析算法及仿真研究*

复杂化工过程常被多种类型的故障损坏,正常的训练数据无法建立准确的操作模型。为了提高复杂化工过程中故障的检测和分类能力,传统无监督Fisher判别分析(Fisher Discriminant Analysis,FDA)算法无法在多模态故障数据中的应用,本文提出基于局部Fisher判别分析(Local Fisher Discriminant Analysis,LFDA)的故障诊断方法。首先计算训练数据的局部类内和类间离散度矩阵,寻找LFDA的投影方向;其次把训练数据和测试数据向投影向量上投影,提取特征向量;最后计算特征向量间的欧氏距离,运用KNN分类器进行分类。把提出的LFDA方法应用到Tennessee Eastman(TE)过程,监控结果表明,LFDA的效果好于FDA和核Fisher判别分析(Kernel Fisher Discriminant Analysis,KFDA),说明LFDA方法在分类及检测不同类的故障方面具有高准确性及高灵敏度的优势。     

基于局部测地距离的TMFA的人脸识别

人脸嵌入在高维观测空间中的低维流形上,为了更精确地描述人脸空间的细微结构,提出了一种基于局部测地距离的张量边界Fisher分析的人脸识别方法。采用二维张量表示人脸空间中的样本图像和局部测地距离来计算样本近邻点。该方法更好地揭示了流形内在的几何结构,能够更精确地选择位于流形上数据点的同类和异类近邻点,同时避免小样本问题。在PIE和FERET人脸数据库上的实验表明,用该方法能够获得更高的识别率,验证了其改进的有效性。     

基于半监督学习的室内定位算法

收集带有位置信息的经验样本即标定样本是一个花费昂贵的工作,限制了基于机器学习方法的实际应用。针对该问题,提出一种基于流形正则化的室内定位算法LocMR,该算法使用少量的标定样本和充足的未标定样本学习得出信号空间到位置空间的映射关系。在实际IEEE 802.11Wi-Fi环境中采集的数据集上进行验证,结果表明,LocMR在达到较高定位精确度的同时,能大幅减少定位系统的工作量,增强了其实际应用能力。     

半监督降维方法的实验比较

半监督学习是近年来机器学习领域中的研究热点之一,已从最初的半监督分类和半监督聚类拓展到半监督回归和半监督降维等领域.目前,有关半监督分类、聚类和回归等方面的工作已经有了很好的综述,如Zhu的半监督学习文献综述.降维一直是机器学习和模式识别等相关领域的重要研究课题,近年来出现了很多将半监督思想用于降维,即半监督降维方面的工作.有鉴于此,试图对目前已有的一些半监督降维方法进行综述,然后在大量的标准数据集上对这些方法的性能进行实验比较,并据此得出了一些经验性的启示.     

基于正则化边界Fisher分析和稀疏表示分类的人脸识别方法

边界Fisher分析(MFA)应用于人脸识别时会遇到小样本问题,如果用主成分分析进行降维来处理该问题,则会丢失一些对分类有益的分量;如果把MFA的目标函数用最大间距准则代替,则较难得到最佳参数。提出了一种正则化的MFA方法,该方法用一个较小的数乘上单位阵构造正则项,然后加到MFA的类内散度矩阵中,使得所得矩阵是可逆的,并且不会丢失对分类有益的分量,也容易确定其中的参数。因为一个样本通常能被少数几个距离比较近的同类样本很好地线性表达,在正则化MFA降维之后结合使用稀疏表示分类算法进一步提高识别率。在FERET和AR数据库上的实验表明,对比一些经典的降维方法,使用该方法能显著提高识别率。