几种流形学习算法的比较研究

如何发现高维数据空间流形中有意义的低维嵌入信息是流形学习的主要目的。目前,大部分流形学习算法都是用于非线性维数约简或是数据可视化的,如等距映射（Isomap）,局部线性嵌入算法（LLE）,拉普拉斯特征映射算（laplacian Eigenmap）等等,文章对这三种流形学习算法进行实验分析与比较,目的在于了解这几种流形学习算法的特点,以便更好地进行数据的降维与分析。     

基于半监督拉普拉斯特征映射的压缩机故障辨识

旋转机械在现代生产体系中具有不可替代的作用,其故障诊断技术对避免恶性损坏事故的发生显得尤为重要。如何选择和提取有效的故障特征,将直接影响故障辨识的诊断精度。针对旋转机械故障诊断的非线性、非平稳性等特点,结合半监督学习和流形学习思想,提出了一种半监督拉普拉斯特征映射(SSLE)算法,并将其应用于空气压缩机的故障辨识。该方法充分利用少量标签样本和大量无标签样本信息,提取有利于分类的故障样本低维流形特征,并利用最小二乘支持向量机(LS-SVM)分类器进行了故障分类与辨识。采用非线性的特征学习方式,有效提取了故障信号中的敏感特征信息,增强了故障模式识别的分类性能。压缩机故障辨识试验结果表明,与主成分分析(PCA)算法和拉普拉斯特征映射(LE)算法相比,基于SSLE算法的故障辨识性能更好。     

新的流形学习方法统一框架及改进的拉普拉斯特征映射方法

流形学习是多个领域的重要研究课题.通过考察各种流形学习方法,提出了一种新的流形学习方法的统一框架,并在此框架下对拉普拉斯特征映射方法(Laplacian eigenmap,LE)进行了分析.进一步,基于此框架,提出了一种改进拉普拉斯特征映射方法(improved Laplacian eigenmap,ILE).它建立在LE方法和最大差异延展算法(maximum variance unfolding,MVU)的基础上,在保持流形谱图拉普拉斯特征的同时,以最大化任意两点之间的差异为目标.ILE有效地解决了拉普拉斯特征映射方法对邻域选择敏感以及MVU方法大计算量、局部限制过强等问题.且能够保持数据聚类性质,挖掘数据内蕴特征.通过实验说明了ILE的有效性.     

拉普拉斯阶梯网络

阶梯网络不仅是一种基于深度学习的特征提取器，而且能够应用于半监督学习中.深度学习在实现了复杂函数逼近的同时，也缓解了多层神经网络易陷入局部最小化的问题.传统的自编码、玻尔兹曼机等方法易忽略高维数据的低维流形结构信息，使用这些方法往往会获得无意义的特征表示，这些特征不能有效地嵌入到后续的预测或识别任务中.从流形学习的角度出发，提出一种基于阶梯网络的深度表示学习方法，即拉普拉斯阶梯网络LLN （Laplacian ladder network）.拉普拉斯阶梯网络在训练的过程中不仅对每一编码层嵌入噪声并进行重构，而且在各重构层引入图拉普拉斯约束，将流形结构嵌入到多层特征学习中，以提高特征提取的鲁棒性和判别性.在有限的有标签数据情况下，拉普拉斯阶梯网络将监督学习损失和非监督损失融合到了统一的框架进行半监督学习.在标准手写数据数据集MNIST和物体识别数据集CIFAR-10上进行了实验，结果表明，相对于阶梯网络和其他半监督方法，拉普拉斯阶梯网络都得到了更好的分类效果，是一种有效的半监督学习算法.     

流形上的Laplacian半监督回归

把流形学习与半监督学习相结合,研究了流形上的半监督回归问题.简要介绍了半监督流形学习的Laplacian正则化框架,在此基础上推导了基于一类广义损失函数的Laplacian半监督回归,它能够利用数据所在流形的内在几何结构进行回归估计.具体给出了线性ε-不敏感损失函数,二次ε-不敏感损失函数和Huber损失函数的Laplacian半监督回归算法,在模拟数据和Boston Housing数据上对算法进行了实验,并对实验结果进行了分析.这些结果将为进一步深入研究半监督流形回归问题提供一些可借鉴的积累.     

基于局部和全局映射函数的流形降维空间球形覆盖分类算法?

为探索高维数据本质结构和低维表示,并避免一般流形学习中测试数据不能显式降维的不足,提出基于局部和全局映射函数的流形降维空间球形覆盖分类算法。该算法首先抽象融合局部和全局信息映射模型,分别优化局部拉普拉斯矩阵和全局拉普拉斯矩阵,通过对局部和全局拉普拉斯矩阵进行特征值分解,得到训练样本的低维表示。然后借助核映射获取测试样本的低维表示。最后在低维空间建立球形覆盖分类模型,实现目标分类。在MNIST手写体数据集、YaleB和AR人脸数据集上的实验表明文中算法的有效性,证明其在实际应用领域具有一定价值。     

基于2D-KPCA的拉普拉斯特征映射人脸识别*

针对拉普拉斯特征映射(LE)只能保持局部近邻信息,对新测试点无法描述的不足,提出一种基于二维核主成分分析的拉普拉斯特征映射算法(2D-KPCA LE)。与核二维主成分分析算法(K2DPCA)不同,该算法首先对训练样本空间进行二维主成分分析（2DPCA）,在保留样本空间结构信息的同时通过去相关性得到低秩的投影特征矩阵;然后用核主成分分析法(KPCA)提取全局非线性特征;由于其核函数需要大量存储空间,再用拉普拉斯特征映射(LE)进行降维。在ORL和FERET人脸数据库中的仿真实验结果表明,基于2D-KPCA的拉普拉斯特征映射算法不但可以有效处理复杂的非线性特征,又可以降低算法复杂度,提高流形学习的识别率。     

鲁棒拉普拉斯特征映射算法*

研究拉普拉斯特征映射算法（Laplacian eigenmap,LE）对离群点的敏感性,提出一种具有鲁棒性的拉普拉斯特征映射算法（robust Laplacian eigenmap,RLE）。该方法在离群点检测的基础上,利用鲁棒PCA算法（robust PCA,RPCA）对离群点进行局部光滑化处理,将离群点和其邻域投影到低维的局部切空间上,再构造能够准确反映离群点局部邻域关系的对应权值,减少离群点对Laplacian矩阵的影响。模拟实验和实际例子都证明,通过这种方法构造的鲁棒拉普拉斯特征映射算法,对于离群     

基于测地线距离的广义高斯型Laplacian 特征映射

传统的Laplacian 特征映射是基于欧氏距离的近邻数据点的保持,近邻的高维数据点映射到内在低维空间后仍为近邻点,高维数据点的近邻选取最终将影响全局低维坐标.将测地线距离和广义高斯函数融合到传统的Laplacian 特征映射算法中,首先提出了一种基于测地线距离的广义高斯型Laplacian 特征映射算法(geodesicdistance-based generalized Gaussian LE,简称GGLE),该算法在用不同的广义高斯函数度量高维数据点间的相似度时,获得的全局低维坐标呈现出不同的聚类特性;然后,利用这种特性进一步提出了它的集成判别算法,该集成判别算法的主要优点是:近邻参数K 固定,邻接图和测地线距离矩阵都只构造一次.在木纹数据集上的识别实验结果表明,这是一种有效的基于流形的集成判别算法.     

基于拉普拉斯特征映射的仿射传播聚类

仿射传播方法难以处理具有流形结构的数据集。为此,提出一种基于拉普拉斯特征映射的仿射传播聚类算法(APPLE),在标准仿射传播的基础上增强流形学习的能力。使用测地距离计算数据点间相似度,采用拉普拉斯特征映射对数据集进行降维及特征提取。对图像聚类应用的实验结果证明了APPLE的聚类效果优于标准仿射传播方法。     

Towards a theoretical foundation for Laplacian-based manifold methods

In recent years manifold methods have attracted a considerable amount of attention in machine learning. However most algorithms in that class may be termed “manifold-motivated” as they lack any explicit theoretical guarantees. In this paper we take a step towards closing the gap between theory and practice for a class of Laplacian-based manifold methods. These methods utilize the graph Laplacian associated to a data set for a variety of applications in semi-supervised learning, clustering, data representation.We show that under certain conditions the graph Laplacian of a point cloud of data samples converges to the Laplace-Beltrami operator on the underlying manifold. Theorem 3.1 contains the first result showing convergence of a random graph Laplacian to the manifold Laplacian in the context of machine learning.     

拉普拉斯多层极速学习机

极速学习机不仅仅是有效的分类器,还能应用到半监督学习中.但是,半监督极速学习机和拉普拉斯光滑孪生支持向量机一样是一种浅层学习算法.深度学习实现了复杂函数的逼近并缓解了以前多层神经网络算法的局部最小性问题,目前在机器学习领域中引起了广泛的关注.多层极速学习机（ML-ELM）是根据深度学习和极速学习机的思想提出的算法,通过堆叠极速学习机-自动编码器算法（ELM-AE）构建多层神经网络模型,不仅实现复杂函数的逼近,并且训练过程中无需迭代,学习效率高.我们把流形正则化框架引入ML-ELM中提出拉普拉斯多层极速学习机算法（Lap-ML-ELM）.然而,ELM-AE不能很好的解决过拟合问题,针对这一问题我们把权值不确定引入ELM-AE中提出权值不确定极速学习机-自动编码器算法（WU-ELM-AE）,它学习到更为鲁棒的特征.最后,我们在前面两种算法的基础上提出权值不确定拉普拉斯多层极速学习机算法（WUL-ML-ELM）,它堆叠WU-ELM-AE构建深度模型,并且用流形正则化框架求取输出权值,该算法在分类精度上有明显提高并且不需花费太多的时间.实验结果表明,Lap-ML-ELM与WUL-ML-ELM都是有效的半监督学习算法.     

基于拉普拉斯特征映射高光谱遥感影像降维及其分类

在进行高光谱遥感影像监督分类过程中,结合高光谱数据非线性的特点和流形学习强大的非线性处理能力,提出一种基于拉普拉斯特征映射(LE)降维和最佳指数法(OIF)波段组合选择训练样本进行SVM分类的策略,首先对高光谱遥感影像波段进行优化,利用拉普拉斯特征映射法(LE)对波段优选后的影像进行降维,利用OIF选择波段组合叠加进行训练样本选择。在此基础上采用支持向量机(SVM)进行分类处理,取得了优于PCA的效果。实验证明了流形学习是一种行之有效的高光谱遥感数据特征提取方法。     

基于半监督流形学习的人脸识别方法

如何有效地将流形学习(Manifold learning,ML)和半监督学习(Semi-supervised learning,SSL)方法进行结合是近年来模式识别和机器学习领域研究的热点问题.提出一种基于半监督流形学习(Semi-supervised manifold learning,SSML)的人脸识别方法,它在部分有标签信息的人脸数据的情况下,通过利用人脸数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸识别.基于公开的人脸数据库上的实验结果表明,该方法能有效地提高人脸识别的性能.     

Feature selection in the Laplacian support vector machine

Traditional classifiers including support vector machines use only labeled data in training. However, labeled instances are often difficult, costly, or time consuming to obtain while unlabeled instances are relatively easy to collect. The goal of semi-supervised learning is to improve the classification accuracy by using unlabeled data together with a few labeled data in training classifiers. Recently, the Laplacian support vector machine has been proposed as an extension of the support vector machine to semi-supervised learning. The Laplacian support vector machine has drawbacks in its interpretability as the support vector machine has. Also it performs poorly when there are many non-informative features in the training data because the final classifier is expressed as a linear combination of informative as well as non-informative features. We introduce a variant of the Laplacian support vector machine that is capable of feature selection based on functional analysis of variance decomposition. Through synthetic and benchmark data analysis, we illustrate that our method can be a useful tool in semi-supervised learning.     

SELM: Semi-supervised ELM with application in sparse calibrated location estimation

Indoor location estimation based on Wi-Fi has attracted more and more attention from both research and industry fields. It brings two significant challenges. One is requiring a vast amount of labeled calibration data. The other is real-time training and testing for location estimation task. Traditional machine learning methods cannot get high performance in both aspects. This paper proposed a novel semi-supervised learning method SELM (semi-supervised extreme learning machine) and applied it to sparse calibrated location estimation. There are two advantages of the proposed SELM. First, it employs graph Laplacian regularization to import large number of unlabeled samples which can dramatically reduce labeled calibration samples. Second, it inherits the good property of ELM on extreme training and testing speed. Comparative experiments show that with same number of labeled samples, our method outperforms original ELM and back propagation (BP) network, especially in the case that the calibration data is very sparse.     

一种半监督局部线性嵌入算法的文本分类方法*

针对局部线性嵌入算法（LLE）应用于非监督机器学习中的缺陷,将该算法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法。通过使用文本数据的流形结构和少量的标签样本,将LLE中的距离矩阵采用分段形式进行调整;使用调整后的矩阵进行线性重建从而实现数据降维;针对半监督LLE中使用欧氏距离的缺点,采用高斯核函数将欧氏距离进行变换,并用新的核距离取代欧氏距离,提出了基于核的半监督局部线性嵌入算法;最后通过仿真实验验证了改进算法的有效性。