增量Hessian LLE算法研究

利用基于Ritz加速的逆幂迭代算法,在经典的Hessian LLE算法基础上提出一种增量LLE算法,能够高效地处理新增的一个或多个样本。该算法的核心思想是将增量流形学习问题转化为一个增量特征值问题,利用数值线性代数的工具进行求解,并分析算法的收敛性。在合成数据集和图像数据集上,验证该增量算法的效率和精确度。     

保持局部邻域关系的增量Hessian LLE算法

Hessian LLE算法是一种经典的流形学习算法,但该方法是以批处理的方式进行的,当新的数据点加入时,必须重新运行整个算法,计算所有数据点低维嵌入,原来的运算结果被全部丢弃。鉴于此,提出了一种保持局部邻域关系的增量Hessian LLE(LIHLLE)算法,该方法通过保证流形新增样本点在原空间和嵌入空间局部邻域的线性关系不变,用其已有邻域点的低维坐标线性表示新增样本点,来得到新增点的低维嵌入,实现增量学习。在Swiss roll withhole和frey_rawface数据集上的实验表明,该方法简便、有效可行。     

改进的非线性数据降维方法及其应用

局部线性嵌入算法（Locally Linear Embedding,LLE）是基于流形学习的非线性降维方法之一。LLE利用样本点的近邻点的线性组合对每个样本点进行局部重构,而不同近邻个数的选取会产生不同的重构误差,从而影响整体算法的实施。提出了一种LLE的改进算法,算法有效地降低了近邻点个数对算法的影响,并很好地学习了高维数据的流形结构。所提方法的有效性在人造和真实数据的对比实验中得到了证实。     

改进的多流形LLE学习算法

流形学习已成为机器学习和数据挖掘领域的研究热点。比如,算法LLE（Locally Linear Embedding）作为一种非线性降维算法有很好的泛化性能,被广泛地应用于图像分类和目标识别,但其仅仅假设了数据集处于单流形的情况。MM-LLE（Multiple Manifold Locally Linear Embedding）学习算法作为一种考虑多流形情况的改进算法,依然存在几点不足之处。因此,提出改进的MM-LLE算法,通过任意两类间的局部低维流形组合并构建分类器来提高分类精度;同时改进原算法计算最佳维度的方法。通过与算法ISOMAP、LLE以及MM-LLE比较分类精度,实验结果验证了改进算法的有效性。     

分类问题的一种流形学习算法

提出了一种分类问题的流形学习算法.利用LLE算法的思想寻找样本的内在流形分布,并通过比较未知样本与正样本流形及负样本流形之间的距离来判定该样本的类别.实验显示,本文提出的流形学习算法的分类效果与SVM、Boosting等当前流行的机器学习算法相当.与此同时,该算法具有参数估计简单、参数影响不大等优点,该算法为分类问题的机器学习提供了一条新的途径.     

基于局部线性嵌入算法的流量矩阵流形结构分析

利用经典流形学习算法研究流量矩阵中的流形结构,能够获得流量矩阵的本征维度。然而局部线性嵌入(LLE)算法依赖于近邻点的选取,传统近邻选取个数往往通过实验试凑法得到最优解,不能完全揭示流量矩阵的流形结构。针对上述缺点,提出一种改进的局部线性嵌入算法,该算法利用改进的LLE算法探索流量矩阵的流形结构,并对实际骨干网络中的流量矩阵进行分析。实验结果证明,改进算法具有较小的重构误差,相对于标准LLE算法,能更为准确地揭示流量矩阵的低维流形结构。     

基于局部平滑性的通用增量流形学习算法

目前大多数流形学习算法无法获取高维输入空间到低维嵌入空间的映射,无法处理新增数据,因此无增量学习能力。而已有的增量流形学习算法大多是通过扩展某一特定的流形学习算法使其具备增量学习能力,不具有通用性。针对这一问题,提出了一种通用的增量流形学习(GIML)算法。该方法充分考虑流形的局部平滑性这一本质特征,利用局部主成分分析法来提取数据集的局部平滑结构,并寻找包含新增样本点的局部平滑结构到对应训练数据的低维嵌入坐标的最佳变换。最后GIML算法利用该变换计算新增样本点的低维嵌入坐标。在人工数据集和实际图像数据集上进行了系统而广泛的比较实验,实验结果表明GIML算法是一种高效通用的增量流形学习方法,且相比当前主要的增量算法,能更精确地获取增量数据的低维嵌入坐标。     

一种改进的局部线性嵌套方法

局部线性嵌套LLE(locally linear embedding)是一种经典的流形学习方法.对于从单个流形上采样得到的数据集,它能够有效地学习其内在低维结构,然而当数据集是从多个流形上采样得到时,U正的效果并不理想.提出了一种基于距离度量学习的改进方法:Metric LLE,它利用部分数据点的相似信息来学习距离度量.实验结果表明Metric LLE在应用中有很好的性能:分类能力比LLE好;在可视化方面,效果比Supervised LLE好.     

一种基于全局信息保持的局部线性嵌入算法及应用

局部线性嵌入（LLE）作为一种经典的流形学习算法，能够得到高维空间的低维流形，但对近邻样本数选择敏感，缺乏全局结构保持能力.为解决此问题，提出了一种改进的LLE算法.在综合考虑样本间差异和数据全局代表性的基础上，通过引入离散度保持项和全局权重指标，提高了算法在降维重构过程中的信息挖掘能力，并降低了对噪声的敏感度，克服了传统LLE算法只关注局部流形特征而忽略全局结构的缺陷.数值仿真和小麦籽粒蛋白质含量软测量的应用仿真验证了该算法的有效性和优越性.     

基于几何距离摄动的局部线性嵌入算法

传统局部线性嵌入(LLE)算法对近邻个数依赖性较强,不适用于处理稀疏数据源。针对该问题,提出一种基于几何距离摄动的LLE算法。通过线性块内的最大欧氏距离与测地距离之差构造几何摄动,描述流形数据的局部线性特性,对原始流形数据进行最大线性分块操作,保证局部模块的线性特性,并在每一个局部线性模块上应用LLE算法实现嵌入降维。实验结果表明,该算法能有效提高分类的平均准确率。     

一种在源数据稀疏情况下的数据降维算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形。从分析基于流形学习理论的局部线性嵌入算法入手,针对传统的局部线性嵌入算法在源数据稀疏时会失效的缺点,提出了基于局部线性逼近思想的流形学习算法,并在S-曲线上采样测试取得良好降维效果。     

Incremental locally linear embedding

The locally linear embedding (LLE) algorithm belongs to a group of manifold learning methods that not only merely reduce data dimensionality, but also attempt to discover a true low dimensional structure of the data. In this paper, we propose an incremental version of LLE and experimentally demonstrate its advantages in terms of topology preservation. Also compared to the original (batch) LLE, the incremental LLE needs to solve a much smaller optimization problem.     

基于流形学习的单字符字体辨别

文字种类识别及字体辨别已成为继印刷体文字识别以后新的国内外研究的热点,关于单字的手写体和印刷体辨别的研究不多,但在表单中却极为常用。对于字体辨别问题,引入流形学习算法局部线性嵌套（LLE）,假定数据为存在于嵌入高维空间的一个低维流形。提出了用于单字字体辨别的LLE泛化方法及邻域和内在维数的参数估计方法,基于印刷体/手写体汉字字符及数字的辨别实验表明,其性能优于直接支持向量机（SVM）分类,且经过LLE降维后的数据直接用线性判别分析方法（LDA）分类可以获得与LLE计算后SVM分类相近甚至更高的正确率和更快的分类速度。     

Phoneme recognition using an adaptive supervised manifold learning algorithm

To effectively handle speech data lying on a nonlinear manifold embedded in a high-dimensional acoustic space, in this paper, an adaptive supervised manifold learning algorithm based on locally linear embedding (LLE) for nonlinear dimensionality reduction is proposed to extract the low-dimensional embedded data representations for phoneme recognition. The proposed method aims to make the interclass dissimilarity maximized, while the intraclass dissimilarity minimized in order to promote the discriminating power and generalization ability of the low-dimensional embedded data representations. The performance of the proposed method is compared with five well-known dimensionality reduction methods, i.e., principal component analysis, linear discriminant analysis, isometric mapping (Isomap), LLE as well as the original supervised LLE. Experimental results on three benchmarking speech databases, i.e., the Deterding database, the DARPA TIMIT database, and the ISOLET E-set database, demonstrate that the proposed method obtains promising performance on the phoneme recognition task, outperforming the other used methods.     

基于组合方法的人脸识别算法研究

该文试探一种加权融合流形学习的方法进行人脸识别,该算法通过Haar小波和局部线性嵌入（LLE）加权融合的方式来进行人脸识别。首先通过Haar小波变换对人脸图像进行一级分解,得到四个子图;然后利用LLE算法对四个子图降维处理,并加权融合;最后利用支持向量机（SVM）进行分类判决。通过在ORL库中进行实验,结果表明,该文提出的Haar＋LLE识别效率比单独使用主成分分析（PCA）和LLE更高效。     

改进重构权值的局部线性嵌入算法

目的 局部线性嵌入（LLE）算法是机器学习、数据挖掘等领域中的一种经典的流形学习算法。为克服LLE算法难以有效处理噪声、大曲率和稀疏采样数据等问题,提出一种改进重构权值的局部线性嵌入算法（IRWLLE）。方法 采用测地线距离来描述结构,重新构造和定义LLE中的重构权值,即在某样本的邻域内,将测地距离与欧氏距离之比定义为结构权值;将测地距离与中值测地距离之比定义为距离权值,再将结构权值与距离权值的乘积作为重构权值,从而将流形的结构和距离两种信息进行有机的结合。结果 对经典的人工数据Swiss roll、S-curve和Helix进行实验,在数据中加入噪声干扰,同时采用稀疏采样的方式来生成数据集,并与原始LLE算法和Hessian局部线性嵌入（HLLE）算法进行比较。实验结果表明,IRWLLE算法对比于LLE算法和HLLE算法,能够更好地保持流形的近邻关系,对流形的展开更加完好。尤其是对于加入噪声的大曲率数据集Helix,IRWLLE展现出极强的鲁棒性。对ORL和Yale人脸数据库进行人脸识别实验,采用最近邻分类器进行识别,将IRWLLE算法的识别结果与LLE算法进行对比。对于ORL数据集,IRWLLE算法识别率为90%,原LLE算法的识别率为85.5%;对于Yale数据集,IRWLLE算法识别率为88%,原LLE算法的识别率为75%,可见IRWLLE在人脸识别率上也有很大提高。结论 本文提出的IRWLLE算法对比于原LLE算法,不仅将流形距离信息引入到重构权值中,而且还将结构信息加入其中,有效减少了噪声和流形外数据点的干扰,所以对于噪声数据具有更强的鲁棒性,能够更好地处理稀疏采样数据和大曲率数据,在人脸识别率上也有较大提升。     

基于局部线性嵌入和最近特征线的人耳识别

针对人耳生物特征,通过分析早期人耳识别方法的不足,提出了一种局部线性嵌入（LLE）和最近特征线（NFL）相结合的人耳识别方法。首先依据流形学习思想,采用局部线性嵌入算法提取人耳图像特征,然后采用最近特征线分类器进行人耳识别。实验结果表明,该方法在人耳姿态变化时能够取得非常理想的识别率,提高了人耳识别的鲁棒性,增强了人耳识别技术的实用性。     

利用图像距离的监督LLE头部姿态估计方法

局部线性嵌入(LLE)是一种经典流形学习方法,直接应用这种非监督的传统LLE估计图像中的头部姿态存在两点不足:未考虑图像像素空间信息和未利用样本标记信息.因此,本文结合图像欧式距离和偏置LLE流形学习方法,对头部姿态图像降维,并通过广义回归神经网络(GRNN)和多元线性回归的方法,估计头部图像的姿态.在FacePix头部姿态数据库的对比实验表明,本方法具有较好的头部姿态估计效果.