改进重构权值的局部线性嵌入算法

目的 局部线性嵌入（LLE）算法是机器学习、数据挖掘等领域中的一种经典的流形学习算法。为克服LLE算法难以有效处理噪声、大曲率和稀疏采样数据等问题,提出一种改进重构权值的局部线性嵌入算法（IRWLLE）。方法 采用测地线距离来描述结构,重新构造和定义LLE中的重构权值,即在某样本的邻域内,将测地距离与欧氏距离之比定义为结构权值;将测地距离与中值测地距离之比定义为距离权值,再将结构权值与距离权值的乘积作为重构权值,从而将流形的结构和距离两种信息进行有机的结合。结果 对经典的人工数据Swiss roll、S-curve和Helix进行实验,在数据中加入噪声干扰,同时采用稀疏采样的方式来生成数据集,并与原始LLE算法和Hessian局部线性嵌入（HLLE）算法进行比较。实验结果表明,IRWLLE算法对比于LLE算法和HLLE算法,能够更好地保持流形的近邻关系,对流形的展开更加完好。尤其是对于加入噪声的大曲率数据集Helix,IRWLLE展现出极强的鲁棒性。对ORL和Yale人脸数据库进行人脸识别实验,采用最近邻分类器进行识别,将IRWLLE算法的识别结果与LLE算法进行对比。对于ORL数据集,IRWLLE算法识别率为90%,原LLE算法的识别率为85.5%;对于Yale数据集,IRWLLE算法识别率为88%,原LLE算法的识别率为75%,可见IRWLLE在人脸识别率上也有很大提高。结论 本文提出的IRWLLE算法对比于原LLE算法,不仅将流形距离信息引入到重构权值中,而且还将结构信息加入其中,有效减少了噪声和流形外数据点的干扰,所以对于噪声数据具有更强的鲁棒性,能够更好地处理稀疏采样数据和大曲率数据,在人脸识别率上也有较大提升。     

基于马氏距离度量的局部线性嵌入算法

局部线性嵌入算法(LLE)中常用欧氏距离度量样本间相似度。而对于图像等高维数据,欧氏距离不能准确体现样本间的相似程度。文中提出基于马氏距离度量的局部线性嵌入算法(MLLE)。算法首先从现有样本中学习到一个马氏度量,然后在LLE算法的近邻选择、现有样本及新样本降维过程中用马氏度量作为相似性度量。将MLLE算法及其它典型的流形学习算法在ORL和USPS数据库上进行对比实验,结果表明MLLE算法具有良好的识别性能。     

自适应局部线性嵌入算法

局部线性嵌入算法（LLE）因其较低的计算复杂度和高效性适用于很多降维问题,新的自适应局部线性嵌入（ALLE）算法对数据进行非线性降维,提取高维数据的本质特征,并保持了数据的全局几何结构特征,对比实验结果表明了该算法对于非理想数据的降维结果均优于LLE算法。     

改进的有监督的局部线性嵌入算法及实验演示

流形学习方法中的LLE算法可以将高维数据在保持局部邻域结构的条件下降维到低维流形子空间中．并得到与原样本集具有相似局部结构的嵌入向量集合。LLE算法在数据降维处理过程中没有考虑样本的分类信息。针对这些问题进行研究,提出改进的有监督的局部线性嵌人算法（MSLLE）,并利用MatLab对该改进算法的实现效果同LLE进行实验演示比较。通过实验演示表明,MSLLE算法较LLE算法可以有利于保持数据点本身内部结构。     

局部线性嵌入算法改进研究

局部线性嵌入算法(Locally Linear Embedding LLE)是一种功能强大的数据降维方法,但它在处理稀疏数据源时的失效问题限制了其广泛应用,且至今没有一个完善的解决方案.为解决这一问题,从算法原理和执行过程两方面分析算法失效原因,把算法的两个优化过程联合优化,对算法进行改进.通过对S曲线稀疏采样模拟稀疏数据源,把改进前后的算法对样本点实验结果进行对比,验证了算法改进的有效性;同时,用改进后的算法处理人脸数据,展示了改进后算法的实用价值.改进后的算法将进一步促进局部线性嵌入在工程和研究领域的应用,极大地改善了算法的性能.     

一种用于人脸识别的监督局部线性嵌入算法及其改进

为了提高人脸识别算法的识别率,提出一种基于监督局部线性嵌入SLLE(Supervised Locally Linear Embedding)的人脸图像识别方法。对局部线性嵌入LLE(Locally Linear Embedding)算法进行改进:①计算低维嵌入时,给稀疏矩阵M先加上一个单位阵,然后再计算它的特征值和特征向量,较好地解决了矩阵奇异问题;②针对LLE算法非监督的缺陷,在构造邻域的时候,增加数据的类别信息,根据其所属类别来判断样本的近邻。在Yale和ORL人脸库上的实验结果表明,该算法能够有效地提高人脸识别的性能。     

扩大局部邻域的疏散嵌入算法

非线性流形学习降维方法已经被广泛应用到人脸识别、入侵检测以及传感器网络等领域。然而,能够有效处理稀疏数据的流形学习算法很少。基于局部线性嵌入（LLE）算法的思想框架,提出一种扩大局部邻域的稀疏嵌入算法,通过对局部区域信息加强,使得在样本较少的情况下,达到丰富重叠信息的目的。在稀疏的人工和人脸数据集上的实验结果表明,所提算法产生了较好的嵌入及分类结果。     

邻域参数动态变化的局部线性嵌入

局部线性嵌入是最有竞争力的非线性降维方法,有较强的表达能力和计算优势.但它们都采用全局一致的邻城大小,只适用于均匀分布的流形,无法处理现实中大量存在的非均匀分布流形.为此,提出一种邻域大小动态确定的新局部线性嵌入方法.它采用Hessian局部线性嵌入的概念框架,但用每个点的局部邻域估计此邻域内任意点之间的近似测地距离,然后根据近似测地距离与欧氏距离之间的关系动态确定该点的邻域大小,并以此邻域大小构造新的局部邻域.算法几何意义清晰,在观察数据稀疏和数据带噪音等情况下,都比现有算法有更强的鲁棒性.标准数据集上的实验结果验证了所提方法的有效性.     

一种改进的局部线性嵌入算法

局部线性嵌入算法(Local Linear Embedding,简称LLE)是一种非线性流形学习算法,能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的线性嵌入算法(Local Project Linear Embedding,简称LPLE).通过假定目标空间的整体嵌入函数,重新构造样本点的局部邻域特征向量,最后将问题归结为损失矩阵的特征向量问题从而构造出目标空间的全局坐标.LPLE算法解决了传统LLE算法在源数据稀疏情况下的不能有效进行降维的问题,这也是其他传统的流形学习算法没有解决的.通过实验说明了LPLE算法研究的有效性和意义.     

基于模糊聚类的改进LLE算法

局部线性嵌入法（Locally Linear Embedding,LLE）是一种基于流形学习的非线性降维方法。针对LLE近邻点个数选取、样本点分布以及计算速度的问题,提出基于模糊聚类的改进LLE算法。算法根据聚类中心含有大量的信息这一特点,基于模糊聚类原理,采用改进的样本点距离计算方法,定义了近似重构系数,提高了LLE计算速度,改进了模糊近邻点个数的选取。实验结果表明,改进的算法有效地降低了近邻点个数对算法的影响,具有更好的降维效果和更高的计算速度。      

一种改进的局部线性嵌套算法

局部线性嵌套(LLE)算法对近邻个数较敏感,无法处理稀疏数据源。针对该问题提出一种基于改进距离和联合优化的LLE算法。将Conformal-IsoMap中度量数据间距离的方法引入到LLE,并对原算法的2个优化过程进行联合优化。在SwissRoll曲线采样数据和MINST手写数字字符数据库上的实验结果验证了该算法的有效性。     

基于直接估计梯度思想的数据降维算法

高维非线性数据的降维处理对于计算机完成高复杂度的数据源分析是非常重要的。从拓扑学角度分析,维数约简的过程是挖掘嵌入在高维数据中的低维线性或非线性的流形。该文在局部嵌入思想的流形学习算法的基础上,提出直接估计梯度值的方法,从而达到局部线性误差逼近最小化,实现高维非线性数据的维数约简,并在Swiss roll曲线上采样测试取得了良好的降维效果。     

一种基于稀疏嵌入分析的降维方法

近几年局部流形学习算法研究得到了广泛的关注, 如局部线性嵌入以及局部切空间排列算法等.这些算法都是基于局部可线性化的假设而提出的, 但局部是否可线性化的问题没有得到很好有效的解决, 使得目前的降维算法对自然数据效果不佳. 自然数据中有很多是稀疏的,对稀疏数据的降维是局部线性嵌入算法所面临的一个问题. 基于对数据自然属性的考虑,利用数据的统计信息动态确定局部线性化范围, 依据数据的分布提出一种排列的稀疏局部线性嵌入算法(Sparse local linear embedding algorithm, SLLEA). 在数据集稀疏的情况下,该算法能够很好地把握数据的局部和整体信息. 将该算法应用于手工流形及图像检索等试验中,验证了该算法的有效性.     

基于自适应最近邻的局部线性嵌入算法

局部线性嵌入算法是一个优异的非线性维数约减方法,但是算法本身是一个无监督学习算法,对于有监督问题的学习效果不是很好。这主要是因为算法使用了K-近邻方法来求解最近邻点。针对这个缺点,提出了一种改进的、基于自适应最近邻法的局部线性嵌入方法,数值实验证明算法对于有监督的学习问题,具有较好的适应性。     

鲁棒半监督局部线性嵌入算法

主要研究半监督局部线性嵌入算法(Semi-Supervised Locally Linear Embedding,简称SSLLE)对于噪声的敏感性,提出一种具有鲁棒性的半监督局部线性嵌入算法(Robust Semi-Supervised Locally Linear Embedding,简称RSSLLE).RSSLLE在对数据进行离群点检测的基础上,从两方面增加算法对离群点的鲁棒性.对于光滑点集,直接对其采用SSLLE算法进行降维,以避免离群点对光滑点的影响;对于离群点集,利用其局部投影坐标计算局部重构权,从而真正反映离群点的局部线性关系.再将光滑点集作为训练点集,结合SSLLE方法计算离群点集的低维坐标.模拟实验和实际例子表明RSSLLE对噪声有很好的鲁棒性.     

流形学习降维算法中一种新动态邻域选择方法

近年来,高维数据算法在诸如机器学习领域以及模式识别当中有着十分广泛的应用.降维算法的目的是为了揭示出在高维数据空间中样本数据的固有的组成特性,关注于寻找原始数据集特征表示中有价值的信息.相邻区域选择问题对流形学习降维算法的性能改进至关重要.因此,该文提出一种流形学习降维算法中的新动态邻域选择方法Mod-HLLE(mod...     

改进的非线性数据降维方法及其应用

局部线性嵌入算法（Locally Linear Embedding,LLE）是基于流形学习的非线性降维方法之一。LLE利用样本点的近邻点的线性组合对每个样本点进行局部重构,而不同近邻个数的选取会产生不同的重构误差,从而影响整体算法的实施。提出了一种LLE的改进算法,算法有效地降低了近邻点个数对算法的影响,并很好地学习了高维数据的流形结构。所提方法的有效性在人造和真实数据的对比实验中得到了证实。