基于密度和相关分量分析的局部线性嵌入算法

为解决局部线性嵌入算法(LLE)性能受初始邻域值大小和相似性度量选取的制约,提出一种基于密度和相关分量分析(relevant component analysis,RCA)的局部线性嵌入算法(DRLLE).对每一个样本点计算一个密度缩放因子,根据密度缩放因子对样本点的初始邻域值进行自适应调整,计算RCA距离作为LLE算法的相似性度量,得到样本点的近邻集,进行降维处理.将DRLLE和其它LLE改进算法在Swiss roll、Swiss roll hole和ORL数据库上进行对比实验,其结果表明,DRLLE算法具有良好的降维效果和识别性能.     

改进的非线性数据降维方法及其应用

局部线性嵌入算法（Locally Linear Embedding,LLE）是基于流形学习的非线性降维方法之一。LLE利用样本点的近邻点的线性组合对每个样本点进行局部重构,而不同近邻个数的选取会产生不同的重构误差,从而影响整体算法的实施。提出了一种LLE的改进算法,算法有效地降低了近邻点个数对算法的影响,并很好地学习了高维数据的流形结构。所提方法的有效性在人造和真实数据的对比实验中得到了证实。     

基于模糊聚类的改进LLE算法

局部线性嵌入法（Locally Linear Embedding,LLE）是一种基于流形学习的非线性降维方法。针对LLE近邻点个数选取、样本点分布以及计算速度的问题,提出基于模糊聚类的改进LLE算法。算法根据聚类中心含有大量的信息这一特点,基于模糊聚类原理,采用改进的样本点距离计算方法,定义了近似重构系数,提高了LLE计算速度,改进了模糊近邻点个数的选取。实验结果表明,改进的算法有效地降低了近邻点个数对算法的影响,具有更好的降维效果和更高的计算速度。      

一种半监督判别邻域嵌入算法

邻域保持嵌入（Neighborhood Preserving Embedding,NPE）,作为局部线性嵌入（Locally Linear Embedding,LLE）的线性化版本,由于在映射前后保持了数据的局部几何结构并得到了原始数据的子空间描述,在模式识别领域具有较强的应用价值。但作为非监督处理算法,在具体的模式分类中有一定局限性,提出一种NPE的改进算法——半监督判别邻域嵌入（SSDNE）算法,引入标记后样本点的类别信息,并在正则项中引入样本的流形结构,最大化标记样本点的类间信息和类内信息。既增加了算法的辨别能力又减少了监督算法中对样本点进行全标记的工作量。在ORL和YaleB人脸库上的实验结果表明,改进的算法较PCA、LDA、LPP以及原保持近邻判别嵌入算法的识别性能有了较明显的改善。     

基于概率距离的局部线性嵌入在上下文感知中的应用

上下文感知是近几年来研究的热点,主要采用机器学习的算法来进行推理。原始的LLE(Locally linear embedding)算法只能对单个流形进行采样处理,但是不能处理多流形的情况,不能得到正确的邻域。针对这一点对LLE算法进行改进,得到PLLE算法(Probabilistic LLE),并将改进的算法用UCI数据集进行验证。通过实验证明,该方法的分类效果较LLE算法、ISOMAP算法、PCA算法和KNN算法在一定的数据集上要好一些;最后将PLLE算法运用的上下文感知中,可以发现,PLLE算法能够得出较完整的上下文信息,比LLE算法要好。     

保持局部邻域关系的增量Hessian LLE算法

Hessian LLE算法是一种经典的流形学习算法,但该方法是以批处理的方式进行的,当新的数据点加入时,必须重新运行整个算法,计算所有数据点低维嵌入,原来的运算结果被全部丢弃。鉴于此,提出了一种保持局部邻域关系的增量Hessian LLE(LIHLLE)算法,该方法通过保证流形新增样本点在原空间和嵌入空间局部邻域的线性关系不变,用其已有邻域点的低维坐标线性表示新增样本点,来得到新增点的低维嵌入,实现增量学习。在Swiss roll withhole和frey_rawface数据集上的实验表明,该方法简便、有效可行。     

一种改进的局部线性嵌入算法

局部线性嵌入算法(Local Linear Embedding,简称LLE)是一种非线性流形学习算法,能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的线性嵌入算法(Local Project Linear Embedding,简称LPLE).通过假定目标空间的整体嵌入函数,重新构造样本点的局部邻域特征向量,最后将问题归结为损失矩阵的特征向量问题从而构造出目标空间的全局坐标.LPLE算法解决了传统LLE算法在源数据稀疏情况下的不能有效进行降维的问题,这也是其他传统的流形学习算法没有解决的.通过实验说明了LPLE算法研究的有效性和意义.     

局部线性嵌入算法改进研究

局部线性嵌入算法(Locally Linear Embedding LLE)是一种功能强大的数据降维方法,但它在处理稀疏数据源时的失效问题限制了其广泛应用,且至今没有一个完善的解决方案.为解决这一问题,从算法原理和执行过程两方面分析算法失效原因,把算法的两个优化过程联合优化,对算法进行改进.通过对S曲线稀疏采样模拟稀疏数据源,把改进前后的算法对样本点实验结果进行对比,验证了算法改进的有效性;同时,用改进后的算法处理人脸数据,展示了改进后算法的实用价值.改进后的算法将进一步促进局部线性嵌入在工程和研究领域的应用,极大地改善了算法的性能.     

一种改进的局部线性嵌套算法

局部线性嵌套(LLE)算法对近邻个数较敏感,无法处理稀疏数据源。针对该问题提出一种基于改进距离和联合优化的LLE算法。将Conformal-IsoMap中度量数据间距离的方法引入到LLE,并对原算法的2个优化过程进行联合优化。在SwissRoll曲线采样数据和MINST手写数字字符数据库上的实验结果验证了该算法的有效性。     

基于组合方法的人脸识别算法研究

该文试探一种加权融合流形学习的方法进行人脸识别,该算法通过Haar小波和局部线性嵌入（LLE）加权融合的方式来进行人脸识别。首先通过Haar小波变换对人脸图像进行一级分解,得到四个子图;然后利用LLE算法对四个子图降维处理,并加权融合;最后利用支持向量机（SVM）进行分类判决。通过在ORL库中进行实验,结果表明,该文提出的Haar＋LLE识别效率比单独使用主成分分析（PCA）和LLE更高效。     

基于Gabor变换与改进SLLE的人脸表情识别

本文通过Gabor变换进行人脸表情图像的特征提取,并利用局部线性嵌入（LLE）系列算法进行数据降维操作.LLE算法是一种非线性降维算法,它可以使得降维后的数据保持原有的拓扑结构,在人脸表情识别中有广泛的应用.因为LLE算法没有考虑样本的类别信息,因此有了监督的局部线性嵌入（SLLE）算法.但是SLLE算法仅仅考虑了样本的类别信息却没有考虑到各种表情之间的关系,因此本文提出一种改进的SLLE算法,该算法认为中性表情是其他各种表情的中心.在JAFFE库上进行人脸表情识别实验结果表明,相比LLE算法和SLLE算法,该算法获得了更好的人脸表情识别率,是一种有效算法.     

改进的有监督的局部线性嵌入算法及实验演示

流形学习方法中的LLE算法可以将高维数据在保持局部邻域结构的条件下降维到低维流形子空间中．并得到与原样本集具有相似局部结构的嵌入向量集合。LLE算法在数据降维处理过程中没有考虑样本的分类信息。针对这些问题进行研究,提出改进的有监督的局部线性嵌人算法（MSLLE）,并利用MatLab对该改进算法的实现效果同LLE进行实验演示比较。通过实验演示表明,MSLLE算法较LLE算法可以有利于保持数据点本身内部结构。     

基于表情加权距离SLLE的人脸表情识别

局部线性嵌入(LLE)算法没有考虑训练样本的类别信息,而有监督LLE(SLLE)算法等同处理类别之间的差异性。根据人脸表情的特点,各个表情类别之间的差异性是有区别的,据此,文中构造一种基于表情加权距离的SLLE算法。在计算训练样本之间距离时,对来自不同表情类别的样本距离选择不同的加权值,从而使表情类别的先验信息得到更充分利用。在JAFFE库上进行人脸表情识别实验结果表明,相比LLE算法和SLLE算法,该算法在一定邻域范围内获得更好的人脸表情识别率,是一种有效算法。     

Regression reformulations of LLE and LTSA with locally linear transformation

Locally linear embedding (LLE) and local tangent space alignment (LTSA) are two fundamental algorithms in manifold learning. Both LLE and LTSA employ linear methods to achieve their goals but with different motivations and formulations. LLE is developed by locally linear reconstructions in both high- and low-dimensional spaces, while LTSA is developed with the combinations of tangent space projections and locally linear alignments. This paper gives the regression reformulations of the LLE and LTSA algorithms in terms of locally linear transformations. The reformulations can help us to bridge them together, with which both of them can be addressed into a unified framework. Under this framework, the connections and differences between LLE and LTSA are explained. Illuminated by the connections and differences, an improved LLE algorithm is presented in this paper. Our algorithm learns the manifold in way of LLE but can significantly improve the performance. Experiments are conducted to illustrate this fact.     

改进重构权值的局部线性嵌入算法

目的 局部线性嵌入（LLE）算法是机器学习、数据挖掘等领域中的一种经典的流形学习算法。为克服LLE算法难以有效处理噪声、大曲率和稀疏采样数据等问题,提出一种改进重构权值的局部线性嵌入算法（IRWLLE）。方法 采用测地线距离来描述结构,重新构造和定义LLE中的重构权值,即在某样本的邻域内,将测地距离与欧氏距离之比定义为结构权值;将测地距离与中值测地距离之比定义为距离权值,再将结构权值与距离权值的乘积作为重构权值,从而将流形的结构和距离两种信息进行有机的结合。结果 对经典的人工数据Swiss roll、S-curve和Helix进行实验,在数据中加入噪声干扰,同时采用稀疏采样的方式来生成数据集,并与原始LLE算法和Hessian局部线性嵌入（HLLE）算法进行比较。实验结果表明,IRWLLE算法对比于LLE算法和HLLE算法,能够更好地保持流形的近邻关系,对流形的展开更加完好。尤其是对于加入噪声的大曲率数据集Helix,IRWLLE展现出极强的鲁棒性。对ORL和Yale人脸数据库进行人脸识别实验,采用最近邻分类器进行识别,将IRWLLE算法的识别结果与LLE算法进行对比。对于ORL数据集,IRWLLE算法识别率为90%,原LLE算法的识别率为85.5%;对于Yale数据集,IRWLLE算法识别率为88%,原LLE算法的识别率为75%,可见IRWLLE在人脸识别率上也有很大提高。结论 本文提出的IRWLLE算法对比于原LLE算法,不仅将流形距离信息引入到重构权值中,而且还将结构信息加入其中,有效减少了噪声和流形外数据点的干扰,所以对于噪声数据具有更强的鲁棒性,能够更好地处理稀疏采样数据和大曲率数据,在人脸识别率上也有较大提升。     

基于LLE-k均值方法的中文文本聚类

文本聚类中,文本特征向量的高维特性使得对样本统计特征的评估十分困难,所以有必要进行有效的维数简约。LLE算法利用线性重构的局部对称性找出高维数据空间中的非线性结构,并在保持各数据点临近位置关系情况下,把高维空间数据点映射为低维空间对应的数据点。文章采用LLE-k均值方法进行中文文本聚类研究。首先利用LLE进行降维处理,然后对得到的线性特征向量用k均值进行聚类分析,与PCAI、SOMAP和LLE算法比较,结果显示LLE-k均值算法能得到更好的可视化效果。     

基于聚类和改进距离的LLE方法在数据降维中的应用

局部线性嵌入算法（locally linear embedding,LLE）是解决降维的方法,针对LLE计算速度和近邻点个数K的选取,研究了该方法的扩展,提出了基于聚类和改进距离的LLE方法．基于聚类LLE方法大大缩减了计算LLE方法的时间;改进距离的LLE方法在近邻点个数取值比较小时的情况下,可得到良好的效果,而原始的LLE方法要达到相同的效果,近邻点个数K的取值通常要大很多．同时,改进距离的LLE方法可以模糊近邻点个数选取．实验结果表明,基于聚类和改进距离相结合的LLE方法相比原来的LLE方法大大提高了降维速度和扩大了参数K的选取．     

改进的局部线性嵌入算法及其应用

局部线性嵌入算法（LLE）中常用欧氏距离来度量样本间相似度,而对于具有低维流形结构的高维数据,欧氏距离不能衡量流形上两点间相对位置关系。提出基于Geodesic Rank-order距离的局部线性嵌入算法（简称GRDLLE）。应用最短路径算法（Dijkstra算法）找到最短路径长度来近似计算任意两个样本间的测地线距离,计算Rank-order距离用于LLE算法的相似性度量。将GRDLLE算法、其他改进LLE的流形学习算法及2DPCA算法在ORL与Yale数据集上进行对比实验,对数据用GRDLLE算法进行降维后人脸识别率有所提高,结果表明GRDLLE算法具有很好的降维效果。     

基于逆迭代的增量LLE算法

Locally Linear Embedding（LLE）算法是一种很好的流形学习算法,但是它只能以批处理的方式进行,只要有新的样本加入,就必须重作该算法的全部内容。而原来的运算结果被全部丢弃。提出了一种基于逆迭代的增量LLE算法,实现了流形的增量学习。在Swiss roll和S-curve数据库上的实验表明,该算法与LLE算法所计算出的投影值误差小于0.001%,运行的耗时少,具有很好的应用价值。