改进的局部线性嵌入算法及其应用

局部线性嵌入算法（LLE）中常用欧氏距离来度量样本间相似度,而对于具有低维流形结构的高维数据,欧氏距离不能衡量流形上两点间相对位置关系。提出基于Geodesic Rank-order距离的局部线性嵌入算法（简称GRDLLE）。应用最短路径算法（Dijkstra算法）找到最短路径长度来近似计算任意两个样本间的测地线距离,计算Rank-order距离用于LLE算法的相似性度量。将GRDLLE算法、其他改进LLE的流形学习算法及2DPCA算法在ORL与Yale数据集上进行对比实验,对数据用GRDLLE算法进行降维后人脸识别率有所提高,结果表明GRDLLE算法具有很好的降维效果。     

自适应局部线性嵌入算法

局部线性嵌入算法（LLE）因其较低的计算复杂度和高效性适用于很多降维问题,新的自适应局部线性嵌入（ALLE）算法对数据进行非线性降维,提取高维数据的本质特征,并保持了数据的全局几何结构特征,对比实验结果表明了该算法对于非理想数据的降维结果均优于LLE算法。     

扩大局部邻域的疏散嵌入算法

非线性流形学习降维方法已经被广泛应用到人脸识别、入侵检测以及传感器网络等领域。然而,能够有效处理稀疏数据的流形学习算法很少。基于局部线性嵌入（LLE）算法的思想框架,提出一种扩大局部邻域的稀疏嵌入算法,通过对局部区域信息加强,使得在样本较少的情况下,达到丰富重叠信息的目的。在稀疏的人工和人脸数据集上的实验结果表明,所提算法产生了较好的嵌入及分类结果。     

基于自适应近邻参数的局部线性嵌入

局部线性嵌入算法是一种有效的非线性降维方法。文中提出一种自适应的局部线性嵌入方法。该方法通过分析数据集中任意样本所在局部区域的线性重构误差,确定该局部区域的近似线性块,然后根据位于此局部线性块上的样本来选择局部线性嵌入的近邻参数。实验结果表明,在不同的数据集上,采用多个评价标准,自适应的局部线性嵌入方法相比普通的局部线性嵌入方法,取得更好的结果。     

基于数据点松紧度的局部线性嵌入算法

局部线性嵌入算法（LLE）是流形学习中非线性数据降维的重要方法之一。考虑数据点分布大多呈现不均匀性,LLE对近邻点的选取方式将会导致大量的信息丢失。根据其不足,提出一种基于数据点松紧度的局部线性嵌入改进算法——tLLE算法,针对数据点分布不均匀的数据集,tLLE算法能有效地进行维数约简,且具有比LLE更好的降维效果。在人造数据和现实数据上的嵌入以及分类识别结果表明了tLLE算法的有效性。     

邻域参数动态变化的局部线性嵌入

局部线性嵌入是最有竞争力的非线性降维方法,有较强的表达能力和计算优势.但它们都采用全局一致的邻城大小,只适用于均匀分布的流形,无法处理现实中大量存在的非均匀分布流形.为此,提出一种邻域大小动态确定的新局部线性嵌入方法.它采用Hessian局部线性嵌入的概念框架,但用每个点的局部邻域估计此邻域内任意点之间的近似测地距离,然后根据近似测地距离与欧氏距离之间的关系动态确定该点的邻域大小,并以此邻域大小构造新的局部邻域.算法几何意义清晰,在观察数据稀疏和数据带噪音等情况下,都比现有算法有更强的鲁棒性.标准数据集上的实验结果验证了所提方法的有效性.     

基于几何距离摄动的局部线性嵌入算法

传统局部线性嵌入(LLE)算法对近邻个数依赖性较强,不适用于处理稀疏数据源。针对该问题,提出一种基于几何距离摄动的LLE算法。通过线性块内的最大欧氏距离与测地距离之差构造几何摄动,描述流形数据的局部线性特性,对原始流形数据进行最大线性分块操作,保证局部模块的线性特性,并在每一个局部线性模块上应用LLE算法实现嵌入降维。实验结果表明,该算法能有效提高分类的平均准确率。     

改进重构权值的局部线性嵌入算法

目的 局部线性嵌入（LLE）算法是机器学习、数据挖掘等领域中的一种经典的流形学习算法。为克服LLE算法难以有效处理噪声、大曲率和稀疏采样数据等问题,提出一种改进重构权值的局部线性嵌入算法（IRWLLE）。方法 采用测地线距离来描述结构,重新构造和定义LLE中的重构权值,即在某样本的邻域内,将测地距离与欧氏距离之比定义为结构权值;将测地距离与中值测地距离之比定义为距离权值,再将结构权值与距离权值的乘积作为重构权值,从而将流形的结构和距离两种信息进行有机的结合。结果 对经典的人工数据Swiss roll、S-curve和Helix进行实验,在数据中加入噪声干扰,同时采用稀疏采样的方式来生成数据集,并与原始LLE算法和Hessian局部线性嵌入（HLLE）算法进行比较。实验结果表明,IRWLLE算法对比于LLE算法和HLLE算法,能够更好地保持流形的近邻关系,对流形的展开更加完好。尤其是对于加入噪声的大曲率数据集Helix,IRWLLE展现出极强的鲁棒性。对ORL和Yale人脸数据库进行人脸识别实验,采用最近邻分类器进行识别,将IRWLLE算法的识别结果与LLE算法进行对比。对于ORL数据集,IRWLLE算法识别率为90%,原LLE算法的识别率为85.5%;对于Yale数据集,IRWLLE算法识别率为88%,原LLE算法的识别率为75%,可见IRWLLE在人脸识别率上也有很大提高。结论 本文提出的IRWLLE算法对比于原LLE算法,不仅将流形距离信息引入到重构权值中,而且还将结构信息加入其中,有效减少了噪声和流形外数据点的干扰,所以对于噪声数据具有更强的鲁棒性,能够更好地处理稀疏采样数据和大曲率数据,在人脸识别率上也有较大提升。     

局部线性嵌入算法改进研究

局部线性嵌入算法(Locally Linear Embedding LLE)是一种功能强大的数据降维方法,但它在处理稀疏数据源时的失效问题限制了其广泛应用,且至今没有一个完善的解决方案.为解决这一问题,从算法原理和执行过程两方面分析算法失效原因,把算法的两个优化过程联合优化,对算法进行改进.通过对S曲线稀疏采样模拟稀疏数据源,把改进前后的算法对样本点实验结果进行对比,验证了算法改进的有效性;同时,用改进后的算法处理人脸数据,展示了改进后算法的实用价值.改进后的算法将进一步促进局部线性嵌入在工程和研究领域的应用,极大地改善了算法的性能.     

局部线性嵌入算法中参数的选取*

局部线性嵌入(LLE)算法是有效的非线性降维方法,时间复杂度低并具有强的流形表达能力.与其他降维方法相比,局部线性嵌入算法的优势在于只定义唯一的参数,即邻域数.因此算法的性能主要依靠此邻域参数的选取,这就产生问题:怎样选取邻域参数的最佳值.通过对两种自动选取最佳参数值的方法,即简单方法和分层方法进行试验比较与分析,归纳出在实践中确定邻域参数的启发式策略.     

改进的有监督的局部线性嵌入算法及实验演示

流形学习方法中的LLE算法可以将高维数据在保持局部邻域结构的条件下降维到低维流形子空间中．并得到与原样本集具有相似局部结构的嵌入向量集合。LLE算法在数据降维处理过程中没有考虑样本的分类信息。针对这些问题进行研究,提出改进的有监督的局部线性嵌人算法（MSLLE）,并利用MatLab对该改进算法的实现效果同LLE进行实验演示比较。通过实验演示表明,MSLLE算法较LLE算法可以有利于保持数据点本身内部结构。     

基于核局部线性嵌入算法的图像去噪方法

利用局部线性嵌入算法进行图像去噪时,如果局部近邻样本呈现非线性关系,图像去噪效果会受到影响。针对该问题,提出基于核局部线性嵌入算法的图像去噪方法。通过非线性核函数将样本映射到高维线性空间,在高维空间运用局部线性嵌入算法进行图像去噪。实验结果表明,该方法能有效地对高维非线性图像进行去噪,性能优于中值滤波算法和局部线性嵌入算法。     

基于局部线性投影的三维旋转人脸识别

本文在基于三维形态学模型的人脸识别研究中,运用局部线性投影算法(ProjectiveLLE,PLLE)取代了普遍使用的经典降维方法PCA,在高维空间中减小了降维过程中的线性失真。有效提高了所构建的三维形态学模型的质量,经实验证明该算法对于提高拟合的精度和大角度旋转人脸的识别率都取得了比较理想的效果。     

局部线性嵌入算法及其稳定性实现

局部线性嵌入(locally linear embedding,LLE)算法是一种非常有效的非线性数据降维算法,广泛应用于机器学习、数据挖掘、模式识别等领域。它通过两次局部最小化实现对高维数据的非线性降维。首先给出了LLE算法关键步骤的理论实现,然后对LLE算法降维效果进行验证,最后在非均匀采样数据集上,分别验证了LLE算法的邻域点稳定性和数据点采样稳定性,有效地验证了LLE算法作为非线性降维算法的良好性能。     

Guided Locally Linear Embedding

Nonlinear dimensionality reduction is the problem of retrieving a low-dimensional representation of a manifold that is embedded in a high-dimensional observation space. Locally Linear Embedding (LLE), a prominent dimensionality reduction technique is an unsupervised algorithm; as such, it is not possible to guide it toward modes of variability that may be of particular interest. This paper proposes a supervised variation of LLE. Similar to LLE, it retrieves a low-dimensional global coordinate system that faithfully represents the embedded manifold. Unlike LLE, however, it produces an embedding in which predefined modes of variation are preserved. This can improve several supervised learning tasks including pattern recognition, regression, and data visualization.     

基于局部线性嵌入的最大散度矩阵算法

提出一种基于局部线性嵌入的最大散度矩阵算法——FSLLE。引入线性映射解决局部线性嵌入算法的样本外学习问题,通过自适应动态地确定局部线性空间邻域参数,最大化地融合样本数据的类别信息和局部结构信息矩阵,以获取髙维数据的最佳分类低维子空间。在JAFFE人脸表情库对该算法进行测试,结果表明,FSLLE算法能根据流形结构动态地确定局部邻域的大小,具有较好的表情识别率。     

一种邻域竞争线性嵌入的降维方法

针对局部线性嵌入算法处理稀疏数据失效的问题,提出一种基于邻域竞争线性嵌入的降维方法。利用数据的统计信息动态确定局部线性化范围,并采用cam分布寻找数据点的近邻,避免了近邻选取方向的缺失。在数据集稀疏的情况下,通过对数据点近邻做局部结构的提取,该算法能够很好地把握数据的局部信息和整体信息。为了验证算法的有效性,将该算法应用于手工流形降维和对Corel数据库进行图像检索等,结果表明该算法不仅有较好的降维效果,而且具有很好的实用价值。     

基于局部线性逼近的流形学习算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形.局部线性嵌入算法是应用比较广泛的一种流形学习方法,传统的局部线性嵌入算法的一个主要缺点就是在处理稀疏源数据时会失效,而实际应用中很多情况还要面对处理源数据稀疏的问题.在分析局部线性嵌入算法的基础上提出了基于局部线性逼近思想的流形学习算法,其通过采用直接估计梯度值的方法达到局部线性逼近的目的,从而实现高维非线性数据的维数约简,最后在S-曲线上进行稀疏采样测试取得良好降维效果.