一种在源数据稀疏情况下的数据降维算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形。从分析基于流形学习理论的局部线性嵌入算法入手,针对传统的局部线性嵌入算法在源数据稀疏时会失效的缺点,提出了基于局部线性逼近思想的流形学习算法,并在S-曲线上采样测试取得良好降维效果。     

基于直接估计梯度思想的数据降维算法

高维非线性数据的降维处理对于计算机完成高复杂度的数据源分析是非常重要的。从拓扑学角度分析,维数约简的过程是挖掘嵌入在高维数据中的低维线性或非线性的流形。该文在局部嵌入思想的流形学习算法的基础上,提出直接估计梯度值的方法,从而达到局部线性误差逼近最小化,实现高维非线性数据的维数约简,并在Swiss roll曲线上采样测试取得了良好的降维效果。     

一种改进的局部线性嵌入算法

局部线性嵌入算法(Local Linear Embedding,简称LLE)是一种非线性流形学习算法,能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的线性嵌入算法(Local Project Linear Embedding,简称LPLE).通过假定目标空间的整体嵌入函数,重新构造样本点的局部邻域特征向量,最后将问题归结为损失矩阵的特征向量问题从而构造出目标空间的全局坐标.LPLE算法解决了传统LLE算法在源数据稀疏情况下的不能有效进行降维的问题,这也是其他传统的流形学习算法没有解决的.通过实验说明了LPLE算法研究的有效性和意义.     

一种在源数据稀疏情况下的流形学习算法研究

传统的流形学习算法能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的直接求解线性嵌入算法(Solving Directly Linear Embedding,简称SDLE).通过假定低维流形的整体嵌入函数,将流形映射赋予局部光滑的约束,应用核方法将高维空间的坐标投影到特征空间,最后构造出在低维空间的全局坐标.SDLE算法解决了在源数据稀疏情况下的非线性维数约简问题,这是传统的流形学习算法没有解决的问题.通过实验说明了SDLE算法研究的有效性.     

扩大局部邻域的疏散嵌入算法

非线性流形学习降维方法已经被广泛应用到人脸识别、入侵检测以及传感器网络等领域。然而,能够有效处理稀疏数据的流形学习算法很少。基于局部线性嵌入（LLE）算法的思想框架,提出一种扩大局部邻域的稀疏嵌入算法,通过对局部区域信息加强,使得在样本较少的情况下,达到丰富重叠信息的目的。在稀疏的人工和人脸数据集上的实验结果表明,所提算法产生了较好的嵌入及分类结果。     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

几种流形学习算法的比较研究

如何发现高维数据空间流形中有意义的低维嵌入信息是流形学习的主要目的。目前,大部分流形学习算法都是用于非线性维数约简或是数据可视化的,如等距映射（Isomap）,局部线性嵌入算法（LLE）,拉普拉斯特征映射算（laplacian Eigenmap）等等,文章对这三种流形学习算法进行实验分析与比较,目的在于了解这几种流形学习算法的特点,以便更好地进行数据的降维与分析。     

一种基于局部线性嵌入的多流形学习算法

针对局部线性嵌入算法在处理多流形数据时失效问题,提出一种新的基于局部线性嵌入的多流形学习算法.采用cam分布寻找数据点的近邻,避免了近邻选取方向的缺失;同时在获取重建权值矩阵的过程中引入一个正则项约束,从而降低了算法对噪声的敏感度.通过对分布在不同流形上的高维数据实验后发现改进算法具有很好的降维效果.为了进一步验证算法的有效性,将改进后的算法对COIL-20数据库进行图像检索,结果表明该算法不仅有较好的降维效果而且在多类别多形状流形学习中有很好的实用价值.     

一种基于稀疏嵌入分析的降维方法

近几年局部流形学习算法研究得到了广泛的关注, 如局部线性嵌入以及局部切空间排列算法等.这些算法都是基于局部可线性化的假设而提出的, 但局部是否可线性化的问题没有得到很好有效的解决, 使得目前的降维算法对自然数据效果不佳. 自然数据中有很多是稀疏的,对稀疏数据的降维是局部线性嵌入算法所面临的一个问题. 基于对数据自然属性的考虑,利用数据的统计信息动态确定局部线性化范围, 依据数据的分布提出一种排列的稀疏局部线性嵌入算法(Sparse local linear embedding algorithm, SLLEA). 在数据集稀疏的情况下,该算法能够很好地把握数据的局部和整体信息. 将该算法应用于手工流形及图像检索等试验中,验证了该算法的有效性.     

基于几何距离摄动的局部切空间排列算法

局部切空间排列算法（Local Tangent Space Alignment）是一种具有严格数学推理的流形学习算法,能有效地学习出高维数据的低维嵌入坐标,但也存在一些不足,如对近邻点的选取依赖性较强、不适应处理高曲率分布、稀疏分布数据源。针对这些缺点,提出了一种基于几何距离摄动的局部切空间排列算法。利用几何摄动条件把样本空间划分为一组线性分块的组合,在每一个线性块上应用LTSA算法完成降维。实验结果表明了该算法的有效性。     

改进的多流形LLE学习算法

流形学习已成为机器学习和数据挖掘领域的研究热点。比如,算法LLE（Locally Linear Embedding）作为一种非线性降维算法有很好的泛化性能,被广泛地应用于图像分类和目标识别,但其仅仅假设了数据集处于单流形的情况。MM-LLE（Multiple Manifold Locally Linear Embedding）学习算法作为一种考虑多流形情况的改进算法,依然存在几点不足之处。因此,提出改进的MM-LLE算法,通过任意两类间的局部低维流形组合并构建分类器来提高分类精度;同时改进原算法计算最佳维度的方法。通过与算法ISOMAP、LLE以及MM-LLE比较分类精度,实验结果验证了改进算法的有效性。     

基于信息熵的局部线性嵌入

信息熵保证原始空间特征最大确定性的概率分布,且能够处理缺失值、噪声等问题;流形学习方法局部线性嵌入能够在降维后的子空间中较完整地表现原空间流形结构中特征间的关系。结合两者优势,提出一种新的特征选择方法,基于信息熵的局部线性嵌入,先对原始空间的特征信息熵进行估计,然后用局部线性嵌入对保有最大信息量的特征子空间降维,最后获得较低维度的特征子空间。在给定的UCI标准数据集中,实验结果表明了该方法在特征选择中的可行性及有效性。     

一种提高文本分类效果的改进流形学习算法

流形学习算法在模式识别领域有着重要应用,针对文本分类数据的特点,提出一种基于邻域选取进行修正的局部线性嵌入算法,用带有权值的欧式距离来构造文本数据的局部邻域,提高文本分类的识别率;同时,利用文本数据的类别信息,运用半监督局部线性嵌入算法构造分类器,提高文本分类的效果。实验表明,本文基于文本分类改进的流形学习算法,能够有效地对文本进行分类。     

基于SNPE和SVM的人脸识别

在人脸识别方面,传统的特征提取方法大都是线性方法,不能很好保持样本的拓扑结构。分类方面,支持向量机能够尽量提高学习的泛化能力,防止过学习,是一种很好的分类器。提出了一种基于SNPE和SVM的人脸识别方法。采用有监督模式确定NPE算法中的K值。SNPE算法旨在保持数据的局部流型结构,而且相对于近期提出的LLE算法,它能够适用于训练样本和测试样本,具有更大的实用型。结合两分类支持向量机级联模型进行人脸识别,在ORL人脸数据库上实验表明,算法具有稳健性、快速性等优点,实验效果令人满意。     

利用图像距离的监督LLE头部姿态估计方法

局部线性嵌入(LLE)是一种经典流形学习方法,直接应用这种非监督的传统LLE估计图像中的头部姿态存在两点不足:未考虑图像像素空间信息和未利用样本标记信息.因此,本文结合图像欧式距离和偏置LLE流形学习方法,对头部姿态图像降维,并通过广义回归神经网络(GRNN)和多元线性回归的方法,估计头部图像的姿态.在FacePix头部姿态数据库的对比实验表明,本方法具有较好的头部姿态估计效果.     

一种半监督判别邻域嵌入算法

邻域保持嵌入（Neighborhood Preserving Embedding,NPE）,作为局部线性嵌入（Locally Linear Embedding,LLE）的线性化版本,由于在映射前后保持了数据的局部几何结构并得到了原始数据的子空间描述,在模式识别领域具有较强的应用价值。但作为非监督处理算法,在具体的模式分类中有一定局限性,提出一种NPE的改进算法——半监督判别邻域嵌入（SSDNE）算法,引入标记后样本点的类别信息,并在正则项中引入样本的流形结构,最大化标记样本点的类间信息和类内信息。既增加了算法的辨别能力又减少了监督算法中对样本点进行全标记的工作量。在ORL和YaleB人脸库上的实验结果表明,改进的算法较PCA、LDA、LPP以及原保持近邻判别嵌入算法的识别性能有了较明显的改善。     

基于LLE方法的地震数据随机噪声压制

奇异值分解（SVD）方法在地震数据去噪中得到了较好的发展。在时间域或频率域进行随机噪声压制时,SVD技术往往对呈现线性模式的水平同相轴有较好的去噪效果。然而,对呈现非线性模式的弯曲同相轴效果不佳,从而限制了其在实际中的应用。为此,提出一种基于局部线性嵌入（LLE）的地震数据随机噪声压制方法,其思想是不考虑LLE方法的降维特性,而仅考虑其重构特性,利用局部线性嵌入的重构思想,对地震数据采样点用其近邻进行重构,得到去除随机噪声后的结果。正演模型及实际资料处理结果对比表明,该方法在有效压制随机噪声的同时,能够较好地保留非线性模式的有效信号,优于常规SVD滤波结果。     

Guided Locally Linear Embedding

Nonlinear dimensionality reduction is the problem of retrieving a low-dimensional representation of a manifold that is embedded in a high-dimensional observation space. Locally Linear Embedding (LLE), a prominent dimensionality reduction technique is an unsupervised algorithm; as such, it is not possible to guide it toward modes of variability that may be of particular interest. This paper proposes a supervised variation of LLE. Similar to LLE, it retrieves a low-dimensional global coordinate system that faithfully represents the embedded manifold. Unlike LLE, however, it produces an embedding in which predefined modes of variation are preserved. This can improve several supervised learning tasks including pattern recognition, regression, and data visualization.     

基于二维近邻保持嵌入的图像识别

近邻保持嵌入算法(NPE)是一种保持数据流形上局部结构的子空间学习算法,它是对局部线性嵌入的线性逼近。然而当数据为图像时,图像被拉直为向量后的维数通常非常高,而样本点有限,由于矩阵的奇异性,NPE不能直接运用。我们将NPE推广到二维情形,提出二维近邻保持嵌入算法(2D-NPE)。2D-NPE直接在二维图像矩阵上提取图像特征,而不是把图像拉直成一维向量后再提取特征。通过在手写数字字符图像库和Yale人脸图像库上的实验,验证算法的有效性。