基于局部平滑性的通用增量流形学习算法

目前大多数流形学习算法无法获取高维输入空间到低维嵌入空间的映射,无法处理新增数据,因此无增量学习能力。而已有的增量流形学习算法大多是通过扩展某一特定的流形学习算法使其具备增量学习能力,不具有通用性。针对这一问题,提出了一种通用的增量流形学习(GIML)算法。该方法充分考虑流形的局部平滑性这一本质特征,利用局部主成分分析法来提取数据集的局部平滑结构,并寻找包含新增样本点的局部平滑结构到对应训练数据的低维嵌入坐标的最佳变换。最后GIML算法利用该变换计算新增样本点的低维嵌入坐标。在人工数据集和实际图像数据集上进行了系统而广泛的比较实验,实验结果表明GIML算法是一种高效通用的增量流形学习方法,且相比当前主要的增量算法,能更精确地获取增量数据的低维嵌入坐标。     

基于等维度独立多流形的DC-ISOMAP算法

流形学习已经成为机器学习与数据挖掘领域中一个重要的研究课题.目前的流形学习算法都假设所研究的高维数据存在于同一个流形上,并不能支持或者应用于大量存在的采样于多流形上的高维数据.针对等维度的独立多流形DC-ISOMAP算法,首先通过从采样密集点开始扩展切空间的方法将多流形准确分解为单个流形,并逐个计算其低维嵌入,然后基于各子流形间的内部位置关系将其低维嵌入组合起来,得到最终的嵌入结果.实验结果表明,该算法在人造数据和实际的人脸图像数据上都能有效地计算出高维数据的低维嵌入结果.     

基于子空间流形的图像集识别方法

近年来,基于黎曼流形将图像集在线性子空间中进行表征的图像集识别方法已经被证实有良好的效果,针对该领域存在的图像线性子空间大多高维所导致现有黎曼流形的图像集识别方法存在计算成本高、适用性有限的问题,提出一种基于子空间流形的图像集识别方法。首先,从线性子空间的几何结构出发,利用Grassmann流形对线性子空间进行建模,得到基于Grassmann流形的联合黎曼度量。然后,通过该联合黎曼度量,从高维的Grassmann流形中学习到一个低维的Grassmann流形。最后,对通过学习得到的低维流形上的图像集数据进行图像集识别。实验结果表明,在ETH-80数据集上该方法的识别准确率比投影度量学习（PML）和图嵌入Grassmann判别分析（GGDA）都分别提升了2.5个百分点。证明了在通过提出的度量与方法学习到的低维流形上,图像集数据具有更好的分类结构,从而降低图像集识别计算成本,扩大适用范围,提升识别准确率。     

一种在源数据稀疏情况下的流形学习算法研究

传统的流形学习算法能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的直接求解线性嵌入算法(Solving Directly Linear Embedding,简称SDLE).通过假定低维流形的整体嵌入函数,将流形映射赋予局部光滑的约束,应用核方法将高维空间的坐标投影到特征空间,最后构造出在低维空间的全局坐标.SDLE算法解决了在源数据稀疏情况下的非线性维数约简问题,这是传统的流形学习算法没有解决的问题.通过实验说明了SDLE算法研究的有效性.     

黎曼法坐标流形学习扩展算法

LOGMAP是最近提出的一种黎曼流形学习算法,它能够有效地学习出高维数据的低维嵌入坐标.然而该算法只能处理单类数据的流形学习问题,当存在多类数据时往往不能得到理想的嵌入结果.为解决这个问题,提出了一种扩展的LOGMAP算法(Extended LOGMA PAlgorithm,简称ELOGMAP).该算法通过计算全局基准点所在类到其他类的最短距离找出各类的局部基准点,然后逐个计算各类数据相对于局部基准点的局部黎曼法坐标,最后通过扩展的全局基准点与局部基准点之间测地距离关系得到多类数据的整体嵌入坐标.实验结果验证了该算法在处理多类数据流形学习上的有效性.     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

高维数据流形的低维嵌入及嵌入维数研究

发现高维数据空间流形中有意义的低维嵌入是一个经典难题.Isomap是提出的一种有效的基于流形理论的非线性降维方法,它不仅能够揭示高维观察数据的内在结构,还能够发现潜在的低维参教空间.Isomap的理论基础是假设在高维数据空间和低维参数空间存在等距映射,但并没有进行证明.首先给出了高维数据的连续流形和低维参数空间之间的等距映射存在性证明,然后区分了嵌入空间维数、高维数据空间的固有维数和流形维数,并证明存在环状流形高维数据空间的参数空间维数小于嵌入空间维数.最后提出一种环状流形的发现算法,判断高维数据空间是否存在环状流形,进而估计其固有维教及潜在空间维数.在多姿态三维对象的实验中证明了算法的有效性,并得到正确的低维参数空间.     

一种面向图像分类的流形学习降维算法

数据挖掘中的流形学习降维算法可以应用于图像分类等领域。提出一种面向图像分类的流形学习降维算法Mod-LLE(Modified Locally Linear Embedding)。该算法是针对高维数据的局部线性嵌入降维算法的改进,其整合了图像识别信息来更好地改善优化效果,达到在处理过程中保证原始数据固有的拓扑组成结构。以标准数据集作为案例进行测试。图像分类功能测试与降维性能测试结果表明:该算法对于人脸图像的分类精度比较高,降维性能良好。     

一种在源数据稀疏情况下的数据降维算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形。从分析基于流形学习理论的局部线性嵌入算法入手,针对传统的局部线性嵌入算法在源数据稀疏时会失效的缺点,提出了基于局部线性逼近思想的流形学习算法,并在S-曲线上采样测试取得良好降维效果。     

流形学习方法中的若干问题分析

流形学习是近年来机器学习与认知科学中的一个新的研究热点,其本质在于根据有限的离散样本学习和发现嵌入在高维空间中的低维光滑流形,从而揭示隐藏在高维数据中的内在低维结构,以实现非线性降维或者可视化.介绍了几种主要的流形学习算法,分析了它们的优势与不足,总结了流形学习方法中需要解决的若干问题及其研究现状,并展望了流形学习未来的研究前景.