增量与演化流形学习综述

流形学习的目标是发现观测数据嵌入在高维数据空间中的低维光滑流形.近年来,在线或增量地发现内在低维流形结构成为流形学习的研究热点.从增量学习和演化学习2个方面入手,对该领域已有研究进展进行综述.增量流形学习较之传统的批量流形学习方法具有动态增量的能力,而演化流形学习能够在线地发现海量动态数据的内在规律,有利于进行维数约简和数据分析.文中对主要的增量与演化流形学习算法的基本原理、特点进行了阐述,分析了各自的优点与不足,指出了该领域的开放问题,并对进一步的研究方向进行了展望.     

基于等维度独立多流形的DC-ISOMAP算法

流形学习已经成为机器学习与数据挖掘领域中一个重要的研究课题.目前的流形学习算法都假设所研究的高维数据存在于同一个流形上,并不能支持或者应用于大量存在的采样于多流形上的高维数据.针对等维度的独立多流形DC-ISOMAP算法,首先通过从采样密集点开始扩展切空间的方法将多流形准确分解为单个流形,并逐个计算其低维嵌入,然后基于各子流形间的内部位置关系将其低维嵌入组合起来,得到最终的嵌入结果.实验结果表明,该算法在人造数据和实际的人脸图像数据上都能有效地计算出高维数据的低维嵌入结果.     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

针对图像序列的谱深度学习算法

为了更好地理解图像序列的隐藏深度信息,需要分析数据的隐藏结构。目前,多采用谱流形学习算法学习高维采样数据的低维嵌入坐标,从而获取数据的隐藏结构。谱流形学习算法一般是基于所研究的高维数据分布在单个流形上的前提假设,并不支持图像序列中存在的多流形结构。结合图像序列的结构特点,提出了一种针对图像序列的谱深度学习算法(spectral deep learning,SDL)。通过建立混合多流形模型,保持流形局部变化的平滑和连续,利用流形对齐建立层次流形的映射关系,得到图像序列的深度低维嵌入坐标。最后通过实验证明了算法在混合多流形数据集和图像序列数据集上的有效性。     

流形学习方法中的若干问题分析

流形学习是近年来机器学习与认知科学中的一个新的研究热点,其本质在于根据有限的离散样本学习和发现嵌入在高维空间中的低维光滑流形,从而揭示隐藏在高维数据中的内在低维结构,以实现非线性降维或者可视化.介绍了几种主要的流形学习算法,分析了它们的优势与不足,总结了流形学习方法中需要解决的若干问题及其研究现状,并展望了流形学习未来的研究前景.     

流形学习算法综述

流形学习算法作为一种新的维数降维方法工具,其目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个有效的低维表示。目前,流形学习已成为模式识别、机器学习和数据挖掘领域的研究热点问题。介绍了流形学习的基本思想、一些最新研究成果及其算法分析,并提出和分析了有待进一步研究的问题。     

基于局部线性嵌入算法的汉语数字语音识别

语音信号转换到频域后维数较高,流行学习方法可以自主发现高维数据中潜在低维结构的规律性,提出采用流形学习的方法对高维数据降维来进行汉语数字语音识别。采用流形学习中的局部线性嵌入算法提取语音频域上高维数据的低维流形结构特征,再将低维数据输入动态时间规整识别器进行识别。仿真实验结果表明,采用局部线性嵌入算法的汉语数字语音识别相较于常用声学特征MFCC维数要少,识别率提高了1.2%,有效提高了识别速度。     

基于谱图理论的流形学习算法

流形学习的主要目标是发现嵌入在高维数据空间的低维光滑流形．近年来基于谱图理论的学习算法受到研究者的广泛关注．介绍了流形与流形学习的关系，着重研究了几种有代表性的基于谱图理论的流形学习算法，并对算法进行了比较分析，最后进行总结和对进一步的研究做了展望．     

基于局部线性逼近的流形学习算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形.局部线性嵌入算法是应用比较广泛的一种流形学习方法,传统的局部线性嵌入算法的一个主要缺点就是在处理稀疏源数据时会失效,而实际应用中很多情况还要面对处理源数据稀疏的问题.在分析局部线性嵌入算法的基础上提出了基于局部线性逼近思想的流形学习算法,其通过采用直接估计梯度值的方法达到局部线性逼近的目的,从而实现高维非线性数据的维数约简,最后在S-曲线上进行稀疏采样测试取得良好降维效果.     

高维数据流形的低维嵌入及嵌入维数研究

发现高维数据空间流形中有意义的低维嵌入是一个经典难题.Isomap是提出的一种有效的基于流形理论的非线性降维方法,它不仅能够揭示高维观察数据的内在结构,还能够发现潜在的低维参教空间.Isomap的理论基础是假设在高维数据空间和低维参数空间存在等距映射,但并没有进行证明.首先给出了高维数据的连续流形和低维参数空间之间的等距映射存在性证明,然后区分了嵌入空间维数、高维数据空间的固有维数和流形维数,并证明存在环状流形高维数据空间的参数空间维数小于嵌入空间维数.最后提出一种环状流形的发现算法,判断高维数据空间是否存在环状流形,进而估计其固有维教及潜在空间维数.在多姿态三维对象的实验中证明了算法的有效性,并得到正确的低维参数空间.     

基于自组织映射的流形学习与可视化

针对自组织映射(SOM)在学习和可视化高维数据内在的低维流形结构时容易产生“拓扑缺陷”的这一问题,提出了一种新的流形学习算法--动态自组织映射(DSOM)。该算法按照数据的邻域结构逐步扩展训练数据集合,对网络进行渐进训练,以避免局部极值,克服“拓扑缺陷”问题;同时,网络规模也随之动态扩展,以降低算法的时间复杂度。实验表明,该算法能更加真实地学习和可视化高维数据内在的低维流形结构;此外,与传统的流形学习算法相比,该算法对邻域大小和噪声也更加鲁棒。所提算法的网络规模和训练数据集合都将按照数据内在的邻域结构进行同步扩展,从而能更加简洁并真实地学习和可视化高维数据内在的低维流形结构。     

基于局部平滑性的通用增量流形学习算法

目前大多数流形学习算法无法获取高维输入空间到低维嵌入空间的映射,无法处理新增数据,因此无增量学习能力。而已有的增量流形学习算法大多是通过扩展某一特定的流形学习算法使其具备增量学习能力,不具有通用性。针对这一问题,提出了一种通用的增量流形学习(GIML)算法。该方法充分考虑流形的局部平滑性这一本质特征,利用局部主成分分析法来提取数据集的局部平滑结构,并寻找包含新增样本点的局部平滑结构到对应训练数据的低维嵌入坐标的最佳变换。最后GIML算法利用该变换计算新增样本点的低维嵌入坐标。在人工数据集和实际图像数据集上进行了系统而广泛的比较实验,实验结果表明GIML算法是一种高效通用的增量流形学习方法,且相比当前主要的增量算法,能更精确地获取增量数据的低维嵌入坐标。     

基于直接估计梯度思想的数据降维算法

高维非线性数据的降维处理对于计算机完成高复杂度的数据源分析是非常重要的。从拓扑学角度分析,维数约简的过程是挖掘嵌入在高维数据中的低维线性或非线性的流形。该文在局部嵌入思想的流形学习算法的基础上,提出直接估计梯度值的方法,从而达到局部线性误差逼近最小化,实现高维非线性数据的维数约简,并在Swiss roll曲线上采样测试取得了良好的降维效果。     

基于放大因子和延伸方向研究流形学习算法

流形学习是一种新的非监督学习方法,可以有效地发现高维非线性数据集的内在维数和进行维数约简,近年来越来越受到机器学习和认知科学领域研究者的重视．虽然目前已经出现了很多有效的流形学习算法,如等度规映射（ISOMAP）、局部线性嵌套（Locally Linear Embedding,LLE）等,然而,对观测空间的高维数据与降维后的低维数据之间的定量关系,尚难以直观地进行分析．这一方面不利于对数据内在规律的深入探察,一方面也不利于对不同流形学习算法的降维效果进行直观比较．文中提出了一种方法,可以从放大因子和延伸方向这两个方面显示出观测空间的高维数据与降维后的低维数据之间的联系;比较了两种著名的流形学习算法（ISOMAP和LLE）的性能,得出了一些有意义的结论;提出了相应的算法从而实现了以上理论．对几组数据的实验表明了研究的有效性和意义．     

Adaptive manifold learning

Manifold learning algorithms seek to find a low-dimensional parameterization of high-dimensional data. They heavily rely on the notion of what can be considered as local, how accurately the manifold can be approximated locally, and, last but not least, how the local structures can be patched together to produce the global parameterization. In this paper, we develop algorithms that address two key issues in manifold learning: 1) the adaptive selection of the local neighborhood sizes when imposing a connectivity structure on the given set of high-dimensional data points and 2) the adaptive bias reduction in the local low-dimensional embedding by accounting for the variations in the curvature of the manifold as well as its interplay with the sampling density of the data set. We demonstrate the effectiveness of our methods for improving the performance of manifold learning algorithms using both synthetic and real-world data sets.     

局部保持的流形学习算法对比研究

局部保持的流形学习通过从局部到整体的思想保持观测空间和内在嵌入空间的局部几何共性,发现嵌入在高维欧氏空间中的内在低维流形。分析了局部保持的流形学习算法的基本实现框架,详细比较了一些局部保持的流形学习算法的特点,提出了几个有益的研究主题。     

Incremental nonlinear dimensionality reduction by manifold learning

Understanding the structure of multidimensional patterns, especially in unsupervised cases, is of fundamental importance in data mining, pattern recognition, and machine learning. Several algorithms have been proposed to analyze the structure of high-dimensional data based on the notion of manifold learning. These algorithms have been used to extract the intrinsic characteristics of different types of high-dimensional data by performing nonlinear dimensionality reduction. Most of these algorithms operate in a "batch" mode and cannot be efficiently applied when data are collected sequentially. In this paper, we describe an incremental version of ISOMAP, one of the key manifold learning algorithms. Our experiments on synthetic data as well as real world images demonstrate that our modified algorithm can maintain an accurate low-dimensional representation of the data in an efficient manner.     

谱流形快速学习算法研究

谱流形学习算法的目标是发现嵌入在高维数据空间中的低维表示,其近年来得到了广泛的应用。虽然已经取得了许多令人骄傲的成绩,但是却存在一个很大的瓶颈--计算复杂度太高,这严重阻碍了算法在实际中的应用。提出了谱流形快速学习算法,该算法包括两个降低算法复杂度的技术：（1）通过随机选择或者k-means方法从n个样本点中选出 p个锚点,把每个样本点表达为由锚点的邻域点线性组合的形式,从而设计了邻接矩阵的新形式,降低了邻接图的计算复杂度;（2）利用线性化的流形学习算法有效地计算高维数据到低维数据的映射,从而降低了优化特征值的计算复杂度。该算法在3个常用人脸数据集（Yale、ORL、Extended Yale B）上得到了验证,进一步证明了算法的有效性。