流形学习方法中的若干问题分析

流形学习是近年来机器学习与认知科学中的一个新的研究热点,其本质在于根据有限的离散样本学习和发现嵌入在高维空间中的低维光滑流形,从而揭示隐藏在高维数据中的内在低维结构,以实现非线性降维或者可视化.介绍了几种主要的流形学习算法,分析了它们的优势与不足,总结了流形学习方法中需要解决的若干问题及其研究现状,并展望了流形学习未来的研究前景.     

基于局部线性逼近的流形学习算法

流形学习方法是根据流形的定义提出的一种非线性数据降维方法,主要思想是发现嵌入在高维数据空间的低维光滑流形.局部线性嵌入算法是应用比较广泛的一种流形学习方法,传统的局部线性嵌入算法的一个主要缺点就是在处理稀疏源数据时会失效,而实际应用中很多情况还要面对处理源数据稀疏的问题.在分析局部线性嵌入算法的基础上提出了基于局部线性逼近思想的流形学习算法,其通过采用直接估计梯度值的方法达到局部线性逼近的目的,从而实现高维非线性数据的维数约简,最后在S-曲线上进行稀疏采样测试取得良好降维效果.     

基于半监督流形学习的人脸识别方法

如何有效地将流形学习(Manifold learning,ML)和半监督学习(Semi-supervised learning,SSL)方法进行结合是近年来模式识别和机器学习领域研究的热点问题.提出一种基于半监督流形学习(Semi-supervised manifold learning,SSML)的人脸识别方法,它在部分有标签信息的人脸数据的情况下,通过利用人脸数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸识别.基于公开的人脸数据库上的实验结果表明,该方法能有效地提高人脸识别的性能.     

黎曼流形的距离均方差最小降维改进算法

TRIMAP算法重新定义了图上距离的表达形式,并用近邻点对的测地距离的误差和作为衡量投影函数好坏的标准,通过这种方法可以较好地找到所需的从高维空间到低维空间转换的媒介,但是这种衡量标准不能很好地表达出TRIMAP中定义的图上距离与投影到低维空间中两点实际距离的对比关系。针对这个不足,采用了一个新的衡量标准表达式,定义一个参数m来代表对比关系,以此来解决这个缺陷,从而更好地获得最佳投影,提高识别率。实验结果表明,在ORL人脸图像的分类识别问题中获得了较好的识别性能。     

流形学习中非线性维数约简方法概述

较为详细地回顾了流形学习中非线性维数约简方法,分析了它们各自的优势和不足.与传统的线性维数约简方法相比较,可以发现非线性高维数据的本质维数,有利于进行维数约简和数据分析.最后展望了流形学习中非线性维数方法的未来研究方向,期望进一步拓展流形学习的应用领域.     

一种基于加权标志点的流形学习算法

近年来出现的一系列进行维数约简的非线性方法——流形学习中等距映射（Isomap）是其中的代表,该算法高效、简单,但计算复杂度较高。基于标志点（Landmark Points）的L-Isomap减少了计算复杂度,但对于标志点的选取,大都采用随机的方法,致使该算法不稳定。考虑到样本点和近邻点相对位置,将对嵌入流形影响较大的样本点赋予较高的权重。然后根据权重大小选择标志点,同时考虑标志点之间的相对位置,使得选出的标志点不会出现过度集中的现象,近似直线分布的概率也大大降低,从而保证了算法的稳定性。实验结果表明,该算法在标志点数量较少的情况下,比L-Isomap稳定,且对缺失数据的不完整流形,也能获取和Isomap相差不大的结果。     

流形学习算法中的参数选择问题研究

流形学习(Manifold Learning)算法是近年来发展起来的非线性降维机器学习算法.等度规特征映射Isomap(Isometric feature mapping)和局部线性嵌入LLE(Locally Linear Embedding)是两种典型的流形学习算法.通过实验比较和分析两种算法中邻接参数K和采样点数N的选取对降维结果以及执行时间的影响,实验结果表明Isomap对邻接参数K和采样点数N具有较高的容忍度,而LLE算法在计算速度上优势明显.     

基于局部平滑性的通用增量流形学习算法

目前大多数流形学习算法无法获取高维输入空间到低维嵌入空间的映射,无法处理新增数据,因此无增量学习能力。而已有的增量流形学习算法大多是通过扩展某一特定的流形学习算法使其具备增量学习能力,不具有通用性。针对这一问题,提出了一种通用的增量流形学习(GIML)算法。该方法充分考虑流形的局部平滑性这一本质特征,利用局部主成分分析法来提取数据集的局部平滑结构,并寻找包含新增样本点的局部平滑结构到对应训练数据的低维嵌入坐标的最佳变换。最后GIML算法利用该变换计算新增样本点的低维嵌入坐标。在人工数据集和实际图像数据集上进行了系统而广泛的比较实验,实验结果表明GIML算法是一种高效通用的增量流形学习方法,且相比当前主要的增量算法,能更精确地获取增量数据的低维嵌入坐标。     

基于流形学习的“本质”维数估计

局部线性嵌入算法(LLE)是一种可以有效处理高维流形的非线性降维方法.提出一种基于全局保持的局部线性嵌入方法(GPLLE),其在保持高维流形局部近邻关系的同时,可以保证距离远的样本仍然较远,从而可以有效地解决LLE算法中存在的问题,即LLE只能保持高维流形的局部近邻关系,而无法确保距离远的样本不会靠近.更重要的是,GPLLE方法可以用来估计高维流形的“本质”维数.实验结果表明,在GPLLE估计的低维空间,相比LLE,GPLLE具有更好的分类性能.     

基于认知的流形学习方法概要

流形学习是一种新出现的机器学习方法,近年来引起越来越多的计算机科学工作者和认知科学工作者的重视.为了加深对流形学习的认识和理解,从流形与流形学习的基本概念入手,追溯它的发展历程.针对目前的几种主要的流形算法,分析它们各自的优势和不足,然后引用LLE的应用示例.说明流形学习较之于传统的线性降维方法如PCA等,能够有效地发现非线性高维数据的本质维数,可以有效地进行维数约简和数据分析.最后对流形学习未来的研究方向做出展望,以期进一步拓展流形学习的应用领域.     

基于流形学习的极端学习机及其在人脸识别中的应用

极端学习机以其快速高效和良好的泛化能力在模式识别领域得到了广泛应用,然而现有的ELM及其改进算法并没有充分考虑到数据维数对ELM分类性能和泛化能力的影响,当数据维数过高时包含的冗余属性及噪音点势必降低ELM的泛化能力,针对这一问题本文提出一种基于流形学习的极端学习机,该算法结合维数约减技术有效消除数据冗余属性及噪声对ELM分类性能的影响,为验证所提方法的有效性,实验使用普遍应用的图像数据,实验结果表明本文所提算法能够显著提高ELM的泛化性能。     

流形学习算法综述

流形学习算法作为一种新的维数降维方法工具,其目标是发现嵌入在高维数据空间中的低维流形结构,并给出一个有效的低维表示。目前,流形学习已成为模式识别、机器学习和数据挖掘领域的研究热点问题。介绍了流形学习的基本思想、一些最新研究成果及其算法分析,并提出和分析了有待进一步研究的问题。     

基于流形结构重建的启动子识别

启动子识别是生物信息学的一个重要研究方向,根据启动子本身的特点已经有基于信号、内容和CpG岛等多种识别算法。针对基因序列数据数据量大、维数高、非线性的特点,提出了基于流形结构重建的启动子识别算法,先利用非线性降维方法压缩数据,然后再进行启动子识别。实验结果表明,该方法能够取得较好的结果。     

An improved local tangent space alignment method for manifold learning

Principal component analysis (PCA) is widely used in recently proposed manifold learning algorithms to provide approximate local tangent spaces. However, such approximations provided by PCA may be inaccurate when local neighborhoods of the data manifold do not lie in or close to a linear subspace. Furthermore, the approximated tangent spaces can not fit the change in data distribution density. In this paper, a new method is proposed for providing faithful approximations to the local tangent spaces of a data manifold, which is proved to be more accurate than PCA. With this new method, an improved local tangent space alignment (ILTSA) algorithm is developed, which can efficiently recover the geometric structure of data manifolds even in the case when data are sparse or non-uniformly distributed. Experimental results are presented to illustrate the better performance of ILTSA on both synthetic data and image data.     

基于动态序列图像的流形学习研究

动态场景的外形或表观在很大程度上往往受到一个潜在低维动态过程的控制。基于视频序列之间的时间相干特性,引入一种称为自编码(autoencoder)的特殊双向深层神经网络,采用CRBM（continuous restricted Boltzmann machine）的网络结构,用来学习序列图像的低维流形结构。将autoencoder 用于人体步态序列的实验表明,该方法能提供从高维视频帧到具有一定物理意义过程的低维序列的映射,并能从低维描述中恢复高维图像序列。     

基于Isomap的流形结构重建方法

已有的流形学习方法仅能建立点对点的降维嵌入,而未建立高维数据流形空间与低维表示空间之间的相互映射.此缺陷已限制了流形学习方法在诸多数据挖掘问题中的进一步应用.针对这一问题,文中提出了两种新型高效的流形结构重建算法:快速算法与稳健算法.其均以经典的Isomap方法内在运行机理为出发点,进而推导出高维流形空间与低维表示空间之间双向的显式映射函数关系,基于此函数即可实现流形映射的有效重建.理论分析与实验结果证明,所提算法在计算速度、噪音敏感性、映射表现等方面相对已有方法具有明显优势.     

融合语义差别和流型学习的偏标记学习方法

偏标记学习是一种重要的弱监督学习框架。在偏标记学习中,每个实例与一组候选标记相关联,它的真实标记隐藏在候选标记集合中,且在学习过程中不可获知。为了消除候选标记对学习过程的影响,提出了一种融合实例语义差别最大化和流型学习的偏标记学习方法(partial label learning by semantic difference and manifold learning, PL-SDML)。该方法是一个两阶段的方法：在训练阶段,基于实例的语义差别最大化准则和流型学习方法为训练实例生成标记置信度;在预测阶段,使用基于最近邻投票的方法为未知实例预测标记类别。在四组人工改造的UCI数据集中,在平均70%的情况下优于其他对比算法。在四组真实偏标记数据集中,相比其他对比算法,取得了0.3%～13.8%的性能提升。