基于近邻元分析的半监督流形学习算法*

现有的大多数流形学习算法偏重保持流形的几何结构,并未考虑到样本点的标签信息,这在一定程度上限制了流形学习算法在数据分类中的应用.因此文中提出一种基于近邻元分析的半监督流形学习算法,采用近邻元分析学习距离度量矩阵,在距离度量方式下选择样本点的局部邻域点.基于距离度量方式构造样本点和邻域点的局部几何结构,并在样本点的低维嵌入坐标中保持这种局部几何结构不变.3个不同数据集上的分类实验验证了文中算法的有效性.     

多线性局部与全局保持嵌入在高光谱遥感影像分类中的应用

针对一般流形学习算法在学习高光谱数据的多流形结构时存在的不足,提出一种基于线性局部与全局保持嵌入(LLGPE)的多流形学习算法.对于分布在不同流形上的高维观测数据,利用LLGPE算法学习每类分组数据的内蕴特征;然后通过遗传算法搜索每类数据的本质维数;最后根据重构误差最小化准则确定样本所属的类别.在HYDICE高光谱数据集上的分类识别实验结果表明,文中算法能够有效地揭示高维空间中数据的内蕴几何结构;在每类随机选取2,4,6个训练样本的情况下,该算法的总体分类精度比其他流形学习算法分别提高了约3.5%,6.9%和7.2%,且分类精度也有明显的提高.     

用于多流形分类的核等距映射算法

核等距映射(Kernel ISOMAP)算法具有较好的泛化性能,但不能直接用于多流形的分类。在多流形下,准确判定新数据点所在的流形是其获得良好泛化性能的基础,因此,提出了能够用于多流形分类的核等距映射算法。该算法根据同一流形上邻近局部切空间的相似性能够准确判定新数据点所在的流形,并对目前核等距映射算法中新数据点低维表示的计算过程进行了简化,从而具有良好的泛化性能。实验结果证实,该算法具有较高的分类准确率。     

基于边界检测的多流形学习算法*

已知流形学习算法都假设数据分布于一个单流形,而现实中大部分数据都分布在多流形上,因此限制算法的实际应用.基于此种情况,文中提出基于边界检测的多流形学习算法,通过检测流形的边界处理分布于多流形的数据,并且可以较好地保持流形内、流形间的测地距离.算法首先检测流形边界,再分别降维处理各流形,最后将各低维坐标重置于一个全局坐标系中.在人工数据集和真实数据集上的对比实验表明文中算法的可行性和有效性.     

基于格拉斯曼流形子空间融合的多视图聚类

现有的多视图聚类算法大多假设多视图数据点之间为线性关系,且在学习过程中无法保留原始特征空间的局部性;而在欧氏空间中进行子空间融合又过于单调,无法将学习到的子空间表示对齐。针对以上问题,提出了基于格拉斯曼流形融合子空间的多视图聚类算法。首先,将核技巧和局部流形结构学习结合以得到不同视图的子空间表示;然后,在格拉斯曼流形上融合这些子空间表示以得到一致性亲和矩阵;最后,对一致性亲和矩阵执行谱聚类来得到最终的聚类结果,并利用交替方向乘子法（ADMM）来优化所提模型。与核多视图低秩稀疏子空间聚类（KMLRSSC）算法相比,所提算法的聚类精度在MSRCV1、Prokaryotic、Not-Hill数据集上分别提高了20.83个百分点、9.47个百分点和7.33个百分点。实验结果验证了基于格拉斯曼流形融合子空间的多视图聚类算法的有效性和良好性能。     

基于等维度独立多流形的DC-ISOMAP算法

流形学习已经成为机器学习与数据挖掘领域中一个重要的研究课题.目前的流形学习算法都假设所研究的高维数据存在于同一个流形上,并不能支持或者应用于大量存在的采样于多流形上的高维数据.针对等维度的独立多流形DC-ISOMAP算法,首先通过从采样密集点开始扩展切空间的方法将多流形准确分解为单个流形,并逐个计算其低维嵌入,然后基于各子流形间的内部位置关系将其低维嵌入组合起来,得到最终的嵌入结果.实验结果表明,该算法在人造数据和实际的人脸图像数据上都能有效地计算出高维数据的低维嵌入结果.     

改进的多流形LLE学习算法

流形学习已成为机器学习和数据挖掘领域的研究热点。比如,算法LLE（Locally Linear Embedding）作为一种非线性降维算法有很好的泛化性能,被广泛地应用于图像分类和目标识别,但其仅仅假设了数据集处于单流形的情况。MM-LLE（Multiple Manifold Locally Linear Embedding）学习算法作为一种考虑多流形情况的改进算法,依然存在几点不足之处。因此,提出改进的MM-LLE算法,通过任意两类间的局部低维流形组合并构建分类器来提高分类精度;同时改进原算法计算最佳维度的方法。通过与算法ISOMAP、LLE以及MM-LLE比较分类精度,实验结果验证了改进算法的有效性。     

黎曼流形框架上半监督判别分析

针对传统黎曼流形上判别分析算法仅考虑了带标签数据统计信息,忽略了无标签数据的问题,基于图正则化思想,提出一个新颖的基于黎曼流形框架上半监督判别分析算法,并将其应用于视觉分类任务中.该算法将非奇异协方差矩阵表示为黎曼流形上的点,引入JBLD(Jensen-Bregman LogDet divergence)度量黎曼流形上点与点之间相似性测度.首先将数据点映射到黎曼切空间中,获得数据向量化表示;其次采用有标签数据和无标签数据构建近邻图刻画黎曼切空间局部几何结构,使其作为正则化项添加到费舍尔测地线判别分析目标函数中;最后最小化目标函数获取最优变换矩阵,并在变换黎曼流形中进行分类.在3个视觉分类数据集上实验结果表明,文中算法在分类精度上获得了相当大的提升.     

针对图像序列的谱深度学习算法

为了更好地理解图像序列的隐藏深度信息,需要分析数据的隐藏结构。目前,多采用谱流形学习算法学习高维采样数据的低维嵌入坐标,从而获取数据的隐藏结构。谱流形学习算法一般是基于所研究的高维数据分布在单个流形上的前提假设,并不支持图像序列中存在的多流形结构。结合图像序列的结构特点,提出了一种针对图像序列的谱深度学习算法(spectral deep learning,SDL)。通过建立混合多流形模型,保持流形局部变化的平滑和连续,利用流形对齐建立层次流形的映射关系,得到图像序列的深度低维嵌入坐标。最后通过实验证明了算法在混合多流形数据集和图像序列数据集上的有效性。     

面向相交多流形聚类的标签传播算法

经典的流形学习算法假设样本数据位于高维单流形上,但在现实生活中的真实数据通常位于高维多流形上,且这些数据往往相互交叠,导致流形学习算法效果不佳。传统的标签传播算法通过相似性矩阵构建连接矩阵,实现良好分离数据的聚类,但不能有效聚类相互交叠的多流形数据。针对该问题,提出一种面向相交多流形的标签传播算法LPAMMC。采用局部主成分分析算法确定相交多流形数据的相交区域,并基于混合概率主成分分析(MPPCA)模型和多流形的拓扑结构划分相互交叠的子流形,构建“must-link”和“cannot-link”聚类约束,通过约束构建适合相交多流形数据的传播矩阵,实现标签传播算法。LPAMMC算法通过MPPCA模型和多流形拓扑结构划分出子流形,提高相交多流形数据的聚类精度,且MPPCA模型仅用于多流形数据的相交区域,降低了计算复杂度。实验结果表明,LPAMMC算法不仅具有标签传播算法速度快的特点,且能有效聚类相交多流形数据。在Two spirals数据集上的聚类精度、标准互信息和调整兰德系数取得了与SMMC算法相同的性能,运行时间缩短86.7个百分点。     

Facial expression recognition on multiple manifolds

Manifold learning has been successfully applied to facial expression recognition by modeling different expressions as a smooth manifold embedded in a high dimensional space. However, the assumption of single manifold is still arguable and therefore does not necessarily guarantee the best classification accuracy. In this paper, a generalized framework for modeling and recognizing facial expressions on multiple manifolds is presented which assumes that different expressions may reside on different manifolds of possibly different dimensionalities. The intrinsic features of each expression are firstly learned separately and the genetic algorithm (GA) is then employed to obtain the nearly optimal dimensionality of each expression manifold from the classification viewpoint. Classification is performed under a newly defined criterion that is based on the minimum reconstruction error on manifolds. Extensive experiments on both the Cohn-Kanade and Feedtum databases show the effectiveness of the proposed multiple manifold based approach.     

Graph-based classification of multiple observation sets

We consider the problem of classification of an object given multiple observations that possibly include different transformations. The possible transformations of the object generally span a low-dimensional manifold in the original signal space. We propose to take advantage of this manifold structure for the effective classification of the object represented by the observation set. In particular, we design a low complexity solution that is able to exploit the properties of the data manifolds with a graph-based algorithm. Hence, we formulate the computation of the unknown label matrix as a smoothing process on the manifold under the constraint that all observations represent an object of one single class. It results into a discrete optimization problem, which can be solved by an efficient and simple, yet effective, algorithm. We demonstrate the performance of the proposed graph-based algorithm in the classification of sets of multiple images. Moreover, we show its high potential in video-based face recognition, where it outperforms state-of-the-art solutions that fall short of exploiting the manifold structure of the face image data sets.     

基于核融合的多信息流形学习算法*

流形学习算法可分为全局流形学习与局部流形学习,它们分别保持了流形上的全局特征信息与局部特征信息。但是实验证明仅基于单一特征信息的流形学习算法不能很好的保持真实的流形结构,影响了学习效果。因此,基于流形学习的核的视角,将全局流形学习算法ISOMAP与局部流形学习算法LTSA的核进行融合,提出了可以同时保持流形结构的全局特征信息与局部特征信息的流形学习算法,在人工数据集和人脸图像集上的仿真实验证明了本文算法的有效性。     

一种基于LBP特征与流形知识的人脸识别方法

人脸识别是计算机视觉领域的研究热点,应用背景广泛。近年来,流形被认为是视觉感知的基础,流形学习算法被用来发现图像的内在特征。如何利用流形学习后的低维内蕴变量成为相关研究的核心问题。但是利用传统的流形学习算法降维得到的人脸低维特征在可分性上存在一定的不足。此外,流形学习算法对光照和姿态变化敏感。针对这两个问题,提出了一种基于局部二值模式（LBP）和流形知识的人脸识别方法。该方法首先利用LBP算子对人脸图像进行局部特征描述,然后使用流形学习算法获得高维特征数据的低维内蕴变量,并用泰勒展开式近似该流形,获取流形知识,最后利用流形知识估计流形距离来实现人脸识别。实验证明,该方法增强了人脸识别对光照变化的鲁棒性,从而提高了识别性能。     

Feature extraction using constrained maximum variance mapping

In this paper, an efficient feature extraction method named as constrained maximum variance mapping (CMVM) is developed. The proposed algorithm can be viewed as a linear approximation of multi-manifolds learning based approach, which takes the local geometry and manifold labels into account. The CMVM and the original manifold learning based approaches have a point in common that the locality is preserved. Moreover, the CMVM is globally maximizing the distances between different manifolds. After the local scatters have been characterized, the proposed method focuses on developing a linear transformation that can maximize the dissimilarities between all the manifolds under the constraint of locality preserving. Compared to most of the up-to-date manifold learning based methods, this trick makes contribution to pattern classification from two aspects. On the one hand, the local structure in each manifold is still kept; on the other hand, the discriminant information between manifolds can be explored. Finally, FERET face database, CMU PIE face database and USPS handwriting data are all taken to examine the effectiveness and efficiency of the proposed method. Experimental results validate that the proposed approach is superior to other feature extraction methods, such as linear discriminant analysis (LDA), locality preserving projection (LPP), unsupervised discriminant projection (UDP) and maximum variance projection (MVP).     

基于最大间隔准则的鲁棒多流形判别局部图嵌入算法

针对现有的多流形人脸识别算法大多直接使用带有噪声的原始数据进行处理，而带有噪声的数据往往会对算法的准确率产生负面影响的问题，提出了一种基于最大间距准则的鲁棒多流形判别局部图嵌入算法（RMMDLGE/MMC）。首先，通过引入一个降噪投影对原始数据进行迭代降噪处理，提取出更加纯净的数据；其次，对数据图像进行分块，建立多流形模型；再次，结合最大间隔准则的思想，寻求最优的投影矩阵使得不同流形上的样本距离尽可能大，同时相同流形上的样本距离尽可能小；最后，计算待识样本流形到训练样本流形的距离进行分类识别。实验结果表明，与表现较好的最大间距准则框架下的多流形局部图嵌入算法（MLGE/MMC）相比，所提算法在添加噪声的ORL、Yale和FERET库上的分类识别率分别提高了1.04、1.28和2.13个百分点，分类效果明显提高。     

基于局部相关维度的流形离群点检测算法

传统的离群点检测算法不适合检测流形离群点,目前专门针对流形离群点检测的算法报道较少。为此,基于实验观察的启示,提出用流形局部相关维度检测流形离群点的算法。首先探讨内在维度的性质,并基于实验观察提出用流形局部相关维度来度量流形离群点,然后证明流形局部相关维度可表征数据样本离群的性质,最后基于此性质提出流形离群点检测算法。在人工数据与真实数据上的实验表明本算法可检测流形离群点,且本算法比最近报道的流形除噪算法具有更优的性能。