改进的LLE算法在图像分类中的应用

局部线性嵌入算法LLE(Locally Linear Embedding)可以有效地对图像的高维特征进行降维。针对处理样本分布不均匀及近邻因子选择时会出现的问题,在对高维数据降维时,近邻点的选择采用计算测地线距离而非传统的局部欧式距离,且近邻点的个数选择进行预先优化以达到更好的降维效果。实验表明,改进后的LLE算法具有更好的分类精确度,在图像分类过程中比单纯的LLE算法具有更好的分类性能。     

基于二维测地线距离保持映射的人脸识别

人脸空间是嵌套在高维观测空间中的低维流形,为了更好地描述人脸空间的凸起和凹进等细微结构,提出了一种基于二维测地线距离保持映射的人脸识别算法。算法采用矩阵的模式表示人脸空间中的样本图像;基于图像的矩阵表示模型,采用二维测地线距离保持映射算法计算人脸空间的低维嵌套流形;以人脸样本在低维流形空间中的投影为特征进行人脸识别。在CMUPIE人脸数据库上的实验结果验证了算法的合理性和有效性。     

引入低秩约束先验的深度子空间聚类

大多数子空间聚类算法将高维数据映射到低维子空间时不能较好捕获数据间几何结构.针对上述问题,文中提出引入低秩约束先验的深度子空间聚类算法,兼顾数据全局和局部结构信息.算法结合低秩表示与深度自编码器,利用低秩约束捕获数据全局结构,并将约束神经网络的潜在特征表示为低秩.自编码通过最小化重构误差进行非线性低维子空间映射,保留数据的局部特性.以多元逻辑回归函数作为判别模型,预测子空间分割.整个算法在无监督联合学习框架下进行优化.在5个数据集上的实验验证文中方法的有效性.     

一种在源数据稀疏情况下的流形学习算法研究

传统的流形学习算法能有效地学习出高维采样数据的低维嵌入坐标,但也存在一些不足,如不能处理稀疏的样本数据.针对这些缺点,提出了一种基于局部映射的直接求解线性嵌入算法(Solving Directly Linear Embedding,简称SDLE).通过假定低维流形的整体嵌入函数,将流形映射赋予局部光滑的约束,应用核方法将高维空间的坐标投影到特征空间,最后构造出在低维空间的全局坐标.SDLE算法解决了在源数据稀疏情况下的非线性维数约简问题,这是传统的流形学习算法没有解决的问题.通过实验说明了SDLE算法研究的有效性.     

中心近邻嵌入学习算法的人脸识别研究

针对人脸识别问题,提出了一种中心近邻嵌入的学习算法,其与经典的局部线性嵌入和保局映射不同,它是一种有监督的线性降维方法。该方法首先通过计算各类样本中心,并引入中心近邻距离代替两样本点之间的直接距离作为权系数函数的输入;然后再保持中心近邻的几何结构不变的情况下把高维数据嵌入到低维坐标系中。通过中心近邻嵌入学习算法与其他3种人脸识别方法(即主成分分析、线形判别分析及保局映射)在ORL、Yale及UMIST人脸库上进行的比较实验结果表明,它在高维数据低维可视化和人脸识别效果等方面均较其他3种方法取得了更好的效果。     

基于判别式扩散映射分析的非线性特征提取

针对高维数据难以被人们直观理解,且难以被机器学习和数据挖据算法有效地处理的问题,提出一种新的非线性降维方法--判别式扩散映射分析(DDMA)。该方法将判别核方案应用到扩散映射框架中,依据样本类别标签在类内窗宽和类间窗宽中判别选取高斯核窗宽,使核函数能够有效提取数据的关联特性,准确描述数据空间的结构特征。通过在人工合成Swiss-roll测试和青霉素发酵过程中的仿真应用,与主成分分析(PCA)、线性判别分析(LDA)、核主成分分析(KPCA)、拉普拉斯特征映射(LE)算法和扩散映射(DM)进行比较,实验结果表明DDMA方法在低维空间中代表高维数据的同时成功保留了数据的原始特性,且通过该方法在低维空间中产生的数据结构特性优于其他方法,在数据降维与特征提取性能上验证了该方案的有效性。     

一种改进的扩散映射算法

扩散映射(Diffusion Maps)是一种基于流形学习的非线性降维方法。基于对扩散映射的研究,提出了一种新的非线性降维算法。根据近邻点分布的不同和模糊聚类原理,新算法定义了扩散映射算法构建权值矩阵的误差近似系数,并采用改进的距离公式来选取样本点的近邻点,很大程度地降低了近邻点的选取对降维效果的影响。实验结果表明,新算法有效地保持了高维数据中的流形结构,具有更好的降维效果,并在基于内容的图像检索中达到很高的查准率,新算法的有效性和优越性得到了证实。     

一种快速映射Isomap算法

传统的Isomap算法仅侧重于当前数据的分析,不能提供由高维空间到低维空间的快速直接映射,因此无法用于特征提取和高维数据检索.针对这一问题,文中提出一种基于Isornap的快速数据检索算法.该算法能够快速得到新样本的低维嵌入坐标,并基于此坐标检索与输入样本最相似的参考样本.在典型测试集上的实验结果表明,该算法在实现新样本到低维流形快速映射的同时,能较好保留样本的近邻关系.     

基于最优密度方向的等距映射降维算法

等距映射算法(ISOMAP)是一种典型的非线性流形降维算法,该算法可在尽量保持高维数据测地距离与低维数据空间距离对等关系的基础上实现降维.但ISOMAP容易受噪声的影响,导致数据降维后不能保持高维拓扑结构.针对这一问题,提出了一种基于最优密度方向的等距映射(ODD–ISOMAP)算法.该算法通过筛选数据的自然邻居确定每个数据沿流形方向的最优密度方向,之后基于与各近邻数据组成的向量相对最优密度方向投影的角度、方向和长度合理缩放局部邻域距离,引导数据沿流形方向计算测地距离,从而降低算法对噪声的敏感度.为验证算法有效性,选取了2类人工合成数据和5类实测数据作为测试数据集,分别使用ISOMAP,LLE,HLLE,LTSA,LEIGS,PCA和ODD–ISOMAP算法对数据集降维,并对降维数据进行K-mediods聚类分析.通过比对聚类正确率以及不同幅度噪声对此正确率的影响程度评价各算法降维效果优劣.结果表明,ODD–ISOMAP算法较其他6种常见算法降维效果提升显著,且对噪声干扰有更强的抵抗能力.     

基于判别等度规映射的人脸识别

等度规映射算法旨在最大限度地保持样本间距离,没有考虑样本的类判别信息。针对该问题,提出一种基于判别等度规映射的人脸识别算法。在等度规映射算法的基础上,引入最大散度差准则,得到优化的目标函数。在嵌入低维子空间后,同类样本保持其固有的近邻几何结构关系,不同类近邻样本则彼此远离。在ORL数据库上的实验结果验证了该算法的有效性。     

Riemannian manifold learning

Recently, manifold learning has been widely exploited in pattern recognition, data analysis, and machine learning. This paper presents a novel framework, called Riemannian manifold learning (RML), based on the assumption that the input high-dimensional data lie on an intrinsically low-dimensional Riemannian manifold. The main idea is to formulate the dimensionality reduction problem as a classical problem in Riemannian geometry, i.e., how to construct coordinate charts for a given Riemannian manifold? We implement the Riemannian normal coordinate chart, which has been the most widely used in Riemannian geometry, for a set of unorganized data points. First, two input parameters (the neighborhood size k and the intrinsic dimension d) are estimated based on an efficient simplicial reconstruction of the underlying manifold. Then, the normal coordinates are computed to map the input high-dimensional data into a low-dimensional space. Experiments on synthetic data as well as real world images demonstrate that our algorithm can learn intrinsic geometric structures of the data, preserve radial geodesic distances, and yield regular embeddings.     

基于局部不变映射的特征描述器算法

提出了一种新的基于局部不变映射(Locality preserving projections, LPP)的描述器设计算法. 该算法用LPP预先生成一个特征矩阵, 接着把特征点邻域内所有点的梯度组成一个高维的梯度向量, 然后通过特征矩阵把该梯度向量嵌入到一个低维的流形空间中, 生成一个维数很低的向量, 并把它作为该特征点的描述器. 所提出的算法能保持描述器之间的几何结构不变: 原空间中邻接的描述器映射到低维空间后保持邻接, 而不相似的描述器映射后区分度更大, 所以该算法所生成的描述器能表现特征点之间的内在关系, 具有很强的鲁棒性. 通过与SIFT (Scale invariant feature transform), PCA-SIFT的实验比较, 此算法更快速, 更具鲁棒性.     

Tensor distance based multilinear globality preserving embedding: A unified tensor based dimensionality reduction framework for image and video classification

Image and video classification tasks often suffer from the problem of high-dimensional feature space. How to discover the meaningful, low-dimensional representations of such high-order, high-dimensional observations remains a fundamental challenge. In this paper, we present a unified framework for tensor based dimensionality reduction including a new tensor distance (TD) metric and a novel multilinear globality preserving embedding (MGPE) strategy. Different with the traditional Euclidean distance, which is constrained by orthogonality assumption, TD measures the distance between data points by considering the relationships among different coordinates of high-order data. To preserve the natural tensor structure in low-dimensional space, MGPE directly works on the high-order form of input data and employs an iterative strategy to learn the transformation matrices. To provide faithful global representation for datasets, MGPE intends to preserve the distances between all pairs of data points. According to the proposed TD metric and MGPE strategy, we further derive two algorithms dubbed tensor distance based multilinear multidimensional scaling (TD-MMDS) and tensor distance based multilinear isometric embedding (TD-MIE). TD-MMDS finds the transformation matrices by keeping the TDs between all pairs of input data in the embedded space, while TD-MIE intends to preserve all pairwise distances calculated according to TDs along shortest paths in the neighborhood graph. By integrating tensor distance into tensor based embedding, TD-MMDS and TD-MIE perform tensor based dimensionality reduction through the whole learning procedure and achieve obvious performance improvement on various standard datasets.     

鲁棒拉普拉斯特征映射算法*

研究拉普拉斯特征映射算法（Laplacian eigenmap,LE）对离群点的敏感性,提出一种具有鲁棒性的拉普拉斯特征映射算法（robust Laplacian eigenmap,RLE）。该方法在离群点检测的基础上,利用鲁棒PCA算法（robust PCA,RPCA）对离群点进行局部光滑化处理,将离群点和其邻域投影到低维的局部切空间上,再构造能够准确反映离群点局部邻域关系的对应权值,减少离群点对Laplacian矩阵的影响。模拟实验和实际例子都证明,通过这种方法构造的鲁棒拉普拉斯特征映射算法,对于离群     

边界近邻零空间鉴别分析

提出了一种边界近部零空间鉴别分析算法。算法首先定义了新的目标函数,通过对该目标函数的理论分析与证明指出首先用PCA将高维样本降维至一个低维子空间,而在此低维子空间该目标函数并不损失任何有效的鉴别信息;算法不但能有效地解决本问题,而且仅需通过3次特征值分解就可求出具有正交性的投影矩阵,从而有效地提高了算法的识别性能。最后也给出了该算法基于核映射的非线性拓展。人脸库上的实验结果证实了所提方法的有效性。     

一种改进的局部切空间排列算法

局部切空间排列(LTSA)算法是一种有效的流形学习算法,能较好地学习出高维数据的低维嵌入坐标。数据点的切空间在LTSA算法中起着重要的作用,其局部几何特征多是在样本点的切空间内表示。但是在实际中,LTSA算法是把数据点邻域的样本协方差矩阵的主元所张成的空间当做数据点的切空间,导致了在非均匀采样或样本邻域均值点与样本自身偏离程度较大时,原算法的误差增大,甚至失效。为此,提出一种更严谨的数据点切空间的计算方法,即数据点的邻域矩阵按照数据点本身进行中心化。通过数学推导,证明了在一阶泰勒展开的近似下,提出的计算方法所得到的空间即为数据点自身的切空间。在此基础上,提出了一种改进的局部切空间排列算法,并通过实验结果体现了该方法的有效性和稳定性。与已有经典算法相比,提出的计算方法没有增加任何计算复杂度。     

改进重构权值的局部线性嵌入算法

目的 局部线性嵌入（LLE）算法是机器学习、数据挖掘等领域中的一种经典的流形学习算法。为克服LLE算法难以有效处理噪声、大曲率和稀疏采样数据等问题,提出一种改进重构权值的局部线性嵌入算法（IRWLLE）。方法 采用测地线距离来描述结构,重新构造和定义LLE中的重构权值,即在某样本的邻域内,将测地距离与欧氏距离之比定义为结构权值;将测地距离与中值测地距离之比定义为距离权值,再将结构权值与距离权值的乘积作为重构权值,从而将流形的结构和距离两种信息进行有机的结合。结果 对经典的人工数据Swiss roll、S-curve和Helix进行实验,在数据中加入噪声干扰,同时采用稀疏采样的方式来生成数据集,并与原始LLE算法和Hessian局部线性嵌入（HLLE）算法进行比较。实验结果表明,IRWLLE算法对比于LLE算法和HLLE算法,能够更好地保持流形的近邻关系,对流形的展开更加完好。尤其是对于加入噪声的大曲率数据集Helix,IRWLLE展现出极强的鲁棒性。对ORL和Yale人脸数据库进行人脸识别实验,采用最近邻分类器进行识别,将IRWLLE算法的识别结果与LLE算法进行对比。对于ORL数据集,IRWLLE算法识别率为90%,原LLE算法的识别率为85.5%;对于Yale数据集,IRWLLE算法识别率为88%,原LLE算法的识别率为75%,可见IRWLLE在人脸识别率上也有很大提高。结论 本文提出的IRWLLE算法对比于原LLE算法,不仅将流形距离信息引入到重构权值中,而且还将结构信息加入其中,有效减少了噪声和流形外数据点的干扰,所以对于噪声数据具有更强的鲁棒性,能够更好地处理稀疏采样数据和大曲率数据,在人脸识别率上也有较大提升。     

基于度量优化的保持邻域嵌入的人脸识别

监督的保持邻域嵌入算法采用欧氏度量选取k近邻。欧氏度量在数据维数较低时能获得较好的结果,但直接简单地将其从低维空间的应用推广到高维空间中不能取得较好的结果。针对该缺点,提出度量优化的保持邻域嵌入算法。该算法分为无类标号信息(MONPE)和有类标号信息(CLMONPE)2种情况,利用线性判别分析算法降维后的数据选取k近邻。在Yale人脸数据库上的实验结果表明,CLMONPE算法效果较优。     

一种新的基于ISOMAP的数据可视化算法

作为古典MDS算法的一个非线性扩展,ISOMAP算法能较好地对嵌入在高维欧氏空间中的低维非线性流形进行可视化.然而,ISOMAP算法不但要求数据具有良好抽样且位于单一流形之上,而且还依赖于难以有效选取的邻域大小,这极大地限制了该算法的实际应用.为此提出了一种改进算法--GISOMAP,它采用MDS算法的一个变种来减弱长测地距离和"短路"边对距离保持的影响,不但能更好地对具有多聚类结构的数据进行可视化,而且对邻域大小也不再敏感,从而能更容易地得到实际应用.