改进的局部线性嵌入算法及其应用

局部线性嵌入算法（LLE）中常用欧氏距离来度量样本间相似度,而对于具有低维流形结构的高维数据,欧氏距离不能衡量流形上两点间相对位置关系。提出基于Geodesic Rank-order距离的局部线性嵌入算法（简称GRDLLE）。应用最短路径算法（Dijkstra算法）找到最短路径长度来近似计算任意两个样本间的测地线距离,计算Rank-order距离用于LLE算法的相似性度量。将GRDLLE算法、其他改进LLE的流形学习算法及2DPCA算法在ORL与Yale数据集上进行对比实验,对数据用GRDLLE算法进行降维后人脸识别率有所提高,结果表明GRDLLE算法具有很好的降维效果。     

基于马氏距离的局部边界Fisher分析降维算法

针对人脸识别应用中的高维数据图像以及欧氏距离不能准确体现样本间的相似度的问题,提出了一种基于马氏距离的局部边界Fisher分析(MLMFA)降维算法。该算法从现有的样本中学习得到一个马氏度量,然后在近邻选择以及新样本降维过程中用马氏距离作为相似性度量。同时,通过马氏度量构造出类内“相似”图和类间“代价”图来描述数据集的类内紧凑性和类间分离性。MLMFA很好地保持了数据集的局部结构。用YALE和FERET人脸库进行实验,MLMFA的最大识别率比传统基于欧氏距离算法的最大识别率平均分别提高了1.03%和6%。实验结果表明,算法MLMFA具有很好的分类和识别性能。     

一种半监督局部线性嵌入算法的文本分类方法*

针对局部线性嵌入算法（LLE）应用于非监督机器学习中的缺陷,将该算法与半监督思想相结合,提出了一种基于半监督局部线性嵌入算法的文本分类方法。通过使用文本数据的流形结构和少量的标签样本,将LLE中的距离矩阵采用分段形式进行调整;使用调整后的矩阵进行线性重建从而实现数据降维;针对半监督LLE中使用欧氏距离的缺点,采用高斯核函数将欧氏距离进行变换,并用新的核距离取代欧氏距离,提出了基于核的半监督局部线性嵌入算法;最后通过仿真实验验证了改进算法的有效性。     

基于几何距离摄动的局部线性嵌入算法

传统局部线性嵌入(LLE)算法对近邻个数依赖性较强,不适用于处理稀疏数据源。针对该问题,提出一种基于几何距离摄动的LLE算法。通过线性块内的最大欧氏距离与测地距离之差构造几何摄动,描述流形数据的局部线性特性,对原始流形数据进行最大线性分块操作,保证局部模块的线性特性,并在每一个局部线性模块上应用LLE算法实现嵌入降维。实验结果表明,该算法能有效提高分类的平均准确率。     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

基于测地距离与极限学习机的监督型LLE算法研究

局部线性嵌入算法LLE(Locally Linear Embedding)是一种有效的非线性降维方法,但是该算法没有考虑样本的类别标签,并且欧式距离无法精确表示非线性数据的流形结构。针对以上LLE方法的缺陷,提出一种结合测地距离与样本类别信息的监督型LLE算法(ISO-SPLLE)。首先在LLE算法的近邻选择中使用测地距离作为相似性度量,然后利用极限学习机求出其映射函数后进行分类测试。将ISO-SPLLE算法与其他改进的LLE算法在UIC标准数据集与基因数据集上进行对比实验,结果表明,该方法对已知类别的数据能更有效地进行降维与识别。     

基于最小剩余方差的LLE改进算法

针对局部线性嵌入算法LLE算法在当流形呈卷曲状、两个曲面间距离比较小时,可能造成流形结构在重构过程的扭曲,以及近邻个数K,降维维数D值选择过程中没有一致的标准导致的降维效果下降等问题,提出一种基于改进距离的并根据剩余方差来智能选取参数值的LLE算法。该算法通过引入新的距离度量公式来替代原有算法中的欧氏距离,并根据K,D值引入剩余方差来评估高维数据结构嵌入到低维空间的效果好坏。该方法在UCI数据集和yale人脸库中进行了验证。MATLAB编程实验结果表明,该方法在选取参数值和识别率方面比传统方法有更好的性能。     

基于密度和相关分量分析的局部线性嵌入算法

为解决局部线性嵌入算法(LLE)性能受初始邻域值大小和相似性度量选取的制约,提出一种基于密度和相关分量分析(relevant component analysis,RCA)的局部线性嵌入算法(DRLLE).对每一个样本点计算一个密度缩放因子,根据密度缩放因子对样本点的初始邻域值进行自适应调整,计算RCA距离作为LLE算法的相似性度量,得到样本点的近邻集,进行降维处理.将DRLLE和其它LLE改进算法在Swiss roll、Swiss roll hole和ORL数据库上进行对比实验,其结果表明,DRLLE算法具有良好的降维效果和识别性能.     

改进的有监督的局部线性嵌入算法及实验演示

流形学习方法中的LLE算法可以将高维数据在保持局部邻域结构的条件下降维到低维流形子空间中．并得到与原样本集具有相似局部结构的嵌入向量集合。LLE算法在数据降维处理过程中没有考虑样本的分类信息。针对这些问题进行研究,提出改进的有监督的局部线性嵌人算法（MSLLE）,并利用MatLab对该改进算法的实现效果同LLE进行实验演示比较。通过实验演示表明,MSLLE算法较LLE算法可以有利于保持数据点本身内部结构。     

半监督类保持局部线性嵌入方法

为使局部线性嵌入（local linear embedding, LLE）这一无监督高维数据的非线性特征提取方法提取出的特征在分类或聚类学习上更优,提出一种半监督类保持局部线性嵌入(semi-supervised class preserving local linear embedding, SSCLLE)的非线性特征提取方法。该方法将半监督信息融入到LLE中,首先对标记样本近邻赋予伪标签,增大标记样本数量。其次,对标记样本之间的距离进行局部调整,缩小同类样本间距,扩大异类样本间距。同时在局部线性嵌入优化目标函数中增加全局同类样本间距和异类样本间距的约束项,使得提取出的低维特征可以确保同类样本点互相靠近,而异类样本点彼此分离。在一系列实验中,其聚类精确度以及可视化效果明显高于无监督LLE和现有半监督流特征提取方法,表明该方法提取出的特征具有很好的类保持特性。     

加权成对约束度量学习在说话人识别中的应用

I-vector说话人识别系统常用距离来衡量说话人语音间的相似度。加权成对约束度量学习算法（WPCML）利用成对训练样本的加权约束信息训练一个用于计算马氏距离的度量矩阵。该度量矩阵表示的样本空间中,同类样本间的距离更小,非同类样本间的距离更大。在美国国家标准技术局（NIST）2008年说话人识别评测数据库（SRE08）的实验结果表明,WPCML算法训练度量矩阵用于马氏距离相似度打分,比用余弦距离相似度打分的性能更好。选择训练样本对方法用于构造度量学习训练样本集能进一步提高系统实验性能,并优于目前最流行的PLDA分类器。     

DBCAMM: A novel density based clustering algorithm via using the Mahalanobis metric

In this paper we propose a new density based clustering algorithm via using the Mahalanobis metric. This is motivated by the current state-of-the-art density clustering algorithm DBSCAN and some fuzzy clustering algorithms. There are two novelties for the proposed algorithm: One is to adopt the Mahalanobis metric as distance measurement instead of the Euclidean distance in DBSCAN and the other is its effective merging approach for leaders and followers defined in this paper. This Mahalanobis metric is closely associated with dataset distribution. In order to overcome the unique density issue in DBSCAN, we propose an approach to merge the sub-clusters by using the local sub-cluster density information. Eventually we show how to automatically and efficiently extract not only ‘traditional’ clustering information, such as representative points, but also the intrinsic clustering structure. Extensive experiments on some synthetic datasets show the validity of the proposed algorithm. Further the segmentation results on some typical images by using the proposed algorithm and DBSCAN are presented in this paper and they are shown that the proposed algorithm can produce much better visual results in image segmentation.     

基于改进的等距离映射算法的人脸识别

针对等距离映射(Isomap)算法在处理扰动图像时拓扑结构不稳定的缺点,提出了一种改进算法。改进算法将图像欧氏距离(IMED)嵌入到等距离映射算法之中。首先引入坐标度量系数计算图像的坐标度量矩阵,通过线性变换将原始图像从欧氏距离(ED)空间转换到图像欧氏距离空间;然后计算变换空间中样本的欧氏距离矩阵,并在此基础上构建样本邻域图,得到近似测地距离矩阵;最后采用多维标度(MDS)分析算法构造样本的低维表示。对ORL和Yale人脸数据库降维并结合最近邻分类器进行实验,基于改进算法的识别率平均分别提高了5.57%和3.95%,表明与原算法相比,改进算法在人脸识别中对图像扰动具有较好的鲁棒性。     

Semi-supervised image clustering with multi-modal information

How to organize and retrieve images is now a great challenge in various domains. Image clustering is a key tool in some practical applications including image retrieval and understanding. Traditional image clustering algorithms consider a single set of features and use ad hoc distance functions, such as Euclidean distance, to measure the similarity between samples. However, multi-modal features can be extracted from images. The dimension of multi-modal data is very high. In addition, we usually have several, but not many labeled images, which lead to semi-supervised learning. In this paper, we propose a framework of image clustering based on semi-supervised distance learning and multi-modal information. First we fuse multiple features and utilize a small amount of labeled images for semi-supervised metric learning. Then we compute similarity with the Gaussian similarity function and the learned metric. Finally, we construct a semi-supervised Laplace matrix for spectral clustering and propose an effective clustering method. Extensive experiments on some image data sets show the competent performance of the proposed algorithm.     

Face recognition under varying illumination using Mahalanobis self-organizing map

We present an appearance-based method for face recognition and evaluate its robustness against illumination changes. Self-organizing map (SOM) is utilized to transform the high dimensional face image into low dimensional topological space. However, the original learning algorithm of SOM uses Euclidean distance to measure similarity between input and codebook images, which is very sensitive to illumination changes. In this paper, we present Mahalanobis SOM, which uses Mahalanobis distance instead of the original Euclidean distance. The effectiveness of the proposed method is demonstrated by conducting some experiments on Yale B and CMU-PIE face databases. This work was presented in part at the 13th International Symposium on Artificial Life and Robotics, Oita, Japan, January 31–February 2, 2008     

高维数据的增量式聚类算法的距离度量选择研究

合适的距离度量函数对于聚类结果有重要的影响。针对大规模高维数据集,使用增量式聚类算法进行距离度量的选择分析。SpFCM算法是将大规模数据集分成小样本进行增量分批聚类,可在有限的计算机内存中获得较好的聚类结果。在传统的SpFCM算法的基础上,使用不同的距离度量函数来衡量样本之间的相似性,以得出不同的距离度量对SpFCM算法的影响。在不同的大规模高维数据集中,使用欧氏距离、余弦距离、相关系数距离和扩展的杰卡德距离来计算距离。实验结果表明,后3个距离度量相对于欧氏距离可以很大程度地提高聚类效果,其中相关系数距离可以得到较好的结果,余弦距离和扩展的杰卡德距离效果比较一般。     

一种新颖的基于马氏距离的KNN分类算法

K近邻作为模式识别研究领域的热点之一,影响其性能的距离度量也得到广泛关注。但传统KNN采用欧氏距离,平等对待所有特征间的差别,不能有效反映数据的内在结构特征。针对此问题,借鉴局部保持投影的基本思想,根据局部保持散度矩阵定义一种距离度量新方法,利用该距离度量提出一种新颖的基于马氏距离的KNN算法。该算法在基于马氏距离分布特征的方式上充分反映每一类数据的内在结构特征。实验结果表明,与传统KNN和基于马氏距离的KNN相比,该算法表现出更好的分类精度。