基于流形学习和稀疏约束的快速特征提取算法

针对稀疏保持投影算法在特征提取过程中无监督和L1范数优化的计算量较大的问题,提出一种基于流形学习和稀疏约束的快速特征提取算法。首先通过逐类PCA构造级联字典,并基于该字典通过最小二乘法快速学习稀疏保持结构;其次构造用于描述不同子流形距离的局部类间散度函数;然后整合所学习到的稀疏表示信息和局部类间散度信息以达到既考虑判别效率又保持稀疏表示结构的目的;所提算法最终转化为一个求解广义特征值问题。在公共人脸数据库(Yale,ORL和Extended Yale B)中 的 测试结果验证了该方法的可行性和有效性。     

谱流形快速学习算法研究

谱流形学习算法的目标是发现嵌入在高维数据空间中的低维表示,其近年来得到了广泛的应用。虽然已经取得了许多令人骄傲的成绩,但是却存在一个很大的瓶颈--计算复杂度太高,这严重阻碍了算法在实际中的应用。提出了谱流形快速学习算法,该算法包括两个降低算法复杂度的技术：（1）通过随机选择或者k-means方法从n个样本点中选出 p个锚点,把每个样本点表达为由锚点的邻域点线性组合的形式,从而设计了邻接矩阵的新形式,降低了邻接图的计算复杂度;（2）利用线性化的流形学习算法有效地计算高维数据到低维数据的映射,从而降低了优化特征值的计算复杂度。该算法在3个常用人脸数据集（Yale、ORL、Extended Yale B）上得到了验证,进一步证明了算法的有效性。     

基于稀疏排列的LPP和ELM的人脸识别

在人脸图像识别中人脸图像数据中有很多是稀疏的,对于稀疏数据的降维是流形学习算法面临的一个问题。为了有效地从高维图像数据中提取人脸图像的敏感信息,提高人脸识别的速度,文章提出了一种基于流形学习的有监督稀疏排列的局部保持投影算法(SSLPP)的极端学习机(ELM)。     

针对图像序列的谱深度学习算法

为了更好地理解图像序列的隐藏深度信息,需要分析数据的隐藏结构。目前,多采用谱流形学习算法学习高维采样数据的低维嵌入坐标,从而获取数据的隐藏结构。谱流形学习算法一般是基于所研究的高维数据分布在单个流形上的前提假设,并不支持图像序列中存在的多流形结构。结合图像序列的结构特点,提出了一种针对图像序列的谱深度学习算法(spectral deep learning,SDL)。通过建立混合多流形模型,保持流形局部变化的平滑和连续,利用流形对齐建立层次流形的映射关系,得到图像序列的深度低维嵌入坐标。最后通过实验证明了算法在混合多流形数据集和图像序列数据集上的有效性。     

核邻域保持判别嵌入在人脸识别中的应用

为更有效地进行数据降维,将核映射思想引入到邻域保持判别嵌入中,提出一种核邻域保持判别嵌入的流形学习算法。以类内相似度矩阵与类间散度矩阵之差作为鉴别准则,使类间散度矩阵不受满秩的约束,从而解决人脸数据的非线性和小样本问题。在ORL和Yale人脸库上的实验结果表明,该算法具有较好的人脸识别性能。     

正交判别的线性局部切空间排列的人脸识别

为了将线性局部切空间排列算法发展为有监督的学习算法,提出了一种正交判别的线性局部切空间排列算法.该算法首先利用样本数据的类别信息计算类间散度矩阵,然后再通过对原算法的目标函数进行修改来建立新的优化问题.在解出投影子空间的基础上,再通过进行正交化来得到投影的正交子空间.在两个标准人脸数据库上进行的实验表明,由于该算法使用了局部切空间来表示数据样本所在流形的局部几何结构,不仅融合了判别信息和正交化技术,并且兼顾了局部几何结构和判别结构的保持,因此提高了识别能力.     

基于监督协同近邻保持投影的人脸识别算法

基于流形学习理论的近邻保持嵌入算法(Neighborhood Preserving Embedding,NPE)能够发现数据集中隐含的内蕴结构,但当训练样本不足时,无法准确发现数据的内在流形结构,从而影响算法的识别效果.针对这一问题,对NPE算法进行改进,提出了监督协同近邻保持投影算法(Supervised Collaborative Neighborhood Preserving Projection,SCNPP).该算法在类别信息的指导下构建近邻图,使同类样本间的几何关系得到保持,利用协同表示弥补NPE因样本不足造成的表示误差,以一个有效保持样本近邻关系、准确发现数据内在流形结构的权值矩阵计算投影矩阵,提高分类效果.在FERET、AR和Extended Yale B人脸数据集上的实验验证了该算法的有效性.     

融入局部几何特征的流形谱聚类图像分割

为了改善谱聚类图像分割的精准性和时效性,文中提出融入局部几何特征的流形谱聚类图像分割算法.首先,考虑图像数据的流形结构,在数据点的K近邻域内执行局部PCA,得到数据间本征维数的关系.然后,引入流形学习中的局部线性重构技术,通过混合线性分析器得到数据间局部切空间的相似性,结合二者构造含有局部几何特征的相似性矩阵.再利用Nystr m技术逼近待分割图像的特征向量,对构造的k个主特征向量执行谱聚类.最后,在Berkeley数据集上的对比实验验证文中算法的准确性和时效性优势.     

基于选择聚类集成的相似流形学习算法

流形学习是当今最重要的研究方向之一.约简维度的选择影响着流形学习方法的性能.当约简维度恰好是本征维度时,更容易发现原始数据的内在性质.然而,本征维度估计仍然是流形学习的一个研究难点.在此基础上,提出了一种新的无监督方法,即基于选择聚类集成的相似流形学习(SML-SCE)算法,避免了对本征维度的估计,并且性能表现良好.SML-SCE利用改进的层次平衡K-means(MBKHK)方法生成具有代表性的锚点,高效地构造相似度矩阵.随后计算得到了多个不同维度下的相似低维嵌入,这些低维嵌入是对原始数据的不同表示,而且不同低维嵌入之间的多样性有利于集成学习.因此,SML-SCE采用选择性聚类集成方法作为结合策略.对于通过K-means聚类得到的相似低维嵌入的聚类结果,采用聚类间的归一化互信息(NMI)作为权重的衡量标准.最后,舍弃权重较低的聚类,采用基于权重的选择性投票方案,得到最终的聚类结果.在多个数据集的大量实验结果表明了该方法的有效性.     

融合Log-Gabor小波和监督保局映射的人脸识别算法

流形学习是一种非监督学习算法,其鉴别能力不如传统的维数约简算法,而且流形学习算法不能有效地消除图像中如高阶相关等冗余信息.针对这2个问题,提出一种融合Log-Gabor小波和监督保局映射的人脸识别算法.首先使用Log-Gabor小波对归一化的人脸图像进行多方向、多分辨率滤波,并提取其对应的Log-Gabor图像特征向量;然后使用监督保局映射算法对Log-Gabor特征向量进行维数约简,得到低维鉴别特征;最后使用最近邻分类器进行分类.该算法综合运用了Log-Gabor特征对人脸图像的优异的表征能力、SLPP的非线性维数约简能力,对光照变化、表情变化等具有良好的鲁棒性.在Yale和PIE人脸库上的仿真实验结果证明了文中算法的有效性.     

基于TSNE和多尺度稀疏自编码的高光谱图像分类

针对高光谱图像存在维数“灾难”、特征以及空间信息利用不足的问题,结合深度学习、流形学习及多尺度空间特征的最新进展,提出了一种TSNE和多尺度稀疏自编码网络的高光谱图像分类算法。利用TSNE算法对高光谱图像进行降维,再对每个像元的邻域进行多尺度空间特征提取,利用加入空谱联合信息的像元训练稀疏自编码网络模型并通过softmax分类器进行分类,减少计算复杂度,提高分类精确度。通过对Indian Pines及Pavia University两组数据进行实验,结果表明,提出的算法与其他五种算法相比分类效果更好。     

流形距离与压缩感知核稀疏投影的局部线性嵌入算法

流形学习算法的目的是发现嵌入在高维数据空间中的低维表示,现有的流形学习算法对邻域参数k和噪声比较敏感。针对此问题,文中提出一种流形距离与压缩感知核稀疏投影的局部线性嵌入算法,其核心思想是集成局部线性嵌入算法对高维流形结构数据的降维有效性与压缩感知核稀疏投影的强鉴别性,以实现高效有降噪流形学习。首先,在选择各样本点的近邻域时,采用流形距离代替欧氏距离度量数据间相似度的方法,创建能够正确反映流形内部结构的邻域图,解决以欧氏距离作为相似性度量时对邻域参数的敏感。其次,利用压缩感知核稀疏投影作为从高维观测空间到低维嵌入空间的映射,增强算法的鉴别性。最后,利用Matlab工具对实验数据集进行仿真,进一步验证所提算法的有效性。     

融合局部结构和差异信息的监督特征提取算法

针对监督局部保持投影(Supervised locality preserving projection, SLPP)存在过学习和不能较好地保持图像空间的差异信息等问题,造成算法性能不够好, 提出了一种新的基于流形学习的监督特征提取方法(Supervised local structure and diversity projection, S-LSDP). S-LSDP从信息统计量角度引入差异信息,并给出度量差异信息大小的准则(差异离散度) 及明确的物理含义;然后通过最小化局部离散度和最大化差异离散度准则提取投影方向. 投影后的特征既能有效地保持图像之间的局部结构属性,又能较好地保持图像之间的差异信息, 而且避免了过学习问题.在UMIST, Yale, PIE和AR数据库上的实验结果表明了该算法的有效性.     

扩大局部邻域的疏散嵌入算法

非线性流形学习降维方法已经被广泛应用到人脸识别、入侵检测以及传感器网络等领域。然而,能够有效处理稀疏数据的流形学习算法很少。基于局部线性嵌入（LLE）算法的思想框架,提出一种扩大局部邻域的稀疏嵌入算法,通过对局部区域信息加强,使得在样本较少的情况下,达到丰富重叠信息的目的。在稀疏的人工和人脸数据集上的实验结果表明,所提算法产生了较好的嵌入及分类结果。     

流形结构化半监督扩展字典学习的旋转设备故障诊断

针对有标签数据不足及传统故障诊断模型判别性差的问题,本文提出一种流形结构化半监督扩展字典学习(MS-SSEDL)的故障诊断方法.首先,为改善缺少有标签数据而导致模型的识别性能较差问题,在MS-SSEDL模型中提出无标签数据重构误差项,利用无标签数据学习置信度矩阵,从而学习得到扩展字典以增强字典学习的表示性.然后,为增强MS-SSEDL模型的判别性,通过保存数据的流形结构,学习数据中内在几何信息的稀疏表示,增强信号表示能力及字典判别性.最后,在数字图像、轴承故障及齿轮故障公共数据集的实验表明所提MS-SSEDL方法比其他先进方法的识别性能更优越.     

动态增殖流形学习算法

流形学习的主要目标是发现高维观测数据空间中的低维光滑流形.目前,流形学习已经成为机器学习和数据挖掘领域的研究热点.为了从高维数据流和大规模海量数据集中探索有价值的信息,迫切需要增殖地发现内在低维流形结构.但是,现有流形学习算法不具有增殖能力,并且不能有效处理海量数据集.针对这些问题,系统定义了增殖流形学习的概念,这有利于解释人脑中稳态感知流形的动态形成过程,且可以指导符合人脑增殖学习机理的流形学习算法的研究.以此为指导原则,提出了动态增殖流形学习算法,并在实验中验证了算法的有效性.     

Discriminant sparse neighborhood preserving embedding for face recognition

Sparse subspace learning has drawn more and more attentions recently. However, most of the sparse subspace learning methods are unsupervised and unsuitable for classification tasks. In this paper, a new sparse subspace learning algorithm called discriminant sparse neighborhood preserving embedding (DSNPE) is proposed by adding the discriminant information into sparse neighborhood preserving embedding (SNPE). DSNPE not only preserves the sparse reconstructive relationship of SNPE, but also sufficiently utilizes the global discriminant structures from the following two aspects: (1) maximum margin criterion (MMC) is added into the objective function of DSNPE; (2) only the training samples with the same label as the current sample are used to compute the sparse reconstructive relationship. Extensive experiments on three face image datasets (Yale, Extended Yale B and AR) demonstrate the effectiveness of the proposed DSNPE method.     

基于特征子空间邻域的局部保持流形学习算法*

局部保持流形学习算法通过保持局部邻域特性来挖掘隐藏在高维数据中的内在流形结构。然而,对于缺乏足够训练样本的高维数据集,或者高维数据集存在非线性结构和高维数据特征中存在冗余、干扰特征,使得在原特征空间中利用欧式距离定义的邻域关系并不能真实反映数据的内在流形结构,从而影响算法的性能。提出利用正约束寻找特征子空间的方法,使得在此子空间中更多的同类样本紧聚,并进一步在该子空间中构建邻域关系来挖掘高维数据的内在流形,形成基于特征子空间邻域特性的局部保持流形学习算法(NFS-LPP和NFS-NPE)。它们在一定程度上克服了高维小样本数据集难以正确挖掘内在流形结构的问题,在Yale和ORL人脸库上的分类和聚类实验验证了其有效性。