判别性增强的稀疏子空间聚类

稀疏关系表示(SRR)是一种性能良好的子空间聚类算法,其利用一个数据样本和所有样本间的邻域关系作为新特征来学习自表示系数,由自表示系数矩阵构建相似度矩阵并通过谱聚类得到聚类结果。同时考虑相似度矩阵的稀疏性和聚集性,在SRR算法基础上提出一个判别性增强的稀疏子空间聚类模型。对邻域关系矩阵的自表示矩阵采用平方F范数代替SSR中的核范数,降低模型求解难度,并在邻域关系矩阵的自表示矩阵中引入新的正则项,保证自表示矩阵的类间判别性和邻域关系矩阵的类内聚集性,进一步优化聚类性能。实验结果表明：与SSC、LRR、LSR、BDR-B、SRR等模型相比,该模型具有较好的聚类性能;在MNIST、USPS、ORL数据集上,聚类错误率较SRR模型分别下降9.6、14.1、3.8个百分点;在Extended Yale B数据集上,针对2、3、5、8、10类聚类问题的聚类错误率较SRR模型分别下降0.39、0.72、1.32、2.73、3.28个百分点。     

稀疏子空间聚类综述

稀疏子空间聚类(Sparse subspace clustering, SSC)是一种基于谱聚类的数据聚类框架. 高维数据通常分布于若干个低维子空间的并上, 因此高维数据在适当字典下的表示具有稀疏性. 稀疏子空间聚类利用高维数据的稀疏表示系数构造相似度矩阵, 然后利用谱聚类方法得到数据的子空间聚类结果. 其核心是设计能够揭示高维数据真实子空间结构的表示模型, 使得到的表示系数及由此构造的相似度矩阵有助于精确的子空间聚类. 稀疏子空间聚类在机器学习、计算机视觉、图像处理和模式识别等领域已经得到了广泛的研究和应用, 但仍有很大的发展空间. 本文对已有稀疏子空间聚类方法的模型、算法和应用等方面进行详细阐述, 并分析存在的不足, 指出进一步研究的方向.     

基于特征选择与鲁棒图学习的多视图聚类

现有的多视图聚类方法大多直接在原始数据样本上构建各视图的相似图,而原始数据中的冗余特征和噪声会导致聚类精度下降。针对该问题,基于特征选择和鲁棒图学习提出多视图聚类算法FRMC。在自适应选择不同视图特征时降低数据维度,减少冗余特征,同时利用自表示学习获取数据的表示系数,滤除噪声影响并得到数据样本的全局结构,从而去除样本中的噪声和离群点。在此基础上,通过自适应近邻学习构造样本鲁棒图,利用鲁棒图矩阵的加权和构建最终的亲和图矩阵,提出一种基于增广拉格朗日乘子的交替迭代算法对目标函数进行优化。在6个不同类型的标准数据集上进行实验,与SC、RGC、AWP等算法的对比结果表明,FRMC算法能够有效提升聚类精度且具有较好的收敛性与鲁棒性。     

基于深度自编码的多视图子空间聚类网络

传统子空间浅层聚类模型对于多视图和非线性数据的聚类性能不佳。为此,提出一种基于深度自编码器的多视图子空间聚类网络模型,通过在深度自编码器中引入子空间聚类中的“自我表示”特性以及加权稀疏表示,提升了多视图子空间聚类算法的学习能力。推导的深度自编码多视图子空间聚类算法能够聚类具有复杂结构的数据点。通过多视图数据集验证了提出算法的有效性。结果表明,该方法能够有效地挖掘数据固有的多样性聚类结构,并利用多个视图之间互补信息,在性能上与现有方法相比有较大的提升。     

基于Schatten-p范数和特征自表示的无监督特征选择

特征选择是去除不相关和冗余特征,找到具有良好泛化能力的原始特征的紧凑表示,同时,数据中含有的噪声和离群点会使学习获得的系数矩阵的秩变大,使得算法无法捕捉到高维数据中真实的低秩结构。因此,利用Schatten-p范数逼近秩最小化问题和特征自表示重构无监督特征选择问题中的系数矩阵,建立一个基于Schatten-p范数和特征自表示的无监督特征选择（SPSR）算法,并使用增广拉格朗日乘子法和交替方向法乘子法框架进行求解。最后在6个公开数据集上与经典无监督特征选择算法进行实验比较,SPSR算法的聚类精度更高,可以有效地识别代表性特征子集。     

一种基于信息传递的稀疏子空间聚类算法框架

近年来,基于谱聚类的子空间聚类算法由于其广泛的应用而备受关注.但是,随着数据量的增加,传统方法的时间成本也越来越高.为了提高效率,我们为稀疏子空间聚类提出了一种基于信息传递的统一框架.该框架主要由两个阶段组成.首先,通过采样选择少量的数据点,利用传统方法计算出部分数据的表示系数.在第二阶段,通过信息传递而非传统方式计算出剩余数据的表示系数,从而提高效率.因此,这两部分集成在一起构成完整的表示系数矩阵,传到谱聚类中以获得聚类结果.此框架具有灵活性和可扩展性.它既可以选择不同的采样方法,还可以扩展到其他子空间聚类算法.在COIL-20和YaleBCrop025数据集上的实验结果证实,此框架不仅可以提高效率,而且可以保证聚类精度.     

基于协同表示的子空间聚类*

针对稀疏子空间聚类(SSC)求得的系数矩阵过于稀疏和最小二乘回归子空间聚类(LSR)求得的系数矩阵过于稠密的问题,文中提出基于协同表示的子空间聚类算法(SCCR).结合SSC和LSR的优点,将l₁范数和Frobenius范数引入同一优化问题中,使系数矩阵保证在同一子空间数据点联系(如LSR)的同时,消除不同子空间数据点之间的联系(如SSC).然后利用此系数矩阵建立相似矩阵,应用谱聚类得到聚类结果.实验表明SCCR可以提高聚类性能.     

基于自注意力对抗的深度子空间聚类

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架.近年来,由于深度神经网络能够有效地挖掘出数据深层特征,其研究倍受各国学者的关注.深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示,计算出数据集的相似度矩阵,然后利用谱聚类获得数据的最终聚类结果.然而,现实数据存在维度过高、数据结构复杂等问题,如何获得更鲁棒的数据表示,改善聚类性能,仍是一个挑战.因此,本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC).利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束,引导所学习的特征表示更具有鲁棒性,从而提高聚类精度.通过在多个数据集上的实验,结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.     

基于自注意力对抗的深度子空间聚类

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架.近年来,由于深度神经网络能够有效地挖掘出数据深层特征,其研究倍受各国学者的关注.深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示,计算出数据集的相似度矩阵,然后利用谱聚类获得数据的最终聚类结果.然而,现实数据存在维度过高、数据结构复杂等问题,如何获得更鲁棒的数据表示,改善聚类性能,仍是一个挑战.因此,本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC).利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束,引导所学习的特征表示更具有鲁棒性,从而提高聚类精度.通过在多个数据集上的实验,结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.     

基于自注意力对抗的深度子空间聚类

子空间聚类(Subspace clustering)是一种当前较为流行的基于谱聚类的高维数据聚类框架.近年来,由于深度神经网络能够有效地挖掘出数据深层特征,其研究倍受各国学者的关注.深度子空间聚类旨在通过深度网络学习原始数据的低维特征表示,计算出数据集的相似度矩阵,然后利用谱聚类获得数据的最终聚类结果.然而,现实数据存在维度过高、数据结构复杂等问题,如何获得更鲁棒的数据表示,改善聚类性能,仍是一个挑战.因此,本文提出基于自注意力对抗的深度子空间聚类算法(SAADSC).利用自注意力对抗网络在自动编码器的特征学习中施加一个先验分布约束,引导所学习的特征表示更具有鲁棒性,从而提高聚类精度.通过在多个数据集上的实验,结果表明本文算法在精确率(ACC)、标准互信息(NMI)等指标上都优于目前最好的方法.     

基于邻域保持学习的无监督特征选择算法

近邻法对不相关特征的敏感性很高,利用邻域重构系数可以保持原有数据结构的优点,为此,文中提出基于邻域保持学习的无监督特征选择算法.首先根据数据样本和邻域的相似性构造相似矩阵,并引入中间矩阵构造低维空间.然后利用拉普拉斯乘子法选择有效特征子集.在4个公开数据集上的实验表明,文中算法可以有效识别代表性特征.     

一种基于稀疏表示系数的特征相关性测度

目前特征选择方法中常用的特征相关性测度可有效评估两个特征之间的相关性,但却将特征孤立看待,没有考虑其它特征对它们相关性的影响。文中在整体考虑特征之间关系的前提下,提出用稀疏表示系数评估特征的相关性,它与现有特征相关性测度的不同之处在于可揭示特征在其它所有特征影响下与目标的相关性,反映特征间的相互影响。为验证稀疏表示系数评估特征相关性的有效性,在典型的高维小样本数据上,比较了Relief F方法及分别以稀疏表示系数、对称不确定性和皮尔森相关系数为相关性测度的特征选择方法选择的特征集的分类能力。实验结果表明文中方法选择的特征集的分类能力高且较稳定。     

基于K-均值聚类的无监督的特征选择方法

模式识别方法首先要解决的一个问题就是特征选择,目前许多方法考虑了有监督学习的特征选择问题,对无监督学习的特征选择问题却涉及得很少。依据特征对分类结果的影响和特征之间相关性分析两个方面提出了一种基于K-均值聚类方法的特征选择算法,用于无监督学习的特征选择问题。     

基于协同聚类的两阶段文本聚类方法

为了将语义信息用于文本聚类和有效地进行特征选择,文中提出一种基于协同聚类的两阶段文本聚类方法.该方法分别对文档和特征进行聚类从而得到特征与主题之间的语义关联关系.然后利用此关系来相互调整彼此的聚类结果.实验结果表明,利用特征与主题之间的语义关联关系能有效提高聚类效果.     

基于局部子空间的多标记特征选择算法*

在已有的特征选择算法中,常用策略是通过相关准则选择与标记集合相关性较强的特征,然而该策略不一定是最优选择,因为与标记集合相关性较弱的特征可能是决定某些类别标记的关键特征.基于这一假设,文中提出基于局部子空间的多标记特征选择算法.该算法首先利用特征与标记集合之间的互信息得到一个重要度由高到低的特征序列,然后将新的特征排序空间划分为几个局部子空间,并在每个子空间设置采样比例以选择冗余性较小的特征,最后融合各子空间的特征子集,得到一组合理的特征子集.在6个数据集和4个评价指标上的实验表明,文中算法优于一些通用的多标记特征选择算法.     

基于属性自表达的低秩超图属性选择算法*

针对高维数据具有低秩形式和属性冗余等特点,提出一种基于属性自表达的无监督超图属性选择算法。具体地,该算法首先利用属性自表达特点用其他属性稀疏地表达每个属性,此自表达形式使用低秩假设寻找高维数据的低秩表示,然后建立超图正则化因子保持高维数据的局部结构,最后利用稀疏正则化因子进行属性选择。属性自表达特性确定属性的重要性,低秩表示相当于考虑数据的全局信息进行子空间学习,超图正则化因子考虑数据的局部结构对数据进行子空间学习。该算法实际上考虑数据全局和局部信息进行子空间学习,更是一种嵌入了子空间学习的属性选择算法。实验结果表明,该算法相比其它对比算法,能更有效地选取属性,并能取得很好的分类效果。     

一种基于局部随机子空间的分类集成算法

分类器集成学习是当前机器学习研究领域的热点之一。然而,经典的采用完全随机的方法,对高维数据而言,难以保证子分类器的性能。 为此,文中提出一种基于局部随机子空间的分类集成算法,该算法首先采用特征选择方法得到一个有效的特征序列,进而将特征序列划分为几个区段并依据在各区段的采样比例进行随机采样,以此来改进子分类器性能和子分类器的多样性。在5个UCI数据集和5个基因数据集上进行实验,实验结果表明,文中方法优于单个分类器的分类性能,且在多数情况下优于经典的分类集成方法。     

基于超图的稀疏属性选择算法*

针对噪声或者离群点通常会增加矩阵的秩的问题,提出一个在低秩限制下的基于超图的稀疏属性选择算法。具体地,该算法首先利用其他属性稀疏地表达每一个属性来获得属性自表达系数矩阵。然后,利用超图正则化因子获取数据的局部结构将子空间学习嵌入到属性选择的框架中。同时,利用范数惩罚自表达系数矩阵和损失函数,挖掘出属性之间的关系和样本间的关系来帮助算法有效地进行属性选择,最终提高模型的预测能力。在UCI数据集上的实验结果表明,该算法相比其它对比算法,能更有效地选取重要属性,并取得很好的分类效果。     

基于最大决策边界的局部在线流特征选择

现有的在线流特征选择算法通常选择一个最优的全局特征子集,并假设该子集适用于样本空间的所有区域.但是,样本空间的每个区域都使用独有的特征子集进行准确描述,这些特征子集的特征和大小可能有所不同.因此,文中提出基于最大决策边界的局部在线流特征选择算法.引入局部特征选择,在充分利用局部信息的基础上,设计基于最大决策边界的特征衡量标准,尽可能分开同类样本和不同类样本.同时,使用最大化平均决策边界、最大化决策边界和最小化冗余3种策略选择合适的特征.针对局部区域选择最优的特征子集,然后使用类相似度测量方法进行分类.在14个数据集上的实验结果和统计假设检验验证文中算法的分类有效性和稳定性.     

基于AdaBoost的人脸特征挑选与特征融合算法研究

针对人脸识别中的特征挑选和特征融合问题进行研究。结合已有的基于AdaBoost的人脸特征挑选方法,挑选出最具分类能力的特征,并将挑选出的多类人脸特征在特征层进行融合,得到一个统一的人脸特征用于模式分类。通过在FERET人脸库上的实验表明,其识别方法具有良好的识别效果。