结构加权相关自适应子空间聚类

针对结构稀疏子空间聚类不能很好地把握数据相似度一致性的问题，提出一种新的子空间聚类优化模型；结构加权相关自适应子空间聚类（Structured Weighted Correlation Adaptive Subspace Clustering，SWCASC）模型。该模型引入数据点的相关性对表示系数施加显式惩罚，同时利用分割和相似度的依赖关系，引入子空间结构范数。该模型使得数据类别标签具有一致性，相似度矩阵具有稀疏性和一致性，并具有自适应性。相似度矩阵的稀疏性有利于将不同子空间的数据分离，而一致性有利于将同一子空间的数据聚集。实验结果表明，该模型获得了理想的聚类效果，并优于其他方法。     

改进的基于谱聚类的子空间聚类模型

子空间聚类的目的是将来自不同子空间的数据分割到其本质上所属的低维子空间。现有的基于数据的自我表示和谱聚类的子空间聚类算法将该问题分为两个连续的阶段：首先从高维数据中学习数据的相似性矩阵,然后通过将谱聚类应用于所学相似性矩阵来推断数据的聚类隶属。通过定义一种新的数据自适应稀疏正则项,并将其与结构稀疏子空间聚类（SSSC）模型和改进的稀疏谱聚类（SSpeC）模型相结合,给出了一个新的统一优化模型。新模型利用数据的相似度和聚类指标的相互引导克服了SSpeC稀疏性惩罚的盲目性,并使得相似度具有了判别性,这有利于将不同子空间的数据分为不同类,弥补了SSSC模型只强制来自相同子空间的数据具有相同标签的缺陷。常用数据集上的实验结果表明,所提模型增强了聚类判别的能力,优于一些经典的两阶段法和SSSC模型。     

稀疏子空间聚类综述

稀疏子空间聚类(Sparse subspace clustering, SSC)是一种基于谱聚类的数据聚类框架. 高维数据通常分布于若干个低维子空间的并上, 因此高维数据在适当字典下的表示具有稀疏性. 稀疏子空间聚类利用高维数据的稀疏表示系数构造相似度矩阵, 然后利用谱聚类方法得到数据的子空间聚类结果. 其核心是设计能够揭示高维数据真实子空间结构的表示模型, 使得到的表示系数及由此构造的相似度矩阵有助于精确的子空间聚类. 稀疏子空间聚类在机器学习、计算机视觉、图像处理和模式识别等领域已经得到了广泛的研究和应用, 但仍有很大的发展空间. 本文对已有稀疏子空间聚类方法的模型、算法和应用等方面进行详细阐述, 并分析存在的不足, 指出进一步研究的方向.     

混合最小二乘回归的稀疏子空间聚类算法

稀疏子空间聚类的关键在于在求得真实反映数据集的相似度矩阵,然后将相似度矩阵代入谱聚类求解。相似度矩阵既要刻画数据集的子空间特性,同时也要反映出同一类数据点之间的两两相关程度,稀疏子空间聚类(SSC)专注于每一个数据表示系数的最大稀疏性,缺乏对数据集全局结构的描述;最小二乘回归(LSR)保证了同一类数据的结构相关性,但是不够稀疏。将最小二乘回归引入稀疏子空间聚类算法中,从而保证数据的相似度矩阵兼具稀疏性和分组效应。在运动分割和人脸聚类的实验中,将该算法和SSC、LSR算法对比,可以发现该算法在准确率上的优势。     

k近邻约束的稀疏子空间聚类

稀疏子空间聚类是近年提出的高维数据聚类框架，针对实际数据并不完全满足线性子空间模型的假设，提出[k]近邻约束的稀疏子空间聚类算法。该算法结合数据的子空间结构，[k]近邻及距离信息，在稀疏子空间模型上，添加[k]近邻约束项。添加的约束项符合距离越小，相似系数越大的直观认识且不改变系数矩阵的稀疏性。在人脸数据集Extended YaleB、ORL、AR，物体图像数据集COIL20及手写数据集USPS上的聚类实验表明提出的算法具有良好的性能。     

判别性增强的稀疏子空间聚类

稀疏关系表示(SRR)是一种性能良好的子空间聚类算法,其利用一个数据样本和所有样本间的邻域关系作为新特征来学习自表示系数,由自表示系数矩阵构建相似度矩阵并通过谱聚类得到聚类结果。同时考虑相似度矩阵的稀疏性和聚集性,在SRR算法基础上提出一个判别性增强的稀疏子空间聚类模型。对邻域关系矩阵的自表示矩阵采用平方F范数代替SSR中的核范数,降低模型求解难度,并在邻域关系矩阵的自表示矩阵中引入新的正则项,保证自表示矩阵的类间判别性和邻域关系矩阵的类内聚集性,进一步优化聚类性能。实验结果表明：与SSC、LRR、LSR、BDR-B、SRR等模型相比,该模型具有较好的聚类性能;在MNIST、USPS、ORL数据集上,聚类错误率较SRR模型分别下降9.6、14.1、3.8个百分点;在Extended Yale B数据集上,针对2、3、5、8、10类聚类问题的聚类错误率较SRR模型分别下降0.39、0.72、1.32、2.73、3.28个百分点。     

基于k最相似聚类的子空间聚类算法

子空间聚类是聚类研究领域的一个重要分支和研究热点,用于解决高维聚类分析面临的数据稀疏问题。提出一种基于k最相似聚类的子空间聚类算法。该算法使用一种聚类间相似度度量方法保留k最相似聚类,在不同子空间上采用不同局部密度阈值,通过k最相似聚类确定子空间搜索方向。将处理的数据类型扩展到连续型和分类型,可以有效处理高维数据聚类问题。实验结果证明,与CLIQUE和SUBCLU相比,该算法具有更好的聚类效果。     

结构图正则低秩子空间聚类

针对结构稀疏子空间聚类中不能很好地保证相似度矩阵连接性的问题,给出了一个新的统一优化模型。首先,引入了表示系数矩阵的子空间结构范数,增加了低秩表示来揭示高维数据的全局结构。其次,为了使相似度矩阵具有类内统一,类间稀疏的作用,还定义了分组效应来捕获数据的内部几何结构,提出了结构图正则低秩子空间聚类模型。最后使用自适应惩罚的线性化交替法（LADMAP）来得到最优解。实验结果表明,该模型不但可以捕获数据的全局结构,而且还可以捕获数据的内在几何结构,迫使相关数据紧密结合,不相关数据松散分离,从而使得相似度矩阵与分割矩阵变得更加一致。     

融入无监督度量学习的稀疏子空间聚类模型

子空间聚类任务中的无标记数据具有维度高、数据分布分散等特点,传统方法对数据预处理未进行详细地针对化设计且大多使用欧氏距离度量数据间的相似性,使聚类性能提升受限.因此,本文提出融入无监督度量学习的稀疏子空间聚类模型,该算法将距离度量与子空间聚类联合到同一框架,设计由两步组成的聚类过程.该方法对原始数据进行度量学习并重构了稀疏子空间聚类模型,使数据预处理不再是一个单独的步骤,最大限度地将输入的无标记数据之间相似度提高,有效提升了子空间聚类性能、加强了模型泛化能力.我们在真实公开数据集上进行实验测试,实验结果表明该方法优于现有的子空间聚类算法,具有良好的聚类性能.     

基于邻接图的离群数据聚类算法

离群数据是数据中的小模式,因其固有的少数据与稀疏性等特征,使得基于距离或基于统计等常规聚类方式不适用于对离群数据的分类。该文根据离群对象关键域子空间的重合度,定义了离群共享属性集与离群相似度等概念,提出-离群簇分析技术。通过构建离群邻接图并将其稀疏化,将-离群簇搜索与相应的离群邻接图的最大完全子图搜索一一对应,给出一种基于邻接图的离群数据聚类算法。算例及实验结果表明,该方法具有较高的效率及良好的直观性。     

非负局部约束低秩子空间聚类算法

在低秩表示算法的基础上,提出了一个新模型。新模型构建了揭示数据内在特征联系的亲和度图以实现聚类任务。首先,根据矩阵分解原理对原始数据重新生成数据字典,在算法初始输入时筛除部分噪声。其次,利用数据间的稀疏性加强局部约束,为给定的数据向量构建非负低秩亲和度图。亲和度图中边的权重由非负低秩稀疏系数矩阵获得,系数矩阵通过每个数据样本作为其他数据样本的线性组合完成构建,如此获得的亲和度图显示了数据的子空间结构,同时表现局部线性结构。与现存的子空间算法相比,非负局部约束低秩子空间算法在聚类效果上有明显的提升。     

Enhancing subspace clustering based on dynamic prediction

In high dimensional data, many dimensions are irrelevant to each other and clusters are usually hidden under noise. As an important extension of the traditional clustering, subspace clustering can be utilized to simultaneously cluster the high dimensional data into several subspaces and associate the low-dimensional subspaces with the corresponding points. In subspace clustering, it is a crucial step to construct an affinity matrix with block-diagonal form, in which the blocks correspond to different clusters. The distance-based methods and the representation-based methods are two major types of approaches for building an informative affinity matrix. In general, it is the difference between the density inside and outside the blocks that determines the efficiency and accuracy of the clustering. In this work, we introduce a well-known approach in statistic physics method, namely link prediction, to enhance subspace clustering by reinforcing the affinity matrix.More importantly,we introduce the idea to combine complex network theory with machine learning. By revealing the hidden links inside each block, we maximize the density of each block along the diagonal, while restrain the remaining non-blocks in the affinity matrix as sparse as possible. Our method has been shown to have a remarkably improved clustering accuracy comparing with the existing methods on well-known datasets.     

基于深度自编码的多视图子空间聚类网络

传统子空间浅层聚类模型对于多视图和非线性数据的聚类性能不佳。为此,提出一种基于深度自编码器的多视图子空间聚类网络模型,通过在深度自编码器中引入子空间聚类中的“自我表示”特性以及加权稀疏表示,提升了多视图子空间聚类算法的学习能力。推导的深度自编码多视图子空间聚类算法能够聚类具有复杂结构的数据点。通过多视图数据集验证了提出算法的有效性。结果表明,该方法能够有效地挖掘数据固有的多样性聚类结构,并利用多个视图之间互补信息,在性能上与现有方法相比有较大的提升。     

结构约束的对称低秩表示子空间聚类算法

通过子空间聚类可获得高维数据的潜在子空间结构,但现有算法不能同时揭示数据全局低秩结构和局部稀疏结构特性,致使聚类性能受限。提出一种结构约束的对称低秩表示算法用于子空间聚类。在目标函数中添加结构约束和对称约束来限制低秩表示解的结构,构造一个加权稀疏和对称低秩的亲和度图,在此基础上,结合谱聚类方法实现高效的子空间聚类。实验结果表明,该算法能够准确表示复杂子空间结构,其在Extended Yale B和Hopkins 155基准数据集上的平均聚类误差分别为1.37%和1.43%,聚类性能优于LRR、SSC、LRRSC等算法。     

基于随机特征子空间的半监督情感分类方法研究

情感分类是目前自然语言处理领域的一个热点研究问题。该文关注情感分类中的半监督学习方法(即基于少量标注样本和大量未标注样本进行学习的方式),提出了一种新的基于动态随机特征子空间的半监督学习方法。首先,动态生成多个随机特征子空间;然后,基于协同训练(Co-training)在每个特征子空间中挑选置信度高的未标注样本;最后使用这些挑选出的样本更新训练模型。实验结果表明我们的方法明显优于传统的静态产生方式及其他现有的半监督方法。此外该文还探索了特征子空间的划分数目问题。     

语义相似性保持的判别式跨模态哈希

针对跨模态哈希检索方法中存在标签语义利用不充分,从而导致哈希码判别能力弱、检索精度低的问题,提出了一种语义相似性保持的判别式跨模态哈希方法.该方法将异构模态的特征数据投影到一个公共子空间,并结合多标签核判别分析方法将标签语义中的判别信息和潜在关联嵌入到公共子空间中;通过最小化公共子空间与哈希码之间的量化误差提高哈希码的判别能力;此外,利用标签构建语义相似性矩阵,并将语义相似性保留到所学的哈希码中,进一步提升哈希码的检索精度.在LabelMe、MIRFlickr-25k、NUS-WIDE三个基准数据集上进行了大量实验,其结果验证了该方法的有效性.