局部约束加强的最小二乘回归子空间聚类*

针对最小二乘回归子空间聚类算法存在的数据局部相关性信息缺失、系数矩阵稀疏性不足的缺点,提出局部约束加强的最小二乘回归子空间聚类算法.在原始的最小二乘回归子空间聚类算法的基础上加入数据局部相关性约束,使表示系数矩阵的块对角性质更明显.同时,提出相似度矩阵构造方法,有效提高类内相似度,降低类间相似度.实验表明文中算法可以有效提高聚类的精确度,从而验证算法有效可行.     

混合最小二乘回归的稀疏子空间聚类算法

稀疏子空间聚类的关键在于在求得真实反映数据集的相似度矩阵,然后将相似度矩阵代入谱聚类求解。相似度矩阵既要刻画数据集的子空间特性,同时也要反映出同一类数据点之间的两两相关程度,稀疏子空间聚类(SSC)专注于每一个数据表示系数的最大稀疏性,缺乏对数据集全局结构的描述;最小二乘回归(LSR)保证了同一类数据的结构相关性,但是不够稀疏。将最小二乘回归引入稀疏子空间聚类算法中,从而保证数据的相似度矩阵兼具稀疏性和分组效应。在运动分割和人脸聚类的实验中,将该算法和SSC、LSR算法对比,可以发现该算法在准确率上的优势。     

基于协同表示的子空间聚类*

针对稀疏子空间聚类(SSC)求得的系数矩阵过于稀疏和最小二乘回归子空间聚类(LSR)求得的系数矩阵过于稠密的问题,文中提出基于协同表示的子空间聚类算法(SCCR).结合SSC和LSR的优点,将l₁范数和Frobenius范数引入同一优化问题中,使系数矩阵保证在同一子空间数据点联系(如LSR)的同时,消除不同子空间数据点之间的联系(如SSC).然后利用此系数矩阵建立相似矩阵,应用谱聚类得到聚类结果.实验表明SCCR可以提高聚类性能.     

非负子空间聚类指导下的非负矩阵分解

非负矩阵分解作为一种有效的数据表示方法被广泛应用于模式识别和机器学习领域。为了得到原始数据紧致有效的低维数据表示,无监督非负矩阵分解方法在特征降维的过程中通常需要同时发掘数据内部隐含的几何结构信息。通过合理建模数据样本间的相似性关系而构建的相似度图,通常被用来捕获数据样本的空间分布结构信息。子空间聚类可以有效发掘数据内部的子空间结构信息,其获得的自表达系数矩阵可用于构建相似度图。该文提出了一种非负子空间聚类算法来发掘数据的子空间结构信息,同时利用该信息指导非负矩阵分解,从而得到原始数据有效的非负低维表示。同时,该文还提出了一种有效的迭代求解方法来求解非负子空间聚类问题。在两个图像数据集上的聚类实验结果表明,利用数据的子空间结构信息可以有效改善非负矩阵分解的性能。     

基因表达数据的低秩投影最小二乘回归子空间分割*

基因表达数据具有高维、小样本、多噪声和高冗余的特点,使传统聚类方法效率较低.子空间分割是高维数据聚类的有效手段,但直接对基因表达数据进行子空间分割会降低聚类性能.为了更有效地聚类,文中提出低秩投影最小二乘回归子空间分割方法.首先利用改进的低秩方法将数据投影至潜在子空间,以便去除数据中可能的毁损,得到较干净的数据字典.然后采用最小二乘回归方法获得数据低维表示并构造仿射矩阵,利用该仿射矩阵实现聚类.在6个公开基因表达数据集上的实验表明文中方法的有效性.     

潜在最小二乘回归子空间分割方法*

子空间分割已逐渐成为高维数据聚类的有效工具,但数据缺失或噪声干扰将直接影响子空间分割方法中仿射矩阵的构造,进而影响聚类效果.为解决这一问题,文中提出潜在最小二乘回归子空间分割方法,分别从行和列两个方向重构数据矩阵,并交替优化两个重构系数矩阵,充分考虑两个方向的表示信息.在6个基因表达数据集上的实验表明文中方法优于现有子空间分割方法.     

基于分布式低秩表示的子空间聚类算法

针对基于低秩表示的子空间分割算法运算时间较长、聚类的准确率也不够高,提出一种基于分布式低秩表示的稀疏子空间聚类算法(distributed low rank representation-based sparse subspace clustering algorithm, DLRRS),该算法采用分布式并行计算来得到低秩表示的系数矩阵,然后保留系数矩阵每列的前k个绝对值最大系数,其他系数置为0,用此系数矩阵构造一个稀疏的样本关系更突出的相似度矩阵,接着用谱聚类得到聚类结果.但是其不具备增量学习功能,为此再提出一种基于分布式低秩表示的增量式稀疏子空间聚类算法(scalable distributed low rank representation based sparse subspace clustering algorithm, SDLRRS),如果有新增样本,可以利用前面的聚类结果对新增样本进行分类得到最后的结果.实验结果表明:所提2种子空间聚类算法不仅有效减少算法的运算时间,还提高了聚类的准确率,从而验证算法是有效可行的.     

判别性增强的稀疏子空间聚类

稀疏关系表示(SRR)是一种性能良好的子空间聚类算法,其利用一个数据样本和所有样本间的邻域关系作为新特征来学习自表示系数,由自表示系数矩阵构建相似度矩阵并通过谱聚类得到聚类结果。同时考虑相似度矩阵的稀疏性和聚集性,在SRR算法基础上提出一个判别性增强的稀疏子空间聚类模型。对邻域关系矩阵的自表示矩阵采用平方F范数代替SSR中的核范数,降低模型求解难度,并在邻域关系矩阵的自表示矩阵中引入新的正则项,保证自表示矩阵的类间判别性和邻域关系矩阵的类内聚集性,进一步优化聚类性能。实验结果表明：与SSC、LRR、LSR、BDR-B、SRR等模型相比,该模型具有较好的聚类性能;在MNIST、USPS、ORL数据集上,聚类错误率较SRR模型分别下降9.6、14.1、3.8个百分点;在Extended Yale B数据集上,针对2、3、5、8、10类聚类问题的聚类错误率较SRR模型分别下降0.39、0.72、1.32、2.73、3.28个百分点。     

基于最小二乘回归的分块加权子空间聚类*

传统子空间聚类算法向量化时忽略样本的自然结构信息,并且容易造成高维度小样本问题,从而导致聚类信息损失.为了弥补该缺陷,文中提出基于最小二乘回归的分块加权子空间聚类(WB-LSR).首先,将样本按维度分成若干块,并求得各个块对应的仿射矩阵.然后,通过相互投票方式对各仿射矩阵设置权重,将加权和作为最终的仿射矩阵.在图像数据和视频数据上的实验表明,文中方法能有效提升聚类准确率.     

弹性核子空间聚类*

现有子空间聚类算法通常假设数据来自多个线性子空间,无法处理时间序列聚类中存在的非线性和时间轴弯曲问题.为了克服这些局限,通过引入核技巧和弹性距离,提出弹性核低秩表示子空间聚类和弹性核最小二乘回归子空间聚类,统称为弹性核子空间聚类,并从理论上证明弹性核最小二乘回归子空间算法的组效应和弹性核低秩表示子空间聚类算法的收敛性.在5个UCR时间序列数据集上的实验表明本文算法的有效性.     

An affine subspace clustering algorithm based on ridge regression

Recent subspace clustering algorithms, which use sparse or low-rank representations, conduct clustering by considering the errors and noises into their objective functions. Then, the similarity matrix is solved via alternating direction method of multipliers. However, these approaches are subject to the restriction that the characteristic of errors and outliers in sample points should be known as the prior information. Furthermore, these algorithms are time-consuming during the iterative process. Motivated by this observation, this paper proposes a new subspace clustering algorithm: an affine subspace clustering algorithm based on ridge regression. The method introduces ridge regression as objective function which applies affine criteria into subspace clustering. An analytic solution to the problem has been determined for the coefficient matrix. Experimental results obtained on face datasets demonstrate that the proposed method not only improves the accuracy of the clustering results, but also enhances the robustness. Furthermore, the proposed method reduces the computational complexity.     

Robust Spectral Subspace Clustering Based on Least Square Regression

In recent years, graph based subspace clustering has attracted considerable attentions in computer vision, as its capability of clustering data efficiently. However, the graph weights built by using representation coefficients are not the exact ones as the traditional definition. That is, the two steps are conducted in independent manner such that an overall optimal result cannot be guaranteed. To this end, in this paper, a novel subspace clustering via learning an adaptive graph affinity matrix is proposed, where the soft label and the representation coefficients of data are learned in an unified framework. First, the proposed method learns a robust representation for the data through least square regression, which reveals the subspace structure within data and captures various noises inside. Second, the segmentation is sought by conducting spectral clustering simultaneously. Most importantly, during the optimization process, the segmentation is utilized to iteratively enhance the block-diagonal structure of the learned representation to further assist the clustering process. Experimental results on several famous databases demonstrate that the proposed method performs better against the state-of-the-art approaches, in clustering.     

结构加权相关自适应子空间聚类

针对结构稀疏子空间聚类不能很好地把握数据相似度一致性的问题，提出一种新的子空间聚类优化模型；结构加权相关自适应子空间聚类（Structured Weighted Correlation Adaptive Subspace Clustering，SWCASC）模型。该模型引入数据点的相关性对表示系数施加显式惩罚，同时利用分割和相似度的依赖关系，引入子空间结构范数。该模型使得数据类别标签具有一致性，相似度矩阵具有稀疏性和一致性，并具有自适应性。相似度矩阵的稀疏性有利于将不同子空间的数据分离，而一致性有利于将同一子空间的数据聚集。实验结果表明，该模型获得了理想的聚类效果，并优于其他方法。     

局部加权最小二乘回归的重叠子空间聚类算法

针对大多数子空间聚类方法处理非线性数据时聚类效果不理想、不同子空间数据相似性较高及聚类发生错误时无法及时校验的问题,提出局部加权最小二乘回归的重叠子空间聚类算法.利用K近邻思想突出数据的局部信息,取代非线性数据结构,通过高斯加权的方法选择最相似的近邻数据点,得到最优表示系数.然后使用重叠概率模型判断子空间内数据的重叠部分,再次校验聚类结果,提高聚类准确率.在人造数据集和真实数据集上分别进行测试,实验表明,文中算法能够取得较理想的聚类结果.