潜在最小二乘回归子空间分割方法*

子空间分割已逐渐成为高维数据聚类的有效工具,但数据缺失或噪声干扰将直接影响子空间分割方法中仿射矩阵的构造,进而影响聚类效果.为解决这一问题,文中提出潜在最小二乘回归子空间分割方法,分别从行和列两个方向重构数据矩阵,并交替优化两个重构系数矩阵,充分考虑两个方向的表示信息.在6个基因表达数据集上的实验表明文中方法优于现有子空间分割方法.     

流形降维最小二乘回归子空间分割

子空间分割方法一直是一种重要的机器学习方法,这些方法在人脸识别和基因表达数据识别等研究中有较好的聚类准确率。然而,这些方法在对高维小样本数据进行聚类时难以取得理想的结果。为了解决这些问题,借鉴流形降维中的局部保持投影法和最小二乘回归子空间分割法,提出流形降维最小二乘回归子空间分割法。该方法通过局部保持投影进行降维,再利用最小二乘回归子空间分割方法实现聚类。在6个生物基因表达数据集和2个图像数据集上的实验表明了该方法的有效性。     

基于最小二乘回归的分块加权子空间聚类*

传统子空间聚类算法向量化时忽略样本的自然结构信息,并且容易造成高维度小样本问题,从而导致聚类信息损失.为了弥补该缺陷,文中提出基于最小二乘回归的分块加权子空间聚类(WB-LSR).首先,将样本按维度分成若干块,并求得各个块对应的仿射矩阵.然后,通过相互投票方式对各仿射矩阵设置权重,将加权和作为最终的仿射矩阵.在图像数据和视频数据上的实验表明,文中方法能有效提升聚类准确率.     

引入低秩约束先验的深度子空间聚类

大多数子空间聚类算法将高维数据映射到低维子空间时不能较好捕获数据间几何结构.针对上述问题,文中提出引入低秩约束先验的深度子空间聚类算法,兼顾数据全局和局部结构信息.算法结合低秩表示与深度自编码器,利用低秩约束捕获数据全局结构,并将约束神经网络的潜在特征表示为低秩.自编码通过最小化重构误差进行非线性低维子空间映射,保留数据的局部特性.以多元逻辑回归函数作为判别模型,预测子空间分割.整个算法在无监督联合学习框架下进行优化.在5个数据集上的实验验证文中方法的有效性.     

融入距离信息的最小二乘回归子空间分割

有效分类基因表达数据有助于癌症的诊断,而基因表达数据的高维数、小样本特点使基因表达数据分类困难。针对这个问题,在最小二乘回归子空间分割算法中考虑距离信息,提出融入距离信息的最小二乘回归子空间分割算法。融入距离信息的最小二乘回归子空间分割模型除了考虑数据之间的相关性,还考虑了数据之间的距离信息。在基因表达数据集上的实验结果表明,所提出的算法是有效的聚类方法。     

局部约束加强的最小二乘回归子空间聚类*

针对最小二乘回归子空间聚类算法存在的数据局部相关性信息缺失、系数矩阵稀疏性不足的缺点,提出局部约束加强的最小二乘回归子空间聚类算法.在原始的最小二乘回归子空间聚类算法的基础上加入数据局部相关性约束,使表示系数矩阵的块对角性质更明显.同时,提出相似度矩阵构造方法,有效提高类内相似度,降低类间相似度.实验表明文中算法可以有效提高聚类的精确度,从而验证算法有效可行.     

弹性核子空间聚类*

现有子空间聚类算法通常假设数据来自多个线性子空间,无法处理时间序列聚类中存在的非线性和时间轴弯曲问题.为了克服这些局限,通过引入核技巧和弹性距离,提出弹性核低秩表示子空间聚类和弹性核最小二乘回归子空间聚类,统称为弹性核子空间聚类,并从理论上证明弹性核最小二乘回归子空间算法的组效应和弹性核低秩表示子空间聚类算法的收敛性.在5个UCR时间序列数据集上的实验表明本文算法的有效性.     

权自适应最小二乘回归子空间分割法

基于表示理论的子空间分割方法有着广泛的应用。经典的子空间分割方法通过不同的正则项求解仿射矩阵,而忽略了特征属性对子空间分割的影响。针对这些问题,通过特征权重自适应的思想对最小二乘回归子空间分割方法进行改进,提出权自适应最小二乘回归子空间分割方法。在6个数据集上的实验结果表明该方法是有效的。     

系数增强最小二乘回归子空间聚类法

针对最小二乘回归子空间聚类法在求解表示系数时忽略了样本相似度的不足,提出改进方法。基于样本相互重构的表示系数矩阵和样本相似度矩阵有很大的关联定义系数增强项,求解可以保持样本相似度的表示系数矩阵,提出系数增强最小二乘回归子空间聚类法。在8个标准数据集上的实验表明该方法可以提高最小二乘回归子空间聚类法的聚类性能。     

混合最小二乘回归的稀疏子空间聚类算法

稀疏子空间聚类的关键在于在求得真实反映数据集的相似度矩阵,然后将相似度矩阵代入谱聚类求解。相似度矩阵既要刻画数据集的子空间特性,同时也要反映出同一类数据点之间的两两相关程度,稀疏子空间聚类(SSC)专注于每一个数据表示系数的最大稀疏性,缺乏对数据集全局结构的描述;最小二乘回归(LSR)保证了同一类数据的结构相关性,但是不够稀疏。将最小二乘回归引入稀疏子空间聚类算法中,从而保证数据的相似度矩阵兼具稀疏性和分组效应。在运动分割和人脸聚类的实验中,将该算法和SSC、LSR算法对比,可以发现该算法在准确率上的优势。     

Robust Spectral Subspace Clustering Based on Least Square Regression

In recent years, graph based subspace clustering has attracted considerable attentions in computer vision, as its capability of clustering data efficiently. However, the graph weights built by using representation coefficients are not the exact ones as the traditional definition. That is, the two steps are conducted in independent manner such that an overall optimal result cannot be guaranteed. To this end, in this paper, a novel subspace clustering via learning an adaptive graph affinity matrix is proposed, where the soft label and the representation coefficients of data are learned in an unified framework. First, the proposed method learns a robust representation for the data through least square regression, which reveals the subspace structure within data and captures various noises inside. Second, the segmentation is sought by conducting spectral clustering simultaneously. Most importantly, during the optimization process, the segmentation is utilized to iteratively enhance the block-diagonal structure of the learned representation to further assist the clustering process. Experimental results on several famous databases demonstrate that the proposed method performs better against the state-of-the-art approaches, in clustering.     

局部子空间聚类

现有子空间聚类方法通常以数据全局线性为前提,将每个样本点表示为其他样本点的线性组合,因而导致常见子空间聚类方法不能很好地应用于非线性数据.为克服全局线性表示的局限,借鉴流形学习思想,用k近邻局部线性表示代替全局线性表示,与稀疏子空间聚类和最小二乘子空间聚类方法相结合,提出局部稀疏子空间聚类和局部最小二乘子空间聚类方法,统称局部子空间聚类方法.在双月形数据、6个图像数据集和4个基因表达数据集上进行实验,实验结果表明该方法是有效的.     

Rank–sparsity balanced representation for subspace clustering

Subspace learning has many applications such as motion segmentation and image recognition. The existing algorithms based on self-expressiveness of samples for subspace learning may suffer from the unsuitable balance between the rank and sparsity of the expressive matrix. In this paper, a new model is proposed that can balance the rank and sparsity well. This model adopts the log-determinant function to control the rank of solution. Meanwhile, the diagonals are penalized, rather than the strict zero-restriction on diagonals. This strategy makes the rank–sparsity balance more tunable. We furthermore give a new graph construction from the low-rank and sparse solution, which absorbs the advantages of the graph constructions in the sparse subspace clustering and the low-rank representation for further clustering. Numerical experiments show that the new method, named as RSBR, can significantly increase the accuracy of subspace clustering on the real-world data sets that we tested.     

面向矩阵秩函数准确估计的自表示子空间聚类方法

传统子空间聚类方法通常使用矩阵核范数代替矩阵秩函数进行低秩矩阵恢复,然而在目标优化过程中主要关注低秩矩阵大奇异值的影响,容易导致矩阵秩估计不准确的问题。为此,在分析矩阵奇异值长尾分布特点基础上,提出使用基于截断Schatten-p范数的低秩子空间聚类模型。该模型充分考虑小奇异值对低秩矩阵恢复过程的贡献,利用小奇异值信息拟合矩阵奇异值的长尾分布,通过对矩阵秩函数进行准确估计以提升子空间聚类性能。实验结果表明,与现有加权核范数子空间聚类WNNM-LRR和近邻约束子空间聚类BDR算法相比,在Extended Yale B数据集上的聚类准确性分别提升了11%和8%,所提方法能够更好地拟合数据奇异值分布以及生成准确的相似度矩阵。