基因表达数据的低秩投影最小二乘回归子空间分割*

基因表达数据具有高维、小样本、多噪声和高冗余的特点,使传统聚类方法效率较低.子空间分割是高维数据聚类的有效手段,但直接对基因表达数据进行子空间分割会降低聚类性能.为了更有效地聚类,文中提出低秩投影最小二乘回归子空间分割方法.首先利用改进的低秩方法将数据投影至潜在子空间,以便去除数据中可能的毁损,得到较干净的数据字典.然后采用最小二乘回归方法获得数据低维表示并构造仿射矩阵,利用该仿射矩阵实现聚类.在6个公开基因表达数据集上的实验表明文中方法的有效性.     

局部约束加强的最小二乘回归子空间聚类*

针对最小二乘回归子空间聚类算法存在的数据局部相关性信息缺失、系数矩阵稀疏性不足的缺点,提出局部约束加强的最小二乘回归子空间聚类算法.在原始的最小二乘回归子空间聚类算法的基础上加入数据局部相关性约束,使表示系数矩阵的块对角性质更明显.同时,提出相似度矩阵构造方法,有效提高类内相似度,降低类间相似度.实验表明文中算法可以有效提高聚类的精确度,从而验证算法有效可行.     

引入低秩约束先验的深度子空间聚类

大多数子空间聚类算法将高维数据映射到低维子空间时不能较好捕获数据间几何结构.针对上述问题,文中提出引入低秩约束先验的深度子空间聚类算法,兼顾数据全局和局部结构信息.算法结合低秩表示与深度自编码器,利用低秩约束捕获数据全局结构,并将约束神经网络的潜在特征表示为低秩.自编码通过最小化重构误差进行非线性低维子空间映射,保留数据的局部特性.以多元逻辑回归函数作为判别模型,预测子空间分割.整个算法在无监督联合学习框架下进行优化.在5个数据集上的实验验证文中方法的有效性.     

系数增强最小二乘回归子空间聚类法

针对最小二乘回归子空间聚类法在求解表示系数时忽略了样本相似度的不足,提出改进方法。基于样本相互重构的表示系数矩阵和样本相似度矩阵有很大的关联定义系数增强项,求解可以保持样本相似度的表示系数矩阵,提出系数增强最小二乘回归子空间聚类法。在8个标准数据集上的实验表明该方法可以提高最小二乘回归子空间聚类法的聚类性能。     

基于A2范数的加权低秩子空间聚类

子空间聚类在运动分割、人脸聚类上得了广泛的应用,并且取得很好的聚类效果.针对稀疏子空间聚类和最小二乘回归子空间聚类求得的表示系数存在类内过于稀疏和类间过于稠密的问题,本文利用l₂范数,提出一种基于欧氏距离的且具有组效应的加权低秩子空间聚类算法,此算法通过基于欧氏距离的加权方式,使得最终的表示系数在保证同一子空间数据点联系的同时,减小不同子空间数据点之间的联系.利用此表示系数建立相似矩阵J,将J应用到谱聚类得到聚类结果.实验结果表明,与当前流行的算法比较,本算法取得了较好的聚类效果.     

结构约束的对称低秩表示子空间聚类算法

通过子空间聚类可获得高维数据的潜在子空间结构,但现有算法不能同时揭示数据全局低秩结构和局部稀疏结构特性,致使聚类性能受限。提出一种结构约束的对称低秩表示算法用于子空间聚类。在目标函数中添加结构约束和对称约束来限制低秩表示解的结构,构造一个加权稀疏和对称低秩的亲和度图,在此基础上,结合谱聚类方法实现高效的子空间聚类。实验结果表明,该算法能够准确表示复杂子空间结构,其在Extended Yale B和Hopkins 155基准数据集上的平均聚类误差分别为1.37%和1.43%,聚类性能优于LRR、SSC、LRRSC等算法。     

基于三支决策的多视图低秩稀疏子空间聚类算法

多视图子空间聚类是一种从子空间中学习所有视图共享的统一表示, 挖掘数据潜在聚类结构的方法. 作为一种处理高维数据的聚类方法, 子空间聚类是多视图聚类领域的研究热点之一. 多视图低秩稀疏子空间聚类是一种结合了低秩表示和稀疏约束的子空间聚类方法. 该算法在构造亲和矩阵过程中, 利用低秩稀疏约束同时捕捉了数据的全局结构和局部结构, 优化了子空间聚类的性能. 三支决策是一种基于粗糙集模型的决策思想, 常被应用于聚类算法来反映聚类过程中对象与类簇之间的不确定性关系. 本文基于三支决策的思想, 设计了一种投票制度作为决策依据, 将其与多视图稀疏子空间聚类组成一个统一框架, 从而形成一种新的算法. 在多个人工数据集和真实数据集上的实验表明, 该算法可提高多视图聚类的准确性.     

隐式低秩稀疏表示的多视角子空间聚类

针对多视角子空间聚类问题,提出基于隐式低秩稀疏表示的多视角子空间聚类算法(LLSMSC).算法构建多个视角共享的隐式结构,挖掘多视角之间的互补性信息.通过对隐式子空间的表示施加低秩约束和稀疏约束,捕获数据的局部结构和稀疏结构,使聚类结果更准确.同时,使用基于增广拉格朗日乘子交替方向最小化算法高效求解优化问题.在6个不同数据集上的实验验证LLSMSC的有效性和优越性.     

局部加权最小二乘回归的重叠子空间聚类算法

针对大多数子空间聚类方法处理非线性数据时聚类效果不理想、不同子空间数据相似性较高及聚类发生错误时无法及时校验的问题,提出局部加权最小二乘回归的重叠子空间聚类算法.利用K近邻思想突出数据的局部信息,取代非线性数据结构,通过高斯加权的方法选择最相似的近邻数据点,得到最优表示系数.然后使用重叠概率模型判断子空间内数据的重叠部分,再次校验聚类结果,提高聚类准确率.在人造数据集和真实数据集上分别进行测试,实验表明,文中算法能够取得较理想的聚类结果.     

融入距离信息的最小二乘回归子空间分割

有效分类基因表达数据有助于癌症的诊断,而基因表达数据的高维数、小样本特点使基因表达数据分类困难。针对这个问题,在最小二乘回归子空间分割算法中考虑距离信息,提出融入距离信息的最小二乘回归子空间分割算法。融入距离信息的最小二乘回归子空间分割模型除了考虑数据之间的相关性,还考虑了数据之间的距离信息。在基因表达数据集上的实验结果表明,所提出的算法是有效的聚类方法。     

联合低秩稀疏的多核子空间聚类算法

针对多核子空间谱聚类算法没有考虑噪声和关系图结构的问题，提出了一种新的联合低秩稀疏的多核子空间聚类算法(JLSMKC)。首先，通过联合低秩与稀疏表示进行子空间学习，使关系图具有低秩和稀疏结构属性；其次，建立鲁棒的多核低秩稀疏约束模型，用于减少噪声对关系图的影响和处理数据的非线性结构；最后，通过多核方法充分利用共识核矩阵来增强关系图质量。7个数据集上的实验结果表明，所提算法JLSMKC在聚类精度(ACC)、标准互信息(NMI)和纯度(Purity)上优于5种流行的多核聚类算法，同时减少了聚类时间，提高了关系图块对角质量。该算法在聚类性能上有较大优势。     

面向矩阵秩函数准确估计的自表示子空间聚类方法

传统子空间聚类方法通常使用矩阵核范数代替矩阵秩函数进行低秩矩阵恢复,然而在目标优化过程中主要关注低秩矩阵大奇异值的影响,容易导致矩阵秩估计不准确的问题。为此,在分析矩阵奇异值长尾分布特点基础上,提出使用基于截断Schatten-p范数的低秩子空间聚类模型。该模型充分考虑小奇异值对低秩矩阵恢复过程的贡献,利用小奇异值信息拟合矩阵奇异值的长尾分布,通过对矩阵秩函数进行准确估计以提升子空间聚类性能。实验结果表明,与现有加权核范数子空间聚类WNNM-LRR和近邻约束子空间聚类BDR算法相比,在Extended Yale B数据集上的聚类准确性分别提升了11%和8%,所提方法能够更好地拟合数据奇异值分布以及生成准确的相似度矩阵。     

融合块对角约束的鲁棒低秩多核聚类

针对现有的多核学习(multiple kernel learning, MKL)子空间聚类方法忽略噪声和特征空间中数据的低秩结构问题,提出一种新的鲁棒多核子空间聚类方法(low-rank robust multiple kernel clustering, LRMKC),该方法结合块对角表示(block diagonal representation, BDR)与低秩共识核(low-rank consensus kernel, LRCK)学习,可以更好地挖掘数据的潜在结构.为了学习最优共识核,设计一种基于混合相关熵度量(mixture correntropy induced metric,MCIM)的自动加权策略,其不仅为每个核设置最优权重,而且通过抑制噪声提高模型的鲁棒性;为了探索特征空间数据的低秩结构,提出一种非凸低秩共识核学习方法;考虑到亲和度矩阵的块对角性质,对系数矩阵应用块对角约束. LRMKC将MKL、LRCK与BDR巧妙融合,以迭代提高各种方法的效率,最终形成一个处理非线性结构数据的全局优化方法.与最先进的MKL子空间聚类方法相比,通过在图像和文本数据集上的大量实验验证了...     

A survey on enhanced subspace clustering

Subspace clustering finds sets of objects that are homogeneous in subspaces of high-dimensional datasets, and has been successfully applied in many domains. In recent years, a new breed of subspace clustering algorithms, which we denote as enhanced subspace clustering algorithms, have been proposed to (1) handle the increasing abundance and complexity of data and to (2) improve the clustering results. In this survey, we present these enhanced approaches to subspace clustering by discussing the problems they are solving, their cluster definitions and algorithms. Besides enhanced subspace clustering, we also present the basic subspace clustering and the related works in high-dimensional clustering.     

基于格拉斯曼流形子空间融合的多视图聚类

现有的多视图聚类算法大多假设多视图数据点之间为线性关系,且在学习过程中无法保留原始特征空间的局部性;而在欧氏空间中进行子空间融合又过于单调,无法将学习到的子空间表示对齐。针对以上问题,提出了基于格拉斯曼流形融合子空间的多视图聚类算法。首先,将核技巧和局部流形结构学习结合以得到不同视图的子空间表示;然后,在格拉斯曼流形上融合这些子空间表示以得到一致性亲和矩阵;最后,对一致性亲和矩阵执行谱聚类来得到最终的聚类结果,并利用交替方向乘子法（ADMM）来优化所提模型。与核多视图低秩稀疏子空间聚类（KMLRSSC）算法相比,所提算法的聚类精度在MSRCV1、Prokaryotic、Not-Hill数据集上分别提高了20.83个百分点、9.47个百分点和7.33个百分点。实验结果验证了基于格拉斯曼流形融合子空间的多视图聚类算法的有效性和良好性能。     

类属型数据核子空间聚类算法

现有的类属型数据子空间聚类方法大多基于特征间相互独立假设,未考虑属性间存在的线性或非线性相关性.提出一种类属型数据核子空间聚类方法.首先引入原作用于连续型数据的核函数将类属型数据投影到核空间,定义了核空间中特征加权的类属型数据相似性度量.其次,基于该度量推导了类属型数据核子空间聚类目标函数,并提出一种高效求解该目标函数的优化方法.最后,定义了一种类属型数据核子空间聚类算法.该算法不仅在非线性空间中考虑了属性间的关系,而且在聚类过程中赋予每个属性衡量其与簇类相关程度的特征权重,实现了类属型属性的嵌入式特征选择.还定义了一个聚类有效性指标,以评价类属型数据聚类结果的质量.在合成数据和实际数据集上的实验结果表明,与现有子空间聚类算法相比,核子空间聚类算法可以发掘类属型属性间的非线性关系,并有效提高了聚类结果的质量.     

An affine subspace clustering algorithm based on ridge regression

Recent subspace clustering algorithms, which use sparse or low-rank representations, conduct clustering by considering the errors and noises into their objective functions. Then, the similarity matrix is solved via alternating direction method of multipliers. However, these approaches are subject to the restriction that the characteristic of errors and outliers in sample points should be known as the prior information. Furthermore, these algorithms are time-consuming during the iterative process. Motivated by this observation, this paper proposes a new subspace clustering algorithm: an affine subspace clustering algorithm based on ridge regression. The method introduces ridge regression as objective function which applies affine criteria into subspace clustering. An analytic solution to the problem has been determined for the coefficient matrix. Experimental results obtained on face datasets demonstrate that the proposed method not only improves the accuracy of the clustering results, but also enhances the robustness. Furthermore, the proposed method reduces the computational complexity.     

Supervised pre-clustering for sparse regression

Kernel algorithms for large data-sets are now an active research area motivated by the many real world problems producing very large numbers of data points. However, standard kernel methods scale poorly with the size of the data-set. We propose a mathematically motivated approach to sparse function estimation that utilises the uniform continuity properties of functions in continuous reproducing kernel Hilbert spaces (RKHS) defined on compact domains. Using the uniform continuity properties of the function a similarity measure on data points is defined that allows data to be pre-clustered. Unlike previous methods for sparse function estimation using clustering the proposed approach is supervised and relies on well-defined mathematical concepts. The cluster centres are used to form a sparse RKHS subspace within which the function is estimated. The greedy pre-clustering algorithms and sparse model based on pre-clustering and committee machine techniques are presented. Results are presented to demonstrate the application of the proposed algorithms on function approximation problems.     

Enhanced soft subspace clustering integrating within-cluster and between-cluster information

While within-cluster information is commonly utilized in most soft subspace clustering approaches in order to develop the algorithms, other important information such as between-cluster information is seldom considered for soft subspace clustering. In this study, a novel clustering technique called enhanced soft subspace clustering (ESSC) is proposed by employing both within-cluster and between-class information. First, a new optimization objective function is developed by integrating the within-class compactness and the between-cluster separation in the subspace. Based on this objective function, the corresponding update rules for clustering are then derived, followed by the development of the novel ESSC algorithm. The properties of this algorithm are investigated and the performance is evaluated experimentally using real and synthetic datasets, including synthetic high dimensional datasets, UCI benchmarking datasets, high dimensional cancer gene expression datasets and texture image datasets. The experimental studies demonstrate that the accuracy of the proposed ESSC algorithm outperforms most existing state-of-the-art soft subspace clustering algorithms.