基于多核学习的投影非负矩阵分解算法

非负矩阵分解(NMF)把给定的数据矩阵分解成低维的非负基矩阵和对应的系数矩阵,两者之间存在必然联系。为此,研究者将基矩阵转换为系数矩阵的投影,进一步提高分解效率。但是该方法无法处理非线性数据,核函数的引入部分解决了此问题,却同时导致核函数参数选择的问题。基于多核学习理论,提出了一种多核学习的投影非负矩阵分解(MKPNMF)算法,该算法有效地避免了核函数参数选择的问题,同时提高了学习性能。在实际人脸数据上的实验结果表明,MKPNMF较已有的NMF类方法具备明显的性能优势。     

基于核非负矩阵分解的有向图聚类算法

现有的有向图聚类算法大多基于向量空间中节点间的近似线性关系假设,忽略了节点间存在的非线性相关性。针对该问题,提出一种基于核非负矩阵分解（KNMF）的有向图聚类算法。首先,引入核学习方法将有向图的邻接矩阵投影到核空间,并通过特定的正则项约束原空间及核空间中节点间的相似性。其次,提出了图正则化核非对称NMF算法的目标函数,并在非负约束条件下通过梯度下降方法推导出一个聚类算法。该算法在考虑节点连边的方向性的同时利用核学习方法建模节点间的非线性关系,从而准确地揭示有向图中潜在的结构信息。最后,在专利-引文网络（PCN）数据集上的实验结果表明,簇的数目为2时,和对比算法相比,所提算法将DB值和DQF值分别提高了约0.25和8%,取得了更好的聚类质量。     

基于邻域多核学习的后融合多视图聚类算法

基于图谱理论的多视图聚类是该领域的代表性方法之一.然而,现有模型尚存在3个问题.1)这类方法大多没有考虑不同视图之间的聚类性能差异,强制要求所有视图共享一个公共相似图;2)部分模型将相似图构建和聚类分步进行,导致所构建的相似图对于聚类任务并非最优;3)虽已有若干模型采用核学习处理数据间的非线性关系,但大多基于全局模型计算数据在核空间中的自表达关系,不利于充分挖掘局部非线性信息,且易带来沉重的计算负荷.为了应对以上问题,提出一种基于邻域多核学习的后融合多视图聚类算法,在类划分空间而不是数据相似图的层次进行信息融合,采用邻域多核学习方案在充分保留局部非线性关系的同时减轻计算负荷,并提出一种交替优化方案将相似图构建、多核组合、类指示矩阵生成等子任务在统一的框架下进行协同优化.多个数据集上的实验表明:该算法具有良好的多视图聚类效果.     

利用正则化矩阵分解技术的多视图聚类方法

为了解决具有多种特征属性的多媒体数据（多视图数据）挖掘问题,在非负矩阵分解（NMF）算法的基础上,提出了一种多视图正则化矩阵分解算法（MRMF）,该算法使用了多元非负矩阵分解技术,同时使用[L2,1]范数描述矩阵分解的损失函数,并采用多视图流形正则化对矩阵分解进行正则化约束。与现有的一些数据聚类或多视图聚类算法相比,提出的MRMF算法不易受到原始数据中噪声的影响,而且能够充分考虑到不同视图在聚类中所具有不同权重的问题,能够对多视图数据进行较为准确的聚类。MRMF算法的有效性在一些经典的公开数据集上进行了验证,并取得了较好的聚类精度。     

基于加权核非负矩阵分解的短文本聚类算法

对互联网产生的大量短文本进行聚类分析具有重要的应用价值,但由于短文本存在特征稀疏和特征难以提取的问题,导致传统的文本聚类算法难以有效处理该问题。为了解决该问题,利用非负矩阵分解（NMF）模型提出基于加权核非负矩阵分解（WKNMF）的短文本聚类算法。该算法通过核方法的映射关系将稀疏特征空间映射到高维隐性空间,从而可以充分利用短文本中的隐性语义特征进行聚类;另外,利用核技巧简化高维数据的复杂运算,并通过迭代更新规则不断地动态调整短文本的权重向量,从而可以区分不同短文本对聚类的重要性。在真实的微博数据集上进行了相关实验,结果表明WKNMF算法比K均值、隐含狄利克雷分布（LDA）、NMF和自组织神经网络（SOM）具有更好的聚类质量,准确度和归一化互信息分别达到了66.38%和66.91%。     

稀疏限制的增量式鲁棒非负矩阵分解及其应用

针对鲁棒非负矩阵分解（RNMF）的运算规模随训练样本数量逐渐增多而不断增大的问题，提出一种稀疏限制的增量式鲁棒非负矩阵分解算法。首先，对初始数据进行鲁棒非负矩阵分解；然后，将其分解结果参与到后续迭代运算；最后，在对系数矩阵增加稀疏限制的情况下与增量式学习相结合，使目标函数值在迭代求解时下降地更快。该算法在节省运算时间的同时提高了分解后数据的稀疏度。在数值实验中，将所提算法与鲁棒非负矩阵分解算法、稀疏限制的鲁棒非负矩阵分解（RNMFSC）算法进行了比较。在ORL和YALE人脸数据库上的实验结果表明，所提算法在运算时间和分解后数据的稀疏度等方面均优于其他两个算法，并且还具有较好的聚类效果，尤其在YALE人脸数据库上当聚类类别数为3时该算法的聚类准确率达到了91.67%。     

基于图正则化的半监督非负矩阵分解

提出了一种基于图正则化的半监督非负矩阵分解算法（GSNMF）,克服了非负矩阵分解（NMF）、约束非负矩阵分解（CNMF）和图正则化非负矩阵分解（GNMF）方法忽略样本数据的局部几何结构或标签信息不足的缺陷,且NMF、CNMF和GNMF均为GSNMF的特例。也从理论上证明了GSNMF算法的收敛性。该算法对样本数据进行低维非负分解时,在图框架下既保持数据的几何结构,又利用已知样本的标签信息,在进行半监督学习时,同类样本能更好地聚集而类间距离尽可能大。在人脸数据库ORL、FERET和手写体数据库USPS上的仿真结果表明,相对于NMF及其一些改进算法,GSNMF均具有更高的聚类精度。     

基于核技巧和超图正则的稀疏非负矩阵分解

针对传统的非负矩阵分解（NMF）应用于聚类时,没有同时考虑到鲁棒性和稀疏性,导致聚类性能较低的问题,提出了基于核技巧和超图正则的稀疏非负矩阵分解算法（KHGNMF）。首先,在继承核技巧的良好性能的基础上,用L_2,1范数改进标准非负矩阵分解中的F范数,并添加超图正则项以尽可能多地保留原始数据间的内在几何结构信息;其次,引入L_2,1/2伪范数和L_1/2正则项作为稀疏约束合并到NMF模型中;最后,提出新算法并将新算法应用于图像聚类。在6个标准的数据集上进行验证,实验结果表明,相对于非线性正交图正则非负矩阵分解方法,KHGNMF使聚类性能（精度和归一化互信息）成功地提升了39%~54%,有效地改善和提高了算法的稀疏性和鲁棒性,聚类效果更好。     

基于非负矩阵分解的半监督模型用于多层网络聚类

真实世界多层网络具有多维度、高复杂性的特征，使得仅使用网络拓扑信息进行聚类的算法往往不能精准挖掘网络的公共社区结构。为了解决这一问题，本文提出一种基于非负矩阵分解的半监督模型（Semi-supervised Model with Non-negative Matrix Factorization, SeNMF）。首先，该模型设计基于PageRank算法的贪婪搜索方法获取网络的共识先验信息，用以增强每一层网络的拓扑结构，降低网络噪声；然后利用整体非负矩阵分解将所有网络层的低维表示在格拉斯曼流形上融合以获取更优的公共低维表示矩阵；最后利用K-means聚类得到网络的公共社区结构。实验表明，无论是网络层数的增加还是层间噪声的增强，SeNMF模型相较其他算法在多层网络聚类时均具有一定的优越性。     

融合局部结构学习的大规模子空间聚类算法

常规的大规模子空间聚类算法在计算锚点亲和矩阵时忽略了数据之间普遍存在的局部结构，且在计算拉普拉斯（Laplacian）矩阵的近似特征向量时存在较大误差，不利于数据聚类。针对上述问题，提出一种融合局部结构学习的大规模子空间聚类算法（LLSC）。所提算法将局部结构学习嵌入锚点亲和矩阵的学习，从而能够综合利用全局和局部信息挖掘数据的子空间结构；此外，受非负矩阵分解（NMF）的启发，设计一种迭代优化方法以简化锚点亲和矩阵的求解过程；其次，根据Nystr?m近似方法建立锚点亲和矩阵与Laplacian矩阵的数学联系，并改进Laplacian矩阵特征向量的计算方法以提升聚类性能。相较于LMVSC(Large-scale Multi-View Subspace Clustering)、SLSR(Scalable Least Square Regression)、LSC-k(Landmark-based Spectral Clustering using k-means)和k-FSC(k-Factorization Subspace Clustering),LLSC在4个广泛使用的大规模数据集上显示出...     

联合低秩稀疏的多核子空间聚类算法

针对多核子空间谱聚类算法没有考虑噪声和关系图结构的问题，提出了一种新的联合低秩稀疏的多核子空间聚类算法(JLSMKC)。首先，通过联合低秩与稀疏表示进行子空间学习，使关系图具有低秩和稀疏结构属性；其次，建立鲁棒的多核低秩稀疏约束模型，用于减少噪声对关系图的影响和处理数据的非线性结构；最后，通过多核方法充分利用共识核矩阵来增强关系图质量。7个数据集上的实验结果表明，所提算法JLSMKC在聚类精度(ACC)、标准互信息(NMI)和纯度(Purity)上优于5种流行的多核聚类算法，同时减少了聚类时间，提高了关系图块对角质量。该算法在聚类性能上有较大优势。     

基于Seed集的半监督核聚类

提出了一种新的半监督核聚类算法——SKK-均值算法。算法利用一定数量的标记样本构成seed集,作为监督信息来初始化K-均值算法的聚类中心,引导聚类过程并约束数据划分;同时还采用了核方法把输入数据映射到高维特征空间,并用核函数来实现样本之间的距离计算。在UCI数据集上进行了数值实验,并与K-均值算法和核-K-均值算法进行了比较。     

模糊核聚类的自适应算法

针对模糊聚类算法在样本特征不明显时不能取得很好的聚类效果，以及现有的模糊聚类算法需要事先确定聚类数，随机性强、容易陷入局部最优等弱点，将核函数和有效性函数引入到模糊聚类中，提出了模糊核聚类的自适应算法,此方法在性能上比经典的聚类算法有了较大的改进,取得了更好的聚类效果,实验结果证实了该方法的有效性和可行性.     

Multiple kernel clustering based on centered kernel alignment

Multiple kernel clustering (MKC), which performs kernel-based data fusion for data clustering, is an emerging topic. It aims at solving clustering problems with multiple cues. Most MKC methods usually extend existing clustering methods with a multiple kernel learning (MKL) setting. In this paper, we propose a novel MKC method that is different from those popular approaches. Centered kernel alignment—an effective kernel evaluation measure—is employed in order to unify the two tasks of clustering and MKL into a single optimization framework. To solve the formulated optimization problem, an efficient two-step iterative algorithm is developed. Experiments on several UCI datasets and face image datasets validate the effectiveness and efficiency of our MKC algorithm.     

基于核的非凸数据模糊K-均值聚类研究

将模糊K-均值聚类算法与核函数相结合,采用基于核的模糊K-均值聚类算法来进行聚类。核函数隐含地定义了一个非线性变换,将数据非线性映射到高维特征空间来增加数据的可分性。该算法能够解决模糊K-均值聚类算法对于非凸形状数据不能正确聚类的问题。     

基于改进核模糊C均值类间极大化聚类算法

传统的核聚类仅考虑了类内元素的关系而忽略了类间的关系,对边界模糊或边界存在噪声点的数据集进行聚类分析时,会造成边界点的误分问题。为解决上述问题,在核模糊C均值（KFCM）聚类算法的基础上提出了一种基于改进核模糊C均值类间极大化聚类（MKFCM）算法。该算法考虑了类内元素和类间元素的联系,引入了高维特征空间的类间极大惩罚项和调控因子,拉大类中心间的距离,使得边界处的样本得到了较好的划分。在各模拟数据集的实验中,该算法在类中心的偏移距离相对其他算法均有明显降低。在人造高斯数据集的实验中,该算法的精度（ACC）、归一化互信息（NMI）、芮氏指标（RI）指标分别提升至0.9132,0.7575,0.9138。