基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

深度融合多视图聚类网络

现有的深度多视图聚类方法存在以下缺点：1）在对单一视图进行特征提取时,只考虑了样本的属性信息或结构信息,而没有将二者进行融合,导致提取到的特征不能充分表示原始数据的潜在结构;2）将特征提取与聚类划分为两个独立的过程,没有建立两者间的联系,因此无法利用聚类过程优化特征提取过程。针对以上问题,提出一种深度融合多视图聚类网络（DFMCN）。首先,结合自编码器和图卷积自编码器融合样本的属性信息和结构信息,获取每个视图的嵌入空间;然后,通过加权融合获取融合视图嵌入空间并在此空间中进行聚类,并且在聚类过程中采用双层自监督机制优化特征提取过程。在FM(Fashion-MNIST）、HW(HandWritten numerals）、YTF(You Tube Face）数据集上的实验结果表明：DFMCN的准确率高于所有对比方法;在FM数据集上,DFMCN的准确率比次优的CMSC-DCCA(Cross-Modal Subspace Clustering via Deep Canonical Correlation Analysis）方法提高了1.80个百分点,标准化互信息（NMI）高于除CMSC-DCCA...     

面向不完整多视图聚类的深度互信息最大化方法

多视图聚类是无监督学习领域研究热点之一,近年来涌现出许多优秀的多视图聚类工作,但其中大多数方法均假设各视图是完整的,然而真实场景下数据收集过程极容易发生缺失,造成部分视图不完整。同时,很多方法采取传统机器学习方法（即浅层模型）对数据进行特征学习,这导致模型难以挖掘高维数据内的复杂信息。针对以上问题,本文提出一种面向不完整多视图聚类的深度互信息最大化方法。首先利用深度自编码器挖掘各视图深层次的隐含特征,并通过最大化潜在表示间的互信息来学习各视图间的一致性知识。然后,对于不完整视图中的缺失数据,利用多视图的公共潜在表示进行补全。此外,本文采用一种自步学习策略对网络进行微调,从易到难地学习数据集中的样本,得到更加宜于聚类的特征表示。最后,在多个真实数据集上进行实验,验证了本文方法的有效性。     

基于深度自编码的多视图子空间聚类网络

传统子空间浅层聚类模型对于多视图和非线性数据的聚类性能不佳。为此,提出一种基于深度自编码器的多视图子空间聚类网络模型,通过在深度自编码器中引入子空间聚类中的“自我表示”特性以及加权稀疏表示,提升了多视图子空间聚类算法的学习能力。推导的深度自编码多视图子空间聚类算法能够聚类具有复杂结构的数据点。通过多视图数据集验证了提出算法的有效性。结果表明,该方法能够有效地挖掘数据固有的多样性聚类结构,并利用多个视图之间互补信息,在性能上与现有方法相比有较大的提升。     

改进的自步深度不完备多视图聚类

随着数据量的增大,多视图聚类中出现带有缺失视图数据的情况愈发常见,此问题被称为不完备多视图聚类,而引入深度模型进行聚类通常可以获得比浅层模型更为出色的表现。本文提出一种新颖的深度不完备多视图聚类模型,称为改进的自步深度不完备多视图聚类。在该模型中,充分考虑多视图数据之间的互补性,利用基于多视图特性的最近邻填充方案将缺失视图补全。使用多个自编码器分别获取多个视图数据的低维潜在特征,同时引入图嵌入策略保持潜在特征之间的几何结构。运用一致性原则将来自不同的视图潜在特征融合以获得一致潜在特征,在此基础上运用自步学习的方法来增强聚类效果。实验结果表明,对比现有的不完备多视图聚类模型,本文模型可以更加灵活且高效地应对各种不完备多视图聚类情况,提升了不完备多视图聚类的鲁棒性与表现效果。     

基于自编码器的深度聚类算法综述

聚类分析作为一种常见的分析方法,广泛应用于各种场景。随着机器学习技术的发展,深度聚类算法也成了当下研究的热点,基于自编码器的深度聚类算法是其中的代表算法。为了及时了解掌握基于自编码器的深度聚类算法的发展,介绍了四种自编码器的模型,对近些年代表性的算法依照自编码器的结构进行了分类。在MNIST、USPS、Fashion-MNIST数据集上,针对传统聚类算法和基于自编码器的深度聚类算法进行了实验对比、分析,最后对基于自编码器的深度聚类算法目前存在的问题进行了总结,展望了深度聚类算法的研究方向。     

基于解耦变分自编码器的多视图表示学习

为了高效利用多视图数据之间的一致性和互补性信息,提出了一种多视图解耦的变分自编码器（MVDVAE,Multi-View Disentangled Variational Auto-Encoder）模型。该模型针对一致性信息提出了一种基于变分自编码器（VAE,Variational Auto-Encoder）的分布对齐和加权融合策略,可以达到视图间共有信息的一致性;其次,为了保留各视图的特有信息以及解耦一致性和互补性,提出了强化重建损失,去保留采样后的互补性信息。实验结果表明,该模型相较于其他方法在三个真实数据集上都有较大的提升。     

多样性引导的深度多视图聚类算法

多视图聚类旨在从不同视图的多样性信息中, 学习到更加全面和准确的共识表示, 以提高模型的聚类性能. 目前大部分多视图聚类算法采用希尔伯特-施密特独立性准则(HSIC)或自适应加权方法从全局考虑各视图的多样性, 忽略了各视图样本之间的局部多样性信息学习. 针对上述问题, 提出了多样性引导的深度多视图聚类算法. 首先, 提出了融合多头自注意力机制的软聚类模块, 多头自注意力机制用来学习全局多样性, 软聚类模糊C均值算法用来学习局部多样性; 其次, 在深度图自编码器网络结构中引入软聚类模块, 以达到多样性信息引导潜在表示生成的目的; 然后, 将得到的各视图潜在表示进行加权融合得到共识表示, 并采用谱聚类算法对共识表示进行聚类; 最后, 在3个常用数据集上进行了对比实验和消融实验. 实验结果表明, 提出的聚类算法具有良好的聚类效果, 以及提出的多样性信息学习模块可以有效提高算法聚类性能.     

多元时序的深度自编码器聚类算法

针对深度聚类算法对多变量时间序列数据（MTS）的特征提取能力不足等问题,提出一种新的深度聚类结构模型（MDTC）。为了提取MTS的关键特征并实现降维,提出一维卷积学习MTS的属性和时序维度的特征表示与循环神经网络等网络层组成的自编码器结构;为了提高模型对时序特征的表示能力,提出了MCBAM时序注意力模块,用于增强MTS序列中不同时间段的表示特征。在九个公开UEA多元时序数据集进行了实验,模型的自编码器结构相较其他自编码器在七个数据集上提升了2%~9%;模型的MCBAM模块相较其他注意力模块在六个数据集上提升了0.3%~2%。实验表明MDTC模型结构和MCBAM模块的有效性,同时模型对比其他聚类算法具有优异的表现。     

基于视图互信息加权的多视图集成聚类算法

现有的多视图聚类算法往往缺乏对各视图可靠度的评估和对视图进行加权的能力,而一些具备视图加权的多视图聚类算法则通常依赖于特定目标函数的迭代优化,其目标函数的适用性及部分敏感超参数调优的合理性均对实际应用有显著影响。针对这些问题,提出一种基于视图互信息加权的多视图集成聚类（MEC-VMIW）算法,主要过程可分为两个阶段,即视图互加权阶段与多视图集成聚类阶段。在视图互信息加权阶段,对数据集进行多次随机降采样,以降低评估加权过程的问题规模,进而构建多视图降采样聚类集合,根据不同视图的聚类结果之间的多轮互评得到视图可靠度评估,并据此对视图进行加权;在多视图集成聚类阶段,对各个视图数据构建基聚类集合,并将多个基聚类集合加权建模至二部图结构,利用高效二部图分割算法得到最终多视图聚类结果。在若干个多视图数据集上的实验结果验证了所提出的多视图集成聚类算法的鲁棒聚类性能。     

鲁棒自加权的多视图子空间聚类

随着收集和存储数据的能力不断提高,真实数据通常由不同的表现形式(视图)组成.因此多视图学习在机器学习与模式识别领域中扮演着重要的角色.近年来,多种多视图学习方法被提出并应用于不同的实际场景中.然而,在目标函数中大部分数据点存在平方残差,少数误差较大的离群点很容易令目标函数失效,因此如何处理冗余数据是多视图学习面临的重要...     

基于聚类变分自编码器的协同过滤算法

针对协同过滤推荐模型的数据稀疏性问题,提出一种带有聚类隐变量的变分自编码器,用于处理用户的隐式反馈数据.该深度生成模型既能学习到隐变量的特征分布,同时又能完成对特征的聚类.先以多项式似然来重构原始数据,再用贝叶斯变分推断估计参数,并且将正则化系数引入到模型当中,通过调节其大小能够避免过度正则化,使模型的拟合效果更好.这种非线性的概率模型对缺失评分的预测有更好的建模能力.在MovieLens的三个数据集上的实验结果表明,该算法相比较于其他先进的基线有更优秀的推荐性能.     

基于张量图卷积的多视图聚类

针对多视图聚类进行的数据表示学习,通常采用浅层模型与线性函数实现数据嵌入,该方式无法有效挖掘多种视图间丰富的数据关系.为充分表示不同视图间的一致性信息与互补性信息,本文提出基于张量图卷积的多视图聚类方法(TGCNMC).该方法首先将传统的平面图拼接为张量图,并采用张量图卷积学习各视图中数据的近邻结构;接着利用图间卷积进...     

基于重构误差的深度聚类方法

聚类是机器学习的核心任务之一,通常是在无标签条件下,依靠发掘数据潜在的结构进行聚类。近年来,数据的复杂度越来越高,数据隐空间中存在各种冗余复杂的空间结构,传统聚类算法难以从中分离出不同簇的数据。深度学习具有强大的特征表示和非线性逼近能力,在无监督聚类领域也显现出优越性,基于深度学习的聚类模型有效提高了各类复杂数据的聚类结果。该文提出了一种新的端到端深度聚类模型,在自编码器框架下,构建多个不同的聚类子空间,并利用高维样本在多个子空间的低维特征重构原始样本,同时增加一个对样本进行簇预测的网络,利用预测的概率向量对不同簇的解码样本进行加权融合,通过最小化融合样本与原始样本之间的重构误差并对子空间加以约束,最终实现对高维样本的聚类。模型同时兼顾聚类簇的子空间结构和不同簇之间的重构误差,在标准数据集上取得了较好的聚类效果。     

结合地标点与自编码的快速多视图聚类网络

针对目前存在的多视图聚类方法大多是对聚类准确性进行研究而未着重于提升算法效率,从而难以应用于大规模数据的现象,本文提出一种结合地标点和自编码的快速多视图聚类算法.利用加权排序算法选出每个视图中最具代表性的地标点.使用凸二次规划函数从数据中直接生成多个视图的相似度矩阵,求得多个视图的共识相似度矩阵以有效利用多个视图包含的...     

基于相似图投影学习的多视图聚类

随着数据来源方式的多样化发展,多视图聚类成为研究热点。大多数算法过于专注利用图结构寻求一致表示,却忽视了如何学习图结构本身;此外,一些方法通常基于固定视图进行算法优化。为了解决这些问题,提出了一种基于相似图投影学习的多视图聚类算法(multi-view clustering based on similarity graph projection learning, MCSGP),通过利用投影图有效地融合了全局结构信息和局部潜在信息到一个共识图中,而不仅是追求每个视图与共识图的一致性。通过在共识图矩阵的图拉普拉斯矩阵上施加秩约束,该算法能够自然地将数据点划分到所需数量的簇中。在两个人工数据集和七个真实数据集的实验中,MCSGP算法在人工数据集上的聚类效果表现出色,同时在涉及21个指标的真实数据集中,有17个指标达到了最优水平,从而充分证明了该算法的优越性能。     

基于多样性与一致性的单步多视图聚类

随着数据采集技术的发展,多视图数据变得越来越常见。与单视图数据相比,多视图数据包含更丰富的信息,通常用一致性与多样性来刻画。现有基于图的多视图聚类方法大多只关注视图间的一致性信息,忽视了视图间的多样性信息,并且图的构建与聚类过程分离,从而影响聚类算法的效果。提出基于多样性与一致性的单步多视图聚类算法(OMCDC)。基于“距离较近的数据点成为邻居的可能性较大”这一先验知识构建各个视图的相似性图。不同于以往算法直接融合相似性图获得公共图,OMCDC将每个视图的相似性图分解为一致性图和多样性图,通过融合一致性图获得更具一致性的公共图。在此基础上,引入谱旋转,联合优化低维谱嵌入和聚类概率矩阵,将图学习和聚类融为一体,直接获得聚类结果。OMCDC充分利用了多视图数据的一致性信息与多样性信息,结合谱旋转实现了单步多视图聚类。实验结果表明,该算法在100L和HW2数据集上的聚类准确率分别为94.62%和99.30%,相比MVGL、AWP、MCGC等方法具有较优的聚类性能。     

基于一致图学习的鲁棒多视图子空间聚类

针对多视图数据分析易受原始数据集噪声干扰,以及需要额外的步骤计算聚类结果的问题,提出一种基于一致图学习的鲁棒多视图子空间聚类（RMCGL）算法。首先,在各个视图下学习数据在子空间中的潜在鲁棒表示,并基于该表示得到各视图的相似度矩阵。随后,基于得到的多个相似度矩阵学习一个统一的相似度图。最后,通过对相似度图对应的拉普拉斯矩阵添加秩约束,确保得到的相似度图具有最优的聚类结构,并可直接得到最终的聚类结果。该过程在一个统一的优化框架中完成,能同时学习潜在鲁棒表示、相似度矩阵和一致图。RMCGL算法的聚类精度（ACC）在BBC、100leaves和MSRC数据集上比基于图的多视图聚类（GMC）算法分别提升了3.36个百分点、5.82个百分点和5.71个百分点。实验结果表明,该算法具有良好的聚类效果。     

一致性引导的自适应加权多视图聚类

随着获取多模态或多视图数据的日益容易,多视图聚类研究受到广泛关注.然而,很多方法直接从原始数据中学习邻接矩阵,忽视了数据中噪声的影响.此外,还有一些方法将各个视图同等对待,而实际上各视图在聚类过程中所发挥的作用是不同的.为解决上述问题,提出了一种基于Markov链的聚类算法,名为一致性引导的自适应加权多视图聚类(consensus guided auto-weighted multi-view clustering, CAMC).首先为每个视图构造转移概率矩阵;然后,以自适应加权的方式获得一致性转移概率矩阵,并对一致性转移概率矩阵的拉普拉斯矩阵进行了秩约束,确保拉普拉斯图中连通分量的数目正好等于簇的数目.此外,基于交替方向乘子法(alternating direction method of multipliers, ADMM)优化策略对问题进行求解.在1个人造数据集和7个真实数据集上的实验结果证明了该算法的有效性,其聚类性能优于现有的8种基准算法.     

基于谱结构融合的多视图聚类

多视图聚类需要将多个视图的数据信息进行融合表示,是一项重要且具有挑战的任务.至今仍存在2个难解的问题：1)如何将多视图信息有效融合,减少信息丢失;2)如何将图学习和谱聚类同时进行,避免2步策略带来次优化结果.由于数据本身存在噪声并且各视图数据差异较大,在数据空间进行融合可能会造成重要信息的损失;另外,考虑到不同视图的数据应具有相同的聚类结构.为此提出基于谱结构融合的多视图聚类模型,将各视图信息在谱嵌入阶段实施融合,一方面避免了噪声和各视图数据差异的影响,另一方面融合的部位和方式更自然,减少了融合阶段信息的丢失.另外,该模型利用子空间自表示进行图学习,有效地将图学习和谱聚类整合到统一框架中进行联合优化学习.在5个真实数据集上的实验表明了模型的有效性和优越性.