困难样本采样联合对比增强的深度图聚类

针对困难样本挖掘的图聚类算法是最近的研究热点,目前算法存在的主要问题有：对比方法和样本对加权策略缺少良好的融合机制;采样正样本时忽略了视图内部的“假阴性”样本;忽视图级信息对聚类的帮助。针对上述问题,提出困难样本采样联合对比增强的图聚类算法。首先使用自编码器学习嵌入,根据计算的伪标签、相似度、置信度信息为表示学习设计一种自加权对比损失,统一不同视图下节点对比和困难样本对加权策略。通过调整不同置信区域样本对的权重,损失函数驱动模型关注不同类型的困难样本以学习有区分性的特征,提高簇内表示的一致性和簇间表示的差异性,增强对样本的判别能力。其次,图级表示经聚类网络投影,通过聚类对比损失最大化不同视图下聚类的表示一致性。最后联合两种对比损失,利用自监督训练机制进行迭代优化,完成聚类任务。该算法在5个真实数据集上与9个基准聚类算法对比,在4个权威指标上达到最优,聚类性能出色。消融实验表明两个对比模块的有效性和可迁移性。     

基于自监督图掩码神经网络的社交推荐模型

现有自监督社交推荐模型大多通过人工启发式图增强和单一关系视图间对比的策略构建自监督信号,性能受到增强自监督信号质量的影响,难以自适应地抑制噪声.由此,文中提出基于自监督图掩码神经网络的社交推荐模型.首先,分别构建用户社交和物品分类的单一关系视图及高阶连通异构图,采用图掩码学习范式指导用户社交图进行自适应和可学习的数据增强.然后,设计异构图编码器,学习视图中的潜在语义,跨视图对用户、物品嵌入进行对比学习,完成自监督任务,分别对用户、物品嵌入进行加权融合,完成推荐任务.最后,利用多任务训练策略联合优化自监督学习任务、推荐任务和图掩码任务.在3个真实数据集上的实验表明文中模型性能具有一定提升.     

语义增强的完全不平衡标签网络表示学习算法

在网络表示学习的研究中,数据的不完整性问题是一个重要问题,该问题使现有的表示学习算法难以达到预期效果。近年来,不少学者针对此类问题提出了解决方法,这些方法大多仅考虑标签信息本身的缺失问题,对数据不平衡性涉及较少,尤其是某一类别标签完全缺失的完全不平衡问题。解决这类问题的学习算法并不完善,主要存在的问题是在聚合邻域特征时侧重于考虑网络结构信息,未利用属性特征与语义特征间的关系来增强表示结果。为了解决以上问题,提出了融合属性特征与结构特征的SECT(Semantic Information Enhanced Network Embedding with Completely Imbalanced Labels)方法。首先,在考虑属性空间和语义空间关系的基础上,引入注意力机制进行监督学习,得到语义信息向量;然后,应用变分自编码器无监督提取结构特征以增强算法的鲁棒性;最后,在嵌入空间中融合语义与结构两种信息。将使用SECT算法得到的网络向量表示在Cora, Citeseer等数据集上进行测试,应用于节点分类任务时与RECT和GCN等算法相比,取得了0.86%～1.97%的效果提升。网络向量表示...     

面向RGB-D语义分割的多模态任意旋转自监督学习

基于RGB-D数据的自监督学习受到广泛关注, 然而大多数方法侧重全局级别的表示学习, 会丢失对识别对象至关重要的局部细节信息. 由于RGB-D数据中图像和深度具有几何一致性, 因此这可以作为线索来指导RGB-D数据的自监督特征表示学习. 在本文中, 我们提出了ArbRot, 它可以无限制地旋转角度并为代理任务生成多个伪标签用于自监督学习, 而且还建立了全局和局部之间的上下文联系. 本文所提出的ArbRot可以与其他对比学习方法联合训练, 构建多模态多代理任务自监督学习框架, 以增强图像和深度视图的特征表示一致性, 从而为RGB-D语义分割任务提供有效的初始化. 在SUN RGB-D和NYU Depth Dataset V2数据集上的实验结果表明, 多模态任意旋转自监督学习得到的特征表示质量均高于基线模型. 开源代码: https://github.com/Physu/ArbRot.     

基于双重视图耦合的自监督图表示学习模型

针对现有的图表示学习在自监督对比学习方法中存在视图差异较大,且依赖于负样本防止模型坍塌,导致节点表示能力弱及空间复杂度加大的问题,提出一种基于双重视图耦合的自监督图表示学习模型(self-supervised graph representation learning model with dual view coupling, DVCGRL),用于学习图数据表示。采用特征空间增广和结构空间扩充相结合生成双重视图,将双重视图作为正样本对输入孪生神经网络;利用图编码器提取图数据特征,通过多层感知器获得映射后的特征向量;采用耦合网络拉近双重视图的特征向量距离,提升节点表示能力,防止模型坍塌。在公开数据集上进行的节点分类实验结果表明,与当前主流图表示学习模型相比,该模型降低了空间复杂度,节点分类精度得到明显提高。     

结合图自编码器与聚类的半监督表示学习方法

节点标签是复杂网络中广泛存在的监督信息,对网络表示学习具有重要作用。基于此,提出了一种结合图自编码器与聚类的半监督表示学习方法（GAECSRL）。首先,以图卷积网络（GCN）和内积函数分别作为编码器和解码器,并构建图自编码器以形成信息传播框架;然后,在编码器生成的低维表示基础上增加k-means聚类模块,从而使图自编码器的训练过程和节点的类别分布划分形成自监督机制;最后,利用节点标签的判别信息对网络低维表示的类别划分进行指导,将网络表示生成、类别划分以及图自编码器的训练构建在一个统一的优化模型中,并获得融合节点标签信息的有效网络表示结果。在仿真实验中,将GAECSRL用于节点分类和链接预测任务。实验结果表明,相比DeepWalk、node2vec、全局结构信息图表示学习（GraRep）、结构化深度网络嵌入（SDNE）和用数据的转导式或归纳式嵌入预测标签和邻居（Planetoid）,在节点分类任务中GAECSRL的Micro?F1指标提高了0.9~24.46个百分点,Macro?F1指标提高了0.76~24.20个百分点;在链接预测任务中,GAECSRL的AUC指标提高了0.33~9.06个百分点,说明GAECSRL获得的网络表示结果能有效提高节点分类和链接预测任务的性能。     

基于融合变分图注意自编码器的深度聚类模型

聚类作为数据挖掘和机器学习中最基本的任务之一,在各种现实世界任务中已得到广泛应用.随着深度学习的发展,深度聚类成为一个研究热点.现有的深度聚类算法主要从节点表征学习或者结构表征学习两个方面入手,较少考虑同时将这两种信息进行融合以完成表征学习.提出一种融合变分图注意自编码器的深度聚类模型FVGTAEDC(Deep Clustering Model Based on Fusion Varitional Graph Attention Self-encoder),此模型通过联合自编码器和变分图注意自编码器进行聚类,模型中自编码器将变分图注意自编码器从网络中学习(低阶和高阶)结构表示进行集成,随后从原始数据中学习特征表示.在两个模块训练的同时,为了适应聚类任务,将自编码器模块融合节点和结构信息的表示特征进行自监督聚类训练.通过综合聚类损失、自编码器重构数据损失、变分图注意自编码器重构邻接矩阵损失、后验概率分布与先验概率分布相对熵损失,该模型可以有效聚合节点的属性和网络的结构,同时优化聚类标签分配和学习适合于聚类的表示特征.综合实验证明,该方法在5个现实数据集上的聚类效果均优于当前先进的深度聚类方法.     

多视图对比增强的异质图结构学习方法

异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在4种...     

基于正交基的多视图迁移谱聚类

挖掘多视图一致性是提升多视图聚类性能的关键,为更好地从多视图数据中学习一致性表示,提出一种新的多视图聚类算法OMTSC。OMTSC算法同时学习每个视图的聚类分配矩阵和特征嵌入,并将聚类分配矩阵分解为共享正交基矩阵和聚类编码矩阵。正交基矩阵可捕获并储存多视图一致性信息形成潜在聚类中心,经过加权融合的多视图聚类编码矩阵可更好地平衡不同视图的质量差异。引入基于二部图的协同聚类,实现正交基、聚类编码和特征嵌入3个矩阵的知识相互迁移,以提升多视图数据一致性和多样性,并利用特征嵌入的多样性最大化多视图一致性学习最优的潜在聚类中心,从而提高多视图聚类的性能。此外,基于群稀疏约束的特征嵌入可有效消除多视图数据中的噪声,提升算法的鲁棒性。在WikipediaArticles、COIL20和ORL数据集上的实验结果表明,与SC-Best、Co-Reg等先进的多视图聚类算法相比,OMTSC算法在ACC、NMI、ARI 3个评价指标上整体取得最优值,其中在COIL20和ORL数据集中的NMI评价指标均高于0.9。     

基于连续预测的半监督学习图像语义标注

为了在图像底层特征与高层语义之间建立关系,提高图像自动标注的精确度,结合基于图学习的方法和基于分类的标注算法,提出了基于连续预测的半监督学习图像语义标注的方法,并对该方法的复杂度进行分析。该方法利用标签数据提供的信息和标签事例与无标签事例之间的关系,根据邻接点(事例)属于同一个类的事实,构建K邻近图。用一个基于图的分类器,通过核函数有效地计算邻接信息。在建立图的基础上,把经过划分后的样本节点集通过基于连续预测的多标签半监督学习方法进行标签传递。实验表明,提出的算法在图像标注中的标注词的平均查准率、平均查全率方面有显著的提高。     

共识图学习驱动的自监督集成聚类

目的 随着实际应用场景中海量数据采集技术的发展和数据标注成本的不断增加,自监督学习成为海量数据分析的一个重要策略。然而,如何从海量数据中抽取有用的监督信息,并该监督信息下开展有效的学习仍然是制约该方向发展的研究难点。为此,提出了一个基于共识图学习的自监督集成聚类框架。方法 框架主要包括3个功能模块。首先,利用集成学习中多个基学习器构建共识图;其次,利用图神经网络分析共识图,捕获节点优化表示和节点的聚类结构,并从聚类中挑选高置信度的节点子集及对应的类标签生成监督信息;再次,在此标签监督下,联合其他无标注样本更新集成成员基学习器。交替迭代上述功能块,最终提高无监督聚类的性能。结果 为验证该框架的有效性,在标准数据集（包括图像和文本数据）上设计了一系列实验。实验结果表明,所提方法在性能上一致优于现有聚类方法。尤其是在MNIST-Test(modified national institute of standards and technology database)上,本文方法实现了97.78%的准确率,比已有最佳方法高出3.85%。结论 该方法旨在利用图表示学习提升自监督学习中监督信息捕获...     

联合自监督学习强化的多行为多任务推荐算法

为解决多行为推荐研究存在的未能全面捕获多行为交互特征,忽略点击等隐式反馈数据存在的大量噪声标签等问题,提出了联合自监督学习强化的多行为多任务推荐算法。首先,从行为影响权重和行为隐含语义两方面感知多行为交互特征,并将特征融合到嵌入传播过程,增强节点嵌入的表达能力;然后,构建自监督学习辅助任务,通过多视图对比学习避免模型对噪声标签过拟合;最后,联合有监督的多行为推荐任务和自监督学习辅助任务,采用多目标损失优化策略进行多任务学习,获取更加准确的用户、项目嵌入。通过实验分析表明,该算法在HR和NDCG指标上较对比算法均有一定提升,证明了算法的有效性和优越性。     

标签指导的双注意力深度神经网络模型

在数据集不包含标签文本信息时,现有的显式交互分类模型无法显式计算文本单词和标签之间的语义关系.针对此问题,文中提出标签指导的双注意力深度神经网络模型.首先,提出基于逆标签频次的自动类别标签描述生成方法,为每个标签生成特定的标签描述,用于显式计算文本单词与标签之间的语义关系.在此基础上,使用文本编码器学习具有上下文语境信息的评论文本表示,并提出标签指导的双注意力网络,分别学习基于自注意力的文本表示和基于标签注意力的文本表示.然后,使用自适应门控机制融合这两个文本表示,得到文本最终表示.最后,使用两层前馈神经网络作为分类器,进行情感分类.在3个公开的真实数据集上的实验表明,文中模型分类效果较优,可减少计算代价和训练时长.     

层级标签语义引导的极限多标签文本分类策略

极限多标签文本分类任务具有标签集大、类间关系复杂、数据分布不平衡等特点,是具有挑战性的研究热点。现有模型对标签语义信息利用不足,性能有限。对此,该文提出一种利用层级标签语义信息引导的极限多标签文本分类模型提升策略,在训练和预测过程中给予模型层级标签引导的弱监督语义指导信息,利用这种弱监督信息规约多标签文本分类任务中要对应的多标签语义边界。在标准数据集上的实验结果表明,该文所提策略能够有效提升现有模型性能,尤其在短文本数据集中增效显著,宏精准率最高提升21.23%。     

自监督增广的监督分类学习增强

借助预置任务创建的免费监督信号/标记,自监督学习(SSL)能学得无标记数据的有效表示,并已在多种下游任务中获得了验证.现有预置任务通常先对原视图数据作显式的线性或非线性变换,由此形成了多个增广视图数据,然后通过预测上述视图或变换的对应标记或最大化视图间的一致性达成学习表示.发现这种自监督增广(即数据自身与自监督标记的增广)不仅有益无监督预置任务而且也有益监督分类任务的学习,而当前鲜有工作对此关注,它们要么将预置任务作为下游分类任务的学习辅助,采用多任务学习建模;要么采用多标记学习,联合建模下游任务标记与自监督标记.然而,下游任务与预置任务间往往存在固有差异(语义,任务难度等),由此不可避免地造成二者学习间的竞争,给下游任务的学习带来风险.为挑战该问题,提出一种简单但有效的自监督多视图学习框架(SSL-MV),通过在增广数据视图上执行与下游任务相同的学习来避免自监督标记对下游标记学习的干扰.更有意思的是,借助多视图学习,设计的框架自然拥有了集成推断能力,因而显著提升了下游分类任务的学习性能.最后,基于基准数据集的广泛实验验证了SSL-MV的有效性.     

双分支多交互的深度图卷积网络

图神经网络在节点分类任务中表现较优,然而,如何充分获取图数据的高阶语义特征并防止过平滑现象,仍是影响节点分类准确性的关键问题之一．为此,文中构造双分支多交互的深度图卷积网络,用于增强节点获取高阶语义特征的能力．首先,根据节点的特征信息对图结构进行重构．然后,利用原始图结构和构造重构图结构,建立一个双分支的网络架构,充分提取不同的高阶语义特征．同时,设计一个通道信息交互机制,学习不同分支的信息交互,进一步增强节点特征的多样性．最后,在多个基准数据集上的实验表明,文中网络可有效提升半监督节点分类任务的精度,并缓解过平滑现象．     

基于多样性与一致性的单步多视图聚类

随着数据采集技术的发展,多视图数据变得越来越常见。与单视图数据相比,多视图数据包含更丰富的信息,通常用一致性与多样性来刻画。现有基于图的多视图聚类方法大多只关注视图间的一致性信息,忽视了视图间的多样性信息,并且图的构建与聚类过程分离,从而影响聚类算法的效果。提出基于多样性与一致性的单步多视图聚类算法(OMCDC)。基于“距离较近的数据点成为邻居的可能性较大”这一先验知识构建各个视图的相似性图。不同于以往算法直接融合相似性图获得公共图,OMCDC将每个视图的相似性图分解为一致性图和多样性图,通过融合一致性图获得更具一致性的公共图。在此基础上,引入谱旋转,联合优化低维谱嵌入和聚类概率矩阵,将图学习和聚类融为一体,直接获得聚类结果。OMCDC充分利用了多视图数据的一致性信息与多样性信息,结合谱旋转实现了单步多视图聚类。实验结果表明,该算法在100L和HW2数据集上的聚类准确率分别为94.62%和99.30%,相比MVGL、AWP、MCGC等方法具有较优的聚类性能。     

基于半监督典型相关分析的多视图维数约简

为了有效地在半监督多视图情景下进行维数约简,提出了使用非负低秩图进行标签传播的半监督典型相关分析方法。非负低秩图捕获的全局线性近邻可以利用直接邻居和间接可达邻居的信息维持全局簇结构,同时,低秩的性质可以保持图的压缩表示。当无标签样本通过标签传播算法获得估计的标签信息后,在每个视图上构建软标签矩阵和概率类内散度矩阵。然后,通过最大化不同视图同类样本间相关性的同时最小化每个视图低维特征空间类内变化来提升特征鉴别能力。实验表明所提方法比已有相关方法能够取得更好的识别性能且更鲁棒。     

多样性引导的深度多视图聚类算法

多视图聚类旨在从不同视图的多样性信息中, 学习到更加全面和准确的共识表示, 以提高模型的聚类性能. 目前大部分多视图聚类算法采用希尔伯特-施密特独立性准则(HSIC)或自适应加权方法从全局考虑各视图的多样性, 忽略了各视图样本之间的局部多样性信息学习. 针对上述问题, 提出了多样性引导的深度多视图聚类算法. 首先, 提出了融合多头自注意力机制的软聚类模块, 多头自注意力机制用来学习全局多样性, 软聚类模糊C均值算法用来学习局部多样性; 其次, 在深度图自编码器网络结构中引入软聚类模块, 以达到多样性信息引导潜在表示生成的目的; 然后, 将得到的各视图潜在表示进行加权融合得到共识表示, 并采用谱聚类算法对共识表示进行聚类; 最后, 在3个常用数据集上进行了对比实验和消融实验. 实验结果表明, 提出的聚类算法具有良好的聚类效果, 以及提出的多样性信息学习模块可以有效提高算法聚类性能.     

基于分类间隔增强的不平衡多标签学习算法

传统的多标签学习算法一般没有考虑标签的不均衡性,从而忽略了标签不平衡给分类带来的影响。但统计发现,目前常用的多标签数据集均存在标签不均衡问题,且少数类标签往往更加重要。基于此,本文提出了一种基于分类间隔增强的不平衡多标签学习算法（Imbalanced multi-label learning algorithm based on classification interval enhanced, MLCIE）,旨在利用各标签分类间隔的重构来增强分类器对少数类标签样本的学习效率,提升样本标签质量,从而减少多标签不平衡对分类器学习精度的影响。首先利用各标签密度与条件熵计算各标签的不确定性系数;然后构建分类间隔增强矩阵,将各标签独有的密度信息融入到原始标签矩阵中,获取平衡的标签空间;最后使用极限学习机作为线性分类器进行分类。本文在11个多标签标准数据集上与其他7种多标签学习算法进行对比实验,结果表明本文算法在解决标签不平衡问题上有一定效果。