多视图对比增强的异质图结构学习方法

异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在4种...     

基于无监督集群级的科技论文异质图节点表示学习方法

科技论文数据的知识表征是一个有待解决的问题,而如何学习科技论文异质网络中论文节点的表示是解决这一问题的核心。文中提出了一种基于无监督集群级的科技论文异质图节点表示学习方法(Unsupervised Cluster-level Scientific Paper Heterogeneous Graph Node Representation Learning Method, UCHL),以获取科技论文异质图中节点(作者、机构与论文等)的表示。基于科技论文异质图表示对整个异质图进行链接预测,获取节点之间边的关系,即论文与论文之间的关联关系。实验结果表明,在真实的科技论文数据集上,所提方法在多项评测指标上都取得了更优的性能。     

图对比学习综述

对比学习作为一种自监督式的深度学习范式，在计算机视觉、自然语言处理等领域取得了瞩目的成绩。受这些成功的对比学习模型的启发，近年来大量研究者尝试将其拓展到图数据上，这为推动图对比学习的发展提供了坚实的基础。该领域现有的综述主要关注于传统的图自监督学习任务，而缺少对图对比学习方法的梳理和归纳。为了更好地帮助相关领域的研究者，该文梳理了近些年来的图对比学习模型，通过将现有工作归纳到一个统一的框架下，突出其发展脉络。最后该文总结了图对比学习常用的数据集和评价指标，并展望了该领域未来的发展方向。     

基于对比学习的多关系属性图聚类方法

现实世界包含复杂的图数据，其节点之间通常包含多种关系，这种图被称为多关系属性图。图聚类是挖掘图数据相似信息的技术之一，然而现有的图聚类的方法大多只适用于单关系图。即使有的方法考虑到了多关系图，也往往是将图表示学习与聚类看作两个单独的过程。受Deep Graph Infomax(DGI)算法的启发，文中设计了一种基于对比学习的多关系属性图的聚类方法(CCLMAG),用于解决上述问题：1)通过引入社区级互信息机制，弥补了DGI算法无法融合簇信息的缺点；2)引入嵌入融合模块来聚合不同关系上的节点嵌入；3)引入聚类优化模块将图表示学习与聚类两个过程联系起来，使得学习到的节点表示更适合聚类任务。在3个公开数据集和1个构建的期货数据集上的大量实验表明，所提方法优于目前最先进的基线方法，且具有实际应用价值。     

基于图核的异质信息网络链路预测方法

链路预测是图挖掘主要研究的问题,其研究重点是提取图的特征信息,现有研究方法大多只关注网络拓扑结构而忽略了节点属性信息.针对该问题,提出了基于图核的链路预测方法NGLP.该方法能挖掘有效、可用的元路径;基于元路径对预测对象生成带节点属性的子图,使用子图表示被预测的链路;然后利用图核方法计算子图之间的相似性;最后训练SVM得出链路预测结果.实验结果表明,提出方法与其他方法相比具有更高的精度和更强的稳定性.     

基于深度学习的异质信息网络表示学习方法综述

万物依存而在，现实世界中的实体之间存在着各种不同的关联关系，如人与人之间的关系可以构成社交网络，学者通过共同发表论文、引用文献构成引文网络。同质网络将节点和边抽象为单一类型，但是这会造成大量的信息丢失。为了更大程度地保证信息的完整性和丰富性，有研究者提出了异质信息网络的概念，即包含多种类型节点和边的网络模式。将异质信息网络中的拓扑结构和语义信息嵌入到低维向量空间中，下游任务能够利用异质信息网络中的丰富信息进行机器学习或数据挖掘任务。文中总结了近年来基于深度学习模型的异质信息网络表示学习方法的研究成果，同时聚焦两类关键问题——异质信息网络语义自动提取和动态异质信息网络的表示学习方法，列举了异质信息网络表示学习新的应用场景，并展望了异质信息网络的未来发展趋势。     

基于深度神经网络和门控循环单元的动态图表示学习方法

学习图中节点的潜在向量表示是一项重要且普遍存在的任务,旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息,然而,真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题,提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架,其中的编码器首先用DNN聚集邻域信息以得到低维特征向量,然后使用GRU网络提取节点时态信息,最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析,结果表明DynAEGRU具有较好的性能增益。     

基于同质子图变换的异质网络表示学习

目前针对信息网络的研究多数基于同质网络,关于异质信息网络的网络表示学习研究相对较少。为此,提出一种结合不同元路径将异质信息网络转化成带权同质子图的网络表示学习算法。基于不同元路径在同类节点间构建带权重的连边,从异质网络中抽取出带权同质子图,通过带偏置的随机游走方式得到同类节点序列,并利用Skip-gram模型生成该类节点的表示向量。实验结果表明,与只考虑单一路径的算法相比,该算法处理节点分类、相似性搜索等数据挖掘任务时均能得到较好的效果。     

基于图对比学习的多模态交通流量协同预测方法

准确的城市区域交通流量预测对市区车辆调度、公交系统优化等具有重要指导意义。目前,大多数现有的交通流量预测方法只考虑规则网格区域上单一种类的交通流量预测,忽略了交通网络中空间的不规则性和异质性以及不同出行模式交通流的交互性。针对上述问题,提出了一种基于图对比学习的多模态交通流量协同预测方法(CoF-MGCL),以揭示各类出行方式之间的交互对不规则异构区域的交通需求的影响。具体而言,根据现实中城市的不规则区域采集多模态流量数据,包括各类出行模式流量(如自行车和出租车流量)和总流量;并对不规则区域构建多关系异构图,包括地理邻近和功能相似关系。通过异构图编码模块,可以结合异构图中不同的关系来学习各区域各类交通流量的高质量表征信息。学习到的单一交通流量表征经过注意力机制加权融合后与总交通流量表征进行图对比学习,以捕获不同出行模式之间的交互关系。最后,使用互信息约束实现多模态流量的协同预测,确保多模态信息学习最大化。为了实现不规则区域的多模态交通流量预测,自行构建了新的纽约市曼哈顿区和芝加哥市两地多模态交通流量数据集,并在此基础上进行实验。实验结果表明,所提方法可以结合现有的单模态交通流量预测模型...     

基于双重视图耦合的自监督图表示学习模型

针对现有的图表示学习在自监督对比学习方法中存在视图差异较大,且依赖于负样本防止模型坍塌,导致节点表示能力弱及空间复杂度加大的问题,提出一种基于双重视图耦合的自监督图表示学习模型(self-supervised graph representation learning model with dual view coupling, DVCGRL),用于学习图数据表示。采用特征空间增广和结构空间扩充相结合生成双重视图,将双重视图作为正样本对输入孪生神经网络;利用图编码器提取图数据特征,通过多层感知器获得映射后的特征向量;采用耦合网络拉近双重视图的特征向量距离,提升节点表示能力,防止模型坍塌。在公开数据集上进行的节点分类实验结果表明,与当前主流图表示学习模型相比,该模型降低了空间复杂度,节点分类精度得到明显提高。     

无负采样的正样本增强图对比学习推荐方法PAGCL

对比学习(CL)因能够提取数据本身包含的监督信号而被广泛应用于推荐任务。最近的研究表明,CL在推荐方面的成功依赖于对比损失——互信息噪声对比估计(InfoNCE)损失带来的节点分布的均匀性。此外,另一项研究证明贝叶斯个性化排序(BPR)损失的正项与负项分别带来的对齐性和均匀性有助于提高推荐性能。由于在CL框架中对比损失能够带来比BPR负项更强的均匀性,BPR负项存在的必要性值得商榷。实验分析表明在对比框架中BPR的负项是不必要的,并基于这一观察提出了无需负采样的联合优化损失,可应用于经典的CL方法并达到相同或更高的性能。此外,与专注于提高均匀性的研究不同,为进一步加强对齐性,提出一种新颖的正样本增强的图对比学习方法(PAGCL),该方法使用随机正样本在节点表示层面进行扰动。在多个基准数据集上的实验结果表明,PAGCL在召回率及归一化折损累积增益(NDCG)这两个常用指标上均优于SOTA方法自监督图学习(SGL)、简单图对比学习(SimGCL)等,且相较于基模型轻量化图卷积(LightGCN)的NDCG@20提升最大可达17.6%。     

异质网络特征表示学习研究综述

异质网络特征表示学习技术在各类机器学习任务中发挥了重要的作用。然而目前针对该研究领域的综述却很少。本文对异质网络特征表示学习领域的最新研究进展作系统性的综述。首先，基于“编码器-解码器”的框架，将现有模型分为六类；然后，对每类模型进行系统性地概览、描述和分析，总结每一类模型的优势和缺陷；最后，总结全文并讨论了该领域的开放性问题。     

基于学习连续时间事件序列的动态网络链路预测

动态网络链路预测是目前复杂网络的热点研究方向,网络表示学习可以有效学习到节点的相似性,从而为链路预测提供基础.现有的动态网络表示学习方法大多先将动态网络进行离散窗口化,然后在静态网络快照图上建模,这样很难有效处理具有细粒度时间特性的动态网络.本文提出了一种可以学习动态网络中复杂的时间特性的链路预测模型,该模型使用连续时间事件序列表示动态网络,对网络中的连续时间信息和结构演化特征进行学习,并提出了基于时间注意力的信息传递机制来模拟网络中信息的扩散与聚合,最后将链路预测转化为分类问题.实验在4个真实动态网络数据集以及模拟网络上进行,并以ap和auc作为评价指标.真实网络实验结果证明该模型能够较好地学习网络演化的连续性,得到更有效的节点表示,从而提升了链路预测效果.模拟网络的实验结果表明链路预测的效果和网络模型相关,但本文模型仍可以获得较好的预测效果.     

基于图对比学习的MOOC推荐方法

随着MOOC在线教育平台的飞速发展,课程和用户数量激增,学习者在面对种类繁多的课程时往往较难选择,传统的推荐方法在MOOC课程推荐中应用存在对曝光次数较低的课程推荐效果差和对噪声数据鲁棒性不足的问题。为给学习者提供高质量的推荐,提出一种图对比学习的MOOC推荐方法,同时针对二分图结构给出一种新的数据增强方法。对输入的用户项目交互的二分图随机添加或者删除边进行数据增强,得到两个子视图,使用图卷积神经网络对原始二分图和两个子视图进行节点特征提取得到用户和项目的节点表征,并构建推荐监督任务和对比学习的辅助任务进行联合优化,在此基础上将用户和项目的节点表征进行点积获得推荐结果。在MOOC数据集上进行Top-K推荐的实验结果表明,相较于LightGCN模型,该方法在Recall@5和NDCG@5上均有显著提升,最高分别提升7.8%和7.3%,能够有效提高模型对于曝光次数较低的课程的推荐准确性和对于噪声数据的鲁棒性。     

基于异质信息网络表示学习与注意力神经网络的推荐算法

推荐系统能够有效解决信息过载等问题,得到了国内外众多学者的广泛关注。真实世界中的应用场景往往可以建模成异质信息网络,因此基于异质信息网络表示学习的推荐算法成为了近年来的研究热点。然而,当前的研究工作仍然存在异质信息提取缺乏深度、节点的复杂关系发掘不充分等问题。为解决这些问题,文中提出了基于异质信息网络表示学习与注意力神经网络的推荐算法。首先,提出了保持语义关系与结构拓扑的异质信息网络表示方法;然后,设计了基于元路径的随机游走策略来获取异质信息网络中的节点序列,对序列过滤并生成用户和项目在不同元路径下的表示向量;最后,设计了基于注意力神经网络的推荐算法,将上述向量输入注意力神经网络,深入挖掘表示向量之间的关系以实现有效的推荐。在两个真实数据集上进行实验并与3种主流的算法进行比较,结果表明,所提算法在MAE与RMSE这2个推荐指标方面都有提升,最高提升了8.9%。     

多级特征增强的图表示学习模型

针对图数据的表示学习在推荐系统、链接预测等图下游任务已展现出重要的研究价值。然而目前主流的方法存在一些缺陷：图卷积网络的固定传播模式限制节点表示的语义表达能力,以及编码器-解码器结构中的正则化重建阻碍学习节点间的差异化特征,这些都可能导致节点表示不能很好适应图下游任务。为此,基于互信息最大化理论提出一种多级特征增强的图表示学习模型,能以无监督的方式生成高质量的节点表示。模型使用提取器保留节点原始属性中的差异化特征,利用注意力聚合器维持编码空间中节点分布的局部相关性和全局差异性,应用深度图信息最大化策略统一全局编码规则。实验结果证明,在几个基准图数据集上该模型在直推式学习和归纳式学习下的编码表现均超过了所有的主流对比基线。     

异质网中基于图卷积神经网络的链路预测方法

综合考虑异质信息网络具有的复杂性和异质性的特点,提出一种异质网中基于图卷积神经网络(heterogeneous graph convolution neural network embedding,HeGCNE)的链路预测方法.针对经典图卷积神经网络逐层传递规则的不足,提出改进的逐层传递规则,对异质节点进行表征学习,融...     

基于自监督图掩码神经网络的社交推荐模型

现有自监督社交推荐模型大多通过人工启发式图增强和单一关系视图间对比的策略构建自监督信号,性能受到增强自监督信号质量的影响,难以自适应地抑制噪声.由此,文中提出基于自监督图掩码神经网络的社交推荐模型.首先,分别构建用户社交和物品分类的单一关系视图及高阶连通异构图,采用图掩码学习范式指导用户社交图进行自适应和可学习的数据增强.然后,设计异构图编码器,学习视图中的潜在语义,跨视图对用户、物品嵌入进行对比学习,完成自监督任务,分别对用户、物品嵌入进行加权融合,完成推荐任务.最后,利用多任务训练策略联合优化自监督学习任务、推荐任务和图掩码任务.在3个真实数据集上的实验表明文中模型性能具有一定提升.     

主题增强的多层次图神经网络会话推荐模型

基于会话的推荐旨在基于会话内数据,为匿名或未登录用户做出推荐.现有的研究工作通常仅以会话中单个商品作为最小单位进行建模,忽略商品在不同感受野下的表征.同时,尚未挖掘会话序列中蕴含的商品隐式主题信息.为了缓解上述问题,文中提出主题增强的多层次图神经网络会话推荐模型(Topic-Enhanced Multi-level Graph Neural Network for Session-Based Recommendation, TEMGNN).首先,设计多层次商品嵌入学习模块,拓宽商品的感受野,获取不同粒度下的商品表示.然后,结合文中提出的多层次图神经网络进行同粒度和跨粒度下的商品信息传播,捕获更丰富的商品嵌入表征.此外,提出商品主题学习模块,在不依赖任何商品属性信息的前提下,抽取商品在隐空间下的主题共性,并以显式的向量空间投影方式自动形成商品的主题表示,用于增强模型推荐性能.在3个基准数据集上的实验表明,TEMGNN的表现较优.     

基于图神经网络的动态网络异常检测算法

动态变化的图数据在现实应用中广泛存在,有效地对动态网络异常数据进行挖掘,具有重要的科学价值和实践意义.大多数传统的动态网络异常检测算法主要关注于网络结构的异常,而忽视了节点和边的属性以及网络变化的作用.提出一种基于图神经网络的异常检测算法,将图结构、属性以及动态变化的信息引入模型中,来学习进行异常检测的表示向量.具体地,改进图上无监督的图神经网络框架DGI,提出一种面向动态网络无监督表示学习算法Dynamic-DGI.该方法能够同时提取网络本身的异常特性以及网络变化的异常特性,用于表示向量的学习.实验结果表明,使用该算法学得的网络表示向量进行异常检测,得到的结果优于最新的子图异常检测算法SpotLight,并且显著优于传统的网络表示学习算法.除了能够提升异常检测的准确度,该算法也能够挖掘网络中存在的有实际意义的异常.