基于邻域交互和图神经网络的推荐模型

异质图中包含丰富的关系，图神经网络(Graph Neural Networks, GNNs)能够自然地整合节点关系，因此图神经网络在推荐领域显示出巨大的潜力.然而，现有基于图神经网络的推荐大多聚焦于学习用户和项目的表示，忽略了用户和项目间的交互信息.其次，这些模型很少学习元路径的明确表示.为了解决上述问题，本文提出一种基于邻域交互和图神经网络的推荐模型NGRec.该模型学习用户和项目的表示，并通过元路径引导的邻域来获取用户和项目间的交互，最后将节点表示和交互信息进行融合用于推荐.该模型在得到节点有效表示的基础上，融合节点间的交互，增强了推荐效果.在3种不同类型的异质图上进行大量的实验，证明了所提模型在性能上的提升.     

基于对比学习的全局增强动态异质图神经网络

图神经网络由于其对图结构数据的强大表征能力近年来受到广泛关注.现有图神经网络方法主要建模静态同质图数据，然而现实世界复杂系统往往包含多类型动态演化的实体及关系，此类复杂系统更适合建模为动态异质图.目前，动态异质图表示学习方法主要集中于半监督学习范式，其存在监督信息昂贵和泛化性较差等问题.针对以上问题，提出了一种基于对比学习的全局增强动态异质图神经网络.具体地，所提网络首先通过异质层次化注意力机制根据历史信息来生成未来的邻近性保持的节点表示，然后通过对比学习最大化局部节点表示和全局图表示的互信息来丰富节点表示中的全局语义信息.实验结果表明，提出的自监督动态异质图表示学习方法在多个真实世界数据集的链路预测任务上的AUC指标平均提升了3.95%.     

基于元路径的图Transformer神经网络

图神经网络作为一种新的深度学习模型,被广泛运用在图数据中,并极大地推动了推荐系统、社交网络、知识图谱等应用的发展.现有的异构图神经网络通常事先定义了多条元路径来学习异构图中的复合关系.然而,这些模型通常在特征聚合步骤中只考虑单条元路径,导致模型只关注了元路径的局部结构,忽略了元路径之间的全局相关性;还有一些模型则是忽略掉了元路径的中间节点和边信息,导致模型无法学习到元路径内部的语义信息.针对以上问题,本文提出一种基于元路径的图Transformer神经网络(MaGTNN).该模型首先将异构图采样为基于元路径的多关系子图,利用提出的位置编码和边编码的方法来获取元路径中的语义信息.随后使用改进的图Transformer层计算出目标节点与其元邻居的相似度,并利用该相似度来聚合其所有的元邻居信息.在3个公开数据集的节点分类和节点聚类任务中, MaGTNN均高于最新的基准模型.     

互信息与多条元路径融合的异质网络表示学习方法

异质信息网络能够对真实世界的诸多复杂应用场景进行建模,其表示学习研究也得到了众多学者的广泛关注.现有的异质网络表示学习方法大多基于元路径来捕获网络中的结构和语义信息,已经在后续的网络分析任务中取得很好的效果.然而,此类方法忽略了元路径的内部节点信息和不同元路径实例的重要性;仅能捕捉到节点的局部信息.因此,提出互信息与多条元路径融合的异质网络表示学习方法.首先,利用一种称为关系旋转编码的元路径内部编码方式,基于相邻节点和元路径上下文节点捕获异质信息网络的结构和语义信息,采用注意力机制来建模各元路径实例的重要性;然后,提出一种互信息最大化与多条元路径融合的无监督异质网络表示学习方法,使用互信息捕获全局信息以及全局信息和局部信息之间的联系.最后,在两个真实数据集上进行实验,并与当前主流的算法进行比较分析.结果表明,所提方法在节点分类和聚类任务上性能都有提升,甚至和一些半监督算法相比也表现出强劲性能.     

用于冷启动推荐的异质信息网络对比元学习

在推荐系统中,冷启动推荐由于缺乏用户和物品交互信息而具有很大的挑战性.该问题可以由数据层和模型层的策略进行缓解.传统的数据层方法利用如特征信息的辅助信息来增强用户和物品表示的学习.最近,异质信息网络被整合于推荐系统中.它可以提供更丰富的辅助信息和更有意义的语义信息.但是,这些模型无法充分利用结构和语义信息,并且忽视了网络中的无标签信息.模型层的方法应用了元学习框架,该框架通过学习相似任务的先验知识然后利用很少的标签信息适应新任务,与冷启动问题相似.综上,我们提出了一个基于异质信息网络的对比元学习框架CM-HIN,同时在数据层和模型层解决冷启动问题.具体的,利用元路径和网络模式两个视图分别刻画异质信息网络的高阶以及本地结构信息.在元路径和网络模式视图中,采用对比学习挖掘异质信息网络的无标签信息并整合两个视图.在三个基准数据集上的三个冷启动推荐场景的大量实验中,CM-HIN超越了所有先进的基线模型.     

基于注意力机制和异质信息网络元路径的推荐系统

异质信息网络（HIN）包含丰富的网络结构和语义信息使其常见于推荐系统中。然而,当前推荐系统的研究工作主要是基于元路径提供的间接信息进行推荐,而未充分利用直接交互信息。为了充分利用这些信息,提出一种融合注意力机制和异质信息网络元路径的三元交互模型（AMMRec）。在异质信息网络中使用隐式反馈矩阵构造用户相似度矩阵和项目相似度矩阵,运用异质信息网络的表示学习方法获得对应的特征向量嵌入,通过注意力机制对其进行修正;设计注意力神经网络,将不同元路径的表示向量进行融合;拼接用户嵌入、元路径嵌入和项目嵌入,通过全连接神经网络生成推荐结果。在真实数据集上的实验结果表明,AMMRec的推荐精度最高提升了9.5%。此外,AMMRec对推荐结果具有良好的可解释性。     

基于多任务学习的图神经网络推荐模型研究

图神经网络处理非欧氏空间数据的强大能力促使越来越多的研究将其应用于推荐领域。然而，现有的基于图神经网络的推荐模型大多数仍然采用多个邻接矩阵来表示多种节点或边属性等异质信息，没有充分利用异质信息之间的交互。因此，提出一种新型的图神经网络推荐模型，把所有信息实体之间的丰富交互建模成异质图，并在异质图上使用稠密子图采样策略进行子图采样；此外，模型还加入多任务学习方法用于共同优化链接预测与推荐任务，使得模型学习到更好的节点表示，以提升推荐效果。2个公开数据集上的实验结果表明，所提模型相比基线模型，在Top-N推荐任务性能上有所提高。     

基于融合元路径权重的异质网络表征学习

针对基于单条元路径的异质网络表征缺失异质信息网络中结构信息及其它元路径语义信息的问题,本文提出了基于融合元路径权重的异质网络表征学习方法.该方法对异质信息网络中元路径集合进行权重学习,进而对基于不同元路径的低维表征进行加权融合,得到融合不同元路径语义信息的异质网络表征.实验结果表明,基于融合元路径权重的异质网络表征学习具有良好的表征学习能力,可有效应用于数据挖掘.     

基于双重视图耦合的自监督图表示学习模型

针对现有的图表示学习在自监督对比学习方法中存在视图差异较大,且依赖于负样本防止模型坍塌,导致节点表示能力弱及空间复杂度加大的问题,提出一种基于双重视图耦合的自监督图表示学习模型(self-supervised graph representation learning model with dual view coupling, DVCGRL),用于学习图数据表示。采用特征空间增广和结构空间扩充相结合生成双重视图,将双重视图作为正样本对输入孪生神经网络;利用图编码器提取图数据特征,通过多层感知器获得映射后的特征向量;采用耦合网络拉近双重视图的特征向量距离,提升节点表示能力,防止模型坍塌。在公开数据集上进行的节点分类实验结果表明,与当前主流图表示学习模型相比,该模型降低了空间复杂度,节点分类精度得到明显提高。     

基于生成对抗网络和元路径的异质网络表示学习

现实世界中的信息网络大多为异质信息网络,旨在表示低维空间中节点数据的网络表示方法已普遍用于分析异质信息网络,从而有效融合异质网络中丰富的语义信息和结构信息.但是现有的异质网络表示方法通常采用负采样从网络中随机选择节点,并且对节点和边的异质性学习能力不足.受生成式对抗网络和元路径的启发,文中提出了一种新型的异质网络表示方...     

Multi-view Contrastive Enhanced Heterogeneous Graph Structure Learning

As a learning method of heterogeneous graph representation, heterogeneous graph neural networks can effectively extract complex structural and semantic information from heterogeneous graphs, and perform excellently in node classification and link prediction tasks to provide strong support for the representation and analysis of knowledge graphs. Due to the existence of some noisy interactions or missing interactions in the heterogeneous graphs, the heterogeneous graph neural network incorporates erroneous neighbor features, thus affecting the overall performance of the model. To solve the above problems, in this paper we proposes a heterogeneous graph structure learning model enhanced by multi-view contrast. Firstly, the semantic information in the heterogeneous graph is maintained by the meta-path, and the similarity graph is generated by calculating the feature similarity among the nodes under each meta-path, which is fused with the meta-path graph to optimize the graph structure. By contrasting the similarity graph and meta-path graph as multiple views, the graph structure is optimized without supervision information, and the dependence on supervision signals is eliminated. Finally, for addressing the problem that the learning ability of the neural network model is insufficient at the initial training stage and there are often erroneous interactions in the generated graph structure, we design a progressive graph structure fusion method. Through incremental weighted addition of meta-path graphs and similarity graphs, the weight of similarity graphs in the fusion is changed. This not only prevents erroneous interactions from being introduced in the initial training stage but also achieves the purpose of employing the interactions in similarity graphs to suppress interference interactions or complete missing interactions, which leads to the optimized heterogeneous structure. Meanwhile, node classification and node clustering are selected as the verification tasks of graph structure learning. The experimental results on four real heterogeneous graph datasets prove that the proposed learning method is feasible and effective. Compared with the optimal comparison model, the performance of this model has been significantly improved under both tasks.     

基于元路径与层次注意力的时序异质信息网络表示学习方法

异质信息网络表示学习在节点分类、链接预测、个性化推荐等多个领域上被广泛应用.现有的异质信息网络表示学习方法大多集中在静态网络,忽略网络中时间属性对节点表示的影响.为了解决该问题,文中提出基于元路径和层次注意力的时序异质信息网络表示学习方法.利用元路径捕获异质信息网络中的结构和语义信息.通过时间衰减注意力层,捕获不同元路径实例在特定时间对目标节点的影响.通过元路径级别注意力,融合不同元路径下的节点表示,得到最终表示.在DBLP、IMDB数据集上的实验表明,文中方法在节点分类和节点聚类任务上均可达到较优效果.     

基于动态图神经网络的会话式机器阅读理解研究

近年来,基于深度学习的机器阅读理解模型研究取得显著进展,但这些模型在全局语义关系构建以及较长距离推理上仍有显著缺陷,在对段落文本进行推理时,大多只把文本信息看作词的序列,而没有探索词与词之间丰富的语义关系。为了解决上述问题,该文提出一种新的基于动态图神经网络的会话式机器阅读理解模型。首先,提取文本中的实体,使用句法结构与句子之间的语义关系进行建模;然后通过语义融合模块,将基于序列化结构得到的上下文嵌入表示与基于图结构得到的实体节点嵌入表示进行融合;最终使用图神经网络实现对答案的预测。同时,该模型可在每轮对话过程中动态地构建问题和会话历史的推理图,能有效地捕捉对话中的语义结构信息和会话历史流程。实验结果表明,在两个最近提出的会话挑战(CoQA和QuAC)上表现了出色的性能。     

基于特征和结构信息增强的图神经网络集成学习框架

近年来,图神经网络由于其丰富的表征和推理能力受到广泛的关注,然而,目前的研究聚焦于卷积策略和网络结构的调整以获得更高的性能,不可避免地面临单一模型局限性的约束。受到集成学习思想的启发,面向图神经网络创新性地提出一套集成学习框架(EL-GNN)。不同于常规的文本和图像数据,图数据除了特征信息外还包括了丰富的拓扑结构信息。因此,EL-GNN不仅将不同基分类器的预测结果进行融合,还在集成阶段额外补充了结构信息。此外,基于特征相似或结构邻居节点通常具有相似标签的先验假设,借助特征图重构,进一步优化集成策略,充分平衡了节点的特征和结构信息。大量实验表明,提出的集成策略取得了良好的成效,并EL-GNN在节点分类任务上显著优于现有模型。     

关系敏感型多子图图神经网络的多模态实体对齐

作为融合多源异构知识图谱的主要手段, 实体对齐一般首先编码实体等图结构信息, 而后通过计算实体间相似度来获取对齐实体. 然而, 现存的多模态对齐方法往往直接引入预训练方法表达模态特征, 忽略了模态间的融合以及模态特征与图结构间的融合. 因此, 本文提出一种关系敏感型的多子图图神经网络(RAMS)方法. 通过多子图图神经网络编码方法对模态信息与图结构进行结合并获得实体表征, 通过跨域相似度计算得到对齐结果. 广泛且多角度的实验证明了本文所提出的模型在准确率、效率、鲁棒性方面均超过了基线模型.     

Pre-Train and Learn:Preserving Global Information for Graph Neural Networks

Graph neural networks(GNNs) have shown great power in learning on graphs.However,it is still a challenge for GNNs to model information faraway from the source node.The ability to preserve global information can enhance graph representation and hence improve classification precision.In the paper,we propose a new learning framework named G-GNN(Global information for GNN) to address the challenge.First,the global structure and global attribute features of each node are obtained via unsupervised pre-training,and those global features preserve the global information associated with the node.Then,using the pre-trained global features and the raw attributes of the graph,a set of parallel kernel GNNs is used to learn different aspects from these heterogeneous features.Any general GNN can be used as a kernal and easily obtain the ability of preserving global information,without having to alter their own algorithms.Extensive experiments have shown that state-of-the-art models,e.g.,GCN,GAT,Graphsage and APPNP,can achieve improvement with G-GNN on three standard evaluation datasets.Specially,we establish new benchmark precision records on Cora(84.31％) and Pubmed(80.95％) when learning on attributed graphs.     

图网络层级信息挖掘分类算法综述

深度学习作为人工智能的一个研究分支发展迅速,而研究数据主要是语音、图像和视频等,这些具有规则结构的数据通常在欧氏空间中表示。然而许多学习任务需要处理的数据是从非欧氏空间中生成,这些数据特征和其关系结构可以用图来定义。图卷积神经网络通过将卷积定理应用于图,完成节点之间的信息传播与聚合,成为建模图数据一种有效的方法。尽管图卷积神经网络取得了巨大成功,但针对图任务中的节点分类问题,由于深层图结构优化的特有难点——过平滑现象,现有的多数模型都只有两三层的浅层模型架构。在理论上,图卷积神经网络的深层结构可以获得更多节点表征信息,因此针对其层级信息进行研究,将层级结构算法迁移到图数据分析的核心在于图层级卷积算子构建和图层级间信息融合。本文对图网络层级信息挖掘算法进行综述,介绍图神经网络的发展背景、存在问题以及图卷积神经网络层级结构算法的发展,根据不同图卷积层级信息处理将现有算法分为正则化方法和架构调整方法。正则化方法通过重新构建图卷积算子更好地聚合邻域信息,而架构调整方法则融合层级信息丰富节点表征。图卷积神经网络层级特性实验表明,图结构中存在层级特性节点,现有图层级信息挖掘算法仍未对层级特性节点的...