多视图对比增强的异质图结构学习方法

异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在4种...     

融合协同知识图谱高阶邻居特征的推荐模型

在推荐时引入知识图谱中的实体及关系信息是有效缓解冷启动问题的方法. HAN模型首次将基于注意力机制的图神经网络用于异构图, 但是并没有充分利用节点的高阶邻居信息. 为了解决该问题, 提出了一种融合协同知识图谱高阶邻居特征的推荐模型CKG-HAN. 该模型用元路径来连接项目节点, 将协同知识图谱分成多个子图, 模型的节点注意力层用于聚合子图中每个节点的高阶邻居特征, 关系注意力层给不同元路径下的节点特征分配不同的权重, 最终得到充分融合语义信息的节点嵌入表示. 在MovieLens-1M数据集上进行了Top-K推荐, 结果表明本文提出的模型能够有效提高推荐结果的准确性.     

结合短文本语义的图查询可视分析系统

异构信息网络中不同类型的节点与边能够形成丰富的语义关系,同时节点的文本属性也会对这些关系模式造成影响.相比于同构网络,异构网络的数据挖掘可以获得更有价值的结果,但是也因为异构网络节点和边的多样性使得异构网络挖掘更具有挑战性.设计有效的查询技术可以对异构网络进行网络结构和语义的分析.以往的异构网络查询方法通常采用基于元路径的图查询方法,但是如何更好地计算元路径的重要度并结合异构网络的节点文本属性进行准确率更高的查询仍然是一个需要解决的重要问题.此外,如何对查询的多个结果有效展示它们之间的语义关联和特征,对用户快速理解网络的异构关系模式也非常重要.本文受到图查询输入、子图查询和结果分析三个阶段任务的驱动,提出了一种结合短文本语义的图查询方法,并基于该方法实现了一个面向异构网络的图查询可视分析系统.本文首先从查询输入中提取可能的关系模式,使用元路径来表示不同语义的关系模式并结合用户输入的短文本计算重要度;然后本文根据元路径的重要度将多条元路径结合为用于查询的关系模式;再对查询得到的结果子图的特征向量进行降维和聚类,在此基础上对结果子图的结构特征、语义特征和节点属性进行可视化;最后本文设计并实...     

KENN: 线性结构熵的图核神经网络

图神经网络(graph neural network, GNN)是一种利用深度学习直接对图结构数据进行表征的框架,近年来受到人们越来越多的关注.然而传统的基于消息传递聚合的图神经网络(messaging passing GNN, MP-GNN)忽略了不同节点的平滑速度,无差别地聚合了邻居信息,易造成过平滑现象.为此,研究并提出一种线性结构熵的图核神经网络分类方法,即KENN.它首先利用图核方法对节点子图进行结构编码,判断子图之间的同构性,进而利用同构系数来定义不同邻居间的平滑系数.其次基于低复杂度的线性结构熵提取图的结构信息,加深和丰富图数据的结构表达能力.通过将线性结构熵、图核和图神经网络三者进行深度融合提出了图核神经网络分类方法.它不仅可以解决生物分子数据节点特征的稀疏问题,也可以解决社交网络数据以节点度作为特征所产生的信息冗余问题,同时还使得图神经网络能够自适应调整对图结构特征的表征能力,使其超越MP-GNN的上界(WL测试).最后,在7个公开的图分类数据集上实验验证了所提出模型的性能优于其他的基准模型.     

基于局部建模的异构图表征学习方法

现有的异构图神经网络通常忽略了存在于邻居节点之间潜在的语义联系，这使得节点表征无法蕴含多样化的局部特征。为了解决这个问题，文中提出了一种基于局部建模进行表征学习的方法 L2NH，该方法首先构建邻居节点之间的协方差矩阵，并通过关系编码将边的类型信息融入到矩阵中，然后基于局部网络特征值分解提出了一种多通道机制来使得节点表征蕴含多样化的局部特征，最后，实验表明，该方法能够有效地提升节点分类的效果。     

基于邻域交互和图神经网络的推荐模型

异质图中包含丰富的关系，图神经网络(Graph Neural Networks, GNNs)能够自然地整合节点关系，因此图神经网络在推荐领域显示出巨大的潜力.然而，现有基于图神经网络的推荐大多聚焦于学习用户和项目的表示，忽略了用户和项目间的交互信息.其次，这些模型很少学习元路径的明确表示.为了解决上述问题，本文提出一种基于邻域交互和图神经网络的推荐模型NGRec.该模型学习用户和项目的表示，并通过元路径引导的邻域来获取用户和项目间的交互，最后将节点表示和交互信息进行融合用于推荐.该模型在得到节点有效表示的基础上，融合节点间的交互，增强了推荐效果.在3种不同类型的异质图上进行大量的实验，证明了所提模型在性能上的提升.     

基于OAN的知识图谱查询研究

知识图谱查询是目前知识图谱研究中最广泛的应用,能够有效提高搜索引擎查询效率。然而,现有的知识图谱的查询研究多是基于节点标签的子图匹配。由于节点标签不能体现节点间的语义信息,导致查询结果的语义相关性不高。针对此问题,本文提出了一种基于本体和邻居信息的查询算法OAN(Ontology and Neighborhood)。首先,结合本体相似度和邻居相似度来确定查询节点的候选集,以此提高候选节点的语义相似度;其次,通过边检测算法移除那些不满足条件的查询节点候选集,以此减少查询规模;然后,在目标图上查找满足边标签同构的查询子图,并计算节点的标签相似度和结构相似度总和,给每个结果集打分后排序,获得最终排序后的结果集;最后,通过在真实数据集上与已有查询算法进行对比实验,实验结果表明:本文所提出的方法无论是在精确度上,还是在查询效率方面都有所提高。     

图卷积神经网络在自然语言处理中的应用研究

图神经网络构架的出现,给深度学习带来了新的研究方向,图结构能聚合节点的邻居节点以及边的信息来更新该节点的向量表征,捕捉到文本中更丰富和细致的特征,有效帮助文本理解。本文旨在采用近年来前沿的图卷积神经网络模型,在少量标注的训练样本下,针对自然语言处理任务进行研究。通过使用图卷积神经网络模型挖掘文本之间的关系信息来提升自然语言处理相关任务的效果。     

基于门控双层异构图注意力网络的半监督短文本分类

针对现有的基于异构图神经网络的短文本分类方法未充分利用节点之间的有效信息,以及存在的过拟合问题,文中提出基于门控双层异构图注意力网络的半监督短文本分类方法(Semi-Supervised Short Text Classification with Gated Double-Layer Heterogeneous Graph Attention Network, GDHG).GDHG包含节点注意力机制和门控异构图注意力网络两层.首先,使用节点注意力机制,训练不同类型的节点注意力系数,再将系数输入门控异构图注意力网络,训练得到门控双层注意力.然后,将门控双层注意力与节点的不同状态相乘,得到聚合的节点特征.最后,使用softmax函数对文本进行分类.GDHG利用节点注意力机制和门控异构图注意力网络的信息遗忘机制对节点信息进行聚集,得到有效的相邻节点信息,进而挖掘不同邻居节点的隐藏信息,提高聚合远程节点信息的能力.在Twitter、MR、Snippets、AGNews四个短文本数据集上的实验验证GDHG性能较优.     

采用新型元路径的异构图表示学习方法

图神经网络已经成为推荐系统领域的一种主要方法。很多研究把元路径融入到异构图神经网络中,但绝大多数元路径的定义方式只考虑节点之间是否存在连接。而在异构图中同一个节点可能被多条不同类型的边所连接,如用户对物品的浏览、加入购物车、购买等不同交互行为,按照传统的元路径定义方式进行实例化会因为忽略了边的类型而导致学习的节点embedding不准确。针对上述问题,提出一种在异构图上把边类型融入到元路径的方法,使节点在每个场景下得到单独训练。然后,使用图注意力机制将不同场景下的同一节点的embedding进行聚合,最终得到该节点的embedding。并用来预测用户与未交互的物品之间的行为关系,从而达到向用户推荐物品的目的。实验表明,提出的算法在三个公开数据集上都取得了性能提升,在阿里天池赛数据集上F1、ROC-AUC和PR-AUC指标分别提高了8.75%、6.03%和4.86%。     

Incorporating metapath interaction on heterogeneous information network for social recommendation

Heterogeneous information network (HIN) has recently been widely adopted to describe complex graph structure in recommendation systems, proving its effectiveness in modeling complex graph data. Although existing HIN-based recommendation studies have achieved great success by performing message propagation between connected nodes on the defined metapaths, they have the following major limitations. Existing works mainly convert heterogeneous graphs into homogeneous graphs via defining metapaths, which are not expressive enough to capture more complicated dependency relationships involved on the metapath. Besides, the heterogeneous information is more likely to be provided by item attributes while social relations between users are not adequately considered. To tackle these limitations, we propose a novel social recommendation model MPISR, which models MetaPath Interaction for Social Recommendation on heterogeneous information network. Specifically, our model first learns the initial node representation through a pretraining module, and then identifies potential social friends and item relations based on their similarity to construct a unified HIN. We then develop the two-way encoder module with similarity encoder and instance encoder to capture the similarity collaborative signals and relational dependency on different metapaths. Extensive experiments on five real datasets demonstrate the effectiveness of our method.     

Multi-view Contrastive Enhanced Heterogeneous Graph Structure Learning

As a learning method of heterogeneous graph representation, heterogeneous graph neural networks can effectively extract complex structural and semantic information from heterogeneous graphs, and perform excellently in node classification and link prediction tasks to provide strong support for the representation and analysis of knowledge graphs. Due to the existence of some noisy interactions or missing interactions in the heterogeneous graphs, the heterogeneous graph neural network incorporates erroneous neighbor features, thus affecting the overall performance of the model. To solve the above problems, in this paper we proposes a heterogeneous graph structure learning model enhanced by multi-view contrast. Firstly, the semantic information in the heterogeneous graph is maintained by the meta-path, and the similarity graph is generated by calculating the feature similarity among the nodes under each meta-path, which is fused with the meta-path graph to optimize the graph structure. By contrasting the similarity graph and meta-path graph as multiple views, the graph structure is optimized without supervision information, and the dependence on supervision signals is eliminated. Finally, for addressing the problem that the learning ability of the neural network model is insufficient at the initial training stage and there are often erroneous interactions in the generated graph structure, we design a progressive graph structure fusion method. Through incremental weighted addition of meta-path graphs and similarity graphs, the weight of similarity graphs in the fusion is changed. This not only prevents erroneous interactions from being introduced in the initial training stage but also achieves the purpose of employing the interactions in similarity graphs to suppress interference interactions or complete missing interactions, which leads to the optimized heterogeneous structure. Meanwhile, node classification and node clustering are selected as the verification tasks of graph structure learning. The experimental results on four real heterogeneous graph datasets prove that the proposed learning method is feasible and effective. Compared with the optimal comparison model, the performance of this model has been significantly improved under both tasks.     

基于异构图卷积网络的小样本短文本分类方法

针对小样本短文本分类过程中出现的语义稀疏与过拟合问题,在异构图卷积网络中利用双重注意力机制学习不同相邻节点的重要性和不同节点类型对当前节点的重要性,构建小样本短文本分类模型HGCN-RN。利用BTM主题模型在短文本数据集中提取主题信息,构造一个集成实体和主题信息的短文本异构信息网络,用于解决短文本语义稀疏问题。在此基础上,构造基于随机去邻法和双重注意力机制的异构图卷积网络,提取短文本异构信息网络中的语义信息,同时利用随机去邻法进行数据增强,用于缓解过拟合问题。在3个短文本数据集上的实验结果表明,与LSTM、Text GCN、HGAT等基准模型相比,该模型在每个类别只有10个标记样本的情况下仍能达到最优性能。     

异构图卷积网络研究进展

现实世界中的很多场景都能用多种节点类型和边类型组成的异构网络表示。网络中蕴含着丰富语义关系,并具有实际应用价值,引起了学术界和工业界的关注。传统的方法都是基于浅层模型进行异构网络挖掘。近几年,由于图卷积网络在同构网络中表现优越,有许多学者将图卷积网络应用到异构网络的挖掘,在各个任务中都取得了优异的成绩。通过对异构图卷积网络的研究进展进行评述,来了解相关领域的发展状况。介绍了异构图卷积网络的发展,将异构图卷积网络分为基于元路径和自适应异构信息的模型进行详细介绍及归纳,并综合分析了不同的聚合方法。介绍了异构图卷积网络在推荐系统、生物化学、异常检测和自然语言处理中的应用。分析了异构图卷积网络未来面临的挑战以及值得研究的问题。     

用于冷启动推荐的异质信息网络对比元学习

在推荐系统中,冷启动推荐由于缺乏用户和物品交互信息而具有很大的挑战性.该问题可以由数据层和模型层的策略进行缓解.传统的数据层方法利用如特征信息的辅助信息来增强用户和物品表示的学习.最近,异质信息网络被整合于推荐系统中.它可以提供更丰富的辅助信息和更有意义的语义信息.但是,这些模型无法充分利用结构和语义信息,并且忽视了网络中的无标签信息.模型层的方法应用了元学习框架,该框架通过学习相似任务的先验知识然后利用很少的标签信息适应新任务,与冷启动问题相似.综上,我们提出了一个基于异质信息网络的对比元学习框架CM-HIN,同时在数据层和模型层解决冷启动问题.具体的,利用元路径和网络模式两个视图分别刻画异质信息网络的高阶以及本地结构信息.在元路径和网络模式视图中,采用对比学习挖掘异质信息网络的无标签信息并整合两个视图.在三个基准数据集上的三个冷启动推荐场景的大量实验中,CM-HIN超越了所有先进的基线模型.     

基于动态图神经网络的会话式机器阅读理解研究

近年来,基于深度学习的机器阅读理解模型研究取得显著进展,但这些模型在全局语义关系构建以及较长距离推理上仍有显著缺陷,在对段落文本进行推理时,大多只把文本信息看作词的序列,而没有探索词与词之间丰富的语义关系。为了解决上述问题,该文提出一种新的基于动态图神经网络的会话式机器阅读理解模型。首先,提取文本中的实体,使用句法结构与句子之间的语义关系进行建模;然后通过语义融合模块,将基于序列化结构得到的上下文嵌入表示与基于图结构得到的实体节点嵌入表示进行融合;最终使用图神经网络实现对答案的预测。同时,该模型可在每轮对话过程中动态地构建问题和会话历史的推理图,能有效地捕捉对话中的语义结构信息和会话历史流程。实验结果表明,在两个最近提出的会话挑战(CoQA和QuAC)上表现了出色的性能。     

Pre-Train and Learn:Preserving Global Information for Graph Neural Networks

Graph neural networks(GNNs) have shown great power in learning on graphs.However,it is still a challenge for GNNs to model information faraway from the source node.The ability to preserve global information can enhance graph representation and hence improve classification precision.In the paper,we propose a new learning framework named G-GNN(Global information for GNN) to address the challenge.First,the global structure and global attribute features of each node are obtained via unsupervised pre-training,and those global features preserve the global information associated with the node.Then,using the pre-trained global features and the raw attributes of the graph,a set of parallel kernel GNNs is used to learn different aspects from these heterogeneous features.Any general GNN can be used as a kernal and easily obtain the ability of preserving global information,without having to alter their own algorithms.Extensive experiments have shown that state-of-the-art models,e.g.,GCN,GAT,Graphsage and APPNP,can achieve improvement with G-GNN on three standard evaluation datasets.Specially,we establish new benchmark precision records on Cora(84.31％) and Pubmed(80.95％) when learning on attributed graphs.     

Distant context aware text generation from abstract meaning representation

Text generation from abstract meaning representation is a fundamental task in natural language generation. An interesting challenge is that distant context could influence the surface realization for each node. In the previous encoder-decoder based approaches, graph neural networks have been commonly used to encode abstract meaning representation graphs and exhibited superior performance over the sequence and tree encoders. However, most of them cannot stack numerous layers, thus being too shallow to capture distant context. In this paper, we propose solutions from three aspects. Firstly, we introduce a Transformer based graph encoder to embed abstract meaning representation graphs. This encoder can stack more layers to encode larger context, while without performance degrading. Secondly, we expand the receptive field of each node, i.e. building direct connections between node pairs, to capture the information of its distant neighbors. We also exploit relative position embedding to make the model aware of the original hierarchy of graphs. Thirdly, we encode the linearized version of abstract meaning representation with the pre-trained language model to get the sequence encoding and incorporate it into graph encoding to enrich features. We conduct experiments on LDC2015E86 and LDC2017T10. Experimental results demonstrate that our method outperforms previous strong baselines. Especially, we investigate the performance of our model on large graphs, finding a larger performance gain. Our best model achieves 31.99 of BLEU and 37.02 of METEOR on LDC2015E86, 34.21 of BLEU, and 39.26 of METEOR on LDC2017T10, which are new states of the art.