基于BERT和路径对比学习的归纳关系预测

在以往的知识图谱关系预测任务中,主要方法仅限于直推式推理,它们在新出现实体和关系情况下不能利用先验知识去处理归纳学习的问题。提出了基于BERT与路径对比学习的关系预测方法（BERT-based and path comparison learning,BPCL）。首先,利用卷积神经网络捕获子图目标三元组的上下文邻域信息,并将子图线性化为关系路径,利用BERT初始化边特征;其次,引入正、负关系路径;最后,联合对比学习和自监督学习训练对新出现实体之间的关系预测。在适用于归纳推理方法的常用基准数据集上,验证了该模型的预测精度有所提高。     

基于RoBERTa的全局图神经网络文档级中文金融事件抽取

当前基于图神经网络的事件抽取模型无法很好解决长距离依赖问题,并且图的构造中没有考虑实体之间的关系,实体也需要结合文档中的多个句子进行推理。为解决这些问题,该文首先使用预训练模型RoBERTa对文档进行编码并输出所有句子的特征表示和文档的上下文信息嵌入表示,能更好地学习中文金融数据的语义特征。其次,构建一个包含文档节点和实体节点的全局图神经网络使不同节点和边的交互有更丰富的表示,加强了文档和实体信息之间的联系。最后,应用图卷积网络捕获了它们之间的全局交互得到实体级图,在此基础上通过改进的路径推理机制来推断实体之间的关系,更好地解决了长距离文档上下文感知表示和跨句子论元分散问题。在CFA数据集上进行了模型验证,实验结果表明,该文所提模型F₁值优于对比模型,综合性能得到有效提升。     

结合谓词感知与图注意力机制的链接预测方法

知识图谱补全旨在预测三元组中缺失的部分使知识图谱趋于完整.针对基于神经网络等模型的链接预测方法忽略了实体间的关联信息,导致模型不能覆盖三元组周围局部邻域中固有的隐藏信息,提出图注意力机制与谓词感知结合的方法.首先,利用图注意力机制定义了一个关系嵌入矩阵,描述任意给定实体邻域内实体间的关系;其次,引入谓词增强实体间语义理解程度,构造了基于谓词嵌入向量的注意力值计算公式,以便有效地度量实体间语义联系的强度;此外,利用实体邻居间的边关系预测多跳实体间的直接关系以补全知识图谱.在数据集WN18RR、Kinship、FB15K的实验结果表明了该方法能有效提高三元组的预测精度.     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体)。为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法。使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元组的得分,得分越低证明三元组越正确。实验采用数据集WN18RR、FB15K-237、FB15K分别进行链接预测和三元组分类实验。实验结果表明,与其他方法相比,该方法在Mean Rank和Hit@10指标上都取得了更好的实验结果,证明其可以有效提高三元组预测精度。     

基于改进图节点的图神经网络多跳阅读理解研究

多跳阅读理解需要基于问题并在多个支撑文档中寻找相关信息进行跳跃式推理来回答问题。针对当前多跳阅读理解模型中所存在的实体图内缺乏关键问题信息以及信息冗余问题,提出一种基于改进图节点的图神经网络多跳阅读理解模型。采用基于指代词的实体提取方法提取实体,将提取到的实体基于问题关联实体构建实体图。对实体图中的节点进行编码预处理,通过门机制的图卷积网络模拟得到推理信息,计算推理信息与问题信息的双向注意力并进行结果预测。在WikiHop数据集上的实验结果表明,该模型在测试集上取得了73.1%的预测准确率,相比基于图神经网络、循环神经网络和注意力机制的多跳阅读理解模型准确率更高、泛化性能更强。     

基于改进图节点的图神经网络多跳阅读理解研究

多跳阅读理解需要基于问题并在多个支撑文档中寻找相关信息进行跳跃式推理来回答问题。针对当前多跳阅读理解模型中所存在的实体图内缺乏关键问题信息以及信息冗余问题,提出一种基于改进图节点的图神经网络多跳阅读理解模型。采用基于指代词的实体提取方法提取实体,将提取到的实体基于问题关联实体构建实体图。对实体图中的节点进行编码预处理,通过门机制的图卷积网络模拟得到推理信息,计算推理信息与问题信息的双向注意力并进行结果预测。在WikiHop数据集上的实验结果表明,该模型在测试集上取得了73.1%的预测准确率,相比基于图神经网络、循环神经网络和注意力机制的多跳阅读理解模型准确率更高、泛化性能更强。     

基于偏差的图注意力神经网络推荐算法

在推荐系统中,基于知识图谱的神经网络与传统神经网络相比,以图形作为输入,可以很好地将节点信息和拓扑结构相结合进行推理和推荐.然而,现有基于图神经网络的推荐算法,面临着知识表示不准确以及信息融合单一的问题.对此,将图神经网络与注意力机制相结合,提出一种基于偏差的图注意力神经网络推荐算法.该方法采用翻译模型对知识图谱信息进行特征表示的嵌入,获取节点在同一投影空间下的三元组信息,考虑到在三元组中预测值与真实值之间存在误差,以及邻居节点在信息传播时权重的差异,采用基于偏差的注意力计算机制以便更好地捕获节点间高阶连通性.其次,在神经网络的传播训练过程中,通过多通道融合机制对节点和邻居信息进行聚合以提高模型的健壮性.最后,在3个真实数据集上与经典算法进行对比,验证所提出算法的有效性.     

基于GNN双源学习的访问控制关系预测方法

随着大数据技术的迅速发展和广泛应用,用户越权访问成为制约大数据资源安全共享、受控访问的主要问题之一。基于关系的访问控制（ReBAC,relation-based access control）模型利用实体之间关系制定访问控制规则,增强了策略的逻辑表达能力,实现了动态访问控制,但仍然面临着实体关系数据缺失、规则的关系路径复杂等问题。为克服这些问题,提出了一种基于GNN双源学习的边预测模型——LPMDLG,将大数据实体关系预测问题转化为有向多重图的边预测问题。提出了基于有向包围子图的拓扑结构学习方法和有向双半径节点标记算法,通过有向包围子图提取、子图节点标记计算和拓扑结构特征学习3个环节,从实体关系图中学习节点与子图的拓扑结构特征;提出了基于有向邻居子图的节点嵌入特征学习方法,融入了注意力系数、关系类型等要素,通过有向邻居子图提取、节点嵌入特征学习等环节,学习其节点嵌入特征;设计了双源融合的评分网络,将拓扑结构与节点嵌入联合计算边的得分,从而获得实体关系图的边预测结果。边预测实验结果表明,相较于R-GCN、SEAL、GraIL、TACT等基线模型,所提模型在AUC-PR、MRR和Hits@...     

基于贝叶斯网的开放世界知识图谱补全

知识图谱中实体所涉及的关系之间通常具有相互依赖的性质,基于这种依赖性可利用数据中的新实体来构造更多的三元组从而补全知识图谱。贝叶斯网(BN)是一种表示和推理变量之间相互依赖关系和不确定性知识的有效模型,将BN作为模型框架,研究基于BN的开放世界知识图谱补全方法。提出知识图谱中关系之间依赖性的表示模型构建方法,构建过程包括模型的基础结构构建和参数表计算,基于关系对实体的描述作用,根据描述作用强的关系决定描述作用弱的关系这一规则构建模型的基础结构。给出基于知识图谱中的三元组来抽取数据集的方法,采用最大似然估计法并利用模型的基础结构和数据集来计算模型的参数表。提出基于BN概率推理的三元组构造方法,将开放世界数据中包含新实体三元组的关系和尾实体作为证据,利用概率推理计算新实体与其他实体之间存在关系的条件概率,以此为依据构造与新实体相关的更多三元组,从而完善知识图谱。在FB15k和DBpedia数据集中分别进行三元组类型预测和链路预测实验,结果表明,该方法具有有效性,其预测召回率和MR值相比现有知识图谱补全方法均有明显提升。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

基于AFP的有向加权注意力流网络链路预测

个性化推荐系统在减轻信息超载、提供个性化服务和辅助用户决策等方面应用广泛,链路预测是个性化推荐的重要方法之一。传统启发式链路预测方法仅考虑网络的图结构特征,缺乏对显式特征和隐式特征信息的应用,且大多数方法基于无向无权网络。针对传统链路预测方法存在的不足,基于集体注意力流网络和R-GCN方法,提出了链路预测算法AFP,将注意力流网络中2节点间不同的边方向抽象为2种边关系类型,并引入注意力机制学习网络中的节点属性和边属性,还综合考虑了网络的图结构特征、显式特征和隐式特征,最后通过评分函数得到三元组成立与否的概率,将链路预测问题转化为一个二分类问题,预测节点间的边属于某个关系类型的可能性。实验结果表明,相比于GCN、GAT等6个基准算法,该算法在准确度、精度和召回率等多个评价指标上均有提升。     

一种针对关系不确定性的贝叶斯异质图神经网络

由不同类型的节点和边组成的异质图在现实世界中具有广泛的应用场景.近年来,针对此类图数据的异质图神经网络研究与应用取得了很好的进展,但是现有的异质图神经网络在构建时没有考虑到异质图中存在关系的不确定性问题,因而在面对包含不确定性的关系的对抗性实例干扰时也暴露出鲁棒性较弱的缺点.针对上述问题,本文提出贝叶斯异质图神经网络模型(Bayesian Heterogeneous Neural Network,BHNN),用于解决异质图中关系不确定性问题并提高模型的鲁棒性. BHNN首先基于异质图的领域知识预定义不同的元路径,然后针对表示单一关系的每条元路径构建由相同类型节点构成的元路径邻居图,每个元路径邻居图被看作是一个随机图参数族的实现并可以使用随机块模型对其建模,最后结合贝叶斯方法对随机图的参数和节点标签的联合后验进行推理得到节点的预测标签的概率分布.节点分类实验结果表明:在ACM、DBLP和IMDB三个基准数据集上,相比较于目前最好的图数据训练模型,BHNN的微F1与宏F1分别平均提高了1.59%与1.36%,这验证了本文算法的有效性和优越性.在节点攻击实验中,相比较于基准方法中的图神经网络...     

基于表示学习的开放域中文知识推理

知识库通常以网络的形式被组织起来,网络中每个节点代表实体,而每条连边则代表实体间的关系。为了利用这种网状知识库中的知识,往往需要设计专门的、复杂度较高的图算法。然而这些算法并不能很好适用于知识推理,尤其是随着知识库的知识规模不断扩大,基于网状结构知识库的推理很难较好地满足实时计算的需求。该文使用基于TransE模型的知识表示学习进行知识推理,包括对实体关系三元组中关系指示词以及尾实体的推理,其中关系指示词推理的实验取得了较好的结果,且推理过程无需设计复杂的算法,仅涉及向量的简单运算。另外,该文对原始TransE模型的代价函数进行改进,以更好地适用于开放域中文知识库表示学习。     

基于元路径的图Transformer神经网络

图神经网络作为一种新的深度学习模型,被广泛运用在图数据中,并极大地推动了推荐系统、社交网络、知识图谱等应用的发展.现有的异构图神经网络通常事先定义了多条元路径来学习异构图中的复合关系.然而,这些模型通常在特征聚合步骤中只考虑单条元路径,导致模型只关注了元路径的局部结构,忽略了元路径之间的全局相关性;还有一些模型则是忽略掉了元路径的中间节点和边信息,导致模型无法学习到元路径内部的语义信息.针对以上问题,本文提出一种基于元路径的图Transformer神经网络(MaGTNN).该模型首先将异构图采样为基于元路径的多关系子图,利用提出的位置编码和边编码的方法来获取元路径中的语义信息.随后使用改进的图Transformer层计算出目标节点与其元邻居的相似度,并利用该相似度来聚合其所有的元邻居信息.在3个公开数据集的节点分类和节点聚类任务中, MaGTNN均高于最新的基准模型.     

基于粗糙图的图卷积神经网络算法

图卷积神经网络在解决节点分类问题时,使用拓扑图刻画节点间关系,并根据该拓扑图进行节点特征更新.然而,传统的拓扑图只能刻画节点之间的确定关系(即连接边权重为固定值),忽略真实世界中广泛存在的不确定性.这些不确定性不仅影响节点之间的关系,同时影响模型最终的分类性能.为了克服该缺陷,文中提出基于粗糙图的图卷积神经网络算法.首先,使用上下近似理论和传统拓扑图的边理论构造粗糙边,在粗糙边中使用成对出现的最大-最小关系值刻画节点之间的不确定关系,从而构建粗糙图.然后,设计基于粗糙图的可端到端训练的神经网络架构,将使用粗糙权重系数训练后的粗糙图输入图卷积神经网络,使用这些不确定信息更新节点特征.最后,根据这些学习的节点特征进行节点分类.在真实数据上的实验表明,文中算法可提高节点分类的准确率.     

基于知识图谱嵌入和补全的电梯故障预测

为及早预测电梯发生的常见故障,提高电梯设备的维保质量和效率,提出基于规则推理、知识图谱嵌入技术和知识图谱补全技术实现电梯故障预测的方法,在构建电梯故障知识图谱后,通过改进的组合模型将三元组中的实体和关系训练为连续的低维向量空间,实现三元组对于故障预测相关运算的兼容,通过组合模型实现电梯实体、关系和故障实体三元组的预测....     

知识图谱引导的贝叶斯网概率推理

在基于贝叶斯网的概率推理应用中,由于缺乏节点间潜在的关联信息,使得与推理任务无关的节点参与计算,导致推理效率不高,高效的贝叶斯网推理有待深入研究.为此,本文引入知识图谱,使用领域知识补充节点间潜在的关联信息,从而支持高效贝叶斯网推理.首先,基于TransE模型将知识图谱中的三元组嵌入到低维向量空间,通过向量的相似度计算得到实体间的关联信息,以此为依据从贝叶斯网中抽取与推理任务相关的子图构建节点关联图;然后,基于实体间的相似度与贝叶斯网节点参数给出图中的权值计算方法;最后,基于节点关联图的嵌入实现近似推理.实验结果表明,本文方法的效率优于吉布斯采样算法与前向采样算法,验证了本方法的高效性.     

基于双集合预测网络的实体关系联合抽取模型

实体关系抽取任务旨在从非结构化文本中识别出实体和实体间的关系,是目前大规模知识图谱构建和更新的技术来源。在现有的实体关系联合抽取方法中,并行解码三元组的方法通过集合预测的方式高效生成三元组,然而这种方法忽略了实体与关系间、实体主客体间的交互,导致生成无效三元组。针对此问题,提出基于双集合预测网络的实体关系联合抽取模型。为了增强关系和实体之间的交互,采用双集合预测网络并行解码三元组,顺序生成三元组中实体信息和关系类型：第一个集合预测网络对三元组集合建模并解码出三元组内的主客体信息,第二个集合预测网络对融合了主客体信息的三元组嵌入集合建模并解码出主客体间的关系类型;针对实体主客体设计了一个实体过滤器,预测句子中实体间的主客体相关性并依照该结果过滤掉主客体相关性较低的三元组。在公开数据集纽约时报（NYT）和WebNLG上的实验结果表明,在编码器为BERT的情况下所提模型相较基线模型在准确率和F1指标上的效果更好,验证了该模型的有效性。     

融合语义和句法图神经网络的实体关系联合抽取

实体关系抽取任务是信息抽取的核心任务，它对于有效地从爆炸性增长的数据中提取出关键性的信息有着不可替代的作用，也是构建大规模知识图谱的基础任务，因此研究实体关系抽取对各种自然语言处理任务具有重要意义。尽管现有的基于深度学习方法的实体关系抽取已经有了很成熟的理论和较好的性能，但依然还存在着误差累积、实体冗余、交互缺失、三元组重叠等问题。语义信息和句法信息对自然语言处理任务都具有重要作用，为了充分利用这些信息以解决上述提到的问题，提出了一种融合语义和句法图神经网络的二元标记实体关系联合抽取模型FSSRel(Fusion of Semantic and Syntactic Graph Convolutional Networks Binary Tagging Framework for Relation triple extraction)。该模型分为三个阶段进行：第一阶段，对三元组主体的开始结束位置进行预测标记；第二阶段，分别通过语义图神经网络和句法图神经网络提取语义特征和句法特征，并将其融合进编码向量；第三阶段，对语句的每种关系的客体位置进行预测标记，完成最终三元组的提取。实验结果表明，在...     

面向知识图谱补全的归纳学习研究综述

知识图谱补全能够使知识图谱更加完整。然而,传统的知识图谱补全方法假定在测试时所有实体和关系都出现在训练过程,由于现实世界知识图谱的演变性质,一旦出现不可见实体或不可见关系,就需要重新训练知识图谱。面向知识图谱补全的归纳学习旨在补全包含不可见实体或不可见关系的三元组,而无需从头开始训练知识图谱,因此近年来受到广泛关注。首先从知识图谱的基本概念出发,将知识图谱补全分为两大类,直推式和归纳式;其次从归纳式的知识图谱补全的理论角度出发,分为半归纳和全归纳这两类,并从该角度对模型进行总结归纳;然后从归纳式的知识图谱补全的技术角度出发,分为基于结构信息和基于额外信息这两大类,将基于结构信息的方法细分为基于归纳嵌入、基于逻辑规则和基于元学习这三类,将基于额外信息的方法细分为基于文本信息和其他信息这两类,并对当下方法进一步深入细分、分析和对比;最后对未来的研究方向进行展望。