结合多重嵌入表示的中文知识图谱补全

近年来,随着知识图谱相关技术的不断发展,各方面研究对知识图谱本身的需求也不断加强。然而现有的知识图谱无法完全覆盖整个真实世界,同时在知识正确性以及时效性等方面存在问题,这使得知识图谱补全越来越受到研究者的关注。在中文环境下,知识图谱补全任务又呈现出与英文图谱补全任务不同的特性。该文对中/英知识图谱补全任务进行了对比分析,将中文图谱中出现的错误进行了归类。根据该分析结果,该文提出将三元组中实体和关系嵌入表示、实体和关系描述文本嵌入表示结合的链接预测方法MER-Tuck,该方法利用外部的语义补充来加强矩阵分解模型的学习能力。为了验证该方法的有效性,该文为中文知识图谱补全任务构建了新数据集。在该数据集上将该文的方法与主流的链接预测方法进行比较,实验结果表明该文所提方法是有效的。     

QubitE:用于知识图谱补全的量子嵌入模型

知识图谱补全任务通过预测知识图谱中缺失的事实补全知识图谱。基于量子的知识图谱嵌入(KGE)模型利用变分量子电路,通过测量量子比特状态的概率分布对三元组进行评分,评分高的三元组即为缺失的事实。但是目前基于量子的KGE要么在优化过程中失去了量子优势,矩阵酉性被破坏,要么需要大量参数用于存储量子态,从而导致过拟合和低性能。此外,这些方法忽略了对于理解模型性能必不可少的理论分析。为了解决性能问题和弥合理论差距,提出了QubitE模型：将实体嵌入作为量子位(单位复向量),将关系嵌入作为量子门(酉复矩阵),评分过程为复矩阵乘法,利用核方法进行优化。该模型的参数化方式能在优化中保持量子优势,时空复杂度为线性,甚至可以进一步实现基于语义的量子逻辑计算。此外,从理论上可以证明该模型具有完全表达性、关系模式推理能力和包含性等,有助于理解模型性能。实验表明,QubitE在一些基准知识图谱上可以取得与最先进的经典模型相当的结果。     

四元数关系旋转的知识图谱补全模型

知识图谱是真实世界三元组的结构化表示,通常三元组被表示成头实体、关系、尾实体的形式.针对知识图谱中广泛存在的数据稀疏问题,提出了一种将四元数作为关系旋转的知识图谱补全方法.文中使用极具表现力的超复数表示对实体和关系进行建模,以进行链接预测.这种超复数嵌入用于表示实体,关系则被建模为四元数空间中的旋转.具体来说,将每个关...     

基于组合关系路径的知识图谱补全方法研究

现有的知识图谱补全方法往往只考虑直接连接的两个节点所组成的路径,忽略了节点与其他多个节点组成的关系路径所带来的信息。针对该问题,基于节点之间连接的方向,定义了在三节点结构下三种不同的关系路径连接模式,提出知识图谱中以三节点为主的组合关系路径补全模型（composite relational path completion,CRPC）。最后,在WordNet和FreeBase数据集上验证了该模型的准确性。     

知识图谱嵌入技术研究进展

知识图谱嵌入(KGE)是知识图谱领域一个新的研究热点,旨在利用词向量的平移不变性将知识图谱中实体和关系嵌入到低维向量空间,进而完成知识表示.以解决实际问题的类型为划分依据,首先,阐述了四类主要的知识图谱嵌入方法,包括基于深度学习的方法、基于图形特征的方法、基于翻译模型的方法以及基于其他模型的方法,对每种模型的算法思想进行详细阐述,总结了每种模型的优缺点;其次,从常用数据集、评价指标、算法、实验四方面对知识图谱嵌入算法实验进行分析与归纳,对嵌入方法做了横纵向对比;最后,从解决实际问题的角度出发,给出了知识图谱嵌入技术未来的发展方向.通过研究,发现在基于深度学习的方法中,LCPE模型的效果最好;在基于图形特征的方法中,TCE模型的效果最好;在基于翻译模型的方法中,NTransGH模型的效果最好.今后的研究可以在LCPE、TCE、NTransGH的基础上进行拓展,不断提高链接预测和三元组分类的实验效果.     

胶囊网络在知识图谱补全中的应用

知识图谱补全旨在发现三元组中缺失链接,解决知识图谱数据稀疏问题。提出一种基于胶囊网络的知识图谱嵌入方法,该方法能够对关系三元组(头实体,关系,尾实体)进行建模。将三元组表示为3列矩阵,它与多个滤波器卷积以产生不同的特征映射;将这些特征图重建成相应的胶囊,每个胶囊是一组神经元,通过和权重点积生成较小尺寸的胶囊,然后生成一个连续矢量;该矢量和权重向量进行点积运算获得对应得分,所有分数求和的结果用来判断给定三元组的正确性。实验结果表明,和其他模型相比,该方法有效提高了三元组的预测精度,知识图谱补全的效果更好。     

基于对比学习与语言模型增强嵌入的知识图谱补全

知识图谱是由各种知识或数据单元经过抽取等处理而组成的一种结构化知识库,用于描述和表示实体、概念、事实和关系等信息。自然语言处理技术的限制和各种知识或信息单元文本本身的噪声都会使信息抽取的准确性受到一定程度的影响。现有的知识图谱补全方法通常只考虑单一结构信息或者文本语义信息,忽略了整个知识图谱中同时存在的结构信息与文本语义信息。针对此问题,提出一种基于语言模型增强嵌入与对比学习的知识图谱补全(KGC)模型。将输入的实体和关系通过预训练语言模型获取实体和关系的文本语义信息,利用翻译模型的距离打分函数捕获知识图谱中的结构信息,使用2种用于对比学习的负采样方法融合对比学习来训练模型以提高模型对正负样本的表征能力。实验结果表明,与基于来自Transformеr的双向编码器表示的知识图谱补全(KG-BERT)模型相比,在WN18RR和FB15K-237数据集上该模型链接预测的排名小于等于10的三元组的平均占比(Hits@10)分别提升了31%和23%,明显优于对比模型。     

少样本知识图谱补全技术研究

少样本知识图谱补全（FKGC）是目前知识图谱补全任务的一个研究热点,旨在拥有少量样本数据的情况下,完成知识图谱补全任务。该任务在实际应用和知识图谱领域都有着重要的研究意义,为了进一步促进FKGC领域的发展,对目前各类方法进行了全面总结和分析。首先,描述了FKGC的概念和相关内容;其次,以技术方法作为分类依据,归纳总结出三类FKGC方法,包括基于度量学习的方法、基于元学习的方法以及基于其他模型的方法,并从模型核心、模型思路、优缺点等角度对每种方法进行分析和总结;然后,汇总了FKGC方法的数据集和评价指标,并从模型特点和实验结果两方面对FKGC方法进行分析与归纳;最后,从实际问题出发,总结了目前FKGC任务的难点问题,分析了问题背后的困难,给出了相应的解决方法,同时展望了该领域未来值得关注的几个发展方向。     

基于自适应注意力机制的知识图谱补全算法

现有的知识图谱补全模型通常将多源信息整合为实体和关系学习单一的静态特征表示,但无法表征不同上下文中出现的实体和关系的细差含义和动态属性,即实体和关系在涉及不同的三元组时可能有着不同的角色和含义,并因此表现出不同的属性。为此,提出了一种自适应注意力网络用于知识图谱补全,引入自适应注意力建模每个特征维度对特定任务的贡献程度,为目标实体和关系生成动态可变的嵌入表示。具体而言,所提模型通过定义邻居编码器和路径聚合器来处理实体邻域子图中的两种结构,自适应地调整邻居实体和关系路径的注意力得分,以捕获逻辑上与任务最相关的属性特征,为实体和关系赋予符合当前任务的细粒度语义。在链接预测任务中的实验结果表明,所提模型在FB15K-237数据集中的MeanRank指标比PathCon降低了6.9%,Hits@1比PathCon提高了2.3%;在稀疏数据集NELL-995和DDB14上,其Hits@1分别达到了87.9%和98%,证明了引入自适应注意力机制能够有效提取实体和关系的动态属性,为二者生成更全面的表示形式,从而提高知识图谱补全精度。     

基于带注意力机制CNN的联合知识表示模型

知识表示学习在自然语言处理领域获得了广泛关注,尤其在实体链指、关系抽取及自动问答等任务上表现优异。然而,大部分已有的表示学习模型仅利用知识库中的结构信息,无法很好地处理新的实体或关联事实极少的实体。为解决该问题,该文提出了引入实体描述信息的联合知识表示模型。该模型先利用卷积神经网络编码实体描述,然后利用注意力机制来选择文本中的有效信息,接着又引入位置向量作为补充信息,最后利用门机制联合结构和文本的向量,形成最终的联合表示。实验表明,该文的模型在链路预测和三元组分类任务上与目前最好的模型性能相近。     

关于主动学习下的知识图谱补全研究

知识图谱补全任务研究如何补全知识图谱中的缺失关系。知识图谱补全任务有许多广泛的应用,例如可以应用到轨道交通运维知识库中以支撑轨道交通的系统设计、运维优化。现有的算法在用于现实的大规模知识图谱时时间开销巨大,并且无法很好地利用知识图谱外部的数据信息。针对以上两点局限性,提出了一种基于主动学习的知识图谱补全框架。该框架结合主动学习的思想,利用链接预测预先筛选缺失知识图谱中最有可能产生链接的前k对实体对,然后充分考虑知识图谱内部信息和外部信息,采用内外部数据相结合的方式实现知识图谱的缺失补全。基于Freebase和DBpedia数据集,针对已有的工作进行了对比实验,实验结果表明提出的增强链接预测算法(ELP)效果更好,并且具有主动学习能力;提出的内部数据和外部数据相结合的关系验证方法能更有效地验证三元组。     

知识图谱嵌入研究综述

随着互联网技术和应用模式的迅猛发展,表达方式丰富直观的知识图谱得到了大量关注,在知识表示学习方面积累了丰富研究成果,这些研究已在垂直搜索、智能问答等应用领域发挥了重要作用.在总结现有知识图谱嵌入研究基础之上,以面向的知识图谱数量为依据,将知识图谱嵌入模型分为面向单个知识图谱的链接预测模型和面向多个知识图谱的实体对齐模型...     

基于时序感知的动态知识图谱补全方法

针对动态知识图谱的补全方法大多将时间维度内嵌于实体或关系中,将四元组降维成三元组后以静态知识图谱补全理论进行补全。静态补全方法通常只对实体关系建模,忽略了时间信息在四元组中的重要作用。同时知识库内时间表述存在稀疏性和不规则性。针对以上问题,提出了时序感知编码器和时序卷积解码器。时序感知编码器将时间维度同实体和关系嵌入为同规模向量,通过改进的图卷积神经网络实现四元组的特征提取。针对时序编码器特征提取后的四元组向量,时序卷积解码器利用卷积神经网络评估全局关系以进行链接预测。所提出的方法可以提供更精确的时间维度特征,提升补全时序图谱的性能。在ICEWS14、ICEWS05-15、Wikidata12k和YAGO11k数据集上的实验验证了提出方法的有效性,同时链接预测效果较优。     

基于四元数胶囊网络的知识图谱补全模型

知识图谱采用RDF三元组的形式描述现实世界中的关系和头、尾实体,即（头实体,关系,尾实体）或（主语,谓语,宾语）。为补全知识图谱中缺失的事实三元组,将四元数融入胶囊神经网络模型预测缺失的知识,并构建一种新的知识图谱补全模型。采用超复数嵌入取代传统的实值嵌入来编码三元组结构信息,以尽可能全面捕获三元组全局特性,将实体、关系的四元数嵌入作为胶囊网络的输入,四元数结合优化的胶囊网络模型可以有效补全知识图谱中丢失的三元组,提高预测精度。链接预测实验结果表明,与CapsE模型相比,在数据集WN18RR中,该知识图谱补全模型的Hit@10与正确实体的倒数平均排名分别提高3.2个百分点和5.5%,在数据集FB15K-237中,Hit@10与正确实体的倒数平均排名分别提高2.5个百分点和4.4%,能够有效预测知识图谱中缺失的事实三元组。     

基于知识协同微调的低资源知识图谱补全方法

知识图谱补全能让知识图谱变得更加完整.现有的知识图谱补全工作大多会假设知识图谱中的实体或关系有充足的三元组实例.然而,在通用领域,存在大量长尾三元组;在垂直领域,较难获得大量高质量的标注数据.本文针对这一问题,提出了一种基于知识协同微调的低资源知识图谱补全方法.本文通过已有的结构化知识来构造初始的知识图谱补全提示,并提出一种协同微调算法来学习最优的模板、标签和模型的参数.本文的方法同时利用了知识图谱中的显式结构化知识和语言模型中的隐式事实知识,且可以同时应用于链接预测和关系抽取两种任务.实验表明,本文的方法在3个知识图谱推理数据集和5个关系抽取数据集上都取得了目前最优的性能.     

面向链接预测的知识图谱嵌入研究综述

知识图谱在人工智能领域有着广泛的应用,如信息检索、自然语言处理、推荐系统等。然而,知识图谱的开放性往往意味着它们是不完备的,具有自身的缺陷。鉴于此,需建立更完整的知识图谱,以提高知识图谱的实际利用率。利用链接预测通过已有关系来推测新的关系,从而实现大规模知识库的补全。通过比较基于翻译模型的知识图谱链接预测模型,从常用数据集与评价指标、翻译模型、采样方法等方面分析知识图谱链接预测模型的框架,并对基于知识图谱的链接预测模型进行了综述。     

Future Event Prediction Based on Temporal Knowledge Graph Embedding

Accurate prediction of future events brings great benefits and reduces losses for society in many domains, such as civil unrest, pandemics, and crimes. Knowledge graph is a general language for describing and modeling complex systems. Different types of events continually occur, which are often related to historical and concurrent events. In this paper, we formalize the future event prediction as a temporal knowledge graph reasoning problem. Most existing studies either conduct reasoning on static knowledge graphs or assume knowledges graphs of all timestamps are available during the training process. As a result, they cannot effectively reason over temporal knowledge graphs and predict events happening in the future. To address this problem, some recent works learn to infer future events based on historical event-based temporal knowledge graphs. However, these methods do not comprehensively consider the latent patterns and influences behind historical events and concurrent events simultaneously. This paper proposes a new graph representation learning model, namely Recurrent Event Graph ATtention Network (RE-GAT), based on a novel historical and concurrent events attention-aware mechanism by modeling the event knowledge graph sequence recurrently. More specifically, our RE-GAT uses an attention-based historical events embedding module to encode past events, and employs an attention-based concurrent events embedding module to model the associations of events at the same timestamp. A translation-based decoder module and a learning objective are developed to optimize the embeddings of entities and relations. We evaluate our proposed method on four benchmark datasets. Extensive experimental results demonstrate the superiority of our RE-GAT model comparing to various baselines, which proves that our method can more accurately predict what events are going to happen.     

球坐标建模语义分层的知识图谱补全方法

知识图谱是真实世界三元组的结构化表示.通常,三元组表示形式为(头实体,关系,尾实体),这表示头实体和尾实体通过特定关系相互联系.针对知识图谱中广泛存在的数据稀疏问题,提出一种球坐标建模语义分层的知识图谱补全方法.使用球坐标系对实体和关系进行建模表示,以进行链接预测.具体来说,半径坐标旨在对不同层级的实体进行建模,半径较...     

基于符号语义映射的知识图谱表示学习算法

图的分布式表示对于知识图谱的构建与应用任务至关重要.通过对当前流行的图表示学习模型进行比较,分析了现有模型存在的不合理之处,据此提出了一个基于符号语义映射的神经网络模型用于学习图的分布式表示,基本思想是依据知识图谱中已有的实体关系数据,采用循环神经网络对符号组合(实体-关系组合)进行语义编码,并将其映射到目标符号(实体)上.此外,通过为图中的每个关系类型引入一个逆关系镜像,解决了关系的非对称性问题,使模型能够适应多种不同类型的(同构或异构)网络的关系推理任务.该模型适用于大规模知识图谱的表示学习任务.在公开数据集上的实验结果表明,该模型在知识图谱扩容任务和基于图的多标签分类任务上的性能表现优于相关工作.