基于对比学习与语言模型增强嵌入的知识图谱补全

知识图谱是由各种知识或数据单元经过抽取等处理而组成的一种结构化知识库,用于描述和表示实体、概念、事实和关系等信息。自然语言处理技术的限制和各种知识或信息单元文本本身的噪声都会使信息抽取的准确性受到一定程度的影响。现有的知识图谱补全方法通常只考虑单一结构信息或者文本语义信息,忽略了整个知识图谱中同时存在的结构信息与文本语义信息。针对此问题,提出一种基于语言模型增强嵌入与对比学习的知识图谱补全(KGC)模型。将输入的实体和关系通过预训练语言模型获取实体和关系的文本语义信息,利用翻译模型的距离打分函数捕获知识图谱中的结构信息,使用2种用于对比学习的负采样方法融合对比学习来训练模型以提高模型对正负样本的表征能力。实验结果表明,与基于来自Transformеr的双向编码器表示的知识图谱补全(KG-BERT)模型相比,在WN18RR和FB15K-237数据集上该模型链接预测的排名小于等于10的三元组的平均占比(Hits@10)分别提升了31%和23%,明显优于对比模型。     

结合多重嵌入表示的中文知识图谱补全

近年来,随着知识图谱相关技术的不断发展,各方面研究对知识图谱本身的需求也不断加强。然而现有的知识图谱无法完全覆盖整个真实世界,同时在知识正确性以及时效性等方面存在问题,这使得知识图谱补全越来越受到研究者的关注。在中文环境下,知识图谱补全任务又呈现出与英文图谱补全任务不同的特性。该文对中/英知识图谱补全任务进行了对比分析,将中文图谱中出现的错误进行了归类。根据该分析结果,该文提出将三元组中实体和关系嵌入表示、实体和关系描述文本嵌入表示结合的链接预测方法MER-Tuck,该方法利用外部的语义补充来加强矩阵分解模型的学习能力。为了验证该方法的有效性,该文为中文知识图谱补全任务构建了新数据集。在该数据集上将该文的方法与主流的链接预测方法进行比较,实验结果表明该文所提方法是有效的。     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体).为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法.使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元...     

胶囊网络在知识图谱补全中的应用

知识图谱补全旨在发现三元组中缺失链接,解决知识图谱数据稀疏问题。提出一种基于胶囊网络的知识图谱嵌入方法,该方法能够对关系三元组(头实体,关系,尾实体)进行建模。将三元组表示为3列矩阵,它与多个滤波器卷积以产生不同的特征映射;将这些特征图重建成相应的胶囊,每个胶囊是一组神经元,通过和权重点积生成较小尺寸的胶囊,然后生成一个连续矢量;该矢量和权重向量进行点积运算获得对应得分,所有分数求和的结果用来判断给定三元组的正确性。实验结果表明,和其他模型相比,该方法有效提高了三元组的预测精度,知识图谱补全的效果更好。     

关于主动学习下的知识图谱补全研究

知识图谱补全任务研究如何补全知识图谱中的缺失关系。知识图谱补全任务有许多广泛的应用,例如可以应用到轨道交通运维知识库中以支撑轨道交通的系统设计、运维优化。现有的算法在用于现实的大规模知识图谱时时间开销巨大,并且无法很好地利用知识图谱外部的数据信息。针对以上两点局限性,提出了一种基于主动学习的知识图谱补全框架。该框架结合主动学习的思想,利用链接预测预先筛选缺失知识图谱中最有可能产生链接的前k对实体对,然后充分考虑知识图谱内部信息和外部信息,采用内外部数据相结合的方式实现知识图谱的缺失补全。基于Freebase和DBpedia数据集,针对已有的工作进行了对比实验,实验结果表明提出的增强链接预测算法(ELP)效果更好,并且具有主动学习能力;提出的内部数据和外部数据相结合的关系验证方法能更有效地验证三元组。     

球坐标建模语义分层的知识图谱补全方法

知识图谱是真实世界三元组的结构化表示.通常,三元组表示形式为(头实体,关系,尾实体),这表示头实体和尾实体通过特定关系相互联系.针对知识图谱中广泛存在的数据稀疏问题,提出一种球坐标建模语义分层的知识图谱补全方法.使用球坐标系对实体和关系进行建模表示,以进行链接预测.具体来说,半径坐标旨在对不同层级的实体进行建模,半径较...     

基于时序感知的动态知识图谱补全方法

针对动态知识图谱的补全方法大多将时间维度内嵌于实体或关系中,将四元组降维成三元组后以静态知识图谱补全理论进行补全。静态补全方法通常只对实体关系建模,忽略了时间信息在四元组中的重要作用。同时知识库内时间表述存在稀疏性和不规则性。针对以上问题,提出了时序感知编码器和时序卷积解码器。时序感知编码器将时间维度同实体和关系嵌入为同规模向量,通过改进的图卷积神经网络实现四元组的特征提取。针对时序编码器特征提取后的四元组向量,时序卷积解码器利用卷积神经网络评估全局关系以进行链接预测。所提出的方法可以提供更精确的时间维度特征,提升补全时序图谱的性能。在ICEWS14、ICEWS05-15、Wikidata12k和YAGO11k数据集上的实验验证了提出方法的有效性,同时链接预测效果较优。     

基于MpBERT-BiGRU的中文知识图谱补全

知识补全是提高知识图谱质量的关键技术,为了更好地利用中文知识图谱,该文对中文知识图谱补全进行研究。针对大多数研究聚焦于英文数据集,缺少中文知识补全数据集的情况,在已有数据集的基础上,该文构建了中文UMLS+ownthink数据集。现有知识图谱补全方法大多忽视BERT模型表征能力不足、位置信息学习能力弱的问题,且未考虑中文文本特征复杂、语序依赖性强的特点,因此提出一种名为MpBERT-BiGRU的中文知识图谱补全模型,利用平均池化策略有效缓解BERT模型表征能力弱的问题,并通过BiGRU网络强化特征信息,提高位置信息学习能力;同时将三元组转化为文本序列,结合实体描述信息作为模型的输入,利用背景知识丰富实体信息。链接预测实验结果表明,该方法在平均排名(Mean Rank, MR)指标上相比传统方法提高10.39,前10命中率(Hit@10)指标提高4.63%,验证了模型在中文语料库上的有效性。     

基于四元数胶囊网络的知识图谱补全模型

知识图谱采用RDF三元组的形式描述现实世界中的关系和头、尾实体,即（头实体,关系,尾实体）或（主语,谓语,宾语）。为补全知识图谱中缺失的事实三元组,将四元数融入胶囊神经网络模型预测缺失的知识,并构建一种新的知识图谱补全模型。采用超复数嵌入取代传统的实值嵌入来编码三元组结构信息,以尽可能全面捕获三元组全局特性,将实体、关系的四元数嵌入作为胶囊网络的输入,四元数结合优化的胶囊网络模型可以有效补全知识图谱中丢失的三元组,提高预测精度。链接预测实验结果表明,与CapsE模型相比,在数据集WN18RR中,该知识图谱补全模型的Hit@10与正确实体的倒数平均排名分别提高3.2个百分点和5.5%,在数据集FB15K-237中,Hit@10与正确实体的倒数平均排名分别提高2.5个百分点和4.4%,能够有效预测知识图谱中缺失的事实三元组。     

面向链接预测的知识图谱嵌入研究综述

知识图谱在人工智能领域有着广泛的应用,如信息检索、自然语言处理、推荐系统等。然而,知识图谱的开放性往往意味着它们是不完备的,具有自身的缺陷。鉴于此,需建立更完整的知识图谱,以提高知识图谱的实际利用率。利用链接预测通过已有关系来推测新的关系,从而实现大规模知识库的补全。通过比较基于翻译模型的知识图谱链接预测模型,从常用数据集与评价指标、翻译模型、采样方法等方面分析知识图谱链接预测模型的框架,并对基于知识图谱的链接预测模型进行了综述。     

基于知识图谱上下文的图注意矩阵补全

针对图卷积编码器提取用户、项目信息过程中权重共享,不能区分邻域之间重要性,以及知识图谱作为辅助信息时,基于图神经网络方法无法显示对知识图谱非本地上下文（最相关的高阶邻居集合）信息进行捕获的问题,提出一种基于双向交互图传递的图注意编码器框架,显示利用知识图谱本地（一阶邻居集合）和非本地上下文信息。通过图注意编码器获取用户、项目的嵌入向量;考虑用户对实体的个性化偏好,通过特定于用户的图注意机制来捕获知识图的本地上下文信息;使用随机游走抽样提取实体的非本地上下文,并使用递归神经网络建模实体与非本地上下文实体之间的依赖关系,通过一个双线性解码器重建二部图中的链接。与现有的方法相比,在真实数据集上的实验结果验证了该模型的优越性。     

四元数关系旋转的知识图谱补全模型

知识图谱是真实世界三元组的结构化表示,通常三元组被表示成头实体、关系、尾实体的形式.针对知识图谱中广泛存在的数据稀疏问题,提出了一种将四元数作为关系旋转的知识图谱补全方法.文中使用极具表现力的超复数表示对实体和关系进行建模,以进行链接预测.这种超复数嵌入用于表示实体,关系则被建模为四元数空间中的旋转.具体来说,将每个关...     

基于位置的知识图谱链接预测

链接预测是知识图谱的补全和分析的基础。由于位置相关的实体和关系本身拥有丰富的位置特征,该文提出了一种基于位置的知识图谱链接预测方法。该方法首先通过分析实体和关系的语义特征对关系进行分类,然后提出了一种基于位置的实体和关系位置特征和规则的挖掘方法;其次,通过挖掘出的实体位置特征和规则,对实体和关系的向量化方法预测结果进行约束,得到最终的结果。该文通过对WikiData、FB和WN数据集的实验,证明该方法针对基于位置的关系和实体链接预测拥有较好的效果。     

一种改进的基于TransE知识图谱表示方法

传统基于翻译模型的知识图谱表示方法难以处理一对多、多对一和多对多等复杂关系,而且通常独立地学习三元组而忽略了知识图谱的网络结构和语义信息。为解决该问题,构建一种基于TransE的TransGraph模型,该模型同时学习三元组和知识图谱网络结构特征,以有效增强知识图谱的表示效果。在此基础上,提出一种向量共享的交叉训练机制,从而实现网络结构信息和三元组信息的深度融合。在公开数据集上的实验结果表明,相比TransE模型,TransGraph模型在链路预测和三元组分类2个任务中的HITS@10、准确率指标均得到显著提升。     

一种改进的基于翻译的知识图谱表示方法

知识图谱在人工智能上有很大的研究价值,并被广泛应用于语义搜索和自动问答等领域.知识图谱表示将包含了实体和关系的大规模知识图谱映射到一个连续的向量空间.为此,有一系列知识表示模型提出,其中基于翻译模型的经典方法TransE不仅模型复杂度低、计算效率高,而且同样具有良好的知识表达能力.但是,TransE亦存在2个缺陷：1)它使用了不够灵活的欧氏距离作为度量,对每一个特征维同等对待,模型的准确性可能受到无关维度的干扰;2)它在处理自反、一对多、多对一和多对多等复杂关系时存在局限性.目前,还没有一种方法能同时解决上述2个缺陷,因此提出一种改进的基于翻译的知识图谱表示方法TransAH.对于第1个缺陷,TransAH采用了一种自适应的度量方法,加入了对角权重矩阵将得分函数中的度量由欧氏距离转换为加权欧氏距离,并实现了为每一个特征维区别地赋予权重.针对第2个缺陷,受TransH方法的启发,TransAH引入面向特定关系的超平面模型,将头实体和尾实体映射至给定关系的超平面加以区分.最后,在公开真实的知识图谱数据集上分析和验证了所提方法的有效性.利用链路预测和三元组分类这2项任务开展了全面横向评测实验,相较于现有的模型和方法,TransAH在各项指标上均取得了很大的进步,体现了其优越性.