知识图谱嵌入研究综述

随着互联网技术和应用模式的迅猛发展,表达方式丰富直观的知识图谱得到了大量关注,在知识表示学习方面积累了丰富研究成果,这些研究已在垂直搜索、智能问答等应用领域发挥了重要作用.在总结现有知识图谱嵌入研究基础之上,以面向的知识图谱数量为依据,将知识图谱嵌入模型分为面向单个知识图谱的链接预测模型和面向多个知识图谱的实体对齐模型...     

一种改进的基于翻译的知识图谱表示方法

知识图谱在人工智能上有很大的研究价值,并被广泛应用于语义搜索和自动问答等领域.知识图谱表示将包含了实体和关系的大规模知识图谱映射到一个连续的向量空间.为此,有一系列知识表示模型提出,其中基于翻译模型的经典方法TransE不仅模型复杂度低、计算效率高,而且同样具有良好的知识表达能力.但是,TransE亦存在2个缺陷：1)它使用了不够灵活的欧氏距离作为度量,对每一个特征维同等对待,模型的准确性可能受到无关维度的干扰;2)它在处理自反、一对多、多对一和多对多等复杂关系时存在局限性.目前,还没有一种方法能同时解决上述2个缺陷,因此提出一种改进的基于翻译的知识图谱表示方法TransAH.对于第1个缺陷,TransAH采用了一种自适应的度量方法,加入了对角权重矩阵将得分函数中的度量由欧氏距离转换为加权欧氏距离,并实现了为每一个特征维区别地赋予权重.针对第2个缺陷,受TransH方法的启发,TransAH引入面向特定关系的超平面模型,将头实体和尾实体映射至给定关系的超平面加以区分.最后,在公开真实的知识图谱数据集上分析和验证了所提方法的有效性.利用链路预测和三元组分类这2项任务开展了全面横向评测实验,相较于现有的模型和方法,TransAH在各项指标上均取得了很大的进步,体现了其优越性.     

InterTris:三元交互的领域知识图谱表示学习

在新事物不断涌现,且事物之间联系不断丰富的时代背景下,作为一项新生技术,知识图谱旨在对现实世界中概念或实体及其之间的联系进行建模.由于直接来自于现实世界,知识图谱中的实体和关系往往以符号化形式表示.要实现进一步的价值挖掘,进行知识图谱计算,就需要将符号化表示转换为数值形式.知识图谱表示学习技术应运而生.目前,知识图谱表...     

面向链接预测的知识图谱表示学习方法综述

作为人工智能的重要基石, 知识图谱能够从互联网海量数据中抽取并表达先验知识, 极大程度解决了智能系统认知决策可解释性差的瓶颈问题, 对智能系统的构建与应用起关键作用. 随着知识图谱技术应用的不断深化, 旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫. 链接预测是针对知识图谱中缺失的实体与关系进行预测的任务, 是知识图谱构建与补全中不可或缺的一环. 要充分挖掘知识图谱中的隐藏关系, 利用海量的实体与关系进行计算, 就需要将符号化表示的信息转换为数值形式, 即进行知识图谱表示学习. 基于此, 面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点. 从链接预测与表示学习的基本概念出发, 系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展. 具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述. 以知识表示形式的发展历程为线索, 分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模. 基于表示学习建模方式, 将现有方法细化为4类模型: 平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型, 并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型. 在介绍链接预测的常用的数据集与评判标准基础上, 分别对比分析二元关系、多元关系和超关系3类知识表示形式下, 4类知识表示学习模型的链接预测效果, 并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.     

基于表示学习的实体对齐方法综述

实体对齐是目前知识融合阶段的主要工作之一,基于表示学习的方法是实体对齐的主要研究方向。首先,通过全面地研究当前代表性的实体对齐技术,总结出这些技术的特征及架构,并提出了一个捕捉这些技术关键特征的框架;然后根据这些技术使用的知识表示模型将其分成2类：基于Trans的技术和基于GNN的技术;给出了2个当前广泛使用的数据集,搭建了11个有代表性的基于TransE的模型和基于GNN的模型,并在DBP15K上的3个跨语言数据集上进行对比实验;评测主流模型和添加属性或字面等不同侧面信息后的模型的对齐效果,为未来大规模单模态乃至多模态知识图谱实体对齐研究提供参考。     

基于转移的航空安全事件知识图谱表示学习

通过构造航空安全事件知识图谱并对其进行推理预测,可以有效预防航空安全事件的发生。目前,对于知识图谱的表示学习大多采用转移模型TransE,虽然其具有简单、高效的优势,但是在处理复杂关系时存在局限性。航空安全事件知识图谱不同于其他领域知识图谱,其中每个事件相互独立且又联系紧密,存在大量复杂关系,TransE模型不能很好地对其进行表示学习。为此,通过对航空安全事件语料库进行抽取来构建ASIKG数据集,利用公开数据集和ASIKG数据集对TransE的改进模型进行训练,实验结果表明,TransR模型在公共数据集上链接预测效果较好,而TransH模型在ASIKG数据集上取得了较好的链接预测效果。     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体).为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法.使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元...     

基于实体相似性的知识表示学习方法

知识表示学习旨在将知识图谱中的实体和关系表示成低维稠密实值向量,能有效缓解知识图谱的数据稀疏性和显著提升计算效率。然而,现有大多数知识表示学习方法仅将实体视为三元组的一个组成部分,没有考虑实体自身具有的特质,如实体相似性。为了加强嵌入向量的语义表达,提出基于实体相似性的表示学习方法SimE。该方法首先利用实体的结构邻域度量实体的相似性,再将实体的相似性和拉普拉斯特征映射结合作为基于三元组事实的表示学习方法的约束,形成联合表示。实验结果表明,该方法在链接预测和三元组分类等任务上与目前最好的方法性能接近。     

图表示学习方法研究综述

针对图表示方法的相关解析任务进行了研究,从形式化定义出发,首先以不同核心技术作为分类标准将图表示学习方法划分为五大类,其包括基于降维解析、矩阵分解、随机游走、深度学习和其他表示学习方法。其次通过归纳与对比分析梳理各类技术发展脉络,进而深层次展现各类图表示方法的优劣。随后结合图表示学习的常用数据集、评估方法和应用领域的归纳分析,展开动态性、可扩展性、可解释性和可解析性的四维剖析。最后总结并展望了图表示学习的未来研究趋势与发展方向。     

基于TransE的表示学习方法研究综述

为了及时了解基于TransE的表示学习方法的最新研究进展,通过归纳与整理,将基于TransE的表示学习方法分为基于复杂关系、基于关系路径、基于图像信息以及基于其他方面的方法四种类型。对每一种方法的设计思路、优缺点等进行了详细的分析,同时对基于TransE的表示学习方法的公共数据集与评价指标进行了对比、总结,对各种基于TransE的表示学习算法在实验中的表现进行了对比分析。从研究结果来看,PaSKoGE、NTransGH、TCE、TransD方法在进行链接预测和三元组分类任务上表现效果最好,值得推广和进一步拓展,并可在其特定于路径的嵌入、两层神经网络、三元组上下文、动态构造映射矩阵上进一步完善。     

融合实体概念描述与图像特征的知识图谱表示学习研究

知识图谱表示学习将实体和关系映射到一个连续的低维空间.传统学习方法是从结构化的三元组学习知识表示,忽略了三元组之外与实体相关的丰富多源信息.针对该问题,提出一种将实体概念描述和图像特征与事实三元组相结合的知识图谱表示学习模型DIRL.首先,利用BERT模型进行实体概念描述的语义表示;其次,使用CNN编码器对图像总体特征进行提取,然后通过基于注意力的方法表示图像特征;最后,将基于概念描述的表示和基于图像特征的表示与翻译模型TransR结合起来进行知识图谱表示学习.通过实验验证,DIRL模型优于现有方法,提高了多源信息知识图谱表示的有效性.     

用于知识表示学习的对抗式负样本生成

知识表示学习目的是将知识图谱中符号化表示的关系与实体嵌入到低维连续向量空间。知识表示模型在训练过程中需要大量负样本,但多数知识图谱只以三元组的形式存储正样本。传统知识表示学习方法中通常使用负采样方法,这种方法生成的负样本很容易被模型判别,随着训练的进行对性能提升的贡献也会越来越小。为了解决这个问题,提出了对抗式负样本生成器（ANG）模型。生成器采用编码-解码架构,编码器读入头或尾实体被替换的正样本作为上下文信息,然后解码器利用编码器提供的编码信息为三元组填充被替换的实体,从而构建负样本。训练过程采用已有的知识表示学习模型与生成器进行对抗训练以优化知识表示向量。在链接预测和三元组分类任务上评估了该方法,实验结果表明该方法对已有知识表示学习模型在FB15K237、WN18和WN18RR数据集上的链接预测平均排名与三元组分类准确度都有提升。     

面向个性化推荐的node2vec-side融合知识表示

推荐系统中知识图谱对系统的推荐效果起到很重要的作用,图谱中的知识表示成为影响推荐系统的关键因素,这也成为当前的研究热点之一。针对推荐系统中知识图谱的结构特点,在传统node2vec模型基础上增加关系表示和多元化游走策略,提出一种基于node2vec的知识表示node2vec-side,结合推荐系统知识图谱网络结构,旨在挖掘大规模推荐实体节点间潜在的关联关系,降低表示方式复杂度,提高可解释性。经过时间复杂度分析可知,提出的知识表示方式在复杂度上低于Trans系列和RGCN。在传统知识图谱数据集FB15K、WN18和推荐领域数据集MovieLens-1M、Book-Crossing、Last.FM上分别进行链接预测对比实验。实验结果表明,在MovieLens-1M数据集上,Hits@10分别提升了5.5%～12.1%,MRR提升了0.09～0.24;在Book-Crossing数据集上,Hits@10分别提升了3.5%～20.6%,MRR平均提升了0.04～0.24;而在Last.FM数据集上,hits@1提升了0.3%～8.5%,MRR平均提升了0.04～0.16,优于现有算法,验证了所提方法的有效性。     

基于知识表示学习的KBQA答案推理重排序算法

现有的知识库问答（KBQA）研究通常依赖于完善的知识库,忽视了实际应用中知识图谱稀疏性这一关键问题。为了弥补该不足,引入了知识表示学习方法,将知识库转换为低维向量,有效摆脱了传统模型中对子图搜索空间的依赖,并实现了对隐式关系的推理,这是以往研究所未涉及到的。其次,针对传统KBQA在信息检索中常见的问句语义理解错误对下游问答推理的错误传播,引入了一种基于知识表示学习的答案推理重排序机制。该机制使用伪孪生网络分别对知识三元组和问句进行表征,并融合上游任务核心实体关注度评估阶段的特征,以实现对答案推理结果三元组的有效重排序。最后,为了验证所提算法的有效性,在中国移动RPA知识图谱问答系统与英文开源数据集下分别进行了对比实验。实验结果显示,相比现有的同类模型,该算法在hits@n、准确率、F1值等多个关键评估指标上均表现更佳,证明了基于知识表示学习的KBQA答案推理重排序算法在处理稀疏知识图谱的隐式关系推理和KBQA答案推理方面的优越性。     

保留低阶和高阶关系的图表示深度学习集成算法

高质量学习图中节点的低维表示是当前的一个研究热点。现有浅模型的方法无法捕捉图结构的非线性关系,图神经网络技术中的图卷积模型会产生过平滑问题。同时,如何确定不同跳数关系在图表示学习中的作用亦是研究中尚需解决的问题。以解决上述问题为目的,提出一个基于T(T>1)个前馈神经网络的深度学习模型,该框架利用深度模型抽取图结构的非线性关系,T个子模型有效地捕获图的局部和全局(高阶)关系信息,并且它们在最终的向量表示中赋予了不同的作用、从而发挥不同跳数关系的优势。在顶点分类和链接预测任务中的实验结果表明,该框架比现有方法具有竞争力,对比基准算法可以获得20%左右的提升。     

融合实体描述及类型的知识图谱表示学习方法

知识图谱在很多人工智能领域发挥着越来越重要的作用。知识图谱表示学习旨在将三元组中的实体和关系映射到低维稠密的向量空间。TransE、TransH和TransR等基于翻译操作的表示学习方法,只考虑了知识图谱的三元组信息孤立的学习表示,未能有效利用实体描述、实体类型等重要信息,从而不能很好地处理一对多、多对多等复杂关系。针对这些问题,该文提出了一种融合实体描述及类型的知识图谱表示学习方法。首先,利用Doc2Vec模型得到全部实体描述信息的嵌入;其次,对实体的层次类型信息进行表示,得到类型的映射矩阵,结合Trans模型的三元组嵌入,得到实体类型信息的表示;最后,对三元组嵌入、实体描述嵌入及实体类型嵌入进行连接操作,得到最终实体嵌入的表示,通过优化损失函数训练模型,在真实数据集上分别通过链接预测和三元组分类两个评测任务进行效果评估,实验结果表明新方法优于TransE、TransR、DKRL、SimplE等主流模型。