面向人工智能深度学习的知识图谱补全技术与应用综述

知识图谱旨在为各种领域提供更加全面可靠的服务,在实际应用中的价值不可估量,为了使其不断更新和趋于完整,知识图谱补全技术开始被提出;近几年,随着人工智能和深度学习的兴起,许多国内外学者对知识图谱补全方向进行深入研究,出现了很多面向人工智能深度学习的知识图谱补全模型,但相关的文献综述却并不多;为了提供一个全面了解该领域的框架,有助于读者能够掌握当前的研究进展和应用情况,并为未来的研究和应用提供一些参考;通过介绍其概念和典型的知识图谱,从深度学习的知识补全技术的三个角度展开,分析和归纳了目前基于深度学习的知识图谱补全模型,探讨了不同模型的优缺点及改进模型;同时,讨论了现阶段知识图谱补全任务所存在的问题和挑战,并探索了该领域的应用方向和发展前景;综上所述,深度学习在知识图谱补全中具有巨大的发掘价值,亟待学者们进行更深入的研究和进一步地创新。     

面向知识图谱补全的归纳学习研究综述

知识图谱补全能够使知识图谱更加完整。然而,传统的知识图谱补全方法假定在测试时所有实体和关系都出现在训练过程,由于现实世界知识图谱的演变性质,一旦出现不可见实体或不可见关系,就需要重新训练知识图谱。面向知识图谱补全的归纳学习旨在补全包含不可见实体或不可见关系的三元组,而无需从头开始训练知识图谱,因此近年来受到广泛关注。首先从知识图谱的基本概念出发,将知识图谱补全分为两大类,直推式和归纳式;其次从归纳式的知识图谱补全的理论角度出发,分为半归纳和全归纳这两类,并从该角度对模型进行总结归纳;然后从归纳式的知识图谱补全的技术角度出发,分为基于结构信息和基于额外信息这两大类,将基于结构信息的方法细分为基于归纳嵌入、基于逻辑规则和基于元学习这三类,将基于额外信息的方法细分为基于文本信息和其他信息这两类,并对当下方法进一步深入细分、分析和对比;最后对未来的研究方向进行展望。     

结合多重嵌入表示的中文知识图谱补全

近年来，随着知识图谱相关技术的不断发展，各方面研究对知识图谱本身的需求也不断加强。然而现有的知识图谱无法完全覆盖整个真实世界，同时在知识正确性以及时效性等方面存在问题，这使得知识图谱补全越来越受到研究者的关注。在中文环境下，知识图谱补全任务又呈现出与英文图谱补全任务不同的特性。该文对中/英知识图谱补全任务进行了对比分析，将中文图谱中出现的错误进行了归类。根据该分析结果，该文提出将三元组中实体和关系嵌入表示、实体和关系描述文本嵌入表示结合的链接预测方法MER-Tuck,该方法利用外部的语义补充来加强矩阵分解模型的学习能力。为了验证该方法的有效性，该文为中文知识图谱补全任务构建了新数据集。在该数据集上将该文的方法与主流的链接预测方法进行比较，实验结果表明该文所提方法是有效的。     

知识图谱嵌入技术研究进展

知识图谱嵌入(KGE)是知识图谱领域一个新的研究热点,旨在利用词向量的平移不变性将知识图谱中实体和关系嵌入到低维向量空间,进而完成知识表示.以解决实际问题的类型为划分依据,首先,阐述了四类主要的知识图谱嵌入方法,包括基于深度学习的方法、基于图形特征的方法、基于翻译模型的方法以及基于其他模型的方法,对每种模型的算法思想进行详细阐述,总结了每种模型的优缺点;其次,从常用数据集、评价指标、算法、实验四方面对知识图谱嵌入算法实验进行分析与归纳,对嵌入方法做了横纵向对比;最后,从解决实际问题的角度出发,给出了知识图谱嵌入技术未来的发展方向.通过研究,发现在基于深度学习的方法中,LCPE模型的效果最好;在基于图形特征的方法中,TCE模型的效果最好;在基于翻译模型的方法中,NTransGH模型的效果最好.今后的研究可以在LCPE、TCE、NTransGH的基础上进行拓展,不断提高链接预测和三元组分类的实验效果.     

基于生成式对抗网络和正类无标签学习的知识图谱补全算法

随着知识图谱的应用越来越广泛，绝大多数真实世界的知识图谱通常具有不完备性，限制了知识图谱的实际应用效果。因此，知识图谱补全成为了知识图谱领域的热点。然而，现有方法大多集中在评分函数的设计上，少部分研究关注了负样本抽样策略。在改善负样本抽样的知识图谱补全算法的研究中，基于生成式对抗网络的方法取得了不错的进展。然而，现有研究并没有关注到负样本存在假阴性标签的问题，即生成的负样本中可能包含真实的事实。为了缓解假阴性标签问题，提出了一种基于生成式对抗网络和正类无标签学习的知识图谱补全算法。该方法利用生成式对抗网络生成无标签样本，并使用正类无标签学习缓解假阴性标签问题。在基准数据集上进行的大量实验证明了所提算法的有效性与准确性。     

基于异构图注意力的工业设备故障诊断知识图谱补全方法

针对工业设备故障诊断知识图谱故障实体属性残缺、故障关系链接缺失的问题,本文提出了一种基于知识图谱异构图注意力网络(knowledge graph heterogeneous graph attention network, KGHAN)模型的工业设备故障诊断知识图谱补全方法,通过对故障实体概念补全和故障关系链接补全完善了工业设备故障诊断知识图谱.所提KGHAN模型在异构图注意力网络模型的基础上,融合了故障知识结构信息和故障图结构信息,有效地表征了故障实体和故障关系的嵌入表示,提高了故障实体概念补全任务的准确率和故障关系链接补全任务的命中率.将所提工业设备故障诊断知识图谱补全方法应用在国内某企业的工业设备故障运维数据上,结果表明,故障实体概念补全任务的准确率提高了约10%,故障关系链接补全任务的命中率提高了约37%,验证了方法的有效性.     

基于知识协同微调的低资源知识图谱补全方法

知识图谱补全能让知识图谱变得更加完整.现有的知识图谱补全工作大多会假设知识图谱中的实体或关系有充足的三元组实例.然而,在通用领域,存在大量长尾三元组;在垂直领域,较难获得大量高质量的标注数据.本文针对这一问题,提出了一种基于知识协同微调的低资源知识图谱补全方法.本文通过已有的结构化知识来构造初始的知识图谱补全提示,并提出一种协同微调算法来学习最优的模板、标签和模型的参数.本文的方法同时利用了知识图谱中的显式结构化知识和语言模型中的隐式事实知识,且可以同时应用于链接预测和关系抽取两种任务.实验表明,本文的方法在3个知识图谱推理数据集和5个关系抽取数据集上都取得了目前最优的性能.     

融合概念和属性信息的领域知识图谱补全方法

针对领域知识图谱具有严格的模式层和丰富的属性信息的特点,提出一种融合概念和属性信息的领域知识图谱补全方法.首先对领域知识图谱模式层中的概念使用可建模语义分层结构的HAKE模型进行嵌入表示,建立基于概念的实例向量表示;其次对数据层的实例三元组和属性三元组进行区分,通过注意力机制对实例的属性和概念进行融合,建立基于属性的实例向量表示;最后对基于概念和基于属性的实例向量表示进行联合训练以实现对实例三元组的评分.使用基于DWY100K数据集构建的知识图谱、MED-BBK-9K 医疗知识图谱和根据某钢铁企业设备故障诊断数据构建的知识图谱进行实验,结果表明所提出方法在领域知识图谱补全中的性能优于现有知识图谱补全方法.     

知识图谱补全技术研究综述

作为一种新兴的数据结构，知识图谱被广泛用于搜索引擎、推荐系统、对话系统等诸多领域中.知识图谱补全(knowledge graph completion)是通过不同的方法，对图谱中的三元组残缺项进行补充.本文以模型构造方法为视角，从Trans结构、神经网络和张量分解三类方法对已有知识图谱补全的相关技术研究进行深入探讨，分析了不同补全技术的优缺点.指出了Trans结构模型和张量分解模型适用于大规模的知识图谱补全，而神经网络模型适用于关系结构复杂的知识图谱补全；现有知识图谱补全技术存在关系复杂性高、语义信息难以获取、训练代价大、模型扩展性差等不足.从知识图谱中复杂关系处理、上下文语义获取、节点间长期依赖关系捕获、模型融合与可扩展性等方面来展望了知识图谱补全技术未来主要研究方向.     

关于主动学习下的知识图谱补全研究

知识图谱补全任务研究如何补全知识图谱中的缺失关系。知识图谱补全任务有许多广泛的应用,例如可以应用到轨道交通运维知识库中以支撑轨道交通的系统设计、运维优化。现有的算法在用于现实的大规模知识图谱时时间开销巨大,并且无法很好地利用知识图谱外部的数据信息。针对以上两点局限性,提出了一种基于主动学习的知识图谱补全框架。该框架结合主动学习的思想,利用链接预测预先筛选缺失知识图谱中最有可能产生链接的前k对实体对,然后充分考虑知识图谱内部信息和外部信息,采用内外部数据相结合的方式实现知识图谱的缺失补全。基于Freebase和DBpedia数据集,针对已有的工作进行了对比实验,实验结果表明提出的增强链接预测算法(ELP)效果更好,并且具有主动学习能力;提出的内部数据和外部数据相结合的关系验证方法能更有效地验证三元组。     

面向链接预测的知识图谱嵌入研究综述

知识图谱在人工智能领域有着广泛的应用,如信息检索、自然语言处理、推荐系统等。然而,知识图谱的开放性往往意味着它们是不完备的,具有自身的缺陷。鉴于此,需建立更完整的知识图谱,以提高知识图谱的实际利用率。利用链接预测通过已有关系来推测新的关系,从而实现大规模知识库的补全。通过比较基于翻译模型的知识图谱链接预测模型,从常用数据集与评价指标、翻译模型、采样方法等方面分析知识图谱链接预测模型的框架,并对基于知识图谱的链接预测模型进行了综述。     

QubitE:用于知识图谱补全的量子嵌入模型

知识图谱补全任务通过预测知识图谱中缺失的事实补全知识图谱。基于量子的知识图谱嵌入(KGE)模型利用变分量子电路，通过测量量子比特状态的概率分布对三元组进行评分，评分高的三元组即为缺失的事实。但是目前基于量子的KGE要么在优化过程中失去了量子优势，矩阵酉性被破坏，要么需要大量参数用于存储量子态，从而导致过拟合和低性能。此外，这些方法忽略了对于理解模型性能必不可少的理论分析。为了解决性能问题和弥合理论差距，提出了QubitE模型：将实体嵌入作为量子位(单位复向量),将关系嵌入作为量子门(酉复矩阵),评分过程为复矩阵乘法，利用核方法进行优化。该模型的参数化方式能在优化中保持量子优势，时空复杂度为线性，甚至可以进一步实现基于语义的量子逻辑计算。此外，从理论上可以证明该模型具有完全表达性、关系模式推理能力和包含性等，有助于理解模型性能。实验表明，QubitE在一些基准知识图谱上可以取得与最先进的经典模型相当的结果。     

时态知识图谱的推理研究综述

随着社交网络、物端感知等技术快速发展,网络空间中涌现了大量的交互、话题、事件、新闻等数据,蕴含大量动态演化、强时效性的知识.较于忽略知识中时间信息的传统知识图谱,时态知识图谱通过建模知识的时效性以描述动态变化的现实世界,为时间紧耦合的应用提供有效支持.然而,时态知识图谱无法确保涵盖全量知识,知识的缺失严重影响应用性能,需要推理模型自动挖掘新的知识,以解释事物的历史状态,预测未来发展趋势并描述演化规律.由于实际应用的迫切需要,近年来,时态知识图谱的推理研究工作层出不穷,逐渐引起学术界和工业界的广泛关注.本文对近年来时态知识图谱的推理工作进行全面介绍和总结.首先,介绍了时态知识图谱的推理相关概念与问题描述;其次,介绍了面向补全任务的推理模型与面向预测任务的推理模型,对其进行比较分析;之后总结了时态知识图谱推理的数据集、推理任务、相关指标以及应用场景;最后展望时态知识图谱推理的未来研究趋势.综上,本文致力于为时态知识图谱的推理领域研究人员提供具有价值的参考,以推动该领域进一步发展.     

类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素（实体和关系）表示在低维的连续向量空间中，可以有效地实现知识图谱补全并提高计算效率，是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组，忽略了知识的时间动态性和实体的类型特征，限制了它们在知识图谱补全和语义计算中的表现.针对这一问题，提出一种类型增强的时态知识图谱表示学习模型（type-enhanced temporal knowledge graph representation learning model,T-Temp），基于经典的张量分解技术，将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时，利用实体与关系间的类型兼容性，充分挖掘隐含在实体中的类型特征，进一步提升表示学习的准确性.此外，证明T-Temp模型具有完全表达性，且与同类模型相比，具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.     

融合决策蕴涵的知识图谱推理方法

决策蕴涵是形式概念分析中的决策知识表示和推理工具。提出了一种基于决策蕴涵的知识图谱关系补全方法。基于知识图谱构建对应的决策背景,证明决策蕴涵可以等价表示知识图谱推理中的规则;为了快速挖掘决策蕴涵,对复杂的决策背景进行多次约简,证明约简后的决策背景也可以获取知识图谱推理中的规则;设计了从简化后的决策背景中获取决策蕴涵的算法,给出了使用决策蕴涵进行关系补全的步骤;最后通过实验验证了上述方法的有效性。该研究为完成知识图谱关系补全任务提供了新的思路,也为融合推理提供了一个新的选择。     

深度学习与知识推理相结合的研究综述

知识推理作为知识图谱的重要一环,一直处于重点研究热门对象之中。随着深度学习的不断发展,多种深度学习模型与知识推理的结合引起了很大的重视,得到了大量国内外学者的热捧。为了提高从已有知识中推理出新知识的正确率,二者的结合被广泛研究。基于深度学习的知识推理可以挖掘得更深、更仔细、更精确,有效提高了丰富知识库中的实体、关系、属性和文本信息等的利用率,使推理效果更佳。通过简单介绍知识图谱以及知识补全概念,重点叙述知识推理的概念及基本原理,从知识表示学习、知识获取和知识计算应用三个方向展开,综述了基于深度学习的知识推理CTransR、PTransE、TKRL、HAAT、AMNRE、CLSP、HDSA和SDLM模型的最新研究进展;总结了基于深度学习的知识推理在理论、算法和应用方面尚未克服的问题、研究方向和未来发展前景。     

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。     

胶囊网络在知识图谱补全中的应用

知识图谱补全旨在发现三元组中缺失链接,解决知识图谱数据稀疏问题。提出一种基于胶囊网络的知识图谱嵌入方法,该方法能够对关系三元组（头实体,关系,尾实体）进行建模。将三元组表示为3列矩阵,它与多个滤波器卷积以产生不同的特征映射;将这些特征图重建成相应的胶囊,每个胶囊是一组神经元,通过和权重点积生成较小尺寸的胶囊,然后生成一个连续矢量;该矢量和权重向量进行点积运算获得对应得分,所有分数求和的结果用来判断给定三元组的正确性。实验结果表明,和其他模型相比,该方法有效提高了三元组的预测精度,知识图谱补全的效果更好。     

基于对比学习与语言模型增强嵌入的知识图谱补全

知识图谱是由各种知识或数据单元经过抽取等处理而组成的一种结构化知识库,用于描述和表示实体、概念、事实和关系等信息。自然语言处理技术的限制和各种知识或信息单元文本本身的噪声都会使信息抽取的准确性受到一定程度的影响。现有的知识图谱补全方法通常只考虑单一结构信息或者文本语义信息,忽略了整个知识图谱中同时存在的结构信息与文本语义信息。针对此问题,提出一种基于语言模型增强嵌入与对比学习的知识图谱补全(KGC)模型。将输入的实体和关系通过预训练语言模型获取实体和关系的文本语义信息,利用翻译模型的距离打分函数捕获知识图谱中的结构信息,使用2种用于对比学习的负采样方法融合对比学习来训练模型以提高模型对正负样本的表征能力。实验结果表明,与基于来自Transformеr的双向编码器表示的知识图谱补全(KG-BERT)模型相比,在WN18RR和FB15K-237数据集上该模型链接预测的排名小于等于10的三元组的平均占比(Hits@10)分别提升了31%和23%,明显优于对比模型。     

知识图谱的增强CP分解链接预测方法

CP分解作为知识图谱链接预测的方法之一,能够对一些包含常规数据的知识图谱进行链接预测补全。但当知识图谱存在大量稀疏数据及可逆关系时,该方法不能体现两个实体间具有的隐藏联系,无法对此类数据进行处理。为解决上述问题,提出增强CP分解方法,对三元组中前实体和后实体的两个嵌入向量分别进行学习,并在训练过程中使用概率方法生成更高质量的负例三元组,引入ELU损失函数和AMSGrad优化器,有效对可逆关系和稀疏数据进行处理。在通用数据集上的实验结果表明,所提方法可以有效提升链接预测精度,与对比模型相比取得了5%的性能提升,同时应用在汽车维修知识图谱数据集补全中,取得83.2%正确率的实体补全结果。