基于Beta分布和半监督学习的非确定性知识图谱嵌入模型

近年来,面向确定性知识图谱的嵌入模型在知识图谱补全等任务中取得了长足的进展,但如何设计和训练面向非确定性知识图谱的嵌入模型仍然是一个重要挑战。不同于确定性知识图谱,非确定性知识图谱的每个事实三元组都有着对应的置信度,因此,非确定性知识图谱嵌入模型需要准确地计算出每个三元组的置信度。现有的非确定性知识图谱嵌入模型结构较为简单,只能处理对称关系,并且无法很好地处理假负(false-negative)样本问题。为了解决上述问题,该文首先提出了一个用于训练非确定性知识图谱嵌入模型的统一框架,该框架使用基于多模型的半监督学习方法训练非确定性知识图谱嵌入模型。为了解决半监督学习中半监督样本噪声过高的问题,我们还使用蒙特卡洛Dropout计算出模型对输出结果的不确定度,并根据该不确定度有效地过滤了半监督样本中的噪声数据。此外,为了更好地表示非确定性知识图谱中实体和关系的不确定性以处理更复杂的关系,该文还提出了基于Beta分布的非确定性知识图谱嵌入模型UBetaE,该模型将实体、关系均表示为一组相互独立的Beta分布。在公开数据集上的实验结果表明,结合该文所提出的半监督学习方法和UBetaE模型,不仅极大地缓解了假负样本问题,还在多个任务中明显优于UKGE等当前最优的非确定性知识图谱嵌入模型。     

知识图谱嵌入技术研究综述

知识图谱(KG)是一种用图模型来描述知识和建模事物之间关联关系的技术.知识图谱嵌入(KGE)作为一种被广泛采用的知识表示方法,其主要思想是将知识图谱中的实体和关系嵌入到连续的向量空间中,用来简化操作,同时保留KG的固有结构.可以使得多种下游任务受益,例如KG补全和关系提取等.首先对现有的知识图谱嵌入技术进行全面回顾,不仅包括使用KG中观察到的事实进行嵌入的技术,还包括添加时间维度的动态KG嵌入方法,以及融合多源信息的KG嵌入技术.对相关模型从实体嵌入、关系嵌入、评分函数等方面进行分析、对比与总结.然后简要介绍KG嵌入技术在下游任务中的典型应用,包括问答系统、推荐系统和关系提取等.最后阐述知识图谱嵌入面临的挑战,对未来的研究方向进行展望.     

基于改进多嵌入空间的实时语义数据流推理

将语义数据流处理引擎与知识图谱嵌入表示学习相结合,可以有效提高实时数据流推理查询性能,但是现有的知识表示学习模型更多关注静态知识图谱嵌入,忽略了知识图谱的动态特性,导致难以应用于实时动态语义数据流推理任务。为了使知识表示学习模型适应知识图谱的在线更新并能够应用于语义数据流引擎,建立一种基于改进多嵌入空间的动态知识图谱嵌入模型PUKALE。针对传递闭包等复杂推理场景,提出3种嵌入空间生成算法。为了在进行增量更新时更合理地选择嵌入空间,设计2种嵌入空间选择算法。基于上述算法实现PUKALE模型,并将其嵌入数据流推理引擎CSPARQL-engine中,以实现实时语义数据流推理查询。实验结果表明,与传统的CSPARQL和KALE推理相比,PUKALE模型的推理查询时间分别约降低85%和93%,其在支持动态图谱嵌入的同时能够提升实时语义数据流推理准确率。     

结合多重嵌入表示的中文知识图谱补全

近年来，随着知识图谱相关技术的不断发展，各方面研究对知识图谱本身的需求也不断加强。然而现有的知识图谱无法完全覆盖整个真实世界，同时在知识正确性以及时效性等方面存在问题，这使得知识图谱补全越来越受到研究者的关注。在中文环境下，知识图谱补全任务又呈现出与英文图谱补全任务不同的特性。该文对中/英知识图谱补全任务进行了对比分析，将中文图谱中出现的错误进行了归类。根据该分析结果，该文提出将三元组中实体和关系嵌入表示、实体和关系描述文本嵌入表示结合的链接预测方法MER-Tuck,该方法利用外部的语义补充来加强矩阵分解模型的学习能力。为了验证该方法的有效性，该文为中文知识图谱补全任务构建了新数据集。在该数据集上将该文的方法与主流的链接预测方法进行比较，实验结果表明该文所提方法是有效的。     

知识图谱嵌入技术研究进展

知识图谱嵌入(KGE)是知识图谱领域一个新的研究热点,旨在利用词向量的平移不变性将知识图谱中实体和关系嵌入到低维向量空间,进而完成知识表示.以解决实际问题的类型为划分依据,首先,阐述了四类主要的知识图谱嵌入方法,包括基于深度学习的方法、基于图形特征的方法、基于翻译模型的方法以及基于其他模型的方法,对每种模型的算法思想进行详细阐述,总结了每种模型的优缺点;其次,从常用数据集、评价指标、算法、实验四方面对知识图谱嵌入算法实验进行分析与归纳,对嵌入方法做了横纵向对比;最后,从解决实际问题的角度出发,给出了知识图谱嵌入技术未来的发展方向.通过研究,发现在基于深度学习的方法中,LCPE模型的效果最好;在基于图形特征的方法中,TCE模型的效果最好;在基于翻译模型的方法中,NTransGH模型的效果最好.今后的研究可以在LCPE、TCE、NTransGH的基础上进行拓展,不断提高链接预测和三元组分类的实验效果.     

基于知识图谱的智能问答意图识别联合模型

针对现有意图识别联合模型在专业领域知识图谱问答中容易发生识别领域实体以及问句分类错误的情况,提出一个结合了领域知识图谱的意图识别联合模型。该模型有三步,将领域知识图谱中实体对应的本体标签以及本体间关系导入训练数据集,形成包含本体标签的知识文本以及额外包含本体关系的知识文本图;通过字符级嵌入和位置信息嵌入将包含了本体标签的知识文本转化成嵌入表示并依据知识文本图创建实体关系可视矩阵,明确知识文本各成分的相关程度;将嵌入表示和实体关系可视矩阵输入模型编码层进行模型的训练。以高速列车领域知识图谱为例,经过准确率和召回率的验证,以该方法训练出的模型在高速列车领域问答数据集的意图识别任务上取得了更好的表现。     

融合层次类型信息的双向图注意力机制的知识图谱嵌入模型

知识图谱嵌入旨在将实体与关系映射到低维且稠密的向量空间中。目前已有的嵌入模型仍存在以下两个方面的缺陷：现有的模型大多只关注知识图谱的语义信息,而忽略了大量三元组的隐藏信息;现有的模型仅关注了实体的单向信息,而忽略了双向的潜在信息。针对以上问题,提出了一种融合层次类型信息的双向图注意力机制的知识图谱嵌入模型Bi-HTGAT,该模型设计了层次类型注意力机制,考虑不同关系下每种类型的不同实体对中心实体的贡献。同时引入了关系的方向注意力机制,通过融合不同方向的邻居信息来更新实体和关系嵌入,最终聚合两部分信息以得到实体的最终嵌入。在基准数据集上的实验证明,Bi-HTGAT在链接预测任务上性能明显优于其他基线模型,充分证明了Bi-HTGAT能够进一步提高嵌入结果的精准度。     

知识图谱增强的图神经网络推荐研究进展

已有推荐方法主要基于用户与项目的历史交互行为,未充分运用用户及项目相关特征信息,推荐效果并不理想。知识图谱（knowledge graph,KG）增强的图神经网络（graph neural network,GNN）推荐,是以用户与项目交互行为构建的交互图为基础,引入同为图结构的知识图谱,并运用图神经网络技术进行处理,从而实现个性化推荐。深入探讨了现有知识图谱增强的图神经网络推荐研究进展。首先在对图神经网络推荐和知识图谱推荐进行探讨的基础上,从项目知识图谱和协同知识图谱视角,深入分析了当前知识图谱增强的图神经网络推荐取得的相关研究成果;然后从大规模动态知识图谱处理、用户对项目属性的偏好挖掘、知识图谱的图嵌入学习等方面,指出了已有知识图谱增强的图神经网络推荐研究存在的主要问题;最后从动态时序知识图谱增强的GNN推荐、元学习的知识图谱增强GNN推荐、多模态知识图谱增强的GNN推荐、知识图谱增强的GNN跨领域推荐等方面,展望了知识图谱增强的图神经网络推荐未来主要研究方向。     

知识图谱综述——表示、构建、推理与知识超图理论

针对知识图谱（KG）在知识驱动的人工智能研究中发挥的强大支撑作用,分析并总结了现有知识图谱和知识超图技术。首先,从知识图谱的定义与发展历程出发,介绍了知识图谱的分类和架构;其次,对现有的知识表示与存储方式进行了阐述;然后,基于知识图谱的构建流程,分析了各类知识图谱构建技术的研究现状。特别是针对知识图谱中的知识推理这一重要环节,分析了基于逻辑规则、嵌入表示和神经网络的三类典型的知识推理方法。此外,以异构超图引出知识超图的研究进展,并提出三层架构的知识超图,从而更好地表示和提取超关系特征,实现对超关系数据的建模及快速的知识推理。最后,总结了知识图谱和知识超图的典型应用场景并对未来的研究作出了展望。     

基于混合增强智能的知识图谱推理技术研究

如今,知识图谱被广泛应用在各个领域,例如问答系统、推荐系统等。而基于知识图谱的应用表现很大程度上依赖于知识图谱本身的知识完备性与准确性。单纯通过人工补齐与审核的方式来构建知识图谱已无法满足超大规模知识图谱的需求。针对上述问题,提出一种基于混合增强智能的知识图谱推理框架,即同时利用机器模型与人的知识信息来完成知识图谱推理。该框架在基于知识图谱嵌入的向量空间中,利用混合增强智能模型来寻找到实体节点之间的有效路径。与现有方法不同的是,该方法在训练模型时,高效地利用人的知识信息来指导模型的优化。实验表明,该框架在公开数据集上的表现相较于现有方法有一定提升。     

基于属性嵌入与图注意力网络的实体对齐算法

实体对齐旨在找到位于不同知识图谱中的等效实体,是实现知识融合的重要步骤.当前主流的方法是基于图神经网络的实体对齐方法,这些方法往往过于依赖图的结构信息,导致在特定图结构上训练得到的模型不能拓展应用于其他图结构中.同时,大多数方法未能充分利用辅助信息,例如属性信息.为此,本文提出了一种基于图注意力网络和属性嵌入的实体对齐方法,该方法使用图注意力网络对不同的知识图谱进行编码,引入注意力机制从实体应用到属性,在对齐阶段将结构嵌入和属性嵌入进行结合实现实体对齐效果的提升.在现实世界的3个真实数据集上对本文模型进行了验证,实验结果表明提出的方法在很大程度上优于基准的实体对齐方法.     

知识图谱与图嵌入在个性化教育中的应用综述

面对当前日益庞大的教育大数据, 如何在海量数据中高效、准确地提取出高价值的知识, 以满足个性化教学需求, 已成为当前智慧教育的一个研究热点. 作为一种可视化分析技术, 知识图谱可有效构建和挖掘知识及知识间的相互联系, 现已成功应用于诸多领域. 而图嵌入技术的引入, 则有利于提升大数据背景下知识图谱的处理效率.针对个性化...     

用于知识表示学习的对抗式负样本生成

知识表示学习目的是将知识图谱中符号化表示的关系与实体嵌入到低维连续向量空间。知识表示模型在训练过程中需要大量负样本,但多数知识图谱只以三元组的形式存储正样本。传统知识表示学习方法中通常使用负采样方法,这种方法生成的负样本很容易被模型判别,随着训练的进行对性能提升的贡献也会越来越小。为了解决这个问题,提出了对抗式负样本生成器（ANG）模型。生成器采用编码-解码架构,编码器读入头或尾实体被替换的正样本作为上下文信息,然后解码器利用编码器提供的编码信息为三元组填充被替换的实体,从而构建负样本。训练过程采用已有的知识表示学习模型与生成器进行对抗训练以优化知识表示向量。在链接预测和三元组分类任务上评估了该方法,实验结果表明该方法对已有知识表示学习模型在FB15K237、WN18和WN18RR数据集上的链接预测平均排名与三元组分类准确度都有提升。     

面向知识图谱的知识推理研究进展

近年来,随着互联网技术和应用模式的迅猛发展,引发了互联网数据规模的爆炸式增长,其中包含大量有价值的知识.如何组织和表达这些知识,并对其进行深入计算和分析,备受关注.知识图谱作为丰富直观的知识表达方式应运而生.面向知识图谱的知识推理是知识图谱的研究热点之一,已在垂直搜索、智能问答等应用领域发挥了重要作用.面向知识图谱的知识推理旨在根据已有的知识推理出新的知识或识别错误的知识.不同于传统知识推理,由于知识图谱中知识表达形式的简洁直观、灵活丰富,面向知识图谱的知识推理方法也更加多样化.本文将从知识推理的基本概念出发,介绍近年来面向知识图谱知识推理方法的最新研究进展.具体地,本文根据推理类型划分,将面向知识图谱的知识推理分为单步推理和多步推理,根据方法的不同,每类又包括基于规则的推理、基于分布式表示的推理、基于神经网络的推理以及混合推理.本文详细总结这些方法,并探讨和展望面向知识图谱知识推理的未来研究方向和前景.     

面向链接预测的知识图谱表示学习方法综述

作为人工智能的重要基石, 知识图谱能够从互联网海量数据中抽取并表达先验知识, 极大程度解决了智能系统认知决策可解释性差的瓶颈问题, 对智能系统的构建与应用起关键作用. 随着知识图谱技术应用的不断深化, 旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫. 链接预测是针对知识图谱中缺失的实体与关系进行预测的任务, 是知识图谱构建与补全中不可或缺的一环. 要充分挖掘知识图谱中的隐藏关系, 利用海量的实体与关系进行计算, 就需要将符号化表示的信息转换为数值形式, 即进行知识图谱表示学习. 基于此, 面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点. 从链接预测与表示学习的基本概念出发, 系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展. 具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述. 以知识表示形式的发展历程为线索, 分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模. 基于表示学习建模方式, 将现有方法细化为4类模型: 平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型, 并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型. 在介绍链接预测的常用的数据集与评判标准基础上, 分别对比分析二元关系、多元关系和超关系3类知识表示形式下, 4类知识表示学习模型的链接预测效果, 并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.     

融合用户-项目的邻居实体表示推荐方法

在现有基于知识图谱的推荐方法中,大多采用单一用户或项目表示,在合并来自知识图谱的实体时,用户或项目表示所携带的信息容易丢失,用户兴趣欠拟合,进而导致模型的次优表示。为此,该文提出了融合用户-项目的邻居实体表示推荐方法,联合用户和项目的特征表示挖掘用户更感兴趣的内容,使用TransR模型在知识图谱中进行实体传播,获取用户的嵌入表示;使用GCN聚合候选项目在知识图谱的邻域实体,获取项目的嵌入表示。为验证该文方法的有效性,在MovieLens-20M、Book-Crossing、Last-FM公共数据集上进行了实验,并与Wide&Deep、RippleNet、KGAT等10种方法进行了对比,实验结果表明,该文方法的平均AUC和ACC分别提升约8.75%和7.10%。     

面向链接预测的知识图谱嵌入研究综述

知识图谱在人工智能领域有着广泛的应用,如信息检索、自然语言处理、推荐系统等。然而,知识图谱的开放性往往意味着它们是不完备的,具有自身的缺陷。鉴于此,需建立更完整的知识图谱,以提高知识图谱的实际利用率。利用链接预测通过已有关系来推测新的关系,从而实现大规模知识库的补全。通过比较基于翻译模型的知识图谱链接预测模型,从常用数据集与评价指标、翻译模型、采样方法等方面分析知识图谱链接预测模型的框架,并对基于知识图谱的链接预测模型进行了综述。