面向链接预测的知识图谱嵌入研究综述

知识图谱在人工智能领域有着广泛的应用,如信息检索、自然语言处理、推荐系统等。然而,知识图谱的开放性往往意味着它们是不完备的,具有自身的缺陷。鉴于此,需建立更完整的知识图谱,以提高知识图谱的实际利用率。利用链接预测通过已有关系来推测新的关系,从而实现大规模知识库的补全。通过比较基于翻译模型的知识图谱链接预测模型,从常用数据集与评价指标、翻译模型、采样方法等方面分析知识图谱链接预测模型的框架,并对基于知识图谱的链接预测模型进行了综述。     

知识表示学习方法研究综述

近年来,知识表示学习已经成为知识图谱领域研究的热点。为了及时掌握当前知识表示学习方法的研究现状,通过归纳与整理,将具有代表性的知识表示方法进行了介绍和归类,主要分为传统的知识表示模型、改进的知识表示模型、其他的知识表示模型。对每一种方法解决的问题、算法思想、应用场景、评价指标、优缺点进行了详细归纳与分析。通过研究发现,当前知识表示学习主要面临关系路径建模、准确率、复杂关系处理的挑战。针对这些挑战,展望了采用关系的语义组成来表示路径、采用实体对齐评测指标、在实体空间和关系空间建模,以及利用文本上下文信息以扩展KG的语义结构的解决方案。     

基于链接实体回放的多源知识图谱终身表示学习

知识图谱存储大量的结构化知识和丰富的语义信息,已被广泛应用于知识驱动的智能软件.随着智能应用的不断发展,它们对知识图谱的需求也在发生变化.而单一知识图谱往往具有数据不完备等缺点,难以满足需求.因此,支持新数据来源、融合多源知识已经成为迫切需求.传统的知识图谱表示学习和应用范式只考虑单一图谱,忽视了不同图谱间的知识迁移.多源知识图谱联合训练虽然可以带来性能提升,但不支持新增知识图谱的拓展表示学习.鉴于此,提出了多源知识图谱终身表示学习的新范式.给定一个知识图谱序列,终身表示学习的目标是在学习新知识图谱的同时,从已学习的知识图谱与模型中获得知识迁移.为实现这一目标,提出了一个基于链接实体回放的多源知识图谱终身表示学习框架.首先,设计一个以Transformer为编码器的知识图谱表示学习模型作为框架核心,利用关系相关性进行实体的链接预测.其次,提出链接子图构造方法,基于实体对齐构建并回放新增知识图谱和已有知识图谱之间的链接子图进行终身学习和知识迁移.最后,采用动态结构方法,为每个知识图谱存储相应的模型参数快照来避免灾难性遗忘.多个链接预测基准数据集上的实验结果表明,所提出的表示学习模型可以取得最先进的性能,且提出的终身表示学习框架可以实现有效的知识迁移.     

基于转移的航空安全事件知识图谱表示学习

通过构造航空安全事件知识图谱并对其进行推理预测，可以有效预防航空安全事件的发生。目前，对于知识图谱的表示学习大多采用转移模型TransE，虽然其具有简单、高效的优势，但是在处理复杂关系时存在局限性。航空安全事件知识图谱不同于其他领域知识图谱，其中每个事件相互独立且又联系紧密，存在大量复杂关系，TransE模型不能很好地对其进行表示学习。为此，通过对航空安全事件语料库进行抽取来构建ASIKG数据集，利用公开数据集和ASIKG数据集对TransE的改进模型进行训练，实验结果表明，TransR模型在公共数据集上链接预测效果较好，而TransH模型在ASIKG数据集上取得了较好的链接预测效果。     

融合实体描述及类型的知识图谱表示学习方法

知识图谱在很多人工智能领域发挥着越来越重要的作用。知识图谱表示学习旨在将三元组中的实体和关系映射到低维稠密的向量空间。TransE、TransH和TransR等基于翻译操作的表示学习方法,只考虑了知识图谱的三元组信息孤立的学习表示,未能有效利用实体描述、实体类型等重要信息,从而不能很好地处理一对多、多对多等复杂关系。针对这些问题,该文提出了一种融合实体描述及类型的知识图谱表示学习方法。首先,利用Doc2Vec模型得到全部实体描述信息的嵌入;其次,对实体的层次类型信息进行表示,得到类型的映射矩阵,结合Trans模型的三元组嵌入,得到实体类型信息的表示;最后,对三元组嵌入、实体描述嵌入及实体类型嵌入进行连接操作,得到最终实体嵌入的表示,通过优化损失函数训练模型,在真实数据集上分别通过链接预测和三元组分类两个评测任务进行效果评估,实验结果表明新方法优于TransE、TransR、DKRL、SimplE等主流模型。     

知识图谱嵌入研究综述

随着互联网技术和应用模式的迅猛发展,表达方式丰富直观的知识图谱得到了大量关注,在知识表示学习方面积累了丰富研究成果,这些研究已在垂直搜索、智能问答等应用领域发挥了重要作用.在总结现有知识图谱嵌入研究基础之上,以面向的知识图谱数量为依据,将知识图谱嵌入模型分为面向单个知识图谱的链接预测模型和面向多个知识图谱的实体对齐模型...     

知识图谱的增强CP分解链接预测方法

CP分解作为知识图谱链接预测的方法之一,能够对一些包含常规数据的知识图谱进行链接预测补全。但当知识图谱存在大量稀疏数据及可逆关系时,该方法不能体现两个实体间具有的隐藏联系,无法对此类数据进行处理。为解决上述问题,提出增强CP分解方法,对三元组中前实体和后实体的两个嵌入向量分别进行学习,并在训练过程中使用概率方法生成更高质量的负例三元组,引入ELU损失函数和AMSGrad优化器,有效对可逆关系和稀疏数据进行处理。在通用数据集上的实验结果表明,所提方法可以有效提升链接预测精度,与对比模型相比取得了5%的性能提升,同时应用在汽车维修知识图谱数据集补全中,取得83.2%正确率的实体补全结果。     

基于位置的知识图谱链接预测

链接预测是知识图谱的补全和分析的基础。由于位置相关的实体和关系本身拥有丰富的位置特征,该文提出了一种基于位置的知识图谱链接预测方法。该方法首先通过分析实体和关系的语义特征对关系进行分类,然后提出了一种基于位置的实体和关系位置特征和规则的挖掘方法;其次,通过挖掘出的实体位置特征和规则,对实体和关系的向量化方法预测结果进行约束,得到最终的结果。该文通过对WikiData、FB和WN数据集的实验,证明该方法针对基于位置的关系和实体链接预测拥有较好的效果。     

多模态知识图谱表示学习综述

在综合对比传统知识图谱表示学习模型优缺点以及适用任务后,发现传统的单一模态知识图谱无法很好地表示知识。因此,如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时,详细分析了常用的多模态知识图谱数据集,为相关研究人员提供数据支持。在此基础上,进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型,并对其中各种模型进行了总结和比较。最后,总结了多模态知识图谱表示学习如何改善经典应用,包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果,并对未来的研究工作进行了展望。     

面向时间感知的知识超图链接预测

知识超图是一种使用多元关系表示现实世界的异构图,但无论在通用领域还是垂直领域,现有的知识超图普遍存在不完整的情况.因此,如何通过知识超图中已有的链接推理缺失的链接是一个具有挑战性的问题.目前大多数研究使用基于多元关系的知识表示学习方法完成知识超图的链接预测任务,但这些方法仅从时间未知的超边中学习实体与关系的嵌入向量,没有考虑时间因素对事实动态演变的影响,导致在动态环境中的预测性能较差.首先,根据本文首次提出的时序知识超图定义,提出时序知识超图链接预测模型,同时从实体角色、位置和时序超边的时间戳中学习实体的静态表征和动态表征,以一定比例融合后作为实体嵌入向量用于链接预测任务,实现对超边时序信息的充分利用.同时,从理论上证明模型具有完全表达性和线性空间复杂度.此外,通过上市公司的公开经营数据构建时序知识超图数据集CB67,并在该数据集上进行了大量实验评估.实验结果表明:模型能够在时序知识超图数据集上有效地执行链接预测任务.     

一种改进的基于翻译的知识图谱表示方法

知识图谱在人工智能上有很大的研究价值,并被广泛应用于语义搜索和自动问答等领域.知识图谱表示将包含了实体和关系的大规模知识图谱映射到一个连续的向量空间.为此,有一系列知识表示模型提出,其中基于翻译模型的经典方法TransE不仅模型复杂度低、计算效率高,而且同样具有良好的知识表达能力.但是,TransE亦存在2个缺陷：1)它使用了不够灵活的欧氏距离作为度量,对每一个特征维同等对待,模型的准确性可能受到无关维度的干扰;2)它在处理自反、一对多、多对一和多对多等复杂关系时存在局限性.目前,还没有一种方法能同时解决上述2个缺陷,因此提出一种改进的基于翻译的知识图谱表示方法TransAH.对于第1个缺陷,TransAH采用了一种自适应的度量方法,加入了对角权重矩阵将得分函数中的度量由欧氏距离转换为加权欧氏距离,并实现了为每一个特征维区别地赋予权重.针对第2个缺陷,受TransH方法的启发,TransAH引入面向特定关系的超平面模型,将头实体和尾实体映射至给定关系的超平面加以区分.最后,在公开真实的知识图谱数据集上分析和验证了所提方法的有效性.利用链路预测和三元组分类这2项任务开展了全面横向评测实验,相较于现有的模型和方法,TransAH在各项指标上均取得了很大的进步,体现了其优越性.     

一种改进的基于TransE知识图谱表示方法

传统基于翻译模型的知识图谱表示方法难以处理一对多、多对一和多对多等复杂关系,而且通常独立地学习三元组而忽略了知识图谱的网络结构和语义信息。为解决该问题,构建一种基于TransE的TransGraph模型,该模型同时学习三元组和知识图谱网络结构特征,以有效增强知识图谱的表示效果。在此基础上,提出一种向量共享的交叉训练机制,从而实现网络结构信息和三元组信息的深度融合。在公开数据集上的实验结果表明,相比TransE模型,TransGraph模型在链路预测和三元组分类2个任务中的HITS@10、准确率指标均得到显著提升。     

一种面向临床领域时序知识图谱的链接预测模型

知识图谱(knowledge graph)链接预测可以解决知识图谱中缺失信息的发现和还原,是目前知识图谱领域的研究热点.传统的知识图谱链接预测方法大多面向静态的数据,并不适用于具有动态变化特性的时序知识图谱.时序知识图谱广泛存在于不同领域中,以临床医学领域为例,糖尿病作为一种典型的慢性病,其病程是一个疾病缓慢发展演化的过程.因此,在临床医学时序知识图谱上进行临床意义的链接预测,比如预测糖尿病的并发症,则需要考虑糖尿病病程发展随时间变化的时序特性,这也为传统的知识图谱链接预测方法带来巨大挑战.为此,结合临床医学事实知识的时序特性,提出一种基于LSTM序列增量学习的临床领域时序知识图谱链接预测模型.该模型结合LSTM长短期记忆单元递归神经网络在序列学习上的优势,通过构建基于LSTM的序列增量学习层,以端到端的方式提取时序知识图谱中的三元组时序特征,从而实现对时序知识图谱的链接预测.通过在糖尿病时序知识图谱上的实验,验证了模型的高效性、可用性及稳定性.     

基于符号语义映射的知识图谱表示学习算法

图的分布式表示对于知识图谱的构建与应用任务至关重要.通过对当前流行的图表示学习模型进行比较,分析了现有模型存在的不合理之处,据此提出了一个基于符号语义映射的神经网络模型用于学习图的分布式表示,基本思想是依据知识图谱中已有的实体关系数据,采用循环神经网络对符号组合(实体-关系组合)进行语义编码,并将其映射到目标符号(实体)上.此外,通过为图中的每个关系类型引入一个逆关系镜像,解决了关系的非对称性问题,使模型能够适应多种不同类型的(同构或异构)网络的关系推理任务.该模型适用于大规模知识图谱的表示学习任务.在公开数据集上的实验结果表明,该模型在知识图谱扩容任务和基于图的多标签分类任务上的性能表现优于相关工作.     

图表示学习短视频智能推荐研究综述

随着短视频数量的爆发式增长, 精准的个性化短视频推荐成为学术界和工业界的迫切需求。然而,现有的推荐方法没有考虑实际的短视频具有数据多源异构多模态、用户行为复杂多样、用户兴趣动态变化等特点。短视频模态间的语义鸿沟、社交网络用户多行为挖掘、用户动态兴趣捕捉依然是短视频推荐领域面临的三个重要问题。针对当前推荐系统存在的问题,并充分考虑短视频推荐系统的实际需求,本文介绍了短视频推荐中基于图表示学习的短视频推荐方法;研究了短视频异构多模态特征表示,充分挖掘视频内容特征并进行高效融合;研究了短视频社交网络用户多行为表示,通过社交网络用户多种行为挖掘更细粒度的用户偏好;研究了用户的动态偏好表示方法,通过利用时序信息建模用户的动态兴趣,保证推荐结果的准确度并增加其多样性与个性化。本研究可在理论和实践上推进基于图特征学习的短视频推荐研究,也可作为短视频推荐系统的关键技术。     

Future Event Prediction Based on Temporal Knowledge Graph Embedding

Accurate prediction of future events brings great benefits and reduces losses for society in many domains, such as civil unrest, pandemics, and crimes. Knowledge graph is a general language for describing and modeling complex systems. Different types of events continually occur, which are often related to historical and concurrent events. In this paper, we formalize the future event prediction as a temporal knowledge graph reasoning problem. Most existing studies either conduct reasoning on static knowledge graphs or assume knowledges graphs of all timestamps are available during the training process. As a result, they cannot effectively reason over temporal knowledge graphs and predict events happening in the future. To address this problem, some recent works learn to infer future events based on historical event-based temporal knowledge graphs. However, these methods do not comprehensively consider the latent patterns and influences behind historical events and concurrent events simultaneously. This paper proposes a new graph representation learning model, namely Recurrent Event Graph ATtention Network (RE-GAT), based on a novel historical and concurrent events attention-aware mechanism by modeling the event knowledge graph sequence recurrently. More specifically, our RE-GAT uses an attention-based historical events embedding module to encode past events, and employs an attention-based concurrent events embedding module to model the associations of events at the same timestamp. A translation-based decoder module and a learning objective are developed to optimize the embeddings of entities and relations. We evaluate our proposed method on four benchmark datasets. Extensive experimental results demonstrate the superiority of our RE-GAT model comparing to various baselines, which proves that our method can more accurately predict what events are going to happen.