面向链接预测的知识图谱表示学习方法综述

作为人工智能的重要基石, 知识图谱能够从互联网海量数据中抽取并表达先验知识, 极大程度解决了智能系统认知决策可解释性差的瓶颈问题, 对智能系统的构建与应用起关键作用. 随着知识图谱技术应用的不断深化, 旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫. 链接预测是针对知识图谱中缺失的实体与关系进行预测的任务, 是知识图谱构建与补全中不可或缺的一环. 要充分挖掘知识图谱中的隐藏关系, 利用海量的实体与关系进行计算, 就需要将符号化表示的信息转换为数值形式, 即进行知识图谱表示学习. 基于此, 面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点. 从链接预测与表示学习的基本概念出发, 系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展. 具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述. 以知识表示形式的发展历程为线索, 分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模. 基于表示学习建模方式, 将现有方法细化为4类模型: 平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型, 并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型. 在介绍链接预测的常用的数据集与评判标准基础上, 分别对比分析二元关系、多元关系和超关系3类知识表示形式下, 4类知识表示学习模型的链接预测效果, 并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.     

基于Beta分布和半监督学习的非确定性知识图谱嵌入模型

近年来,面向确定性知识图谱的嵌入模型在知识图谱补全等任务中取得了长足的进展,但如何设计和训练面向非确定性知识图谱的嵌入模型仍然是一个重要挑战。不同于确定性知识图谱,非确定性知识图谱的每个事实三元组都有着对应的置信度,因此,非确定性知识图谱嵌入模型需要准确地计算出每个三元组的置信度。现有的非确定性知识图谱嵌入模型结构较为简单,只能处理对称关系,并且无法很好地处理假负(false-negative)样本问题。为了解决上述问题,该文首先提出了一个用于训练非确定性知识图谱嵌入模型的统一框架,该框架使用基于多模型的半监督学习方法训练非确定性知识图谱嵌入模型。为了解决半监督学习中半监督样本噪声过高的问题,我们还使用蒙特卡洛Dropout计算出模型对输出结果的不确定度,并根据该不确定度有效地过滤了半监督样本中的噪声数据。此外,为了更好地表示非确定性知识图谱中实体和关系的不确定性以处理更复杂的关系,该文还提出了基于Beta分布的非确定性知识图谱嵌入模型UBetaE,该模型将实体、关系均表示为一组相互独立的Beta分布。在公开数据集上的实验结果表明,结合该文所提出的半监督学习方法和UBetaE模型,不仅...     

路径张量分解的知识图谱推理算法*

现有张量分解技术在用于知识图谱学习和推理过程中时,只考虑知识图谱中实体与实体间的直接关系,忽略知识图谱图形结构的特点.因此,文中提出基于路径张量分解的知识图谱推理算法(PRESCAL),利用路径排列算法(PRA)获得知识图谱中各实体对间的关系路径.然后对实体对间的关系路径进行张量分解,并在优化更新过程中采用交替最小二乘法.实验表明,在路径问题回答任务和实体链接预测任务中,PRESCAL可以取得较好的预测准确率.     

EvoGeneSys,a new evolutionary approach to graph generation

Graphs are widely used to represent complex and structured information of interest in various fields of science and engineering. When using graph representations, problems of special interest often imply searching. For example, searching for the prototypes representing a dataset of graphs or for the graph that optimizes a set of parameters. In any case, it is necessary that the problem solution be expressed in terms of graphs. Therefore, defining effective methods for automatically generating single graphs, or sets of graphs, representing problem solutions, is a key issue. A new evolutionary computation-based approach specifically devised for generating graphs is presented. The method is based on a special data structure, called multilist, which allows the encoding of any type of graph, directed or undirected, with or without attributes. Graph encoding by multilists makes it possible to define effective crossover and mutation operators, overcoming the problems normally encountered when implementing genetic operators on graphs. Further advantages of the proposed approach are that it does not require any problem specific knowledge and it is able to search for graphs whose number of nodes is not known a priori. Three sets of experiments were performed to test the proposed approach and the solutions found were compared with those obtained by other approaches proposed in the literature.     

A part affordance-based approach for capturing detailed design knowledge

Design knowledge reuse is widely accepted as an effective strategy for designers to develop robust artifacts with less time and lower cost. However, there has been very little research on how to help designers capture detailed design knowledge for reuse. As a result, most detailed design knowledge still has to remain in designers’ memories as tacit knowledge, which can easily get lost due to oblivion or the mobility of designers. Therefore, this paper attempts to develop a part affordance-based approach for externalizing and capturing detailed design knowledge for effective reuse. It first introduces a part model for representing the detailed design-related information. Based on the relational theory for design, the concept, part affordance, is then employed to help designers externalize and capture various lifecycle factors that are implicit in a detailed design. Based on the affordance constraint axiom, a systematic approach is then proposed for deriving tacit design knowledge from captured part affordances through the analysis of extreme working situations. The proposed approach has been implemented as the Design Knowledge-Capturing System (DKCS). A fixture design case has been employed to illustrate the proposed approach.     

基于知识表示学习的KBQA答案推理重排序算法

现有的知识库问答（KBQA）研究通常依赖于完善的知识库,忽视了实际应用中知识图谱稀疏性这一关键问题。为了弥补该不足,引入了知识表示学习方法,将知识库转换为低维向量,有效摆脱了传统模型中对子图搜索空间的依赖,并实现了对隐式关系的推理,这是以往研究所未涉及到的。其次,针对传统KBQA在信息检索中常见的问句语义理解错误对下游问答推理的错误传播,引入了一种基于知识表示学习的答案推理重排序机制。该机制使用伪孪生网络分别对知识三元组和问句进行表征,并融合上游任务核心实体关注度评估阶段的特征,以实现对答案推理结果三元组的有效重排序。最后,为了验证所提算法的有效性,在中国移动RPA知识图谱问答系统与英文开源数据集下分别进行了对比实验。实验结果显示,相比现有的同类模型,该算法在hits@n、准确率、F1值等多个关键评估指标上均表现更佳,证明了基于知识表示学习的KBQA答案推理重排序算法在处理稀疏知识图谱的隐式关系推理和KBQA答案推理方面的优越性。     

Heterogeneous relational reasoning in knowledge graphs with reinforcement learning

Path-based relational reasoning over knowledge graphs has become increasingly popular due to a variety of downstream applications such as question answering in dialogue systems, fact prediction, and recommendation systems. In recent years, reinforcement learning (RL) based solutions for knowledge graphs have been demonstrated to be more interpretable and explainable than other deep learning models. However, the current solutions still struggle with performance issues due to incomplete state representations and large action spaces for the RL agent. We address these problems by developing HRRL (Heterogeneous Relational reasoning with Reinforcement Learning), a type-enhanced RL agent that utilizes the local heterogeneous neighborhood information for efficient path-based reasoning over knowledge graphs. HRRL improves the state representation using a graph neural network (GNN) for encoding the neighborhood information and utilizes entity type information for pruning the action space. Extensive experiments on real-world datasets show that HRRL outperforms state-of-the-art RL methods and discovers more novel paths during the training procedure, demonstrating the explorative power of our method.     

知识表示学习方法研究综述

近年来,知识表示学习已经成为知识图谱领域研究的热点。为了及时掌握当前知识表示学习方法的研究现状,通过归纳与整理,将具有代表性的知识表示方法进行了介绍和归类,主要分为传统的知识表示模型、改进的知识表示模型、其他的知识表示模型。对每一种方法解决的问题、算法思想、应用场景、评价指标、优缺点进行了详细归纳与分析。通过研究发现,当前知识表示学习主要面临关系路径建模、准确率、复杂关系处理的挑战。针对这些挑战,展望了采用关系的语义组成来表示路径、采用实体对齐评测指标、在实体空间和关系空间建模,以及利用文本上下文信息以扩展KG的语义结构的解决方案。     

知识图谱在海洋领域的应用及前景分析综述

知识图谱主要用于从复杂数据中抽取出关键信息以生成关系网络,其对于复杂关系出色的识别能力以及对于数据较强的描述能力使得知识图谱技术具有很高的应用价值.为给知识图谱在海洋领域的应用提供理论支撑,对知识图谱相关技术进行了总体概述.阐述Citespace文献分析工具的出色应用,针对海洋领域半结构化和非结构化数据抽取技术进行了系...     

Application of multivariate statistics and 3D visualization analysis in tacit knowledge diffusion map

Tacit knowledge is an important factor for enterprises and institutions to enhance their knowledge innovation and value-added capabilities, and it is also a basic link to enhance organizational learning capabilities. With the development of technology, the dissemination of tacit knowledge has increasingly shown complex and dynamic trends. In order to make the tacit knowledge in the enterprise better circulate and generate greater economic value, therefore, this paper proposes a study on the diffusion map of tacit knowledge based on multivariate statistics and 3D visualization analysis. First of all, this paper analyzes the internal relationship between organizational learning and organizational tacit knowledge integration and organizational tacit knowledge innovation, and combines multiple statistical methods to propose an organizational tacit knowledge integration method based on tacit knowledge management. Secondly, we combine 3D visualization and generative confrontation network methods to analyze the data of tacit knowledge dissemination, and visualize the distribution of knowledge dissemination in three dimensions. In the simulation experiment test, this paper reveals that the spreading efficiency of tacit knowledge in the network is affected by related factors. Through this model, we hope to explore the behavioral laws of different types of nodes in the network and propose effective countermeasures to improve the efficiency of knowledge dissemination.     

多模态知识图谱构建与应用研究综述

为了总结前人工作,给相关研究者提供思路,首先讨论了当前多模态知识图谱的基本概念,然后从图数据库和知识图谱这两个角度介绍了多模态知识图谱的构建工作,并总结了两种主要方法的思路.还分析了多模态知识图谱的构建和应用中的关键技术和相关工作,如多模态信息提取、表示学习和实体链接.此外,列举了多模态知识图谱在四种场景中的应用,包括推荐系统、跨模态检索、人机交互和跨模态数据管理.最后,从四个方面展望了多模态知识图谱的发展前景.     

Learning knowledge graph embedding with a bi-directional relation encoding network and a convolutional autoencoder decoding network

Neural Computing and Applications - Derived from knowledge bases, knowledge graphs represent knowledge expressions in graphs, which utilize nodes and edges to denote entities and relations...     

用于知识表示学习的对抗式负样本生成

知识表示学习目的是将知识图谱中符号化表示的关系与实体嵌入到低维连续向量空间。知识表示模型在训练过程中需要大量负样本,但多数知识图谱只以三元组的形式存储正样本。传统知识表示学习方法中通常使用负采样方法,这种方法生成的负样本很容易被模型判别,随着训练的进行对性能提升的贡献也会越来越小。为了解决这个问题,提出了对抗式负样本生成器（ANG）模型。生成器采用编码-解码架构,编码器读入头或尾实体被替换的正样本作为上下文信息,然后解码器利用编码器提供的编码信息为三元组填充被替换的实体,从而构建负样本。训练过程采用已有的知识表示学习模型与生成器进行对抗训练以优化知识表示向量。在链接预测和三元组分类任务上评估了该方法,实验结果表明该方法对已有知识表示学习模型在FB15K237、WN18和WN18RR数据集上的链接预测平均排名与三元组分类准确度都有提升。     

基于联合知识表示学习的多模态实体对齐

基于知识表示学习的实体对齐方法是将多个知识图谱嵌入到低维语义空间,通过计算实体向量之间的相似度实现对齐.现有方法往往关注文本信息而忽视图像信息,导致图像中实体特征信息未得到有效利用.对此,提出一种基于联合知识表示学习的多模态实体对齐方法(ITMEA).该方法联合多模态(图像、文本)数据,采用TransE与TransD相结合的知识表示学习模型,使多模态数据能够嵌入到统一低维语义空间.在低维语义空间中迭代地学习已对齐多模态实体之间的关系,从而实现多模态数据的实体对齐.实验结果表明,ITMEA在WN18-IMG数据集中能够较好地实现多模态实体对齐.     

基于知识图嵌入的协同过滤推荐算法

利用知识图谱进行推荐的一个巨大挑战在于如何获取项目的结构化知识并对其进行语义特征提取.针对这一问题,提出了一种基于知识图嵌入的协同过滤推荐算法(KGECF).首先从Freebase知识图谱中提取与项目相关的知识信息,并与历史交互项目进行链接构建子知识库;然后通过基于TransR的Xavier-TransR方法得到子知识库中实体、关系表征;设计一种端到端的联合学习模型,将结构化信息与历史偏好信息嵌入到统一的向量空间中;最后利用协同过滤方法进一步计算这些向量并生成精确的推荐列表.在MovieLens-1 M和Amazon-book两个公开数据集上的实验表明,该算法在推荐准确率、召回率、F1值和NDCG四个指标上均优于基线方法,能够集成大规模的结构化和非结构化数据,同时获得高精度的推荐结果.     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

航空制造知识图谱构建研究综述

目前航空装备制造企业的设计、制造相关流程中积累了大量数据,基于知识图谱技术可以对这些数据进行有效融合与管理,对不断更新的制造知识进行挖掘,将为航空制造企业智慧化升级提供有力的知识支撑。为探明知识图谱在航空制造领域的理论支撑体系与实际应用情况,通过文献调研分析航空制造知识图谱架构、定义及特点;阐明知识图谱领域构建过程中的核心技术并进行研究综述,对比航空制造知识图谱与通用知识图谱构建技术上的异同,并提出了三个切合实际的航空制造知识图谱应用方向及其解决方案;最后对未来航空制造知识图谱的挑战进行了分析及展望,为后续该领域的研究提供一些思路。     

基于BERT和路径对比学习的归纳关系预测

在以往的知识图谱关系预测任务中,主要方法仅限于直推式推理,它们在新出现实体和关系情况下不能利用先验知识去处理归纳学习的问题。提出了基于BERT与路径对比学习的关系预测方法（BERT-based and path comparison learning,BPCL）。首先,利用卷积神经网络捕获子图目标三元组的上下文邻域信息,并将子图线性化为关系路径,利用BERT初始化边特征;其次,引入正、负关系路径;最后,联合对比学习和自监督学习训练对新出现实体之间的关系预测。在适用于归纳推理方法的常用基准数据集上,验证了该模型的预测精度有所提高。     

面向个性化推荐的node2vec-side融合知识表示

推荐系统中知识图谱对系统的推荐效果起到很重要的作用,图谱中的知识表示成为影响推荐系统的关键因素,这也成为当前的研究热点之一。针对推荐系统中知识图谱的结构特点,在传统node2vec模型基础上增加关系表示和多元化游走策略,提出一种基于node2vec的知识表示node2vec-side,结合推荐系统知识图谱网络结构,旨在挖掘大规模推荐实体节点间潜在的关联关系,降低表示方式复杂度,提高可解释性。经过时间复杂度分析可知,提出的知识表示方式在复杂度上低于Trans系列和RGCN。在传统知识图谱数据集FB15K、WN18和推荐领域数据集MovieLens-1M、Book-Crossing、Last.FM上分别进行链接预测对比实验。实验结果表明,在MovieLens-1M数据集上,Hits@10分别提升了5.5%～12.1%,MRR提升了0.09～0.24;在Book-Crossing数据集上,Hits@10分别提升了3.5%～20.6%,MRR平均提升了0.04～0.24;而在Last.FM数据集上,hits@1提升了0.3%～8.5%,MRR平均提升了0.04～0.16,优于现有算法,验证了所提方法的有效性。