基于多粒度注意力网络的知识超图链接预测

在知识图谱中进行链接预测是图谱补全的有效方法,可以有效地改善知识图谱的数据质量.然而,现实生活中的关系往往是多元的,这些包含多元关系的知识图谱可称为知识超图(knowledgehypergraph,KHG).然而,现有的知识超图链接预测模型忽略了多元关系的平等性(多元关系中实体不存在先后关系)与整体性(多元关系缺少一个实体则不成立).针对以上问题,首先提出了一种知识超图多元关系表示模型,可以直接建模知识超图中的多元关系;然后研究了一种基于多粒度神经网络的链接预测方法(hyperedgepredictionbasedonmulti-granular attentionnetwork,HPMG).该模型将关系划分为多重粒度进行学习,从不同粒度联合完成知识超图的学习和预测,充分考虑了知识超图中不同维度多元关系的整体性.接下来,针对HPMG特征融合不充分的问题,提出了基于多粒度注意力网络的知识超图链接预测方法 HPMG+,结合全局和局部注意力,实现了不同特征的有区分融合,进一步提高了模型的性能.最后,真实数据集上的大量实验结果验证了所提方法的效果显著地优于所有基线方法.     

联合注意力与卷积网络的知识超图链接预测

知识超图（KHG）是超图结构的知识图谱。知识超图链接预测旨在通过已知实体和关系预测缺失的关系。然而,现有最优的基于嵌入模型的知识超图链接预测方法 HypE虽然实体嵌入时考虑了位置信息,但关系嵌入时忽略了不同实体的贡献有差异,且实体嵌入蕴含信息不够充足。关系嵌入考虑实体贡献度并补足实体嵌入的信息含量,可以较大地提升模型的预测能力。因此,提出了一种基于注意力与卷积网络的链接预测方法（LPACN）,采用改进的注意力机制将实体的注意力信息融入到关系嵌入中;并且将同元组内相邻实体个数信息融入卷积网络,进一步补足了实体卷积向量的信息含量。针对LPACN的梯度消失问题,将改进的残差网络（ResidualNet）融入LPACN,并引入多层感知器（MLP）提升了模型的非线性学习能力,得到LPACN的改进算法LPACN+。真实数据集上的大量实验验证了LPACN的预测性能均优于Baseline方法。     

基于张量分解的知识超图链接预测模型

知识超图包含了现实世界中的事实,并给出这些事实的结构化表示.但知识超图无法包括所有事实,所以其是高度不完整的.链接预测方法致力于根据现有实体间链接推理缺失链接,因此广泛应用于知识库补全.目前大多数研究集中于二元关系知识图谱的补全.然而,现实世界中实体间的关系通常是非二元的,即关系中涉及的实体通常多于2个.相较于知识图谱,知识超图能够以一种灵活且自然的方式来表示这些复杂的多元关系.对此,设计一个基于张量分解的知识超图链接预测模型Typer,显式地为不同关系以及不同位置上实体的角色建模,并对关系进行细化分解以提升模型性能.同时,考虑到促进实体与关系间的信息流动有助于学习实体和关系的嵌入表示,提出窗口的概念,以增加实体与关系的交互.此外,证明了Typer模型具有完全表达性,并给出了使模型具有完全表达性的嵌入表示维度边界.在多个公开真实知识超图数据集上进行了详实的实验,实验表明Typer模型能有效解决知识超图链接预测问题,并在所有数据集上取得了较其他方法更好的结果.     

面向知识超图链接预测的生成对抗负采样方法

知识超图作为知识图谱的拓展,对多元关系事实具有良好表达能力.利用知识超图对现实世界中已知事实进行建模,并通过链接预测发现未知事实成为当前研究热点.在现有知识超图(知识图谱)链接预测方法中,构建样本真实标签与预测标签间的损失函数是关键步骤,其中负样本对链接预测模型的训练具有极大的影响.将知识图谱链接预测的负采样方法(如均匀随机负采样)用于知识超图链接预测会面临负样本质量低下、复杂度过高等问题.对此,设计了面向知识超图链接预测的生成对抗负采样方法HyperGAN,通过对抗训练生成高质量负样本以解决“零损失”问题,从而提升链接预测模型的准确度.HyperGAN方法无需预训练,因此在辅助链接预测模型进行训练时相比现有负采样方法具有更高的效率.在多个真实数据集上的对比实验表明：HyperGAN在性能与效率方面均优于基线方法.此外,具体案例分析及定量分析亦验证了HyperGAN方法在提升负样本质量方面的有效性.     

面向异质变分超图自动编码器的超边链接预测模型

如何采用超边建模网络数据中的多元关联关系,实现潜在超边链接关系的预测具有重要的现实意义。现有方法主要集中于研究具有成对关系的网络数据,然而,直接将现有的链接预测方法用于超图网络中的超边链接预测具有一定的局限性。因此,提出基于异质变分超图自动编码器的超边链接预测模型(heterogeneous variational hypergraph autoencoder,HVGAE)。首先,利用超图卷积实现变分超图自动编码器,将超图网络数据转换成一种低维空间表示;其次,加入节点近邻度函数,最大程度地保留其结构信息,从而构建异质超图网络超边链接预测模型。针对三种不同类型的超图网络进行实验,结果表明相比其他的基准方法,HVGAE模型获得了较好的预测结果,说明其能够较好地解决超图网络中的超边链接预测问题。     

面向链接预测的知识图谱表示学习方法综述

作为人工智能的重要基石, 知识图谱能够从互联网海量数据中抽取并表达先验知识, 极大程度解决了智能系统认知决策可解释性差的瓶颈问题, 对智能系统的构建与应用起关键作用. 随着知识图谱技术应用的不断深化, 旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫. 链接预测是针对知识图谱中缺失的实体与关系进行预测的任务, 是知识图谱构建与补全中不可或缺的一环. 要充分挖掘知识图谱中的隐藏关系, 利用海量的实体与关系进行计算, 就需要将符号化表示的信息转换为数值形式, 即进行知识图谱表示学习. 基于此, 面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点. 从链接预测与表示学习的基本概念出发, 系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展. 具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述. 以知识表示形式的发展历程为线索, 分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模. 基于表示学习建模方式, 将现有方法细化为4类模型: 平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型, 并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型. 在介绍链接预测的常用的数据集与评判标准基础上, 分别对比分析二元关系、多元关系和超关系3类知识表示形式下, 4类知识表示学习模型的链接预测效果, 并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.     

面向链接预测的知识图谱嵌入研究综述

知识图谱在人工智能领域有着广泛的应用,如信息检索、自然语言处理、推荐系统等。然而,知识图谱的开放性往往意味着它们是不完备的,具有自身的缺陷。鉴于此,需建立更完整的知识图谱,以提高知识图谱的实际利用率。利用链接预测通过已有关系来推测新的关系,从而实现大规模知识库的补全。通过比较基于翻译模型的知识图谱链接预测模型,从常用数据集与评价指标、翻译模型、采样方法等方面分析知识图谱链接预测模型的框架,并对基于知识图谱的链接预测模型进行了综述。     

知识图谱的增强CP分解链接预测方法

CP分解作为知识图谱链接预测的方法之一,能够对一些包含常规数据的知识图谱进行链接预测补全。但当知识图谱存在大量稀疏数据及可逆关系时,该方法不能体现两个实体间具有的隐藏联系,无法对此类数据进行处理。为解决上述问题,提出增强CP分解方法,对三元组中前实体和后实体的两个嵌入向量分别进行学习,并在训练过程中使用概率方法生成更高质量的负例三元组,引入ELU损失函数和AMSGrad优化器,有效对可逆关系和稀疏数据进行处理。在通用数据集上的实验结果表明,所提方法可以有效提升链接预测精度,与对比模型相比取得了5%的性能提升,同时应用在汽车维修知识图谱数据集补全中,取得83.2%正确率的实体补全结果。     

一种面向临床领域时序知识图谱的链接预测模型

知识图谱(knowledge graph)链接预测可以解决知识图谱中缺失信息的发现和还原,是目前知识图谱领域的研究热点.传统的知识图谱链接预测方法大多面向静态的数据,并不适用于具有动态变化特性的时序知识图谱.时序知识图谱广泛存在于不同领域中,以临床医学领域为例,糖尿病作为一种典型的慢性病,其病程是一个疾病缓慢发展演化的过程.因此,在临床医学时序知识图谱上进行临床意义的链接预测,比如预测糖尿病的并发症,则需要考虑糖尿病病程发展随时间变化的时序特性,这也为传统的知识图谱链接预测方法带来巨大挑战.为此,结合临床医学事实知识的时序特性,提出一种基于LSTM序列增量学习的临床领域时序知识图谱链接预测模型.该模型结合LSTM长短期记忆单元递归神经网络在序列学习上的优势,通过构建基于LSTM的序列增量学习层,以端到端的方式提取时序知识图谱中的三元组时序特征,从而实现对时序知识图谱的链接预测.通过在糖尿病时序知识图谱上的实验,验证了模型的高效性、可用性及稳定性.     

Time-aware Knowledge Hypergraph Link Prediction

A knowledge hypergraph is a form of heterogeneous graph representing the real world through $n$-ary relations, but existing knowledge hypergraphs are usually incomplete in both general and vertical domains. Therefore, it is challenging to infer the missing links from the existing links in knowledge hypergraphs. Most of the current studies employ knowledge representation learning methods based on $n$-ary relations to accomplish link prediction in knowledge hypergraphs, but they only learn the embedding vectors of entities and relations from time-unknown hyperedges without considering the influence of temporal factors on the dynamic evolution of facts, which results in poor prediction performance in dynamic environments. Firstly, based on the definition of temporal knowledge hypergraphs proposed by this paper for the first time, this paper puts forward a link prediction model for temporal knowledge hypergraphs and learns static and dynamic representations of entities from their roles, positions, and timestamps of temporal hyperedges. Then these representations are merged in a certain proportion and utilized as final entity embedding vectors for link prediction tasks to realize the full exploitation of hyperedge temporal information. Meanwhile, it is theoretically proven that the proposed model is fully expressive with linear space complexity. Additionally, a temporal knowledge hypergraph dataset CB67 is constructed from the public business data of listed companies, and a large number of experimental evaluations are conducted on this dataset. The experimental results show that the proposed model can effectively perform link prediction tasks on the temporal knowledge hypergraph dataset.     

Future Event Prediction Based on Temporal Knowledge Graph Embedding

Accurate prediction of future events brings great benefits and reduces losses for society in many domains, such as civil unrest, pandemics, and crimes. Knowledge graph is a general language for describing and modeling complex systems. Different types of events continually occur, which are often related to historical and concurrent events. In this paper, we formalize the future event prediction as a temporal knowledge graph reasoning problem. Most existing studies either conduct reasoning on static knowledge graphs or assume knowledges graphs of all timestamps are available during the training process. As a result, they cannot effectively reason over temporal knowledge graphs and predict events happening in the future. To address this problem, some recent works learn to infer future events based on historical event-based temporal knowledge graphs. However, these methods do not comprehensively consider the latent patterns and influences behind historical events and concurrent events simultaneously. This paper proposes a new graph representation learning model, namely Recurrent Event Graph ATtention Network (RE-GAT), based on a novel historical and concurrent events attention-aware mechanism by modeling the event knowledge graph sequence recurrently. More specifically, our RE-GAT uses an attention-based historical events embedding module to encode past events, and employs an attention-based concurrent events embedding module to model the associations of events at the same timestamp. A translation-based decoder module and a learning objective are developed to optimize the embeddings of entities and relations. We evaluate our proposed method on four benchmark datasets. Extensive experimental results demonstrate the superiority of our RE-GAT model comparing to various baselines, which proves that our method can more accurately predict what events are going to happen.     

基于位置的知识图谱链接预测

链接预测是知识图谱的补全和分析的基础。由于位置相关的实体和关系本身拥有丰富的位置特征,该文提出了一种基于位置的知识图谱链接预测方法。该方法首先通过分析实体和关系的语义特征对关系进行分类,然后提出了一种基于位置的实体和关系位置特征和规则的挖掘方法;其次,通过挖掘出的实体位置特征和规则,对实体和关系的向量化方法预测结果进行约束,得到最终的结果。该文通过对WikiData、FB和WN数据集的实验,证明该方法针对基于位置的关系和实体链接预测拥有较好的效果。     

基于符号语义映射的知识图谱表示学习算法

图的分布式表示对于知识图谱的构建与应用任务至关重要.通过对当前流行的图表示学习模型进行比较,分析了现有模型存在的不合理之处,据此提出了一个基于符号语义映射的神经网络模型用于学习图的分布式表示,基本思想是依据知识图谱中已有的实体关系数据,采用循环神经网络对符号组合(实体-关系组合)进行语义编码,并将其映射到目标符号(实体)上.此外,通过为图中的每个关系类型引入一个逆关系镜像,解决了关系的非对称性问题,使模型能够适应多种不同类型的(同构或异构)网络的关系推理任务.该模型适用于大规模知识图谱的表示学习任务.在公开数据集上的实验结果表明,该模型在知识图谱扩容任务和基于图的多标签分类任务上的性能表现优于相关工作.