面向时间感知的知识超图链接预测

知识超图是一种使用多元关系表示现实世界的异构图,但无论在通用领域还是垂直领域,现有的知识超图普遍存在不完整的情况.因此,如何通过知识超图中已有的链接推理缺失的链接是一个具有挑战性的问题.目前大多数研究使用基于多元关系的知识表示学习方法完成知识超图的链接预测任务,但这些方法仅从时间未知的超边中学习实体与关系的嵌入向量,没有考虑时间因素对事实动态演变的影响,导致在动态环境中的预测性能较差.首先,根据本文首次提出的时序知识超图定义,提出时序知识超图链接预测模型,同时从实体角色、位置和时序超边的时间戳中学习实体的静态表征和动态表征,以一定比例融合后作为实体嵌入向量用于链接预测任务,实现对超边时序信息的充分利用.同时,从理论上证明模型具有完全表达性和线性空间复杂度.此外,通过上市公司的公开经营数据构建时序知识超图数据集CB67,并在该数据集上进行了大量实验评估.实验结果表明:模型能够在时序知识超图数据集上有效地执行链接预测任务.     

基于多粒度注意力网络的知识超图链接预测

在知识图谱中进行链接预测是图谱补全的有效方法,可以有效地改善知识图谱的数据质量.然而,现实生活中的关系往往是多元的,这些包含多元关系的知识图谱可称为知识超图(knowledgehypergraph,KHG).然而,现有的知识超图链接预测模型忽略了多元关系的平等性(多元关系中实体不存在先后关系)与整体性(多元关系缺少一个实体则不成立).针对以上问题,首先提出了一种知识超图多元关系表示模型,可以直接建模知识超图中的多元关系;然后研究了一种基于多粒度神经网络的链接预测方法(hyperedgepredictionbasedonmulti-granular attentionnetwork,HPMG).该模型将关系划分为多重粒度进行学习,从不同粒度联合完成知识超图的学习和预测,充分考虑了知识超图中不同维度多元关系的整体性.接下来,针对HPMG特征融合不充分的问题,提出了基于多粒度注意力网络的知识超图链接预测方法 HPMG+,结合全局和局部注意力,实现了不同特征的有区分融合,进一步提高了模型的性能.最后,真实数据集上的大量实验结果验证了所提方法的效果显著地优于所有基线方法.     

基于时序感知的动态知识图谱补全方法

针对动态知识图谱的补全方法大多将时间维度内嵌于实体或关系中,将四元组降维成三元组后以静态知识图谱补全理论进行补全。静态补全方法通常只对实体关系建模,忽略了时间信息在四元组中的重要作用。同时知识库内时间表述存在稀疏性和不规则性。针对以上问题,提出了时序感知编码器和时序卷积解码器。时序感知编码器将时间维度同实体和关系嵌入为同规模向量,通过改进的图卷积神经网络实现四元组的特征提取。针对时序编码器特征提取后的四元组向量,时序卷积解码器利用卷积神经网络评估全局关系以进行链接预测。所提出的方法可以提供更精确的时间维度特征,提升补全时序图谱的性能。在ICEWS14、ICEWS05-15、Wikidata12k和YAGO11k数据集上的实验验证了提出方法的有效性,同时链接预测效果较优。     

基于时序模体注意力图卷积的动态网络链路预测算法

时序网络中的动态链路预测旨在基于历史连边信息预测未来会产生的连边,是网络分析的重要组成部分,具有极大的理论研究价值和广阔的应用场景.针对现有的动态链路预测算法大多基于一阶连边关系预测未来连边,忽略了对高阶的拓扑信息和时序通联信息的挖掘和利用问题,提出一种基于时序模体注意力图卷积的动态链路预测算法.首先,提出一种时序模体邻接矩阵构建算法,利用时序模体抽取节点间的高阶拓扑和时序关系信息;然后利用隐式调节过程对网络演化过程进行建模,并使用时序模体邻接矩阵作为传输矩阵的图卷积神经网络学习节点的低维向量表示并进行迭代更新;最后以节点间表示向量作为输入,通过计算连边发生的条件密度函数值作为依据完成动态链路预测.在多个真实时序网络数据集上的实验结果表明,所提算法可有效挖掘节点间的高阶拓扑和时序信息,提高动态链路预测效果.     

基于实体相似度信息的知识图谱补全算法

为了解决知识图谱的链接预测问题,提出了一种共享变量的神经网络模型（LCPE）,该模型通过将实体和关系嵌入到向量空间中实现对链接的预测。通过分析Unstructured Model,推导出在向量空间中两个有关系的实体嵌入距离更近,即相似的实体之间更可能具有关系,LCPE模型将ProjE模型和实体之间的相似度信息进行融合,在判断两个实体是否有关系的基础上判断具体关系类型。三元组预测实验中,LCPE模型在与ProjE模型参数规模相同的情况下,在公开数据集WN18中,正例三元组的平均得分排名（Mean Rank）比ProjE提前了11,而正例三元组在前10名中出现的概率Hit@10比ProjE提升了0.2个百分点;在FB15k中,Mean Rank提前了7.5,Hits@10平均提升了3.05个百分点：证明了LCPE模型能够将实体相似度信息融入ProjE中并有效提升预测准确度。     

基于Beta分布和半监督学习的非确定性知识图谱嵌入模型

近年来,面向确定性知识图谱的嵌入模型在知识图谱补全等任务中取得了长足的进展,但如何设计和训练面向非确定性知识图谱的嵌入模型仍然是一个重要挑战。不同于确定性知识图谱,非确定性知识图谱的每个事实三元组都有着对应的置信度,因此,非确定性知识图谱嵌入模型需要准确地计算出每个三元组的置信度。现有的非确定性知识图谱嵌入模型结构较为简单,只能处理对称关系,并且无法很好地处理假负(false-negative)样本问题。为了解决上述问题,该文首先提出了一个用于训练非确定性知识图谱嵌入模型的统一框架,该框架使用基于多模型的半监督学习方法训练非确定性知识图谱嵌入模型。为了解决半监督学习中半监督样本噪声过高的问题,我们还使用蒙特卡洛Dropout计算出模型对输出结果的不确定度,并根据该不确定度有效地过滤了半监督样本中的噪声数据。此外,为了更好地表示非确定性知识图谱中实体和关系的不确定性以处理更复杂的关系,该文还提出了基于Beta分布的非确定性知识图谱嵌入模型UBetaE,该模型将实体、关系均表示为一组相互独立的Beta分布。在公开数据集上的实验结果表明,结合该文所提出的半监督学习方法和UBetaE模型,不仅极大地缓解了假负样本问题,还在多个任务中明显优于UKGE等当前最优的非确定性知识图谱嵌入模型。     

用于知识表示学习的对抗式负样本生成

知识表示学习目的是将知识图谱中符号化表示的关系与实体嵌入到低维连续向量空间。知识表示模型在训练过程中需要大量负样本,但多数知识图谱只以三元组的形式存储正样本。传统知识表示学习方法中通常使用负采样方法,这种方法生成的负样本很容易被模型判别,随着训练的进行对性能提升的贡献也会越来越小。为了解决这个问题,提出了对抗式负样本生成器（ANG）模型。生成器采用编码-解码架构,编码器读入头或尾实体被替换的正样本作为上下文信息,然后解码器利用编码器提供的编码信息为三元组填充被替换的实体,从而构建负样本。训练过程采用已有的知识表示学习模型与生成器进行对抗训练以优化知识表示向量。在链接预测和三元组分类任务上评估了该方法,实验结果表明该方法对已有知识表示学习模型在FB15K237、WN18和WN18RR数据集上的链接预测平均排名与三元组分类准确度都有提升。     

融合层次类型信息的双向图注意力机制的知识图谱嵌入模型

知识图谱嵌入旨在将实体与关系映射到低维且稠密的向量空间中。目前已有的嵌入模型仍存在以下两个方面的缺陷：现有的模型大多只关注知识图谱的语义信息,而忽略了大量三元组的隐藏信息;现有的模型仅关注了实体的单向信息,而忽略了双向的潜在信息。针对以上问题,提出了一种融合层次类型信息的双向图注意力机制的知识图谱嵌入模型Bi-HTGAT,该模型设计了层次类型注意力机制,考虑不同关系下每种类型的不同实体对中心实体的贡献。同时引入了关系的方向注意力机制,通过融合不同方向的邻居信息来更新实体和关系嵌入,最终聚合两部分信息以得到实体的最终嵌入。在基准数据集上的实验证明,Bi-HTGAT在链接预测任务上性能明显优于其他基线模型,充分证明了Bi-HTGAT能够进一步提高嵌入结果的精准度。     

基于四元数胶囊网络的知识图谱补全模型

知识图谱采用RDF三元组的形式描述现实世界中的关系和头、尾实体,即（头实体,关系,尾实体）或（主语,谓语,宾语）。为补全知识图谱中缺失的事实三元组,将四元数融入胶囊神经网络模型预测缺失的知识,并构建一种新的知识图谱补全模型。采用超复数嵌入取代传统的实值嵌入来编码三元组结构信息,以尽可能全面捕获三元组全局特性,将实体、关系的四元数嵌入作为胶囊网络的输入,四元数结合优化的胶囊网络模型可以有效补全知识图谱中丢失的三元组,提高预测精度。链接预测实验结果表明,与CapsE模型相比,在数据集WN18RR中,该知识图谱补全模型的Hit@10与正确实体的倒数平均排名分别提高3.2个百分点和5.5%,在数据集FB15K-237中,Hit@10与正确实体的倒数平均排名分别提高2.5个百分点和4.4%,能够有效预测知识图谱中缺失的事实三元组。     

Future Event Prediction Based on Temporal Knowledge Graph Embedding

Accurate prediction of future events brings great benefits and reduces losses for society in many domains, such as civil unrest, pandemics, and crimes. Knowledge graph is a general language for describing and modeling complex systems. Different types of events continually occur, which are often related to historical and concurrent events. In this paper, we formalize the future event prediction as a temporal knowledge graph reasoning problem. Most existing studies either conduct reasoning on static knowledge graphs or assume knowledges graphs of all timestamps are available during the training process. As a result, they cannot effectively reason over temporal knowledge graphs and predict events happening in the future. To address this problem, some recent works learn to infer future events based on historical event-based temporal knowledge graphs. However, these methods do not comprehensively consider the latent patterns and influences behind historical events and concurrent events simultaneously. This paper proposes a new graph representation learning model, namely Recurrent Event Graph ATtention Network (RE-GAT), based on a novel historical and concurrent events attention-aware mechanism by modeling the event knowledge graph sequence recurrently. More specifically, our RE-GAT uses an attention-based historical events embedding module to encode past events, and employs an attention-based concurrent events embedding module to model the associations of events at the same timestamp. A translation-based decoder module and a learning objective are developed to optimize the embeddings of entities and relations. We evaluate our proposed method on four benchmark datasets. Extensive experimental results demonstrate the superiority of our RE-GAT model comparing to various baselines, which proves that our method can more accurately predict what events are going to happen.     

Modeling the Correlations of Relations for Knowledge Graph Embedding

嵌入的知识图,印射实体和关系直到低维的向量空格,在象连接预言和关系抽取那样的许多任务表明了它的有效性。典型方法包括 TransE, TransH,和 TransR。所有这些方法独立印射不同关系直到向量空间并且这些关系的内在的关联被忽略。在那里存在,是明显的在关系之中的一些关联因为不同关系可以与一个普通实体连接。例如,三元组(史蒂夫工作, PlaceOfBrith,加利福尼亚) 并且(苹果公司,地点,加利福尼亚) 作为他们的尾巴实体分享一样的实体加利福尼亚。我们分析矩阵由 TransE/TransH/TransR 学习了的嵌入的关系,并且发现关系的关联确实存在,他们在嵌入的关系矩阵上作为低等级的结构被给看。问我们是否能利用这些关联在一张知识图为实体和关系学习更好的 embeddings 是自然的。在这份报纸,我们建议由作为二个低维的矩阵的一个产品分解它学习嵌入的关系矩阵,为描绘低等级的结构。建议方法,叫的 TransCoRe (经由为关系的关联建模的基于翻译的方法) ,与基于翻译的框架听说 embeddings 实体和关系。试验性的结果基于 WordNet 和 Freebase 的基准数据集证明我们的方法在连接预言和三倍的分类任务上超过典型基线。     

面向链接预测的知识图谱表示学习方法综述

作为人工智能的重要基石, 知识图谱能够从互联网海量数据中抽取并表达先验知识, 极大程度解决了智能系统认知决策可解释性差的瓶颈问题, 对智能系统的构建与应用起关键作用. 随着知识图谱技术应用的不断深化, 旨在解决图谱欠完整性问题的知识图谱补全工作迫在眉睫. 链接预测是针对知识图谱中缺失的实体与关系进行预测的任务, 是知识图谱构建与补全中不可或缺的一环. 要充分挖掘知识图谱中的隐藏关系, 利用海量的实体与关系进行计算, 就需要将符号化表示的信息转换为数值形式, 即进行知识图谱表示学习. 基于此, 面向链接预测的知识图谱表示学习成为知识图谱领域的研究热点. 从链接预测与表示学习的基本概念出发, 系统性地介绍面向链接预测的知识图谱表示学习方法最新研究进展. 具体从知识表示形式、算法建模方式两种维度对研究进展进行详细论述. 以知识表示形式的发展历程为线索, 分别介绍二元关系、多元关系和超关系知识表示形式下链接预测任务的数学建模. 基于表示学习建模方式, 将现有方法细化为4类模型: 平移距离模型、张量分解模型、传统神经网络模型和图神经网络模型, 并详细描述每类模型的实现方式与解决不同关系元数链接预测任务的代表模型. 在介绍链接预测的常用的数据集与评判标准基础上, 分别对比分析二元关系、多元关系和超关系3类知识表示形式下, 4类知识表示学习模型的链接预测效果, 并从模型优化、知识表示形式和问题作用域3个方面展望未来发展趋势.     

A hypergraph-based context-sensitive representation technique for VHR remote-sensing image change detection

This article presents a novel semi-supervised change detection approach for very-high-resolution (VHR) remote-sensing images. The proposed approach aims at extracting the change information by making full use of the context-sensitive relationships among pixels in the images. This is accomplished via a context-sensitive image representation technique based on hypergraph model. First, each temporal image is modelled as a hypergraph that utilizes a set of hyperedges to capture the context-sensitive properties of pixels in the image. Second, the difference in the bi-temporal images is measured by both the similarity and the consistency between the two hypergraphs. Finally, the changes are separated from the unchanged ones by a hypergraph-based semi-supervised classifier on the difference image. Experimental results obtained on different VHR remote-sensing data sets demonstrate the effectiveness of the proposed approach.     

四元数关系旋转的知识图谱补全模型

知识图谱是真实世界三元组的结构化表示,通常三元组被表示成头实体、关系、尾实体的形式。针对知识图谱中广泛存在的数据稀疏问题,提出了一种将四元数作为关系旋转的知识图谱补全方法。文中使用极具表现力的超复数表示对实体和关系进行建模,以进行链接预测。这种超复数嵌入用于表示实体,关系则被建模为四元数空间中的旋转。具体来说,将每个关系定义为超复数空间中头实体到尾实体的旋转,用于推理和建模各种关系模式,包括对称/反对称、反转和组合。在公开的数据集WN18RR和FB15K-237上进行相关的链接预测实验,实验结果表明,在WN18RR数据集中,其平均倒数排名(Mean Reciprocal Rank,MRR)比RotatE的提高了4.6%,其Hit@10比RotatE的提高了1.7%;在FB15K-237数据集中,其平均倒数排名比RotatE的提高了5.6%,其Hit@3比RotatE的提高了1.4%。该实验证明,使用四元数作为关系旋转的知识图谱补全方法可以有效提高三元组预测精度。     

基于关系记忆的胶囊网络知识图谱嵌入模型

作为一种语义知识库,知识图谱（KG）使用结构化三元组的形式存储真实世界的实体及其内在关系。为了推理知识图谱中缺失的真实三元组,考虑关系记忆网络较强的三元组表征能力和胶囊网络强大的特征处理能力,提出一种基于关系记忆的胶囊网络知识图谱嵌入模型。首先,通过编码实体和关系之间的潜在依赖关系和部分重要信息形成编码嵌入向量;然后,把嵌入向量与过滤器卷积以生成不同的特征图,再重组为对应的胶囊;最后,通过压缩函数和动态路由指定从父胶囊到子胶囊的连接,并根据子胶囊与权重内积的得分判断当前三元组的可信度。链接预测实验的结果表明,与CapsE模型相比,在倒数平均排名（MRR）和Hit@10评价指标上,所提模型在WN18RR数据集上分别提高了7.95%和2.2个百分点,在FB15K-237数据集上分别提高了3.82%和2个百分点。实验结果表明,所提模型可以更准确地推断出头实体和尾实体之间的关系。     

融合知识感知和时间感知的用户偏好网络

在知识感知推荐领域,基于嵌入传播的方式可以挖掘知识图谱的结构化信息,也能够获取n跳实体间的语义信息,但随着传播范围的增加,嵌入传播方式会丢失部分结构化信息,且以这种方式所获得的用户向量表示是粗粒度的,不能充分表征用户的偏好。针对以上问题,提出了一种融合知识感知和时间感知的用户偏好网络(FKTUPN)。首先在嵌入层生成知识图谱的一阶嵌入向量,同时单独为用户偏好进行细粒度的建模;然后用随机游走的方式划分时间槽,进行时间上下文编码,获取图结构的上下文信息,并将该结构化信息嵌入到关系向量中;随后通过知识感知注意力机制区分嵌入表示的贡献并递归传播;最终在预测层中聚合不同传播层次的用户和项目表示,将两种表示相乘后得到推荐结果。实验表明,该模型在Amazon-book、Last-FM以及Yelp三个数据集上的recall@20、NDCG@20指标得分均高于对比的基线模型,细粒度的用户偏好表示以及结构化信息的充分利用能够有效提高推荐的准确度。     

胶囊网络在知识图谱补全中的应用

知识图谱补全旨在发现三元组中缺失链接,解决知识图谱数据稀疏问题。提出一种基于胶囊网络的知识图谱嵌入方法,该方法能够对关系三元组（头实体,关系,尾实体）进行建模。将三元组表示为3列矩阵,它与多个滤波器卷积以产生不同的特征映射;将这些特征图重建成相应的胶囊,每个胶囊是一组神经元,通过和权重点积生成较小尺寸的胶囊,然后生成一个连续矢量;该矢量和权重向量进行点积运算获得对应得分,所有分数求和的结果用来判断给定三元组的正确性。实验结果表明,和其他模型相比,该方法有效提高了三元组的预测精度,知识图谱补全的效果更好。     

知识图谱的增强CP分解链接预测方法

CP分解作为知识图谱链接预测的方法之一,能够对一些包含常规数据的知识图谱进行链接预测补全。但当知识图谱存在大量稀疏数据及可逆关系时,该方法不能体现两个实体间具有的隐藏联系,无法对此类数据进行处理。为解决上述问题,提出增强CP分解方法,对三元组中前实体和后实体的两个嵌入向量分别进行学习,并在训练过程中使用概率方法生成更高质量的负例三元组,引入ELU损失函数和AMSGrad优化器,有效对可逆关系和稀疏数据进行处理。在通用数据集上的实验结果表明,所提方法可以有效提升链接预测精度,与对比模型相比取得了5%的性能提升,同时应用在汽车维修知识图谱数据集补全中,取得83.2%正确率的实体补全结果。     

时序图节点嵌入策略的研究

相较于传统的图数据分析方法,图嵌入算法是一种面向图节点的新型图数据分析策略.其旨在通过将图节点向量化表达,进而在节点向量基础上利用神经网络相关技术更有效的进行图数据分析或挖掘工作,如在节点分类、链接预测及交通流预测等经典问题上取得效果显著.虽然研究者们在图嵌入方面已取得了诸多成果,但是面向时序图的节点嵌入问题却未被充分重视,本文便是在先前研究工作的基础上,结合信息在时序图中的传播特性,提出了一种对时序图节点进行自适应嵌入表达的方法ATGEB （Adaptive Temporal Graph Embedding）.首先,为了解决不同类型时序图节点活跃程度不同的问题,通过设计一种自适应方式对其活跃时刻进行聚类.而后,在此基础上设计一种游走模型用以保存节点对之间的时间关系,并将节点游走序列保存在一种双向多叉树上进而可以更快速的得到节点时间相关的游走序列.最后,在基于节点游走特性和图拓扑结构的基础上,对节点向量进行重要节点采样,以便在尽可能短的时间内训练出满足需求的网络模型.通过充分的实验证明,本文面向时序图的嵌入策略相较于现流行的嵌入方法,在时序图时序中节点间时序可达性检测以及节点分类等问题上得出了更好的实验效果.     

A 1.5 approximation algorithm for embedding hyperedges in a cycle

The problem of minimum congestion hypergraph embedding in a cycle (MCHEC) is to embed the hyperedges of a hypergraph as adjacent paths around a cycle, such that the maximum congestion over any physical link in the cycle is minimized. The problem is NP-complete in general, but solvable in polynomial time when all hyperedges contain exactly two vertices. In this paper, we first formulate the problem as an integer linear program (ILP). Then, a solution with approximation bound of 1.5(opt + 1) is presented by using a clockwise (2/3)-rounding algorithm, where opt denotes the optimal value of maximum congestion. To our knowledge, this is the best approximation bound known for the MCHEC problem.