解纠缠邻域信息聚合的知识图谱补全方法

针对现有基于图神经网络的知识补全模型在处理知识图谱异构性上的不足,及大部分模型采用单一静态实体表示方式导致的模型表达能力受限问题,提出一种基于图注意力网络的解纠缠邻域信息聚合模型。首先,该模型通过学习每个实体的解纠缠表示,对实体的潜在影响因子进行多组件表示。其次,利用注意力机制,为两个相连的实体选择最具影响力的潜在影响因子作为连接要素。接着,通过关系感知注意力机制自适应地聚合实体因子级的邻域消息,有效地减少了在信息聚合过程中不相关信息的相互干扰,进而显著增强了模型的语义表达能力。此外,为了使模型在评分过程中关注与给定关系最相关的实体组件,进一步引入了一个自适应评分系数,使模型能够自适应地感知给定的关系与实体不同组件的关联度。实验结果显示,提出的模型在WN18RR和FB15K-237数据集的知识图谱补全任务上相较其他先进基线模型表现更优,并显著地增强了模型的表达能力。     

基于邻域聚合的实体对齐方法

实体对齐旨在判断来自不同知识图谱的实体是否为指向真实世界的同一个对象。然而,知识图谱间的结构异质性往往会影响实体对齐的准确性。提出一种基于邻域聚合匹配网络（NAMN）模型的实体对齐方法。根据每跳邻居对中心实体重要性不同的特点,采用分层的思想区别处理每跳邻域信息,通过门控机制进行聚合以学习图结构的表征。在此基础上,为每个实体构建邻域局部子图进行跨图邻域匹配,并将匹配阶段的输出与通过门控机制所学习到的图结构表征进行联合编码,生成最终面向匹配的表征。采用DBP15K数据集进行实验,结果显示,Hits@1的所有值均在75%以上,Hits@10的所有值均在85%以上,最高可达到97%,平均倒数排名均高于80%,表明NAMN模型能够有效提高实体的匹配准确度。     

邻域信息分层感知的知识图谱补全方法

知识图谱补全（KGC）旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络（GCN）应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。     

基于双层图注意力网络的邻域信息聚合实体对齐方法

针对知识图谱中存在部分属性信息对实体对齐任务影响程度不一致以及实体的邻域信息重要程度不一致的问题,提出了一种结合双层图注意力网络的邻域信息聚合实体对齐方法（two-layer graph attention network entity alignment,TGAEA）。该方法采用双层图神经网络,首先利用第一层网络对实体属性进行注意力系数计算,降低无用属性对实体对齐的影响;随后,结合第二层网络对实体名称、关系和结构等信息进行特征加权,以区分实体邻域信息的重要性;最后,借助自举方法扩充种子实体对,并结合邻域信息相似度矩阵进行实体距离度量。实验表明,在DWY100K数据集上,TGAEA模型相较于当前基线模型,hit@1、hit@10和MRR指标分别提升了4.18%、4.81%和5%,证明了双层图注意力网络在邻域信息聚合实体对齐方面的显著效果。     

基于自适应注意力机制的知识图谱补全算法

现有的知识图谱补全模型通常将多源信息整合为实体和关系学习单一的静态特征表示,但无法表征不同上下文中出现的实体和关系的细差含义和动态属性,即实体和关系在涉及不同的三元组时可能有着不同的角色和含义,并因此表现出不同的属性。为此,提出了一种自适应注意力网络用于知识图谱补全,引入自适应注意力建模每个特征维度对特定任务的贡献程度,为目标实体和关系生成动态可变的嵌入表示。具体而言,所提模型通过定义邻居编码器和路径聚合器来处理实体邻域子图中的两种结构,自适应地调整邻居实体和关系路径的注意力得分,以捕获逻辑上与任务最相关的属性特征,为实体和关系赋予符合当前任务的细粒度语义。在链接预测任务中的实验结果表明,所提模型在FB15K-237数据集中的MeanRank指标比PathCon降低了6.9%,Hits@1比PathCon提高了2.3%;在稀疏数据集NELL-995和DDB14上,其Hits@1分别达到了87.9%和98%,证明了引入自适应注意力机制能够有效提取实体和关系的动态属性,为二者生成更全面的表示形式,从而提高知识图谱补全精度。     

基于特征联合与多注意力的实体关系链接

实体链接和关系链接作为知识库问答的核心组件链接自然语言问题和知识库信息,通常作为两个独立的任务执行,但该执行方式忽略了链接中产生的信息间的相互影响。同时,将候选实体和关系分别计算相似性的方法没有考虑候选实体和关系的内在联系。提出一种基于神经网络的特征联合和多注意力的实体关系链接方法,运用神经网络对问题、实体、关系以及实体-关系对进行编码和向量表示学习,通过添加注意力机制的方法获取候选实体及关系在问题中的权重信息,在计算实体（关系）向量与问题向量的相似性时加入实体-关系对向量,利用实体-关系对中包含的信息提高链接的精度。在LC-QuAD和QALD-7数据集上的实验结果表明,与Falcon模型相比,该方法至少提高了1%的链接精度。     

基于CNN和双向LSTM融合的实体关系抽取

实体关系抽取旨在识别网络文本中的实体,并提取出文本中实体之间隐含的关系。研究表明,深度神经网络在实体关系抽取任务上具有可行性,并优于传统关系抽取方法。目前的关系抽取方法大都使用卷积神经网络（CNN）和长短期记忆神经网络（LSTM）,然而CNN只考虑连续词之间的相关性而忽略了非连续词之间的相关性。另外,LSTM虽然考虑了长距离词的相关性,但提取特征不够充分。针对这些问题,提出了一种CNN和LSTM结合的实体关系抽取方法,采用3种结合方法进行了实验,验证了该方法的有效性,在F1值上有一定的提升。     

基于时序感知的动态知识图谱补全方法

针对动态知识图谱的补全方法大多将时间维度内嵌于实体或关系中,将四元组降维成三元组后以静态知识图谱补全理论进行补全。静态补全方法通常只对实体关系建模,忽略了时间信息在四元组中的重要作用。同时知识库内时间表述存在稀疏性和不规则性。针对以上问题,提出了时序感知编码器和时序卷积解码器。时序感知编码器将时间维度同实体和关系嵌入为同规模向量,通过改进的图卷积神经网络实现四元组的特征提取。针对时序编码器特征提取后的四元组向量,时序卷积解码器利用卷积神经网络评估全局关系以进行链接预测。所提出的方法可以提供更精确的时间维度特征,提升补全时序图谱的性能。在ICEWS14、ICEWS05-15、Wikidata12k和YAGO11k数据集上的实验验证了提出方法的有效性,同时链接预测效果较优。     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体).为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法.使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元...     

基于多关系循环事件的动态知识图谱推理

针对现有动态知识图谱推理方法大多存在同时间多关系下推理能力有限的问题,文中提出基于多关系循环事件的动态知识图谱推理方法.利用改进的多关系邻近聚合器融合目标实体邻域信息,获得更准确的实体邻域向量表示,并通过优化信息融合简化文中方法.同时加入关系预测任务,扩大处理特定范围内两个实体间关系冲突的能力.在大型真实数据集上的实体预测和关系预测的实验表明,文中方法有效提升动态知识图谱的推理能力.     

基于知识图谱嵌入与多神经网络的序列推荐算法

循环神经网络在序列推荐中占有重要地位,但在推荐中,用户的行为序列远比自然语言处理中的句子或计算机视觉中的图像要复杂得多。单一的循环神经网络结构难以充分地挖掘用户偏好,因此提出一种新型的序列推荐算法,同时考虑序列的时间信息以及内容信息。主要分为2个部分：改进的项目嵌入和序列偏好学习。首先,提出一种融合知识图谱的项目嵌入方法,用于生成高质量的项目向量;其次,提出一种卷积神经网络结合长短时记忆神经网络的序列建模方法。更进一步地提出一个基于注意力的框架,动态地结合用户的兴趣点。在公开数据集MovieLens10M上与传统方法以及现有的同类型方法进行了比较。实验结果表明,所提算法在推荐评价指标平均倒数排名MRR@N以及召回率Recall@N上有显著的提升,验证了该算法的有效性。     

基于实体对注意力机制的实体关系联合抽取模型

实体关系抽取是实现海量文本数据知识化、自动构建大规模知识图谱的关键技术。考虑到头尾实体信息对关系抽取有重要影响,该文采用注意力机制将实体对信息融合到关系抽取过程中,提出了基于实体对注意力机制的实体关系联合抽取模型(EPSA)。首先,使用双向长短时记忆网络(Bi-LSTM)结合条件随机场(CRF)完成实体的识别;其次,将抽取的实体配对,信息融合成统一的嵌入式表示形式,用于计算句子中各词的注意力值;然后,使用基于实体对注意力机制的句子编码模块得到句子表示,再利用显式融合实体对的信息得到增强型句子表示;最后,通过分类方式完成实体关系的抽取。在公开数据集NYT和WebNLG上对提出的EPSA模型进行评估,实现结果表明,与目前主流联合抽取模型相比,EPSA模型在F₁值上均得到提升,分别达到84.5%和88.5%,并解决了单一实体重叠问题。     

BERT模型结合实体向量的知识图谱实体抽取方法

实体抽取是构建知识图谱的重要环节,大多数深度学习模型没有注意到上下文的语义信息和忽略了对于知识实体的处理,因此,实体抽取的准确性有待进一步提高.本文提出了一种BERT模型结合实体向量的知识图谱实体抽取方法.该方法采用基于全词Mask的BERT模型生成句子向量和具有上下文语义的词向量,再将词向量取平均值得到实体向量,通过注意力机制将句子向量与实体向量结合,最后,将结合后的新向量放入条件随机场进行序列标注,找到最优的标签以达到实体抽取的目的.实验结果表明,该方法在人民日报语料库进行实体抽取时,其准确率、召回率和F1值分别为93.01%,90.32%和91.65%.同时,该模型在CoNLL-2003语料库中的实体抽取也具有很好的效果.     

基于知识图谱的用户偏好推荐算法

针对现有的基于知识图谱推荐算法中,缺乏与用户之间的交互,忽略物品间连接关系的问题,提出了基于知识图谱的用户偏好推荐算法.首先,为了更准确地获得用户对物品的偏好类型,增加知识图谱与用户信息的交互.其次,为知识图谱引入注意力机制,使节点传播中关注相似度更高的节点,并在递归传播中优化了节点的嵌入,将两部分关系权重图叠加得到对...     

基于实体相似度信息的知识图谱补全算法

为了解决知识图谱的链接预测问题,提出了一种共享变量的神经网络模型（LCPE）,该模型通过将实体和关系嵌入到向量空间中实现对链接的预测。通过分析Unstructured Model,推导出在向量空间中两个有关系的实体嵌入距离更近,即相似的实体之间更可能具有关系,LCPE模型将ProjE模型和实体之间的相似度信息进行融合,在判断两个实体是否有关系的基础上判断具体关系类型。三元组预测实验中,LCPE模型在与ProjE模型参数规模相同的情况下,在公开数据集WN18中,正例三元组的平均得分排名（Mean Rank）比ProjE提前了11,而正例三元组在前10名中出现的概率Hit@10比ProjE提升了0.2个百分点;在FB15k中,Mean Rank提前了7.5,Hits@10平均提升了3.05个百分点：证明了LCPE模型能够将实体相似度信息融入ProjE中并有效提升预测准确度。     

融合实体邻域信息的知识图谱嵌入负采样方法

知识图谱嵌入的主要任务是将实体与关系嵌入低维、连续的向量空间。在模型训练过程中,必须同时提供正负三元组。已有的负采样方法多使用均匀随机采样方法构造负样本,通过这种方式获得的负样本对于模型的训练贡献很小。基于生成对抗网络,生成器能够采样更多可信的负三元组,增强嵌入模型性能。然而,离散数据在使用遗传算法时存在梯度消失的问题。针对以上问题,提出一种融合实体邻域信息的知识图谱嵌入负采样方法。该方法基于生成对抗网络的框架,通过图卷积神经网络聚合实体在不同关系路径上的邻域信息,用以辅助生成器产生高质量的负样本,提高鉴别器的性能。同时,在鉴别器部分引入Wasserstein距离代替传统的散度,解决梯度消失问题,加速模型收敛。在链接预测任务和三元组分类任务上对所提方法的有效性进行验证,结果表明,该方法在链接预测任务中MR、MRR、Hits@10较基线模型分别平均提升4.18、9.19、10.18个百分点,在三元组分类任务中准确率平均提升4.50个百分点,充分证明实体邻域信息的融入能够进一步提升负样本质量,显著提升模型性能。     

基于贝叶斯规则的具有层次注意力的知识补全

知识图谱作为大数据时代的人工智能,被广泛应用于诸多领域,然而知识图谱普遍存在不完备性及稀疏性等问题。知识补全作为知识获取的子任务,旨在通过知识库中已知三元组来预测缺失的链接。然而现有方法普遍忽略了实体类型信息联合邻域信息对提高知识补全准确性的辅助作用,同时还存在特征信息被紧密编码到目标函数,导致集成操作高度依赖训练过程等问题。为此,提出了一种基于贝叶斯规则的具有层次注意力的知识补全方法。首先将实体类型和邻域信息视为层次结构,按关系进行分组,并独立计算组内各类信息的注意力权重。然后将实体类型和邻域信息编码为先验概率,将实例信息编码为似然概率,且按照贝叶斯规则将二者进行组合。实验结果表明,所提方法在FB15k数据集上的MRR(Mean Reciprocal Rank)指标比ConvE提高14.4%,比TKRL提高10.7%;在FB15k-237数据集上的MRR指标比TACT提高了2.1%。在FB15k, FB15k-237和YAGO26K-906数据集上,其Hits@1达到了77.5%,73.8%和95.1%,证明了引入具有层次结构的类型信息和邻域信息能够为实体嵌入更丰富、准确的描述信息,...