基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体)。为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法。使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元组的得分,得分越低证明三元组越正确。实验采用数据集WN18RR、FB15K-237、FB15K分别进行链接预测和三元组分类实验。实验结果表明,与其他方法相比,该方法在Mean Rank和Hit@10指标上都取得了更好的实验结果,证明其可以有效提高三元组预测精度。     

融合实体邻域信息的知识图谱嵌入负采样方法

知识图谱嵌入的主要任务是将实体与关系嵌入低维、连续的向量空间。在模型训练过程中，必须同时提供正负三元组。已有的负采样方法多使用均匀随机采样方法构造负样本，通过这种方式获得的负样本对于模型的训练贡献很小。基于生成对抗网络，生成器能够采样更多可信的负三元组，增强嵌入模型性能。然而，离散数据在使用遗传算法时存在梯度消失的问题。针对以上问题，提出一种融合实体邻域信息的知识图谱嵌入负采样方法。该方法基于生成对抗网络的框架，通过图卷积神经网络聚合实体在不同关系路径上的邻域信息，用以辅助生成器产生高质量的负样本，提高鉴别器的性能。同时，在鉴别器部分引入Wasserstein距离代替传统的散度，解决梯度消失问题，加速模型收敛。在链接预测任务和三元组分类任务上对所提方法的有效性进行验证，结果表明，该方法在链接预测任务中MR、MRR、Hits@10较基线模型分别平均提升4.18、9.19、10.18个百分点，在三元组分类任务中准确率平均提升4.50个百分点，充分证明实体邻域信息的融入能够进一步提升负样本质量，显著提升模型性能。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

基于四元数胶囊网络的知识图谱补全模型

知识图谱采用RDF三元组的形式描述现实世界中的关系和头、尾实体,即（头实体,关系,尾实体）或（主语,谓语,宾语）。为补全知识图谱中缺失的事实三元组,将四元数融入胶囊神经网络模型预测缺失的知识,并构建一种新的知识图谱补全模型。采用超复数嵌入取代传统的实值嵌入来编码三元组结构信息,以尽可能全面捕获三元组全局特性,将实体、关系的四元数嵌入作为胶囊网络的输入,四元数结合优化的胶囊网络模型可以有效补全知识图谱中丢失的三元组,提高预测精度。链接预测实验结果表明,与CapsE模型相比,在数据集WN18RR中,该知识图谱补全模型的Hit@10与正确实体的倒数平均排名分别提高3.2个百分点和5.5%,在数据集FB15K-237中,Hit@10与正确实体的倒数平均排名分别提高2.5个百分点和4.4%,能够有效预测知识图谱中缺失的事实三元组。     

基于关系记忆的胶囊网络知识图谱嵌入模型

作为一种语义知识库,知识图谱（KG）使用结构化三元组的形式存储真实世界的实体及其内在关系。为了推理知识图谱中缺失的真实三元组,考虑关系记忆网络较强的三元组表征能力和胶囊网络强大的特征处理能力,提出一种基于关系记忆的胶囊网络知识图谱嵌入模型。首先,通过编码实体和关系之间的潜在依赖关系和部分重要信息形成编码嵌入向量;然后,把嵌入向量与过滤器卷积以生成不同的特征图,再重组为对应的胶囊;最后,通过压缩函数和动态路由指定从父胶囊到子胶囊的连接,并根据子胶囊与权重内积的得分判断当前三元组的可信度。链接预测实验的结果表明,与CapsE模型相比,在倒数平均排名（MRR）和Hit@10评价指标上,所提模型在WN18RR数据集上分别提高了7.95%和2.2个百分点,在FB15K-237数据集上分别提高了3.82%和2个百分点。实验结果表明,所提模型可以更准确地推断出头实体和尾实体之间的关系。     

球坐标建模语义分层的知识图谱补全方法

知识图谱是真实世界三元组的结构化表示。通常,三元组表示形式为（头实体,关系,尾实体）,这表示头实体和尾实体通过特定关系相互联系。针对知识图谱中广泛存在的数据稀疏问题,提出一种球坐标建模语义分层的知识图谱补全方法。使用球坐标系对实体和关系进行建模表示,以进行链接预测。具体来说,半径坐标旨在对不同层级的实体进行建模,半径较小的实体级别越高;角度坐标旨在区分相同层级的实体,即模长相等而角度不同的实体。该方法将实体映射到球坐标系中,可以有效建模知识图谱中普遍存在的语义分层现象。实验中,采用公开数据集WN18RR、FB15K-237与YAGO3-10进行相关的链接预测实验。实验结果表明,在WN18RR中,平均倒数排名（Mean Reciprocal Rank）比RotatE提高3.6%,Hit@10比RotatE提高1.9%;在FB15K-237中,平均倒数排名（Mean Reciprocal Rank）比ConvKB提高4.8%,Hit@10比ConvKB提高3.5%。实验证明球坐标建模语义分层的知识图谱补全方法可以有效提高三元组预测准确度。     

四元数关系旋转的知识图谱补全模型

知识图谱是真实世界三元组的结构化表示,通常三元组被表示成头实体、关系、尾实体的形式。针对知识图谱中广泛存在的数据稀疏问题,提出了一种将四元数作为关系旋转的知识图谱补全方法。文中使用极具表现力的超复数表示对实体和关系进行建模,以进行链接预测。这种超复数嵌入用于表示实体,关系则被建模为四元数空间中的旋转。具体来说,将每个关系定义为超复数空间中头实体到尾实体的旋转,用于推理和建模各种关系模式,包括对称/反对称、反转和组合。在公开的数据集WN18RR和FB15K-237上进行相关的链接预测实验,实验结果表明,在WN18RR数据集中,其平均倒数排名(Mean Reciprocal Rank, MRR)比RotatE的提高了4.6%,其Hit@10比RotatE的提高了1.7%;在FB15K-237数据集中,其平均倒数排名比RotatE的提高了5.6%,其Hit@3比RotatE的提高了1.4%。该实验证明,使用四元数作为关系旋转的知识图谱补全方法可以有效提高三元组预测精度。     

TransP:一种基于WordNet中PartOf关系的知识图谱嵌入方法

在三元组(lip, PartOf, mouth)中,PartOf关系连接的头实体lip具有部分属性,尾实体mouth则具有整体属性,对这类三元组进行嵌入表示时,头实体和尾实体不应以同样的方式编码。对此,将PartOf关系三元组中的实体编码为一个球体,球心表示对应实体的低维语义空间向量,利用球体的相对位置关系对WordNet中实体间的PartOf关系进行建模,将其命名为TransP模型。在WN18数据集上对TransP进行了链接预测和三元组分类实验,验证了TransP模型的有效性。     

基于知识表示的联合问答模型

基于知识库的问答系统旨在通过解析用户的自然语言问句直接在知识库中提取出答案。目前,大多数知识库问答模型都遵循实体检测和关系识别这两个步骤,但是此类方法忽略了知识库本身所蕴含的结构信息以及这两个步骤之间的联系。文中提出了一种基于知识表示的联合问答模型。首先应用知识表示模型将知识库中的实体与关系映射到低维的向量空间,然后通过神经网络将问句也嵌入相同的向量空间,同时检测出问句中的实体,并在此向量空间内度量知识库三元组与问句的语义相似度,从而实现将知识库嵌入和多任务学习引入知识库问答。实验结果表明,所提模型可以极大地提高训练速度,在实体检测和关系识别任务上的准确率达到了主流水平,证明了知识库嵌入及多任务学习可以提升知识库问答任务的性能。     

一种精细表示多值属性的知识图谱嵌入模型

知识图谱嵌入模型KR-EAR用实体及其属性值的嵌入(向量)来定义属性三元组的评分函数,导致多值属性的不同属性值学得的嵌入很相似,即KR-EAR未能精细地表示多值属性,从而影响下游任务的准确度。论文通过改进KR-EAR的属性三元组表示来提出一种精细表示多值属性的知识图谱嵌入模型,称为KGE-EAV。在KGE-EAV的属性值空间中,每个实体都对应一个超平面,该实体的每个属性值嵌入都在该超平面上形成一个投影向量;KGE-EAV用这样的投影向量(而不是属性值嵌入)来定义属性三元组的评分函数,从而可以为多值属性的不同属性值学得不同的嵌入。实验表明,在实体预测和属性预测两项任务上,KGE-EAV的准确度均优于KR-EAR和三个基线模型。     

基于改进Inception结构的知识图谱嵌入模型

知识图谱嵌入（KGE）将实体和关系映射到低维连续向量空间中,以利用机器学习方法实现关系数据的应用,如知识分析、推理、补全等。以ConvE为代表将卷积神经网络（CNN）应用于知识图谱嵌入中,以捕捉实体和关系的交互信息,但其标准卷积捕捉特征交互信息能力不足,特征表达能力低下。针对特征交互能力不足问题,提出了一种改进的Inception结构,在此基础上构建一个知识图谱嵌入模型InceE。首先,该结构使用混合空洞卷积替代标准卷积,以提高特征交互信息捕捉能力;其次,使用残差网络结构,以减少特征信息丢失。实验使用基准数据集Kinship、FB15k、WN18验证InceE链接预测有效性。在Kinship、FB15k数据集上,相较于ArcE和QuatRE模型,InceE的Hit@1分别提升了1.6和1.5个百分点;在三个数据集上,与ConvE对比,InceE的Hit@1分别提升了6.3、20.8和1.0个百分点。实验结果表明InceE具有更强的特征交互信息捕捉能力。     

基于知识图谱嵌入和补全的电梯故障预测

为及早预测电梯发生的常见故障,提高电梯设备的维保质量和效率,提出基于规则推理、知识图谱嵌入技术和知识图谱补全技术实现电梯故障预测的方法,在构建电梯故障知识图谱后,通过改进的组合模型将三元组中的实体和关系训练为连续的低维向量空间,实现三元组对于故障预测相关运算的兼容,通过组合模型实现电梯实体、关系和故障实体三元组的预测....     

基于知识图谱的案件特征增强法律判决预测

现有基于知识图谱的法律判决预测方法重点关注案件的要素实体和关系,不能充分地获取案件的特征信息。针对该问题,提出了一种增强案件特征融合的知识图谱法律判决预测方法。首先,该方法利用双向门控循环神经网络挖掘事实描述文本深层次的因果、时序等全文语义特征信息。然后通过知识图谱向量空间中案例间相似度注意力计算学习类案特征表示。最后,融合特征信息和知识图谱的结构化知识,丰富实体和关系在案件事实文本中的语义特征表示,实现法律判决链路预测任务。在危险驾驶罪和盗窃罪两类罪名数据集上的实验结果显示,该方法在MRR、Hit@1两个关键评价指标上与当前表现最好的链路预测模型相比提升了1.5%左右,Hit@3和Hit@10等指标也均有提升,验证了案件特征增强融合能补充法律知识图谱中缺失的案件特征信息并提高预测的效果。     

融合实体类别信息的知识图谱表示学习

知识图谱表示学习通过将实体和关系嵌入连续低维的语义空间中,获取实体和关系的语义关联信息.设计一种融合实体类别信息的类别增强知识图谱表示学习(CEKGRL)模型,构建基于结构与基于类别的实体表示,通过注意力机制捕获实体类别和三元组关系之间的潜在相关性,结合不同实体类别对于某种特定关系的重要程度及实体类别信息进行知识表示学...     

融合多跳关系路径信息的关系推理方法

针对目前知识图谱（KG）中存在大量关系的缺失,以及在进行关系推理时没有充分考虑两实体间多跳路径中隐含信息的问题,提出了一种融合多跳关系路径信息的关系推理方法。首先,对于给定的候选关系和两个实体,利用卷积运算将连接两个实体的多跳关系路径编码到低维空间里并提取信息;其次,利用双向长短时记忆（BiLSTM）网络建模以生成关系路径表示向量,并利用注意力机制将其与候选关系表示向量进行组合;最后,采用多步推理方式找到匹配程度最高的关系作为推理结果并判断其精确率。与目前常用的路径排序算法（PRA）、神经网络模型Path-RNN以及强化学习模型MINERVA相比,在使用大型知识图谱数据集NELL995进行实验时,所提算法的平均精确率均值（MAP）分别提高了1.96、8.6和1.6个百分点;在使用小型知识图谱数据集Kinship进行实验时,所提方法的MAP比PRA、MINERVA分别提高了21.3、13和12.1个百分点。实验结果表明,所提算法能更加准确地推理出实体间的关系链接。