融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

邻域信息分层感知的知识图谱补全方法

知识图谱补全（KGC）旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络（GCN）应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。     

基于自适应注意力机制的知识图谱补全算法

现有的知识图谱补全模型通常将多源信息整合为实体和关系学习单一的静态特征表示,但无法表征不同上下文中出现的实体和关系的细差含义和动态属性,即实体和关系在涉及不同的三元组时可能有着不同的角色和含义,并因此表现出不同的属性。为此,提出了一种自适应注意力网络用于知识图谱补全,引入自适应注意力建模每个特征维度对特定任务的贡献程度,为目标实体和关系生成动态可变的嵌入表示。具体而言,所提模型通过定义邻居编码器和路径聚合器来处理实体邻域子图中的两种结构,自适应地调整邻居实体和关系路径的注意力得分,以捕获逻辑上与任务最相关的属性特征,为实体和关系赋予符合当前任务的细粒度语义。在链接预测任务中的实验结果表明,所提模型在FB15K-237数据集中的MeanRank指标比PathCon降低了6.9%,Hits@1比PathCon提高了2.3%;在稀疏数据集NELL-995和DDB14上,其Hits@1分别达到了87.9%和98%,证明了引入自适应注意力机制能够有效提取实体和关系的动态属性,为二者生成更全面的表示形式,从而提高知识图谱补全精度。     

基于图神经网络的多信息优化实体对齐模型

实体对齐是知识融合中的一个关键步骤，旨在发现知识图谱间存在对应关系的实体对。知识图谱融合后可以为下游提供更加广泛而准确的服务。现有的实体对齐模型对实体名称和关系的利用往往不足，在得到实体的向量表示后通过单一的迭代策略或者直接计算得出实体的对齐关系，忽略了部分有用信息，导致实体对齐的结果欠佳。针对上述问题，提出了一种基于图神经网络的多信息优化实体对齐模型。首先，模型的输入融合了实体名称中的单词信息和字符信息，通过注意力机制学习关系的向量表示并利用关系传递信息。在利用实体和关系的预对齐结果修正实体对齐矩阵的基础上，使用延迟接受算法修正部分错误对齐的结果。所提模型在DBP15K的3个子数据集上进行了对比和消融实验。结果表明，相比基线模型，其Hits@1指标分别提高了4.47%,0.82%和0.46%,Hits@10和MRR指标也取得了良好的结果。通过消融实验进一步验证了所提模型的有效性，总体上可以获得更加准确的实体对齐结果。     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体)。为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法。使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元组的得分,得分越低证明三元组越正确。实验采用数据集WN18RR、FB15K-237、FB15K分别进行链接预测和三元组分类实验。实验结果表明,与其他方法相比,该方法在Mean Rank和Hit@10指标上都取得了更好的实验结果,证明其可以有效提高三元组预测精度。     

基于邻域聚合的实体对齐方法

实体对齐旨在判断来自不同知识图谱的实体是否为指向真实世界的同一个对象。然而,知识图谱间的结构异质性往往会影响实体对齐的准确性。提出一种基于邻域聚合匹配网络（NAMN）模型的实体对齐方法。根据每跳邻居对中心实体重要性不同的特点,采用分层的思想区别处理每跳邻域信息,通过门控机制进行聚合以学习图结构的表征。在此基础上,为每个实体构建邻域局部子图进行跨图邻域匹配,并将匹配阶段的输出与通过门控机制所学习到的图结构表征进行联合编码,生成最终面向匹配的表征。采用DBP15K数据集进行实验,结果显示,Hits@1的所有值均在75%以上,Hits@10的所有值均在85%以上,最高可达到97%,平均倒数排名均高于80%,表明NAMN模型能够有效提高实体的匹配准确度。     

基于属性嵌入与图注意力网络的实体对齐算法

实体对齐旨在找到位于不同知识图谱中的等效实体,是实现知识融合的重要步骤.当前主流的方法是基于图神经网络的实体对齐方法,这些方法往往过于依赖图的结构信息,导致在特定图结构上训练得到的模型不能拓展应用于其他图结构中.同时,大多数方法未能充分利用辅助信息,例如属性信息.为此,本文提出了一种基于图注意力网络和属性嵌入的实体对齐方法,该方法使用图注意力网络对不同的知识图谱进行编码,引入注意力机制从实体应用到属性,在对齐阶段将结构嵌入和属性嵌入进行结合实现实体对齐效果的提升.在现实世界的3个真实数据集上对本文模型进行了验证,实验结果表明提出的方法在很大程度上优于基准的实体对齐方法.     

一种融合关系路径与实体描述信息的知识图谱表示学习方法

知识图谱表示学习旨在通过学习的方法将知识图谱中的实体和关系映射到一个连续的低维向量空间而获得其向量表示.已有的知识图谱表示学习方法大多仅从三元组角度考虑实体间的单步关系,未能有效利用多步关系路径及其实体描述等重要信息,从而影响性能.针对上述问题,提出了一种融合关系路径与实体描述的知识图谱表示学习模型.首先,对知识图谱中的多步关系路径进行联合表示,将路径上的所有关系和实体相加,得到关系路径信息的表示;其次,使用BERT(bidirectional encoder representations from transformers)模型对实体描述信息进行编码,得到相对应的语义表示;最后,对知识图谱中的三元组表示、实体描述的语义表示以及关系路径的表示进行融合训练,得到融合向量表示.在FB15K,WN18,FB15K-237,WN18RR数据集上,对提出的模型和基准模型进行链接预测和三元组分类任务,实验结果表明,与现有的基准模型相比,该模型在2项任务中均具有更高的准确性,证明了方法的有效性和优越性.     

基于贝叶斯网的开放世界知识图谱补全

知识图谱中实体所涉及的关系之间通常具有相互依赖的性质,基于这种依赖性可利用数据中的新实体来构造更多的三元组从而补全知识图谱。贝叶斯网(BN)是一种表示和推理变量之间相互依赖关系和不确定性知识的有效模型,将BN作为模型框架,研究基于BN的开放世界知识图谱补全方法。提出知识图谱中关系之间依赖性的表示模型构建方法,构建过程包括模型的基础结构构建和参数表计算,基于关系对实体的描述作用,根据描述作用强的关系决定描述作用弱的关系这一规则构建模型的基础结构。给出基于知识图谱中的三元组来抽取数据集的方法,采用最大似然估计法并利用模型的基础结构和数据集来计算模型的参数表。提出基于BN概率推理的三元组构造方法,将开放世界数据中包含新实体三元组的关系和尾实体作为证据,利用概率推理计算新实体与其他实体之间存在关系的条件概率,以此为依据构造与新实体相关的更多三元组,从而完善知识图谱。在FB15k和DBpedia数据集中分别进行三元组类型预测和链路预测实验,结果表明,该方法具有有效性,其预测召回率和MR值相比现有知识图谱补全方法均有明显提升。     

融合结构与属性注意力机制的实体对齐

在实现不同来源的图谱数据融合过程中, 实体对齐是关键的步骤, 其目的在于确定不同图谱间等价的实体对. 现有实体对齐方法大多基于图嵌入方式, 通过考虑图谱的结构和属性信息进行对齐, 但并未很好处理二者之间的交互关系, 同时忽略对关系及多阶邻居信息的利用. 为解决上述问题, 提出一种融合结构与属性注意力机制模型(fused structural and attribute attention mechanism model, FSAAM)的实体对齐方法. 该模型首先根据图谱数据特征划分为属性和结构通道数据, 其次使用属性注意力机制实现对属性信息的学习, 在实现对结构信息的学习中增加对关系信息的学习, 利用图注意力机制寻找对于实体对齐有益的邻居特征, 引入Transformer编码器更好的关联实体之间的信息, 并通过Highway网络减少可能学习到噪声信息的影响, 最后对学习到的结构通道和属性通道信息的相似度矩阵利用LS-SVM网络, 得到集成相似度矩阵从而实现实体对齐. 所提模型在公开数据集DBP15K的3个子数据集上进行验证. 实验结果表明, 相较于基线模型中效果最好的结果, 其Hits@1分别提高了2.7%, 4.3%和1.7%, 且Hits@10和MRR也均有提升, 表明本模型能够有效提高实体对齐的准确性.     

融合概念和属性信息的领域知识图谱补全方法

针对领域知识图谱具有严格的模式层和丰富的属性信息的特点,提出一种融合概念和属性信息的领域知识图谱补全方法.首先对领域知识图谱模式层中的概念使用可建模语义分层结构的HAKE模型进行嵌入表示,建立基于概念的实例向量表示;其次对数据层的实例三元组和属性三元组进行区分,通过注意力机制对实例的属性和概念进行融合,建立基于属性的实例向量表示;最后对基于概念和基于属性的实例向量表示进行联合训练以实现对实例三元组的评分.使用基于DWY100K数据集构建的知识图谱、MED-BBK-9K 医疗知识图谱和根据某钢铁企业设备故障诊断数据构建的知识图谱进行实验,结果表明所提出方法在领域知识图谱补全中的性能优于现有知识图谱补全方法.     

小样本关系下的时序知识图谱推理

在各大知识推理应用场景下,知识图谱中时序的缺失、知识图谱构建时实体关系的不完善,已然成为研究者们亟需解决的问题。为此,构造了一种融合时序信息与小样本关系的知识图谱推理模型,该模型将知识图谱的三元组表示扩展到含有时序信息的四元组表示,并通过时序信息来提高推理路径的准确性。此外,通过元学习从高频关系中学习元参数,并使用元参数适配小样本关系任务,提高模型在小样本关系中的泛化能力。实验表明,所提出的方法在Hits@1、Hits@3、Hits@10和MRR上均高于对比方法,并且均提高5%以上,表明所提出的方法可以完成知识图谱的推理,并且在小样本关系下具有较好的效果。     

基于四元数胶囊网络的知识图谱补全模型

知识图谱采用RDF三元组的形式描述现实世界中的关系和头、尾实体,即（头实体,关系,尾实体）或（主语,谓语,宾语）。为补全知识图谱中缺失的事实三元组,将四元数融入胶囊神经网络模型预测缺失的知识,并构建一种新的知识图谱补全模型。采用超复数嵌入取代传统的实值嵌入来编码三元组结构信息,以尽可能全面捕获三元组全局特性,将实体、关系的四元数嵌入作为胶囊网络的输入,四元数结合优化的胶囊网络模型可以有效补全知识图谱中丢失的三元组,提高预测精度。链接预测实验结果表明,与CapsE模型相比,在数据集WN18RR中,该知识图谱补全模型的Hit@10与正确实体的倒数平均排名分别提高3.2个百分点和5.5%,在数据集FB15K-237中,Hit@10与正确实体的倒数平均排名分别提高2.5个百分点和4.4%,能够有效预测知识图谱中缺失的事实三元组。     

基于双向对齐与属性信息的跨语言实体对齐

实体对齐表示在不同的知识图谱中查找引用相同现实身份的实体。目前主流的基于图嵌入的实体对齐方法中的对齐实体通常具有相似的属性,有效利用属性信息可提升实体对齐效果,同时由于不同知识图谱之间的知识分布差异,仅考虑单个方向的对齐预测会导致预测结果出现偏差。针对上述问题,提出一种改进的跨语言实体对齐方法。利用融合属性信息的双向对齐图卷积网络模型,将前馈神经网络编码实体对应的属性信息与初始的实体嵌入相结合,得到联合属性信息的实体表示,并使用双向对齐机制实现跨语言的实体对齐预测。在3个跨语言数据集上的实验结果表明,该方法通过融合更多的知识图谱信息增强了实体表示能力,并且利用双向对齐机制缓解了数据分布差异问题,相比基于图嵌入的实体对齐方法整体性能更优。     

面向地质领域的实体关系联合抽取研究

构建地质领域的知识图谱有助于便捷高效地共享和应用多源地质知识，而地质关系三元组抽取对地质领域知识图谱构建具有重要意义。针对现有实体关系联合抽取模型无法有效识别重叠三元组的问题，考虑地质领域专业知识的特殊性，基于预训练语言模型BERT建立一种用于地质领域关系三元组抽取的层级标注模型HtERT。采用中文预训练语言模型BERT-wwm替代原始的BERT模型作为底层编码器，以提高模型对中文的编码能力。在实体识别阶段，引入关于实体起始位置的嵌入表示来限制实体的抽取长度，从而提升实体识别的准确度。引入全局上下文信息和BiLSTM网络使得模型抽取到的特征能更精确地表示地质样本信息，增强模型对地质关系三元组以及重叠三元组的抽取能力。在地质领域数据集上的实验结果表明，HtERT模型相比于PCNN、BiLSTM、PCNN+ATT、CASREL等基线模型具有明显优势，精确率、召回率以及F1值分别平均提升15.24、10.96和13.20个百分点，验证了该模型在地质领域实体关系联合抽取任务中的有效性。     

基于知信图卷积神经网络的开放域知识图谱自动构建模型

解决多源知识对齐和知识冗余问题是在开放数据域自动构建知识图谱的关键。建立一种融合知信学习与深度学习的知识图谱自动构建模型。分析图卷积神经网络（GCN）模型与知信学习之间的理论联系,以先验知识与深度学习相结合的方式构建实体语义联合空间,将先验知识对模型的干预形式化,并利用自动编码器实现一个细粒度的实体对齐和关系抽取模型。同时,采用GCN与多头注意力相结合的方式,缓解因结构数据中多跳推理造成实体依赖信息丢失的影响。在开源数据集SemEval、FB15k和收集整理的MD数据集上的实验结果表明,该模型针对关系抽取、实体对齐和三元组抽取任务的F1值分别达到89.5%、86.6%和84.2%,较BERT-Softmax模型分别提升了0.3、2.4和0.3个百分点,具有更好的信息学习能力。     

化妆品风险物质知识图谱构建及应用

针对国内外化妆品风险物质多语言特性和复杂关联的特点,提出一种基于双通道图神经网络的邻域匹配算法。采用图神经网络学习实体属性特征和跨域交互特性,将不同特性实体映射到相同的向量空间,通过邻域匹配网络聚合实体邻域特征,为每个实体构建邻域网络以实现实体对齐,并应用于多语言风险物质知识图谱及问答系统构建。实验结果表明,在化妆品风险物质数据集上该方法获得的Hits@1、Hits@10与MRR值都优于其它基线模型,分别平均提升6.37%、8.17%与9.37%。     

融合实体概念描述与图像特征的知识图谱表示学习研究

知识图谱表示学习将实体和关系映射到一个连续的低维空间.传统学习方法是从结构化的三元组学习知识表示,忽略了三元组之外与实体相关的丰富多源信息.针对该问题,提出一种将实体概念描述和图像特征与事实三元组相结合的知识图谱表示学习模型DIRL.首先,利用BERT模型进行实体概念描述的语义表示;其次,使用CNN编码器对图像总体特征进行提取,然后通过基于注意力的方法表示图像特征;最后,将基于概念描述的表示和基于图像特征的表示与翻译模型TransR结合起来进行知识图谱表示学习.通过实验验证,DIRL模型优于现有方法,提高了多源信息知识图谱表示的有效性.     

基于带噪声数据集的强鲁棒性隐含三元组质检算法

知识图谱三元组质检的难点是区分真实三元组和噪声三元组,常用开源知识图谱不包含噪声三元组,目前已有三元组质检算法极少考虑到知识图谱中由于关系传递存在的大量隐含三元组对质检效果的影响,且没有有效利用实体之间的空间语义关联导致对实体特征提取不充分。针对以上问题,提出带噪声数据集的强鲁棒性隐含三元组质检算法（Implied triplet quality inspection,ITQI）,首先基于开源数据集制作Neo4J知识图谱;然后基于有向图最长路径搜索算法搜索所有可能的搜索路径,根据知识图谱的关系传递性来构建具有隐含关系的三元组,对源三元组进行扩充能够极大增加有效三元组的个数;最后通过随机采样构建三种类型的噪声三元组。采用TransR预训练得到扩充后的真实三元组的初始特征,然后使用残差网络提取三元组的静态特征、并使用多层BiLSTM提取三元组的内部关联特征,将以上三种特征聚合,得到三元组的融合特征对三元组进行二分类达到三元组质检的目的。论文算法在FB15K数据集上进行实验,实验结果表明论文算法质检效果优于对比算法且鲁棒性最强。     

融合BERT-WWM和指针网络的旅游知识图谱构建研究

针对旅游信息呈现出散乱、无序和关联性不强的问题,提出一种融合BERT-WWM（BERT with whole word masking）和指针网络的实体关系联合抽取模型构建旅游知识图谱。借助BERT-WWM预训练语言模型从爬取的旅游评论中获得含有先验语义知识的句子编码。针对传统的实体关系抽取方法存在错误传播、实体冗余、交互缺失等问题,以及旅游评论中的实体关系存在一词多义、关系重叠等特征,提出直接对三元组建模,利用句子编码抽取头实体,根据关系类别抽取尾实体,并建立级联结构和指针网络解码输出三元组。基于Neo4j图数据库存储三元组构建旅游知识图谱。实验在建立的旅游数据集上进行,融合BERT-WWM与指针网络的实体关系联合抽取模型的准确率、召回率和F1值分别为93.42%、86.59%和89.88%,与现有模型相比三项指标均显示出优越性,验证了该方法进行实体关系联合抽取的有效性。构建的旅游知识图谱实现了旅游景区信息的整合与存储,对进一步促进旅游业发展具有一定的实际参考意义。