基于异构图注意力的工业设备故障诊断知识图谱补全方法

针对工业设备故障诊断知识图谱故障实体属性残缺、故障关系链接缺失的问题,本文提出了一种基于知识图谱异构图注意力网络(knowledge graph heterogeneous graph attention network, KGHAN)模型的工业设备故障诊断知识图谱补全方法,通过对故障实体概念补全和故障关系链接补全完善了工业设备故障诊断知识图谱.所提KGHAN模型在异构图注意力网络模型的基础上,融合了故障知识结构信息和故障图结构信息,有效地表征了故障实体和故障关系的嵌入表示,提高了故障实体概念补全任务的准确率和故障关系链接补全任务的命中率.将所提工业设备故障诊断知识图谱补全方法应用在国内某企业的工业设备故障运维数据上,结果表明,故障实体概念补全任务的准确率提高了约10%,故障关系链接补全任务的命中率提高了约37%,验证了方法的有效性.     

基于动态图注意力与标签传播的实体对齐

实体对齐是多源数据库融合的有效方法,旨在找出多源知识图谱中的共指实体。近年来,图卷积网络(GCN)已成为实体对齐表示学习的新范式,然而,不同组织构建知识图谱的目标及规则存在巨大差异,要求实体对齐模型能够准确发掘知识图谱之间的长尾实体特征,并且现有的GCN实体对齐模型过于注重关系三元组的结构表示学习,忽略了属性三元组丰富的语义信息。为此,提出一种实体对齐模型,引入动态图注意力网络聚合属性结构三元组表示,降低无关属性结构对实体表示的影响。同时,为缓解知识图谱的关系异构问题,引入多维标签传播对实体邻接矩阵的不同维度进行压缩,将实体特征根据压缩后的知识图谱邻接关系进行传播以获得关系结构表示,最后通过线性规划算法对实体表示相似度矩阵进行迭代以得到最终的对齐结果。在公开数据集ENFR-15K、EN-ZH-15K以及中文医学数据集MED-BBK-9K上进行实验,结果表明,该模型的Hits@1分别为0.942、0.926、0.427,Hits@10分别为0.963、0.952、0.604,MRR分别为0.949、0.939、0.551,消融实验结果也验证了模型中各模块的有效性。     

解纠缠邻域信息聚合的知识图谱补全方法

针对现有基于图神经网络的知识补全模型在处理知识图谱异构性上的不足,及大部分模型采用单一静态实体表示方式导致的模型表达能力受限问题,提出一种基于图注意力网络的解纠缠邻域信息聚合模型。首先,该模型通过学习每个实体的解纠缠表示,对实体的潜在影响因子进行多组件表示。其次,利用注意力机制,为两个相连的实体选择最具影响力的潜在影响因子作为连接要素。接着,通过关系感知注意力机制自适应地聚合实体因子级的邻域消息,有效地减少了在信息聚合过程中不相关信息的相互干扰,进而显著增强了模型的语义表达能力。此外,为了使模型在评分过程中关注与给定关系最相关的实体组件,进一步引入了一个自适应评分系数,使模型能够自适应地感知给定的关系与实体不同组件的关联度。实验结果显示,提出的模型在WN18RR和FB15K-237数据集的知识图谱补全任务上相较其他先进基线模型表现更优,并显著地增强了模型的表达能力。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

基于关系约束的上下文感知时态知识图谱补全

现有的时间知识图谱补全模型仅考虑四元组自身的结构信息，忽略了实体隐含的邻居信息和关系对实体的约束，导致模型在时态知识图谱补全任务上表现不佳。此外，一些数据集在时间上呈现不均衡的分布，导致模型训练难以达到一个较好的平衡点。针对这些问题，提出了一个基于关系约束的上下文感知模型(CARC)。CARC通过自适应时间粒度聚合模块来解决数据集在时间上分布不均衡的问题，并使用邻居聚合器将上下文信息集成到实体嵌入中，以增强实体的嵌入表示。此外，设计了四元组关系约束模块，使具有相同关系约束的实体嵌入彼此相近，不同关系约束的实体嵌入彼此远离，以进一步增强实体的嵌入表示。在多个公开的时间数据集上进行了大量实验，实验结果证明了所提模型的优越性。     

融合协同知识图谱高阶邻居特征的推荐模型

在推荐时引入知识图谱中的实体及关系信息是有效缓解冷启动问题的方法. HAN模型首次将基于注意力机制的图神经网络用于异构图, 但是并没有充分利用节点的高阶邻居信息. 为了解决该问题, 提出了一种融合协同知识图谱高阶邻居特征的推荐模型CKG-HAN. 该模型用元路径来连接项目节点, 将协同知识图谱分成多个子图, 模型的节点注意力层用于聚合子图中每个节点的高阶邻居特征, 关系注意力层给不同元路径下的节点特征分配不同的权重, 最终得到充分融合语义信息的节点嵌入表示. 在MovieLens-1M数据集上进行了Top-K推荐, 结果表明本文提出的模型能够有效提高推荐结果的准确性.     

邻域信息分层感知的知识图谱补全方法

知识图谱补全（KGC）旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络（GCN）应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。     

k阶采样和图注意力网络的知识图谱表示模型

知识图谱表示（KGE）旨在将知识图谱中的实体和关系映射到低维度向量空间而获得其向量表示。现有的KGE模型只考虑一阶近邻,这影响了知识图谱中推理和预测任务的准确性。为了解决这一问题,提出了一种基于k阶采样算法和图注意力网络的KGE模型。k阶采样算法通过聚集剪枝子图中的k阶邻域来获取中心实体的邻居特征。引入图注意力网络来学习中心实体邻居的注意力值,通过邻居特征加权和得到新的实体向量表示。利用ConvKB作为解码器来分析三元组的全局表示特征。在WN18RR、FB15k-237、NELL-995、Kinship数据集上的评价实验表明,该模型在链接预测任务上的性能明显优于最新的模型。此外,还讨论了阶数k和采样系数b的改变对模型命中率的影响。     

小样本关系下的时序知识图谱推理

在各大知识推理应用场景下,知识图谱中时序的缺失、知识图谱构建时实体关系的不完善,已然成为研究者们亟需解决的问题。为此,构造了一种融合时序信息与小样本关系的知识图谱推理模型,该模型将知识图谱的三元组表示扩展到含有时序信息的四元组表示,并通过时序信息来提高推理路径的准确性。此外,通过元学习从高频关系中学习元参数,并使用元参数适配小样本关系任务,提高模型在小样本关系中的泛化能力。实验表明,所提出的方法在Hits@1、Hits@3、Hits@10和MRR上均高于对比方法,并且均提高5%以上,表明所提出的方法可以完成知识图谱的推理,并且在小样本关系下具有较好的效果。     

结合多重嵌入表示的中文知识图谱补全

近年来，随着知识图谱相关技术的不断发展，各方面研究对知识图谱本身的需求也不断加强。然而现有的知识图谱无法完全覆盖整个真实世界，同时在知识正确性以及时效性等方面存在问题，这使得知识图谱补全越来越受到研究者的关注。在中文环境下，知识图谱补全任务又呈现出与英文图谱补全任务不同的特性。该文对中/英知识图谱补全任务进行了对比分析，将中文图谱中出现的错误进行了归类。根据该分析结果，该文提出将三元组中实体和关系嵌入表示、实体和关系描述文本嵌入表示结合的链接预测方法MER-Tuck,该方法利用外部的语义补充来加强矩阵分解模型的学习能力。为了验证该方法的有效性，该文为中文知识图谱补全任务构建了新数据集。在该数据集上将该文的方法与主流的链接预测方法进行比较，实验结果表明该文所提方法是有效的。     

基于对比学习与语言模型增强嵌入的知识图谱补全

知识图谱是由各种知识或数据单元经过抽取等处理而组成的一种结构化知识库,用于描述和表示实体、概念、事实和关系等信息。自然语言处理技术的限制和各种知识或信息单元文本本身的噪声都会使信息抽取的准确性受到一定程度的影响。现有的知识图谱补全方法通常只考虑单一结构信息或者文本语义信息,忽略了整个知识图谱中同时存在的结构信息与文本语义信息。针对此问题,提出一种基于语言模型增强嵌入与对比学习的知识图谱补全(KGC)模型。将输入的实体和关系通过预训练语言模型获取实体和关系的文本语义信息,利用翻译模型的距离打分函数捕获知识图谱中的结构信息,使用2种用于对比学习的负采样方法融合对比学习来训练模型以提高模型对正负样本的表征能力。实验结果表明,与基于来自Transformеr的双向编码器表示的知识图谱补全(KG-BERT)模型相比,在WN18RR和FB15K-237数据集上该模型链接预测的排名小于等于10的三元组的平均占比(Hits@10)分别提升了31%和23%,明显优于对比模型。     

基于图神经网络的多信息优化实体对齐模型

实体对齐是知识融合中的一个关键步骤，旨在发现知识图谱间存在对应关系的实体对。知识图谱融合后可以为下游提供更加广泛而准确的服务。现有的实体对齐模型对实体名称和关系的利用往往不足，在得到实体的向量表示后通过单一的迭代策略或者直接计算得出实体的对齐关系，忽略了部分有用信息，导致实体对齐的结果欠佳。针对上述问题，提出了一种基于图神经网络的多信息优化实体对齐模型。首先，模型的输入融合了实体名称中的单词信息和字符信息，通过注意力机制学习关系的向量表示并利用关系传递信息。在利用实体和关系的预对齐结果修正实体对齐矩阵的基础上，使用延迟接受算法修正部分错误对齐的结果。所提模型在DBP15K的3个子数据集上进行了对比和消融实验。结果表明，相比基线模型，其Hits@1指标分别提高了4.47%,0.82%和0.46%,Hits@10和MRR指标也取得了良好的结果。通过消融实验进一步验证了所提模型的有效性，总体上可以获得更加准确的实体对齐结果。     

结合谓词感知与图注意力机制的链接预测方法

知识图谱补全旨在预测三元组中缺失的部分使知识图谱趋于完整.针对基于神经网络等模型的链接预测方法忽略了实体间的关联信息,导致模型不能覆盖三元组周围局部邻域中固有的隐藏信息,提出图注意力机制与谓词感知结合的方法.首先,利用图注意力机制定义了一个关系嵌入矩阵,描述任意给定实体邻域内实体间的关系;其次,引入谓词增强实体间语义理解程度,构造了基于谓词嵌入向量的注意力值计算公式,以便有效地度量实体间语义联系的强度;此外,利用实体邻居间的边关系预测多跳实体间的直接关系以补全知识图谱.在数据集WN18RR、Kinship、FB15K的实验结果表明了该方法能有效提高三元组的预测精度.     

基于邻域聚合与CNN的知识图谱实体类型补全

现有知识图谱实体类型补全模型通过对实体和实体类型进行建模,以解决知识图谱中实体缺失的实体类型,但未有效地利用实体之间的关系,导致模型的实体类型补全性能不佳。提出一种基于邻域聚合与卷积神经网络的知识图谱实体类型补全模型NACE2T,其采用编码器-解码器的结构。基于注意力机制设计利用关系信息的编码器,其使用注意力机制为实体邻域中的每个关系-实体对分配不同的权重,以聚合实体邻域中实体和关系的信息,从而利用实体之间的关系。基于卷积神经网络设计一个新的知识图谱实体类型补全模型CE2T,将其作为解码器,对编码器输出的实体嵌入和实体类型嵌入进行建模与实体类型补全。实验结果表明,相比ConnectE模型,NACE2T模型在数据集FB15KET上的HITS@1和HITS@3提高约1.5%,在数据集YAGO43KET上的MRR和HITS@3提高约6%,HITS@1提高约9%,能够有效地推断知识图谱中实体缺失的实体类型。     

基于贝叶斯规则的具有层次注意力的知识补全

知识图谱作为大数据时代的人工智能，被广泛应用于诸多领域，然而知识图谱普遍存在不完备性及稀疏性等问题。知识补全作为知识获取的子任务，旨在通过知识库中已知三元组来预测缺失的链接。然而现有方法普遍忽略了实体类型信息联合邻域信息对提高知识补全准确性的辅助作用，同时还存在特征信息被紧密编码到目标函数，导致集成操作高度依赖训练过程等问题。为此，提出了一种基于贝叶斯规则的具有层次注意力的知识补全方法。首先将实体类型和邻域信息视为层次结构，按关系进行分组，并独立计算组内各类信息的注意力权重。然后将实体类型和邻域信息编码为先验概率，将实例信息编码为似然概率，且按照贝叶斯规则将二者进行组合。实验结果表明，所提方法在FB15k数据集上的MRR(Mean Reciprocal Rank)指标比ConvE提高14.4%,比TKRL提高10.7%;在FB15k-237数据集上的MRR指标比TACT提高了2.1%。在FB15k, FB15k-237和YAGO26K-906数据集上，其Hits@1达到了77.5%,73.8%和95.1%,证明了引入具有层次结构的类型信息和邻域信息能够为实体嵌入更丰富、准确的描述信息，...     

融合结构与属性注意力机制的实体对齐

在实现不同来源的图谱数据融合过程中, 实体对齐是关键的步骤, 其目的在于确定不同图谱间等价的实体对. 现有实体对齐方法大多基于图嵌入方式, 通过考虑图谱的结构和属性信息进行对齐, 但并未很好处理二者之间的交互关系, 同时忽略对关系及多阶邻居信息的利用. 为解决上述问题, 提出一种融合结构与属性注意力机制模型(fused structural and attribute attention mechanism model, FSAAM)的实体对齐方法. 该模型首先根据图谱数据特征划分为属性和结构通道数据, 其次使用属性注意力机制实现对属性信息的学习, 在实现对结构信息的学习中增加对关系信息的学习, 利用图注意力机制寻找对于实体对齐有益的邻居特征, 引入Transformer编码器更好的关联实体之间的信息, 并通过Highway网络减少可能学习到噪声信息的影响, 最后对学习到的结构通道和属性通道信息的相似度矩阵利用LS-SVM网络, 得到集成相似度矩阵从而实现实体对齐. 所提模型在公开数据集DBP15K的3个子数据集上进行验证. 实验结果表明, 相较于基线模型中效果最好的结果, 其Hits@1分别提高了2.7%, 4.3%和1.7%, 且Hits@10和MRR也均有提升, 表明本模型能够有效提高实体对齐的准确性.     

类型增强的时态知识图谱表示学习模型

知识图谱表示学习旨在将知识图谱中的元素（实体和关系）表示在低维的连续向量空间中，可以有效地实现知识图谱补全并提高计算效率，是贯穿知识图谱构建和应用全过程的重要问题.现有的知识图谱表示学习模型大多基于静态的结构化三元组，忽略了知识的时间动态性和实体的类型特征，限制了它们在知识图谱补全和语义计算中的表现.针对这一问题，提出一种类型增强的时态知识图谱表示学习模型（type-enhanced temporal knowledge graph representation learning model,T-Temp），基于经典的张量分解技术，将不同形式的时间信息显式融合到知识图谱表示学习过程中.同时，利用实体与关系间的类型兼容性，充分挖掘隐含在实体中的类型特征，进一步提升表示学习的准确性.此外，证明T-Temp模型具有完全表达性，且与同类模型相比，具有较低的时空复杂度.在多个真实的时态知识图谱上进行的详细实验说明了T-Temp模型的有效性和先进性.     

知识图谱的增强CP分解链接预测方法

CP分解作为知识图谱链接预测的方法之一,能够对一些包含常规数据的知识图谱进行链接预测补全。但当知识图谱存在大量稀疏数据及可逆关系时,该方法不能体现两个实体间具有的隐藏联系,无法对此类数据进行处理。为解决上述问题,提出增强CP分解方法,对三元组中前实体和后实体的两个嵌入向量分别进行学习,并在训练过程中使用概率方法生成更高质量的负例三元组,引入ELU损失函数和AMSGrad优化器,有效对可逆关系和稀疏数据进行处理。在通用数据集上的实验结果表明,所提方法可以有效提升链接预测精度,与对比模型相比取得了5%的性能提升,同时应用在汽车维修知识图谱数据集补全中,取得83.2%正确率的实体补全结果。     

基于Triplet注意力的循环卷积神经网络模型

现有的融合文本或邻居信息的知识补全模型忽略文本和邻居之间的相互作用,难以捕获与实体具有较强语义相关性的信息,加上基于卷积神经网络的模型未考虑实体中的关系相关信息,导致预测性能不佳.因此,文中结合文本信息和拓扑邻居信息,提出基于Triplet注意力的循环卷积神经网络模型.首先,通过语义匹配的方式,选取文本描述中与实体具有较强语义相关性的单词.再与拓扑邻居复合作为实体邻居,增强实体表示.然后,重塑实体的融合表示和关系表示.最后,利用Triplet注意力优化卷积输入,使卷积操作能提取实体中与关系相关的特征,提升模型性能.在多个公开数据集上的链路预测实验表明,文中模型性能较优.     

一种基于实体时间敏感度的知识表示方法

在知识图谱(KnowledgeGraph)中,知识表示方法旨在通过一种低维稠密的向量表示方法来高效地挖掘不同实体、关系之间复杂语义关系,在知识问答、信息检索等领域有着重要意义。然而,现有的绝大多数的知识表示方法忽略了时间因素,无法表示应用中随时间变化的动态知识。针对该问题,本文提出一种基于实体时间敏感度的知识表示方法。该方法将时间信息以不同程度融入不同类型的实体向量表示中,然后进行实体和关系之间语义挖掘。实验结果表明,这种基于实体时间敏感度的表示方法能够明显提高知识图谱的时态知识补全和预测任务性能。