基于属性嵌入与图注意力网络的实体对齐算法

实体对齐旨在找到位于不同知识图谱中的等效实体,是实现知识融合的重要步骤.当前主流的方法是基于图神经网络的实体对齐方法,这些方法往往过于依赖图的结构信息,导致在特定图结构上训练得到的模型不能拓展应用于其他图结构中.同时,大多数方法未能充分利用辅助信息,例如属性信息.为此,本文提出了一种基于图注意力网络和属性嵌入的实体对齐方法,该方法使用图注意力网络对不同的知识图谱进行编码,引入注意力机制从实体应用到属性,在对齐阶段将结构嵌入和属性嵌入进行结合实现实体对齐效果的提升.在现实世界的3个真实数据集上对本文模型进行了验证,实验结果表明提出的方法在很大程度上优于基准的实体对齐方法.     

融合结构与属性注意力机制的实体对齐

在实现不同来源的图谱数据融合过程中, 实体对齐是关键的步骤, 其目的在于确定不同图谱间等价的实体对. 现有实体对齐方法大多基于图嵌入方式, 通过考虑图谱的结构和属性信息进行对齐, 但并未很好处理二者之间的交互关系, 同时忽略对关系及多阶邻居信息的利用. 为解决上述问题, 提出一种融合结构与属性注意力机制模型(fused structural and attribute attention mechanism model, FSAAM)的实体对齐方法. 该模型首先根据图谱数据特征划分为属性和结构通道数据, 其次使用属性注意力机制实现对属性信息的学习, 在实现对结构信息的学习中增加对关系信息的学习, 利用图注意力机制寻找对于实体对齐有益的邻居特征, 引入Transformer编码器更好的关联实体之间的信息, 并通过Highway网络减少可能学习到噪声信息的影响, 最后对学习到的结构通道和属性通道信息的相似度矩阵利用LS-SVM网络, 得到集成相似度矩阵从而实现实体对齐. 所提模型在公开数据集DBP15K的3个子数据集上进行验证. 实验结果表明, 相较于基线模型中效果最好的结果, 其Hits@1分别提高了2.7%, 4.3%和1.7%, 且Hits@10和MRR也均有提升, 表明本模型能够有效提高实体对齐的准确性.     

基于邻域聚合的实体对齐方法

实体对齐旨在判断来自不同知识图谱的实体是否为指向真实世界的同一个对象。然而,知识图谱间的结构异质性往往会影响实体对齐的准确性。提出一种基于邻域聚合匹配网络（NAMN）模型的实体对齐方法。根据每跳邻居对中心实体重要性不同的特点,采用分层的思想区别处理每跳邻域信息,通过门控机制进行聚合以学习图结构的表征。在此基础上,为每个实体构建邻域局部子图进行跨图邻域匹配,并将匹配阶段的输出与通过门控机制所学习到的图结构表征进行联合编码,生成最终面向匹配的表征。采用DBP15K数据集进行实验,结果显示,Hits@1的所有值均在75%以上,Hits@10的所有值均在85%以上,最高可达到97%,平均倒数排名均高于80%,表明NAMN模型能够有效提高实体的匹配准确度。     

化妆品风险物质知识图谱构建及应用

针对国内外化妆品风险物质多语言特性和复杂关联的特点,提出一种基于双通道图神经网络的邻域匹配算法。采用图神经网络学习实体属性特征和跨域交互特性,将不同特性实体映射到相同的向量空间,通过邻域匹配网络聚合实体邻域特征,为每个实体构建邻域网络以实现实体对齐,并应用于多语言风险物质知识图谱及问答系统构建。实验结果表明,在化妆品风险物质数据集上该方法获得的Hits@1、Hits@10与MRR值都优于其它基线模型,分别平均提升6.37%、8.17%与9.37%。     

解纠缠邻域信息聚合的知识图谱补全方法

针对现有基于图神经网络的知识补全模型在处理知识图谱异构性上的不足,及大部分模型采用单一静态实体表示方式导致的模型表达能力受限问题,提出一种基于图注意力网络的解纠缠邻域信息聚合模型。首先,该模型通过学习每个实体的解纠缠表示,对实体的潜在影响因子进行多组件表示。其次,利用注意力机制,为两个相连的实体选择最具影响力的潜在影响因子作为连接要素。接着,通过关系感知注意力机制自适应地聚合实体因子级的邻域消息,有效地减少了在信息聚合过程中不相关信息的相互干扰,进而显著增强了模型的语义表达能力。此外,为了使模型在评分过程中关注与给定关系最相关的实体组件,进一步引入了一个自适应评分系数,使模型能够自适应地感知给定的关系与实体不同组件的关联度。实验结果显示,提出的模型在WN18RR和FB15K-237数据集的知识图谱补全任务上相较其他先进基线模型表现更优,并显著地增强了模型的表达能力。     

基于图注意力网络字词融合的中文命名实体识别

命名实体识别指识别文本中具有特定意义的实体,是自然语言处理诸多下游任务的重要基石。在命名实体识别任务中,协同图网络（CGN）模型通过引入多个图注意力网络获得较强的知识整合能力及较高的处理速度,但CGN模型在嵌入层中没有充分利用词边界信息,且采用的传统静态图注意力网络影响了图注意力的表达能力。在对CGN模型的图注意力网络进行改进的基础上,提出一种中文命名实体识别新模型,在嵌入层融入词语的分词信息,以生成包含词边界信息的字向量,从而充分利用词边界信息。通过在编码层使用BiLSTM模型获取文本的上下文信息,采用改进后的图注意力网络提取文本特征,并通过优化传统图注意力网络中相关系数的计算方式,增强模型的特征提取能力。最后,利用条件随机场对文本进行解码,从而实现对实体的标注。实验结果表明,该模型相比CGN模型在MSRA、OntoNotes4.0、Weibo数据集上的F1值分别提升了0.67%、3.16%、0.16%,验证了其在中文命名实体识别任务上的有效性。     

基于双向对齐与属性信息的跨语言实体对齐

实体对齐表示在不同的知识图谱中查找引用相同现实身份的实体。目前主流的基于图嵌入的实体对齐方法中的对齐实体通常具有相似的属性,有效利用属性信息可提升实体对齐效果,同时由于不同知识图谱之间的知识分布差异,仅考虑单个方向的对齐预测会导致预测结果出现偏差。针对上述问题,提出一种改进的跨语言实体对齐方法。利用融合属性信息的双向对齐图卷积网络模型,将前馈神经网络编码实体对应的属性信息与初始的实体嵌入相结合,得到联合属性信息的实体表示,并使用双向对齐机制实现跨语言的实体对齐预测。在3个跨语言数据集上的实验结果表明,该方法通过融合更多的知识图谱信息增强了实体表示能力,并且利用双向对齐机制缓解了数据分布差异问题,相比基于图嵌入的实体对齐方法整体性能更优。     

基于双重注意力和关系语义建模的实体对齐方法

实体对齐任务目标是在知识图谱间发现更多的等价实体对。目前一些实体对齐方法聚焦实体结构和属性信息,却没有很好地处理两者交互学习的问题。为此,提出一种基于双重注意力和关系语义建模的实体对齐方法,采用双重注意力在属性分类嵌入的基础上学习实体属性和结构的交互特征,采用关系语义建模对实体结构嵌入进行局部语义优化,最后对实体多方面语义特征下的相似度矩阵进行融合。在三个真实数据集上的对齐准确率分别可达到81.00%、83.90%和92.73%,与基准模型相比平均提升了2.62%,实验结果表明提出的方法可以有效地识别出对齐实体对。     

基于图模型和注意力模型的会话推荐方法

为解决基于循环神经网络（RNN）会话推荐方法的兴趣偏好表示不全面、不准确问题,提出基于图模型和注意力模型的会话推荐（SR-GM-AM）方法。首先,图模型利用全局图和会话图分别获取邻域信息和会话信息,并且利用图神经网络（GNN）提取项目图特征,项目图特征经过全局项目表示层和会话项目表示层得到全局级嵌入和会话级嵌入,两种级别嵌入结合生成图嵌入;然后,注意力模型使用软注意力进行图嵌入和反向位置嵌入融合,目标注意力激活目标项目相关性,注意力模型通过线性转换生成会话嵌入;最后,SR-GM-AM经过预测层,输出下次点击的N项推荐列表。在两个真实的公共电子商务数据集Yoochoose和Diginetica上对比了SR-GM-AM方法与基于无损边缘保留聚合和快捷图注意力的推荐（LESSR）方法,结果显示,SR-GM-AM方法的P@20最高达到了72.41%,MRR@20最高达到了35.34%,验证了SR-GM-AM的有效性。     

基于双重注意力和关系语义建模的实体对齐方法

实体对齐任务目标是在知识图谱间发现更多的等价实体对。目前一些实体对齐方法聚焦实体结构和属性信息,却没有很好地处理两者交互学习的问题。为此,提出一种基于双重注意力和关系语义建模的实体对齐方法,采用双重注意力在属性分类嵌入的基础上学习实体属性和结构的交互特征,采用关系语义建模对实体结构嵌入进行局部语义优化,最后对实体多方面语义特征下的相似度矩阵进行融合。在三个真实数据集上的对齐准确率分别可达到81.00%、83.90%、92.73%,与基准模型相比平均提升了2.62%,实验结果表明提出的方法可以有效地识别出对齐实体对。     

结合谓词感知与图注意力机制的链接预测方法

知识图谱补全旨在预测三元组中缺失的部分使知识图谱趋于完整.针对基于神经网络等模型的链接预测方法忽略了实体间的关联信息,导致模型不能覆盖三元组周围局部邻域中固有的隐藏信息,提出图注意力机制与谓词感知结合的方法.首先,利用图注意力机制定义了一个关系嵌入矩阵,描述任意给定实体邻域内实体间的关系;其次,引入谓词增强实体间语义理解程度,构造了基于谓词嵌入向量的注意力值计算公式,以便有效地度量实体间语义联系的强度;此外,利用实体邻居间的边关系预测多跳实体间的直接关系以补全知识图谱.在数据集WN18RR、Kinship、FB15K的实验结果表明了该方法能有效提高三元组的预测精度.     

基于知识图谱上下文的图注意矩阵补全

针对图卷积编码器提取用户、项目信息过程中权重共享,不能区分邻域之间重要性,以及知识图谱作为辅助信息时,基于图神经网络方法无法显示对知识图谱非本地上下文（最相关的高阶邻居集合）信息进行捕获的问题,提出一种基于双向交互图传递的图注意编码器框架,显示利用知识图谱本地（一阶邻居集合）和非本地上下文信息。通过图注意编码器获取用户、项目的嵌入向量;考虑用户对实体的个性化偏好,通过特定于用户的图注意机制来捕获知识图的本地上下文信息;使用随机游走抽样提取实体的非本地上下文,并使用递归神经网络建模实体与非本地上下文实体之间的依赖关系,通过一个双线性解码器重建二部图中的链接。与现有的方法相比,在真实数据集上的实验结果验证了该模型的优越性。     

基于非鲁棒特征的图卷积神经网络对抗训练方法

图卷积神经网络可以通过图卷积提取图数据的有效信息,但容易受到对抗攻击的影响导致模型性能下降。对抗训练能够用于提升神经网络鲁棒性,但由于图的结构及节点特征通常是离散的,无法直接基于梯度构造对抗扰动,而在模型的嵌入空间中提取图数据的特征作为对抗训练的样本,能够降低构造复杂度。借鉴集成学习思想,提出一种基于非鲁棒特征的图卷积神经网络对抗训练方法VDERG,分别针对拓扑结构和节点属性两类特征,构建两个图卷积神经网络子模型,通过嵌入空间提取非鲁棒特征,并基于非鲁棒特征完成对抗训练,最后集成两个子模型输出的嵌入向量作为模型节点表示。实验结果表明,提出的对抗训练方法在干净数据上的准确率平均提升了0.8%,在对抗攻击下最多提升了6.91%的准确率。     

融合语义信息与注意力的图神经网络推荐算法

基于图神经网络的推荐算法通过从图中获取知识生成节点的特征表示,提高了推荐结果的可解释性.然而,随着推荐系统原始数据规模的不断扩大,大量包含语义信息的文本数据没有得到有效利用.同时图神经网络在融合图中邻居信息时没有区分关键节点,使得模型难以学习到高质量的实体特征,进而导致推荐质量下降.本文将图神经网络与语义模型相结合,提出一种融合语义信息与注意力的图神经网络推荐算法.该算法基于SpanBERT语义模型处理实体相关的文本信息,生成包含语义信息的特征嵌入,并将注意力机制引入到基于用户社交关系以及用户-项目交互的影响传播融合过程中,从而实现用户和项目两类实体特征的有效更新.在公开数据集上的对比实验结果表明,本文所提出的方法较现有基准方法在各项指标上均有所提升.     

基于改进图注意机制的网络嵌入方法研究及应用

网络已被广泛用作抽象现实世界系统以及组织实体之间关系的数据结构;网络嵌入模型是将网络中的节点映射为连续向量空间表示的强大工具;基于图卷积(GCN,graph convolutional neural, GCN)的网络嵌入方法因受其模型迭代过程参数随机优化和聚合函数的影响,容易造成原始节点特征信息丢失的问题;为有效提升网络嵌入效果,针对于图神经网络模型在网络嵌入中节点表征学习的局限性,提出了一种基于二阶邻域基数保留策略的图注意力网络(SNCR-GAT,second-order neighborhood cardinality retention strategy graph attention network),通过聚合二阶邻域特征基数的方式,解决网络节点潜在特征学习过程中重要信息保留问题;通过在节点分类和可视化两个网络嵌入应用任务上进行实验,结果表明,SNCR-GAT模型在网络嵌入上的性能表现相比较基准方法更具优越性。     

基于MFE-BERT与FNNAttention的心理医学知识图谱构建

针对心理医学领域文本段落冗长、数据稀疏、知识散乱且规范性差的问题, 提出一种基于多层级特征抽取能力预训练模型(MFE-BERT)与前向神经网络注意力机制(FNNAttention)的心理医学知识图谱构建方法. MFE-BERT在BERT模型基础上将其内部所有Encoder层特征进行合并输出, 以获取包含更多语义的特征向量, 同时对两复合模型采用FNNAttention机制强化词级关系, 解决长文本段落语义稀释问题. 在自建的心理医学数据集中, 设计MFE-BERT-BiLSTM-FNNAttention-CRF和MFE-BERT-CNN-FNNAttention复合神经网络模型分别进行心理医学实体识别和实体关系抽取, 实体识别F1值达到93.91%, 实体关系抽精确率达到了89.29%, 通过融合文本相似度与语义相似度方法进行实体对齐, 将所整理的数据存储在Neo4j图数据库中, 构建出一个含有3652个实体, 2396条关系的心理医学知识图谱. 实验结果表明, 在MFE-BERT模型与FNNAttention机制的基础上构建心理医学知识图谱切实可行, 提出的改进模型所搭建的心理医学知识图谱可以更好地应用于心理医学信息管理中, 为心理医学数据分析提供参考.