化妆品风险物质知识图谱构建及应用

针对国内外化妆品风险物质多语言特性和复杂关联的特点,提出一种基于双通道图神经网络的邻域匹配算法。采用图神经网络学习实体属性特征和跨域交互特性,将不同特性实体映射到相同的向量空间,通过邻域匹配网络聚合实体邻域特征,为每个实体构建邻域网络以实现实体对齐,并应用于多语言风险物质知识图谱及问答系统构建。实验结果表明,在化妆品风险物质数据集上该方法获得的Hits@1、Hits@10与MRR值都优于其它基线模型,分别平均提升6.37%、8.17%与9.37%。     

基于双层图注意力网络的邻域信息聚合实体对齐方法

针对知识图谱中存在部分属性信息对实体对齐任务影响程度不一致以及实体的邻域信息重要程度不一致的问题,提出了一种结合双层图注意力网络的邻域信息聚合实体对齐方法（two-layer graph attention network entity alignment,TGAEA）。该方法采用双层图神经网络,首先利用第一层网络对实体属性进行注意力系数计算,降低无用属性对实体对齐的影响;随后,结合第二层网络对实体名称、关系和结构等信息进行特征加权,以区分实体邻域信息的重要性;最后,借助自举方法扩充种子实体对,并结合邻域信息相似度矩阵进行实体距离度量。实验表明,在DWY100K数据集上,TGAEA模型相较于当前基线模型,hit@1、hit@10和MRR指标分别提升了4.18%、4.81%和5%,证明了双层图注意力网络在邻域信息聚合实体对齐方面的显著效果。     

基于图神经网络的多信息优化实体对齐模型

实体对齐是知识融合中的一个关键步骤，旨在发现知识图谱间存在对应关系的实体对。知识图谱融合后可以为下游提供更加广泛而准确的服务。现有的实体对齐模型对实体名称和关系的利用往往不足，在得到实体的向量表示后通过单一的迭代策略或者直接计算得出实体的对齐关系，忽略了部分有用信息，导致实体对齐的结果欠佳。针对上述问题，提出了一种基于图神经网络的多信息优化实体对齐模型。首先，模型的输入融合了实体名称中的单词信息和字符信息，通过注意力机制学习关系的向量表示并利用关系传递信息。在利用实体和关系的预对齐结果修正实体对齐矩阵的基础上，使用延迟接受算法修正部分错误对齐的结果。所提模型在DBP15K的3个子数据集上进行了对比和消融实验。结果表明，相比基线模型，其Hits@1指标分别提高了4.47%,0.82%和0.46%,Hits@10和MRR指标也取得了良好的结果。通过消融实验进一步验证了所提模型的有效性，总体上可以获得更加准确的实体对齐结果。     

基于动态图注意力与标签传播的实体对齐

实体对齐是多源数据库融合的有效方法,旨在找出多源知识图谱中的共指实体。近年来,图卷积网络(GCN)已成为实体对齐表示学习的新范式,然而,不同组织构建知识图谱的目标及规则存在巨大差异,要求实体对齐模型能够准确发掘知识图谱之间的长尾实体特征,并且现有的GCN实体对齐模型过于注重关系三元组的结构表示学习,忽略了属性三元组丰富的语义信息。为此,提出一种实体对齐模型,引入动态图注意力网络聚合属性结构三元组表示,降低无关属性结构对实体表示的影响。同时,为缓解知识图谱的关系异构问题,引入多维标签传播对实体邻接矩阵的不同维度进行压缩,将实体特征根据压缩后的知识图谱邻接关系进行传播以获得关系结构表示,最后通过线性规划算法对实体表示相似度矩阵进行迭代以得到最终的对齐结果。在公开数据集ENFR-15K、EN-ZH-15K以及中文医学数据集MED-BBK-9K上进行实验,结果表明,该模型的Hits@1分别为0.942、0.926、0.427,Hits@10分别为0.963、0.952、0.604,MRR分别为0.949、0.939、0.551,消融实验结果也验证了模型中各模块的有效性。     

基于自适应注意力机制的知识图谱补全算法

现有的知识图谱补全模型通常将多源信息整合为实体和关系学习单一的静态特征表示,但无法表征不同上下文中出现的实体和关系的细差含义和动态属性,即实体和关系在涉及不同的三元组时可能有着不同的角色和含义,并因此表现出不同的属性。为此,提出了一种自适应注意力网络用于知识图谱补全,引入自适应注意力建模每个特征维度对特定任务的贡献程度,为目标实体和关系生成动态可变的嵌入表示。具体而言,所提模型通过定义邻居编码器和路径聚合器来处理实体邻域子图中的两种结构,自适应地调整邻居实体和关系路径的注意力得分,以捕获逻辑上与任务最相关的属性特征,为实体和关系赋予符合当前任务的细粒度语义。在链接预测任务中的实验结果表明,所提模型在FB15K-237数据集中的MeanRank指标比PathCon降低了6.9%,Hits@1比PathCon提高了2.3%;在稀疏数据集NELL-995和DDB14上,其Hits@1分别达到了87.9%和98%,证明了引入自适应注意力机制能够有效提取实体和关系的动态属性,为二者生成更全面的表示形式,从而提高知识图谱补全精度。     

基于属性嵌入与图注意力网络的实体对齐算法

实体对齐旨在找到位于不同知识图谱中的等效实体,是实现知识融合的重要步骤.当前主流的方法是基于图神经网络的实体对齐方法,这些方法往往过于依赖图的结构信息,导致在特定图结构上训练得到的模型不能拓展应用于其他图结构中.同时,大多数方法未能充分利用辅助信息,例如属性信息.为此,本文提出了一种基于图注意力网络和属性嵌入的实体对齐方法,该方法使用图注意力网络对不同的知识图谱进行编码,引入注意力机制从实体应用到属性,在对齐阶段将结构嵌入和属性嵌入进行结合实现实体对齐效果的提升.在现实世界的3个真实数据集上对本文模型进行了验证,实验结果表明提出的方法在很大程度上优于基准的实体对齐方法.     

邻域信息分层感知的知识图谱补全方法

知识图谱补全（KGC）旨在利用知识图谱的现有知识推断三元组的缺失值。近期的一些研究表明,将图卷积网络（GCN）应用于KGC任务有助于改善模型的推理性能。针对目前大多数GCN模型存在的同等对待邻域信息、忽略了邻接实体对中心实体的不同贡献度、采用简单的线性变换更新关系嵌入等问题,提出了一个邻域信息分层感知的图神经网络模型NAHAT,在关系更新中引入实体特征信息,通过聚合实体和关系表征来丰富异质关系语义,提高模型的表达能力。同时,将自我对立的负样本训练应用到损失计算中,实现模型的高效训练。实验结果表明,与图卷积网络模型COMPGCN相比,所提出的模型在FB15K-237数据集上Hits@1、Hits@10指标分别提高了3%、2.6%;在WN18RR数据集上分别提高了0.9%、2.2%。验证了所提出的模型的有效性。     

基于邻域聚合与CNN的知识图谱实体类型补全

现有知识图谱实体类型补全模型通过对实体和实体类型进行建模,以解决知识图谱中实体缺失的实体类型,但未有效地利用实体之间的关系,导致模型的实体类型补全性能不佳。提出一种基于邻域聚合与卷积神经网络的知识图谱实体类型补全模型NACE2T,其采用编码器-解码器的结构。基于注意力机制设计利用关系信息的编码器,其使用注意力机制为实体邻域中的每个关系-实体对分配不同的权重,以聚合实体邻域中实体和关系的信息,从而利用实体之间的关系。基于卷积神经网络设计一个新的知识图谱实体类型补全模型CE2T,将其作为解码器,对编码器输出的实体嵌入和实体类型嵌入进行建模与实体类型补全。实验结果表明,相比ConnectE模型,NACE2T模型在数据集FB15KET上的HITS@1和HITS@3提高约1.5%,在数据集YAGO43KET上的MRR和HITS@3提高约6%,HITS@1提高约9%,能够有效地推断知识图谱中实体缺失的实体类型。     

基于双向对齐与属性信息的跨语言实体对齐

实体对齐表示在不同的知识图谱中查找引用相同现实身份的实体。目前主流的基于图嵌入的实体对齐方法中的对齐实体通常具有相似的属性,有效利用属性信息可提升实体对齐效果,同时由于不同知识图谱之间的知识分布差异,仅考虑单个方向的对齐预测会导致预测结果出现偏差。针对上述问题,提出一种改进的跨语言实体对齐方法。利用融合属性信息的双向对齐图卷积网络模型,将前馈神经网络编码实体对应的属性信息与初始的实体嵌入相结合,得到联合属性信息的实体表示,并使用双向对齐机制实现跨语言的实体对齐预测。在3个跨语言数据集上的实验结果表明,该方法通过融合更多的知识图谱信息增强了实体表示能力,并且利用双向对齐机制缓解了数据分布差异问题,相比基于图嵌入的实体对齐方法整体性能更优。     

关系敏感型多子图图神经网络的多模态实体对齐

作为融合多源异构知识图谱的主要手段, 实体对齐一般首先编码实体等图结构信息, 而后通过计算实体间相似度来获取对齐实体. 然而, 现存的多模态对齐方法往往直接引入预训练方法表达模态特征, 忽略了模态间的融合以及模态特征与图结构间的融合. 因此, 本文提出一种关系敏感型的多子图图神经网络(RAMS)方法. 通过多子图图神经网络编码方法对模态信息与图结构进行结合并获得实体表征, 通过跨域相似度计算得到对齐结果. 广泛且多角度的实验证明了本文所提出的模型在准确率、效率、鲁棒性方面均超过了基线模型.     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

EAE：一种酶知识图谱自适应嵌入表示方法

近年来,构建大规模知识图谱(knowledge graph, KG),并用其解决实际问题已经成为大趋势.KG的嵌入表示方便了机器学习在KG等关系数据上的应用,它可以促进知识分析、推理、融合、补全,甚至决策.最近,开放域知识图谱(open-domain knowledge graph, OKG)的构建和嵌入表示已经得到蓬勃发展,大大促进了开放域中大数据的智能化.与此同时,特定域知识图谱(specific-domain knowledge graph, SKG)也成为了特定领域中智能应用的重要资源.但是,SKG还不发达,其嵌入表示尚处于萌芽阶段.这主要是由于SKG与OKG的数据分布显著不同,更具体地说：1)在OKG中,如WordNet,Freebase,头/尾实体的稀疏度几乎相等;但是在Enzyme,NCI-PID等SKG中不均匀性更受欢迎,例如微生物领域的酶KG中尾实体是头实体的1000倍.2)头实体和尾实体可以在OKG中交换位置,但是它们在SKG中是非交换的,因为大多数关系是属性.例如实体“奥巴马”可以是头实体也可以是尾实体,但是头实体“酶”总是处于头位置.3)关系的广度在OKG中具有小的偏差,而SKG中很不平衡.例如一个酶实体甚至可以链接31809个“x-gene”实体.基于这些观察,提出了一个新方法EAE来处理这3个问题,并在链接预测和元组分类任务上评估了EAE方法.实验结果表明：EAE显著优于Trans(E,H,R,D和TransSparse),达到了最先进的性能.     

基于相邻和语义亲和力的开放知识图谱表示学习

知识图谱(knowledge graph, KG)打破了不同场景下的数据隔离,为实际应用提供基础支持.表示学习将KG转换到低维向量空间来为KG应用提供便利.然而,KG的表示学习目前存在2个问题：1)假设KG满足闭合世界假设,要求所有实体在训练中可见.实际上,大多数KG都在快速增长,例如DBPedia平均每天产生200个新实体.2)采用矩阵映射、卷积等复杂的语义交互方式提高模型的准确性,这样做也限制了模型的可扩展性.为此,针对允许新实体存在的开放KG,提出一种表示学习方法TransNS.它选取相关的邻居作为实体的属性来推断新实体,并在学习阶段利用实体之间的语义亲和力选择负例三元组来增强语义交互能力.5个传统数据集和8个新数据集对比了TransNS与最经典的表示学习方法,结果表明：TransNS在开放KG上表现良好,甚至在基准闭合KG上优于现有模型.     

知识图谱嵌入技术研究综述

知识图谱(KG)是一种用图模型来描述知识和建模事物之间关联关系的技术.知识图谱嵌入(KGE)作为一种被广泛采用的知识表示方法,其主要思想是将知识图谱中的实体和关系嵌入到连续的向量空间中,用来简化操作,同时保留KG的固有结构.可以使得多种下游任务受益,例如KG补全和关系提取等.首先对现有的知识图谱嵌入技术进行全面回顾,不仅包括使用KG中观察到的事实进行嵌入的技术,还包括添加时间维度的动态KG嵌入方法,以及融合多源信息的KG嵌入技术.对相关模型从实体嵌入、关系嵌入、评分函数等方面进行分析、对比与总结.然后简要介绍KG嵌入技术在下游任务中的典型应用,包括问答系统、推荐系统和关系提取等.最后阐述知识图谱嵌入面临的挑战,对未来的研究方向进行展望.     

基于双端知识图的图注意推荐模型

针对现有图神经网络在捕获知识图谱信息并进一步用于推荐时,侧重于项目端建模所存在的问题,提出一种基于双端知识图的图注意推荐模型。该模型通过从用户端和项目端在知识图谱上挖掘相关属性来有效增强推荐。从用户端角度,通过知识图谱中实体之间的联系传播用户兴趣,沿着知识图谱中用户的历史点击项来扩展用户的潜在兴趣;从项目端角度,通过捕获知识图谱中的高阶结构和语义信息,对每个实体的邻居抽样作为接收场,通过图注意获得实体-实体交互信息,以此建模高阶邻域信息,最后使用交叉熵损失函数进行训练。结果表明,所提模型在关于电影、书籍和音乐推荐的三个数据集上,有效提高了推荐的准确性和可解释性。     

基于Att_GCN模型的知识图谱推理算法

针对目前知识图谱推理方法中,传统神经网络方法不能有效考虑实体之间的相关性问题,提出了一种将图卷积神经网络（GCN）与注意力机制（Attention）相结合的知识图谱推理方法。该方法利用注意力机制对知识图谱中的实体与其邻域实体进行相关性计算,得到实体特征向量。通过图卷积神经网络的参数共享技术学习实体的所有邻域实体特征。将实体特征和关系特征进行特征融合,得到每个实体的隐性特征向量。通过实体分类实验和链接预测实验进行分析,结果表明,该方法的准确率较传统神经网络方法有进一步提高,为搜索、问答、推荐以及数据集成等领域提供了方法支持。     

知识图谱的候选实体搜索与排序

根据给定查询实体与知识图谱(Knowledge Graph,KG)中其他实体的相关程度对实体进行排序,是相关实体搜索的重要支撑技术.实体间的相关性不仅体现在KG中,还体现在快速产生的Web文档中.现有的方法主要根据KG来计算实体间的相关度,但KG无法及时地反映真实世界中快速演化的知识,导致计算结果不够客观.因此,本文首先基于TransH模型提出一种候选实体搜索算法,通过分析实体在不同关系超平面中的语义表示来针对不同关系选择候选实体.为了提高候选实体排序的准确性,提出实体无向带权图模型(Entity Undirected Weighted Graph,EUWG),通过量化查询实体与候选实体在Web文档和KG中反映出的相关性,从而准确地对候选实体进行排序.实验结果表明,本文的方法能够在大规模KG中准确地搜索候选实体并对其正确排序.     

基于重排序的迭代式实体对齐

现有的知识图谱无法避免地存在不完整这一问题.缓解此问题的可行方法是引入外部知识图谱中的知识.在此过程中,实体对齐是最关键的步骤.当前最先进的实体对齐解决方案主要依靠知识图谱的结构信息来判断实体的等价性,但在真实世界知识图谱上,大部分实体只具有较低的节点度数以及微少的结构信息.此外,标注数据的缺乏也大大限制了实体对齐模型的效果.为解决上述问题,提出将不受节点度数影响的实体名信息与结构信息相结合,从更全面的角度实现实体对齐.在此基本框架上,利用基于课程学习的迭代训练方法从易至难地选择高置信度结果加入到训练数据中,扩增标注数据的规模.最后使用词移距离模型进一步改进实体名信息的利用方式,并对前序对齐结果重排序,提升实体对齐准确率.在跨语言以及单语言实体对齐任务上的实验结果表明,提出的实体对齐方法性能远好于当前最好的方法.     

Multi-modal knowledge graphs representation learning via multi-headed self-attention

Traditional knowledge graphs (KG) representation learning focuses on the link information between entities, and the effectiveness of learning is influenced by the complexity of KGs. Considering a multi-modal knowledge graph (MKG), due to the introduction of considerable other modal information(such as images and texts), the complexity of KGs further increases, which degrades the effectiveness of representation learning. To resolve this solve the problem, this study proposed the multi-modal knowledge graphs representation learning via multi-head self-attention (MKGRL-MS) model, which improved the effectiveness of link prediction by adding rich multi-modal information to the entity. We first generated a single-modal feature vector corresponding to each entity. Then, we used multi-headed self-attention to obtain the attention degree of different modal features of entities in the process of semantic synthesis. In this manner, we learned the multi-modal feature representation of entities. New knowledge representation is the sum of traditional knowledge representation and an entity’s multi-modal feature representation. Simultaneously, we successfully train our model on two existing models and two different datasets and verified its versatility and effectiveness on the link prediction task.