融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

基于图上下文的知识表示学习

在知识图谱的知识表示学习中,绝大多数方法都是将知识图谱中实体和关系映射到低维的连续向量空间中,但数据的稀疏和信息的不足仍会导致实体和关系语义表示的不完整性.针对这个问题,提出基于图上下文的知识表示学习模型(Context_RL).将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入.通过计算实体和关系的语义相似度,将图上下文信息融入向量表示中,在语义的层面上提高了知识图谱表示学习的能力.通过实体预测和三元组分类实验,在有关数据集上,Context_RL的实验结果比其他模型更好.     

球坐标建模语义分层的知识图谱补全方法

知识图谱是真实世界三元组的结构化表示。通常,三元组表示形式为（头实体,关系,尾实体）,这表示头实体和尾实体通过特定关系相互联系。针对知识图谱中广泛存在的数据稀疏问题,提出一种球坐标建模语义分层的知识图谱补全方法。使用球坐标系对实体和关系进行建模表示,以进行链接预测。具体来说,半径坐标旨在对不同层级的实体进行建模,半径较小的实体级别越高;角度坐标旨在区分相同层级的实体,即模长相等而角度不同的实体。该方法将实体映射到球坐标系中,可以有效建模知识图谱中普遍存在的语义分层现象。实验中,采用公开数据集WN18RR、FB15K-237与YAGO3-10进行相关的链接预测实验。实验结果表明,在WN18RR中,平均倒数排名（Mean Reciprocal Rank）比RotatE提高3.6%,Hit@10比RotatE提高1.9%;在FB15K-237中,平均倒数排名（Mean Reciprocal Rank）比ConvKB提高4.8%,Hit@10比ConvKB提高3.5%。实验证明球坐标建模语义分层的知识图谱补全方法可以有效提高三元组预测准确度。     

基于知识图谱全局和局部特征的复杂问答方法

近年来,研究者已经提出多种方法来解决知识库问答(KBQA)中的复杂问题,并取得一定成果.然而,由于语义构成的复杂性以及可能存在推理路径的缺失,复杂问题的求解效果依然不佳.为了更好地解决这类问题,提出基于知识图谱全局和局部特征的问答方法——CGL-KBQA.所提方法利用知识嵌入技术提取知识图谱整体的拓扑结构和语义特征作为候选实体节点的全局特征,根据实体表示和问句表示将复杂问答建模为复合的三元组分类任务.同时,将图谱在搜索过程生成的核心推导路径作为局部特征,结合问句的语义相似性来构建候选实体不同维度特征,最终形成混合特征评分器.由于最终推理路径可能缺失,采用基于无监督的多重聚类方法设计了聚类器模块,进而根据候选实体的两类特征表示直接生成最终答案簇,这使得非完全知识图谱问答成为可能.实验结果表明,所提方法在两个常见KBQA数据集上均取得不错的效果,特别是在图谱知识不完全的情况下也具备非常好的效果.     

基于卷积神经网络的知识图谱补全方法研究

知识图谱是事实三元组的集合,其表示形式为(头实体,关系,尾实体)。为了补全知识图谱中缺失的实体和关系,提出一种基于卷积神经网络的知识图谱补全方法。使用传统嵌入模型训练三元组,得到实体向量和关系向量;将三元组表示成3列矩阵,作为卷积神经网络的输入,卷积后得到三元组的特征表示图;连接所有特征图和权重向量进行点乘得到每个三元组的得分,得分越低证明三元组越正确。实验采用数据集WN18RR、FB15K-237、FB15K分别进行链接预测和三元组分类实验。实验结果表明,与其他方法相比,该方法在Mean Rank和Hit@10指标上都取得了更好的实验结果,证明其可以有效提高三元组预测精度。     

基于位置和注意力联合表示的知识图谱问答

知识图谱是人工智能的重要组成部分,其以结构化的方式描述客观世界中的概念、实体及关系,提供了一种更优的组织、管理和理解互联网海量信息的能力。随着深度学习技术的发展,基于表示学习的知识图谱问答方法陆续出现。利用表示学习的方法实现知识图谱问答的核心目标是将问题嵌入到与三元组相同维度的表示向量空间中,通过合适的答案预测方法来匹配问题与答案。参考复数域编码的思路,构建一种基于位置和注意力联合表示的三元组表示模型Pos-Att-complex。在三元组表示部分,将词本身的特征和位置特征联合编码,并通过解码器网络进一步挖掘深层次特征,从而对三元组进行打分。在知识图谱问答部分,将问题通过RoBERTa嵌入到与三元组向量相同维度的向量空间中,并与通过关系筛选的关系集合进行向量融合。在此基础上,通过联合表示解码器为候选答案打分,以筛选出问题的答案。实验结果表明,该模型在三元组分类和多跳问答基准数据集上均能取得良好的测试结果,准确率优于GraftNet、VRN等模型。     

基于四元数胶囊网络的知识图谱补全模型

知识图谱采用RDF三元组的形式描述现实世界中的关系和头、尾实体,即（头实体,关系,尾实体）或（主语,谓语,宾语）。为补全知识图谱中缺失的事实三元组,将四元数融入胶囊神经网络模型预测缺失的知识,并构建一种新的知识图谱补全模型。采用超复数嵌入取代传统的实值嵌入来编码三元组结构信息,以尽可能全面捕获三元组全局特性,将实体、关系的四元数嵌入作为胶囊网络的输入,四元数结合优化的胶囊网络模型可以有效补全知识图谱中丢失的三元组,提高预测精度。链接预测实验结果表明,与CapsE模型相比,在数据集WN18RR中,该知识图谱补全模型的Hit@10与正确实体的倒数平均排名分别提高3.2个百分点和5.5%,在数据集FB15K-237中,Hit@10与正确实体的倒数平均排名分别提高2.5个百分点和4.4%,能够有效预测知识图谱中缺失的事实三元组。     

基于知识增强的企业实体关系预测模型

随着知识图谱的不断发展,大量应用于工业界的产业知识图谱应运而生。然而,这些产业知识图谱经常缺乏充足的企业关联关系,如上下游关系、供应关系、合作关系、竞争关系等,导致其应用范围受到极大限制。现有企业关系预测研究大多仅关注知识图谱中三元组本身的结构信息,未能充分利用企业文本描述和企业关联实体的描述等多视角信息。为解决该问题,提出了一种基于知识增强的企业实体关系预测模型KERP。模型首先通过多视角实体特征三元组学习,完善企业实体特征表示;其次,利用图注意力网络获取实体的高阶语义表示,并与TransR模型学习的实体关系低阶语义表示进行融合,进一步增强企业实体及其关系的特征表示;最后,通过二维卷积解码器ConvE实现对企业实体关系的预测。在新能源汽车产业知识图谱数据上的实验分析表明,与现有主流实体关系预测模型相比,KERP在预测企业关系上具有更好的效果,在F1值上有6.7%的提升。此外,在多个公开实体关系预测数据集上的实验结果表明,KERP模型在一般化的实体关系预测任务上也具有较好的通用性。     

基于关系记忆的胶囊网络知识图谱嵌入模型

作为一种语义知识库,知识图谱（KG）使用结构化三元组的形式存储真实世界的实体及其内在关系。为了推理知识图谱中缺失的真实三元组,考虑关系记忆网络较强的三元组表征能力和胶囊网络强大的特征处理能力,提出一种基于关系记忆的胶囊网络知识图谱嵌入模型。首先,通过编码实体和关系之间的潜在依赖关系和部分重要信息形成编码嵌入向量;然后,把嵌入向量与过滤器卷积以生成不同的特征图,再重组为对应的胶囊;最后,通过压缩函数和动态路由指定从父胶囊到子胶囊的连接,并根据子胶囊与权重内积的得分判断当前三元组的可信度。链接预测实验的结果表明,与CapsE模型相比,在倒数平均排名（MRR）和Hit@10评价指标上,所提模型在WN18RR数据集上分别提高了7.95%和2.2个百分点,在FB15K-237数据集上分别提高了3.82%和2个百分点。实验结果表明,所提模型可以更准确地推断出头实体和尾实体之间的关系。     

结合谓词感知与图注意力机制的链接预测方法

知识图谱补全旨在预测三元组中缺失的部分使知识图谱趋于完整.针对基于神经网络等模型的链接预测方法忽略了实体间的关联信息,导致模型不能覆盖三元组周围局部邻域中固有的隐藏信息,提出图注意力机制与谓词感知结合的方法.首先,利用图注意力机制定义了一个关系嵌入矩阵,描述任意给定实体邻域内实体间的关系;其次,引入谓词增强实体间语义理解程度,构造了基于谓词嵌入向量的注意力值计算公式,以便有效地度量实体间语义联系的强度;此外,利用实体邻居间的边关系预测多跳实体间的直接关系以补全知识图谱.在数据集WN18RR、Kinship、FB15K的实验结果表明了该方法能有效提高三元组的预测精度.     

基于语义和结构置信度的知识图谱质量校验方法

知识图谱因其较强的表达能力和可解释性而被广泛应用于问答系统、信息检索等人工智能任务中，然而，在实际应用场景中大量使用自动化知识图谱构建技术会不可避免地引入噪声和冲突，从而对知识图谱下游应用的性能产生严重影响。为从知识图谱中检测出潜在的噪声、保存真实可信的三元组并为下游应用任务提供高质量的知识，提出一种基于语义与结构双重置信度的三元组评估模型。该模型由语义真实性评估器与结构真实性评估器构成，前者通过特定规则将三元组转换为句子序列，基于双向编码器表示变换模型度量语义真实性，后者通过表示学习模型获取实体及关系的向量表示，在知识表示、路径特征两个层面上度量结构真实性。在4个真实图谱数据集上的实验结果表明，所提模型的准确率、精确率、召回率、F1值等评估指标相较TransE-RFC、TransE-KNC、TransEXGB等模型提升3%～4%，其能够有效检测带噪声图谱数据集中的噪声错误同时最大程度地保留真实可信的知识。     

一种改进的基于TransE知识图谱表示方法

传统基于翻译模型的知识图谱表示方法难以处理一对多、多对一和多对多等复杂关系,而且通常独立地学习三元组而忽略了知识图谱的网络结构和语义信息。为解决该问题,构建一种基于TransE的TransGraph模型,该模型同时学习三元组和知识图谱网络结构特征,以有效增强知识图谱的表示效果。在此基础上,提出一种向量共享的交叉训练机制,从而实现网络结构信息和三元组信息的深度融合。在公开数据集上的实验结果表明,相比TransE模型,TransGraph模型在链路预测和三元组分类2个任务中的HITS@10、准确率指标均得到显著提升。     

基于贝叶斯网的开放世界知识图谱补全

知识图谱中实体所涉及的关系之间通常具有相互依赖的性质,基于这种依赖性可利用数据中的新实体来构造更多的三元组从而补全知识图谱。贝叶斯网（BN）是一种表示和推理变量之间相互依赖关系和不确定性知识的有效模型,将BN作为模型框架,研究基于BN的开放世界知识图谱补全方法。提出知识图谱中关系之间依赖性的表示模型构建方法,构建过程包括模型的基础结构构建和参数表计算,基于关系对实体的描述作用,根据描述作用强的关系决定描述作用弱的关系这一规则构建模型的基础结构。给出基于知识图谱中的三元组来抽取数据集的方法,采用最大似然估计法并利用模型的基础结构和数据集来计算模型的参数表。提出基于BN概率推理的三元组构造方法,将开放世界数据中包含新实体三元组的关系和尾实体作为证据,利用概率推理计算新实体与其他实体之间存在关系的条件概率,以此为依据构造与新实体相关的更多三元组,从而完善知识图谱。在FB15k和DBpedia数据集中分别进行三元组类型预测和链路预测实验,结果表明,该方法具有有效性,其预测召回率和MR值相比现有知识图谱补全方法均有明显提升。     

基于知识表示学习的KBQA答案推理重排序算法

现有的知识库问答（KBQA）研究通常依赖于完善的知识库,忽视了实际应用中知识图谱稀疏性这一关键问题。为了弥补该不足,引入了知识表示学习方法,将知识库转换为低维向量,有效摆脱了传统模型中对子图搜索空间的依赖,并实现了对隐式关系的推理,这是以往研究所未涉及到的。其次,针对传统KBQA在信息检索中常见的问句语义理解错误对下游问答推理的错误传播,引入了一种基于知识表示学习的答案推理重排序机制。该机制使用伪孪生网络分别对知识三元组和问句进行表征,并融合上游任务核心实体关注度评估阶段的特征,以实现对答案推理结果三元组的有效重排序。最后,为了验证所提算法的有效性,在中国移动RPA知识图谱问答系统与英文开源数据集下分别进行了对比实验。实验结果显示,相比现有的同类模型,该算法在hits@n、准确率、F1值等多个关键评估指标上均表现更佳,证明了基于知识表示学习的KBQA答案推理重排序算法在处理稀疏知识图谱的隐式关系推理和KBQA答案推理方面的优越性。     

基于知识增强的命名实体识别方法研究

命名实体识别作为自然语言处理中一项十分基础的任务，其目的是从一段用自然语言描述的文本中识别出相应的实体及类型。知识图谱作为以三元组形式存在的外部知识，已经在很多自然语言处理任务中得以应用并取得了良好效果。文中提出了一种基于知识图谱信息增强的注意力对齐命名实体识别方法，首先通过嵌入层和注意力机制嵌入知识图谱信息，获取知识图谱三元组信息的表示；其次通过BERT-BiLSTM获取句子的上下文表示；然后通过一种注意力对齐模块分配三元组权重融合知识图谱信息与句子信息的表示；最后通过softmax控制融合后的表示向量的预测输出，进而获取实体的标签。该方法有效避免了因知识图谱的融合而改变原句子的语义信息，同时也使得句子中的词向量具有丰富的外部知识。所提方法在中文通用数据集MSRA和医疗领域专用数据集Medicine上的F1值分别达到了95.73%和93.80%,相比基线模型提升了1.21%和1.3%。     

基于实体相似性的知识表示学习方法

知识表示学习旨在将知识图谱中的实体和关系表示成低维稠密实值向量,能有效缓解知识图谱的数据稀疏性和显著提升计算效率。然而,现有大多数知识表示学习方法仅将实体视为三元组的一个组成部分,没有考虑实体自身具有的特质,如实体相似性。为了加强嵌入向量的语义表达,提出基于实体相似性的表示学习方法SimE。该方法首先利用实体的结构邻域度量实体的相似性,再将实体的相似性和拉普拉斯特征映射结合作为基于三元组事实的表示学习方法的约束,形成联合表示。实验结果表明,该方法在链接预测和三元组分类等任务上与目前最好的方法性能接近。     

一种基于实体时间敏感度的知识表示方法

在知识图谱(KnowledgeGraph)中,知识表示方法旨在通过一种低维稠密的向量表示方法来高效地挖掘不同实体、关系之间复杂语义关系,在知识问答、信息检索等领域有着重要意义。然而,现有的绝大多数的知识表示方法忽略了时间因素,无法表示应用中随时间变化的动态知识。针对该问题,本文提出一种基于实体时间敏感度的知识表示方法。该方法将时间信息以不同程度融入不同类型的实体向量表示中,然后进行实体和关系之间语义挖掘。实验结果表明,这种基于实体时间敏感度的表示方法能够明显提高知识图谱的时态知识补全和预测任务性能。     

融合实体类型信息的本体-实例联合学习方法

对表示知识图谱的本体图和实例图进行联合学习能够提高嵌入学习效率,但不能区别表示实体在不同场景下的不同意义。在嵌入时考虑三元组中实体的关系类型特征,提出一种融合实体类型信息的本体-实例联合学习方法JOIE-TKRL-CT,达到在联合学习中表示多义实体、提高知识图谱嵌入学习效率的目的。在视图内部关系表示上,利用实体分层类型模型融入实体类型信息,在两个独立的嵌入空间中分别表征学习;在视图间关系表示上,将表征在两个独立空间的本体和实例通过非线性映射的方法跨视图链接。基于YAGO26K-906和DB111K-174数据集的实验结果表明,JOIE-TKRL-CT能够准确捕获知识图谱的实体类型信息,提高联合学习模型性能,与TransE、HolE、DisMult等基线模型相比,其在实例三元组补全和实体分类任务上均获得最优性能,具有较好的知识学习效果。     

基于图卷积网络的重大事件趋势预测

针对基于公开新闻数据的重大事件趋势预测研究在文本特征提取上语义理解不足问题,提出基于图卷积网络的重大事件趋势预测方法.利用结构化事件信息构建以事件为中心的语义关联图;按时间片粒度分割出局部事件语义关联图,利用预训练词向量对节点文本初始化特征表示;将带有节点特征的局部事件语义关联图输入图卷积网络,聚合节点邻域信息计算图特征表示并输入到分类器,训练预测模型并输出预测结果.以朝鲜核行为趋势预测问题验证所提出方法的有效性,对测试集(2017年3月～2018年3月)预测准确率达到76.92％,全时间段预测准确率为89.58％.预测结果表明,该方法增强了对文本的语义理解,预测精度优于基于专家知识构建特征的方法.     

融合实体概念描述与图像特征的知识图谱表示学习研究

知识图谱表示学习将实体和关系映射到一个连续的低维空间.传统学习方法是从结构化的三元组学习知识表示,忽略了三元组之外与实体相关的丰富多源信息.针对该问题,提出一种将实体概念描述和图像特征与事实三元组相结合的知识图谱表示学习模型DIRL.首先,利用BERT模型进行实体概念描述的语义表示;其次,使用CNN编码器对图像总体特征进行提取,然后通过基于注意力的方法表示图像特征;最后,将基于概念描述的表示和基于图像特征的表示与翻译模型TransR结合起来进行知识图谱表示学习.通过实验验证,DIRL模型优于现有方法,提高了多源信息知识图谱表示的有效性.