基于带注意力机制CNN的联合知识表示模型

知识表示学习在自然语言处理领域获得了广泛关注,尤其在实体链指、关系抽取及自动问答等任务上表现优异。然而,大部分已有的表示学习模型仅利用知识库中的结构信息,无法很好地处理新的实体或关联事实极少的实体。为解决该问题,该文提出了引入实体描述信息的联合知识表示模型。该模型先利用卷积神经网络编码实体描述,然后利用注意力机制来选择文本中的有效信息,接着又引入位置向量作为补充信息,最后利用门机制联合结构和文本的向量,形成最终的联合表示。实验表明,该文的模型在链路预测和三元组分类任务上与目前最好的模型性能相近。     

融合实体概念描述与图像特征的知识图谱表示学习研究

知识图谱表示学习将实体和关系映射到一个连续的低维空间.传统学习方法是从结构化的三元组学习知识表示,忽略了三元组之外与实体相关的丰富多源信息.针对该问题,提出一种将实体概念描述和图像特征与事实三元组相结合的知识图谱表示学习模型DIRL.首先,利用BERT模型进行实体概念描述的语义表示;其次,使用CNN编码器对图像总体特征进行提取,然后通过基于注意力的方法表示图像特征;最后,将基于概念描述的表示和基于图像特征的表示与翻译模型TransR结合起来进行知识图谱表示学习.通过实验验证,DIRL模型优于现有方法,提高了多源信息知识图谱表示的有效性.     

融合实体描述及类型的知识图谱表示学习方法

知识图谱在很多人工智能领域发挥着越来越重要的作用。知识图谱表示学习旨在将三元组中的实体和关系映射到低维稠密的向量空间。TransE、TransH和TransR等基于翻译操作的表示学习方法,只考虑了知识图谱的三元组信息孤立的学习表示,未能有效利用实体描述、实体类型等重要信息,从而不能很好地处理一对多、多对多等复杂关系。针对这些问题,该文提出了一种融合实体描述及类型的知识图谱表示学习方法。首先,利用Doc2Vec模型得到全部实体描述信息的嵌入;其次,对实体的层次类型信息进行表示,得到类型的映射矩阵,结合Trans模型的三元组嵌入,得到实体类型信息的表示;最后,对三元组嵌入、实体描述嵌入及实体类型嵌入进行连接操作,得到最终实体嵌入的表示,通过优化损失函数训练模型,在真实数据集上分别通过链接预测和三元组分类两个评测任务进行效果评估,实验结果表明新方法优于TransE、TransR、DKRL、SimplE等主流模型。     

融合实体描述与路径信息的知识图谱表示学习模型

知识图谱表示学习方法是将知识图谱中的实体和关系通过特定规则表示成一个多维向量的过程。现有表示学习方法多用于解决单跳知识图谱问答任务,其多跳推理能力无法满足实际需求,为提升多跳推理能力,提出一种融合实体描述与路径信息的知识图谱表示学习模型。首先通过预训练语言模型RoBERTa得到融合实体描述的实体、关系表示学习向量;其次利用OPTransE将知识图谱转化成融入有序关系路径信息的向量。最后构建总能量函数,将针对实体描述和路径信息的向量进行融合。通过实验分析与对比该模型在链路预测任务上与主流知识图谱表示学习模型的性能,验证了该模型的可行性与有效性。     

融合实体描述信息和邻居节点特征的知识表示学习方法

知识图谱表示学习旨在将实体和关系映射到一个低维稠密的向量空间中。现有的大多数相关模型更注重于学习三元组的结构特征,忽略了三元组内的实体关系的语义信息特征和三元组外的实体描述信息特征,因此知识表达能力较差。针对以上问题,提出了一种融合多源信息的知识表示学习模型BAGAT。首先,结合知识图谱特征来构造三元组实体目标节点和邻居节点,并使用图注意力网络（GAT）聚合三元组结构的语义信息表示;然后,使用BERT词向量模型对实体描述信息进行嵌入表示;最后,将两种表示方法映射到同一个向量空间中进行联合知识表示学习。实验结果表明,BAGAT性能较其他模型有较大提升,在公共数据集FB15K-237链接预测任务的Hits@1与Hits@10指标上,与翻译模型TransE相比分别提升了25.9个百分点和22.0个百分点,与图神经网络模型KBGAT相比分别提升了1.8个百分点和3.5个百分点。可见,融合实体描述信息和三元组结构语义信息的多源信息表示方法可以获得更强的表示学习能力。     

基于框架网络结构的专家知识表示方法研究

介绍了一种基于框架网络结构模型的专家知识表示方法，讨论了这种模型的构造原理和实现方案。本方法采用知识的框架网络结构描述地学环境的实体单元，将各级专家知识的表示以指针连接，形成知识到语义的框架网。该数据结构可以实现地理实体及其相互关系的完整性描述，并使系统知识库的操作简便易行，保证了推理机制的实现。     

基于图上下文的知识表示学习

在知识图谱的知识表示学习中,绝大多数方法都是将知识图谱中实体和关系映射到低维的连续向量空间中,但数据的稀疏和信息的不足仍会导致实体和关系语义表示的不完整性.针对这个问题,提出基于图上下文的知识表示学习模型(Context_RL).将知识图谱中实体和关系的上下文信息作为可靠数据来源和输入.通过计算实体和关系的语义相似度,...     

基于多视图知识表示和神经网络的旅游领域实体对齐方法

针对目前旅游领域实体对齐任务中的长尾实体过多和现有知识以及标注数据稀缺的问题,提出一种基于多视图知识表示和神经网络相结合的实体对齐方法。采用预训练模型完成多视图的知识表示学习,获得了实体的结构嵌入、关系嵌入和描述信息嵌入,然后利用卷积神经网络对结合了三种视图嵌入的实体综合嵌入进行相似度计算。实验精准率达到91.4%、召回率达到87.9%、综合指标F₁值达到89.6%。结果表明,该方法有效地完成了旅游领域的实体对齐任务。     

融合实体类别信息的知识图谱表示学习

知识图谱表示学习通过将实体和关系嵌入连续低维的语义空间中,获取实体和关系的语义关联信息.设计一种融合实体类别信息的类别增强知识图谱表示学习(CEKGRL)模型,构建基于结构与基于类别的实体表示,通过注意力机制捕获实体类别和三元组关系之间的潜在相关性,结合不同实体类别对于某种特定关系的重要程度及实体类别信息进行知识表示学...     

聚合邻域信息的联合知识表示模型

知识表示学习在关系抽取、自动问答等自然语言处理任务中获得了广泛关注,该技术旨在将知识库中的实体与关系表示为稠密低维实值向量.然而,已有的模型在建模知识库中的三元组时,或是忽略三元组的邻域信息,导致无法处理关联知识较少的罕见实体,或是在引入邻域信息时不能自适应地为每个实体抽取最相关的邻节点属性,导致引入了冗余信息.基于以...     

基于Transformer与技术词信息的知识产权实体识别方法

专利文本中包含了大量实体信息,通过命名实体识别可以从中抽取包含关键信息的知识产权实体信息,帮助研究人员更快了解专利内容。现有的命名实体提取方法难以充分利用专业词汇变化带来的词层面的语义信息。本文提出基于Transformer和技术词信息的知识产权实体提取方法,结合BERT语言方法提供精准的字向量表示,并在字向量生成过程中,加入利用字向量经迭代膨胀卷积网络提取的技术词信息,提高对知识产权实体的表征能力。最后使用引入相对位置编码的Transformer编码器,从字向量序列中学习文本的深层语义信息,并实现实体标签预测。在公开数据集和标注的专利数据集的实验结果表明,该方法提升了实体识别的准确性。     

一种融合主题特征的自适应知识表示方法

基于翻译的表示学习模型TransE被提出后,研究者提出一系列模型对其进行改进和补充,如TransH、TransG、TransR等。然而,这类模型往往孤立学习三元组信息,忽略了实体和关系相关的描述文本和类别信息。基于主题特征构建TransATopic模型,在学习三元组的同时融合关系中的描述文本信息,以增强知识图谱的表示效果。采用基于主题模型和变分自编器的关系向量构建方法,根据关系上的主题分布信息将同一关系表示为不同的实值向量,同时将损失函数中的距离度量由欧式距离改进为马氏距离,从而实现向量不同维权重的自适应赋值。实验结果表明,在应用于链路预测和三元组分类等任务时,TransATopic模型的MeanRank、HITS@5和HITS@10指标较TransE模型均有显著改进。     

知识表示学习方法研究综述

近年来,知识表示学习已经成为知识图谱领域研究的热点。为了及时掌握当前知识表示学习方法的研究现状,通过归纳与整理,将具有代表性的知识表示方法进行了介绍和归类,主要分为传统的知识表示模型、改进的知识表示模型、其他的知识表示模型。对每一种方法解决的问题、算法思想、应用场景、评价指标、优缺点进行了详细归纳与分析。通过研究发现,当前知识表示学习主要面临关系路径建模、准确率、复杂关系处理的挑战。针对这些挑战,展望了采用关系的语义组成来表示路径、采用实体对齐评测指标、在实体空间和关系空间建模,以及利用文本上下文信息以扩展KG的语义结构的解决方案。     

一种基于语义及统计分析的Deep Web实体识别机制

分析了常见的实体识别方法,提出了一种基于语义及统计分析的实体识别机制(deep Web entity identification mechanism based on semantics and statistical analysis,简称SS-EIM),能够有效解决Deep Web数据集成中数据纠错、消重及整合等问题.SS-EIM主要由文本匹配模型、语义分析模型和分组统计模型组成,采用文本粗略匹配、表象关联关系获取以及分组统计分析的三段式逐步求精策略,基于文本特征、语义信息及约束规则来不断精化识别结果;根据可获取的有限的实例信息,采用静态分析、动态协调相结合的自适应知识维护策略,构建和完善表象关联知识库,以适应Web数据的动态性并保证表象关联知识的完备性.通过实验验证了SS-EIM中所采用的关键技术的可行性和有效性.     

面向教育领域的基于SVR-BiGRU-CRF中文命名实体识别方法

在教育领域中,命名实体识别在机器自动提问和智能问答等相关任务中都有应用。传统的中文命名实体识别模型需要改变网络结构来融入字和词信息,增加了网络结构的复杂度。另一方面,教育领域中的数据对实体边界的识别要十分精确,传统方法未能融入位置信息,对实体边界的识别能力较差。针对以上的问题,该文使用改进的向量表示层,在向量表示层中融合字、词和位置信息,能够更好地界定实体边界和提高实体识别的准确率,使用BiGRU和CRF分别作为模型的序列建模层和标注层进行中文命名实体识别。该文在Resume数据集和教育数据集(Edu)上进行了实验,F₁值分别为95.20%和95.08%。实验结果表明,该文方法对比基线模型提升了模型的训练速度和实体识别的准确性。     

结构增强的属性网络表示学习

属性网络表示学习旨在结合结构信息与属性信息为网络中的节点学习统一的向量表示。现有的属性网络表示学习方法在学习属性信息时与其互补的结构信息增强不足,从而影响最终表示。针对这一问题,提出一种结构增强的属性网络表示学习方法,以提高表示质量。该方法基于网络归一化邻接矩阵和属性矩阵通过自动编码器提取增强网络全局结构特性的属性信息,使用skip-gram模型捕捉局部结构信息,引入一个联合损失函数使结构信息与属性信息在同一向量空间中得以表示。在三个真实属性网络数据上进行节点分类和链路预测实验,效果较目前流行的网络表示学习方法优势明显。