融合自注意力和实体类型知识的实体关系联合抽取模型

从非结构化文本中抽取实体关系三元组是自然语言处理中的主要任务形式之一。目前主流的方法是采用联合式抽取,能够在训练过程中自动捕捉到实体与关系间的依赖知识,提高了实体和关系的抽取效果。但这些方法忽略了实体的类型知识,导致大量的冗余计算和错误结果的产生。鉴于此,文中提出一种融合注意力和实体类型知识的实体关系联合抽取方法。首先,采用预训练模型BERT作为编码器得到句子中各字符的向量表示,再经双向LSTM层处理得到最终的语义表示;其次,基于表示层的结果完成头、尾实体的识别;接着,通过融合不同头实体的语义信息到句子表示中,实现头实体类型约束下的潜在语义关系发现;最后,将头实体和关系分别输入自注意力模块识别出对应尾实体,得到实体关系三元组。通过在公开数据集NYT和WebNLG上的大量实验表明：文中所提模型在实体关系联合抽取任务中的F1值达到了93.2%和93.3%,与当前主流模型相比提升显著。     

基于深度学习的中文实体关系抽取研究

实体关系抽取能够从文本中提取事实三元组信息,这对于构建大规模的知识图谱是十分重要的。在现有的研究中,通常以先进行实体识别,而后进行关系分类或者进行统一标注的方式来完成这一任务,虽然这些方法能够使关系抽取任务变得更易实现,并且模型的网络框架灵活性更高,但是也存在误差积累和暴露误差等问题,且对于关系抽取中的关系重叠和实体嵌套等重难点问题不能够很好的处理。为了解决上述存在的问题,文章构建一种基于深度学习的中文实体关系联合抽取模型。该模型由基于评分的分类器和特定关系的角标记策略以及分区过滤网络构成,首先通过分区过滤网络,将输入的文本划分成三个分区,实体分区和关系分区以及共享分区,能够确保实体识别任务和关系抽取任务进行更好的双向交互;接着应用特定关系的角标记策略来解码实体信息,最后通过一个基于评分的分类器来输出事实关系三元组。实验表明,提出的方法能够改善传统方法带来的误差积累和交互缺失以及实体冗余等问题,提高了三元组抽取的准确率。     

基于依存句法的实体关系抽取

本文首先介绍了自然语言处理的概念,并给出了自然语言处理模型,与此同时,分析了依存句法的有关问题,包括其公理以及具体分析方法等,最后阐述了基于依存句法的实体关系抽取过程。     

一种基于先验知识的实体关系联合抽取模型

不同于流水线方式的关系抽取方法,在实体关系联合抽取方式中虽然把实体识别和关系抽取两者结合起来,但损失部分实体特征信息.在以BERT预训练模型为核心的SpERT实体关系联合抽取模型输入阶段,融入置信度较高的词性标注和句法依存关系的先验特征;并在模型的关系抽取层中重用输入信息,为关系抽取任务提供更多的特征;在优化模型的损失...     

基于BERT和注意力引导图卷积网络的关系抽取

针对现有图卷积网络在关系抽取任务中存在文本语义,语法表征不准确和在不同树结构上并行化计算较难等问题,本文提出一种基于BERT和注意力引导图卷积网络的关系抽取模型。首先,在模型的输入层使用BERT和Bi-LSTM编码出适应于上下文语境的词向量;其次,对输入的树结构采用最短路径为中心的修剪方式,减少树中的无关信息;最后,在模型中引入多头注意力机制,自动学习不同子空间内对关系提取有用的相关子结构,并在TACRED数据集上进行验证。实验结果表明,相对于基线模型,本文提出的模型显著提高了实体关系抽取的F₁值。     

一种自动构建数据集的实体关系抽取方法

近年来,知识图谱领域中实体关系抽取技术得到快速发展,其准确性也大幅提升.然而,大部分文献都没有提供能够反映其内容的、直观的数据结构.依靠人工阅读文本产生实体、关系的方法,在多源、海量文档数据的今天越来越不能满足实际应用的需求,因此提出一种抽取文本中实体关系的方法.该方法基于哈工大语言技术平台(Language Tech...     

融合语句-实体特征与Bert的中文实体关系抽取模型

关系抽取是信息抽取技术的重要环节,旨在从无结构的文本中抽取出实体之间的关系.目前基于深度学习的实体关系抽取已经取得了一定的成果,但其特征提取不够全面,在各项实验指标方面仍有较大的提升空间.实体关系抽取不同于其他自然语言分类和实体识别等任务,它主要依赖于句子和两个目标实体的信息.本文根据实体关系抽取的特点,提出了SEF-...     

面向武器装备领域的实体及关系抽取方法研究

实体及关系抽取是实现海量数据知识化的关键,而现有实体及关系抽取方法应用于垂直领域时,表现出的效果很难达到实装应用水平。针对武器装备领域,文中在分析该领域文本数据特征的基础上,提出基于预训练模型与规则知识结合的武器装备实体及关系抽取方法,由实体抽取和关系抽取两个阶段组成。在实体抽取阶段,首先,利用BERT+BiLSTM+CRF模型完成武器装备实体的识别;然后,通过规则知识对领域性实体补充抽取。在关系抽取阶段,首先,利用BERT+BiGRU+CNN模型抽取武器装备实体间关系;然后,经过滤调模块对实体间关系抽取结果过滤和调整;最后,设计强领域性的关系抽取规则,用于实体间关系的补充抽取。在仿真数据集上对本文方法评测,结果表明在实体识别和关系抽取上的F1值分别为96.4%和95.1%,与基线相比均提升了约10%。同时,文中提出的实体及关系抽取方法可作为一种通用解决方案,推广至其他垂直领域。     

基于卷积神经网络的医疗护理实体关系抽取

针对医疗护理领域知识复杂性强、数据量大以及对准确度要求较高的问题,该研究提出一种基于卷积神经网络的医疗护理学实体关系抽取方法,实现对护理学语义关系的细粒度文本挖掘。该研究构建了医疗护理学语料标注系统,通过将医疗语料转化为向量特征矩阵,实现了对医疗语料的自动过滤和标注。通过向神经网络模型嵌入所构建的医疗关系语料库,一定程度上提高了模型疾病分类的准确度。在医疗护理学数据集上的实验表明,基于卷积神经网络的模型在指标精确度、召回率、F1值可达到89.78%、87.59%、89.77%。综上所述,该研究提出的基于卷积神经网络的医疗护理学实体关系抽取方法能够有效地抽取医疗语料数据中的实体关系,优于传统的实体关系抽取模型。     

基于Prompt和BERT的情感原因对抽取方法

情感原因对抽取是一项全新的自然语言处理任务,试图提取出文本中所有的情感子句以及相应的原因子句。现有的工作要么遵循多阶段方法,其中情感抽取、原因抽取及配对都是单独进行的;要么使用复杂的架构来解决其局限性,并且可解释性较低。针对这些问题,本文提出一种基于Prompt和BERT相结合的ECPE-Prompt模型。该模型以一种可解释性较强的两阶段方法将情感抽取和原因抽取链接起来,最后完成情感原因对抽取任务。实验结果表明,该模型的F1分数指标对比基线模型提高6%。     

基于双编码和MRT的实体与关系联合抽取研究

部分联合学习模型使用同一个编码器对实体识别和关系抽取这两项任务进行编码,但是单个编码器不足以捕获同一空间中两个任务所需的信息,本文通过使用序列编码器获取实体标签,表格编码器获取关系标签的双编码方式改善这一缺陷;与此同时,为了让整个模型更快、更好的收敛到理想效果,在双编码器模型的基础上加入了最小风险训练来优化全局损失函数.与现有的主流模型在4个标准数据集上进行对比发现,本文模型相较主流模型在评价指标上均有一定程度的提升.     

基于ERNIE-Bi-GRU-Attention的医疗实体关系抽取模型

医疗信息文本信息处理存在文本长、专业术语多、实体间关系复杂等问题,因此,提出一种基于ERNIEBi-GRU-Attention的医疗实体关系抽取模型。首先通过预训练模型ERNIE使向量获得丰富的语义信息和医疗先验知识,解决医疗专业术语问题;其次通过Bi-GRU-Attention进行语句编码,捕获有效上下文信息,有利于关系抽取;然后使用经典CRF输出实体标签;将实体标签特征和语句编码向量特征拼接进行一阶和二阶特征融合;最后通过分类器获得最终关系标签输出。通过在医疗数据集上验证,结果表明与其他模型相比,使用此模型医疗实体关系抽取的效果有所提升。     

基于特征组合的中文实体关系抽取

结合中文关系抽取的要求,以ACE2005的中文语料为数据进行关系抽取实验.在抽取中文词法、实体、句法,语法基本特征后,提出采用特征组合方法,使用支持向量机的机器学习(SVM)方法,在上关系探测和关系大类上F值分别提高了1.36%和3.97%,达到72.77和61.03,并分析出各部分组合特征的贡献.实验数据表明词语和实体组合特征对中文关系抽取的作用较大.     

基于自注意力卷积神经网络的实体关系抽取

在自然语言处理解领域中,实体关系抽取作为信息抽取中的一个重要分支,旨在从自然文本中提取出两个实体之间的语义关系。大多数研究工作都是基于NLP系统的特征,特征提取工程和预处理过程十分冗杂,并且由LTP工具提取出来的特征会在模型中迭代而产生错误传播。为了避免对NLP系统的滥用,提出一种基于端到端的自注意力卷积神经网络模型来提取实体对之间的语义关系。实验结果表明,该方法在SemEval-2010 Task 8数据集上的F₁值提高了约1.3%。     

基于卷积神经网络的实体关系抽取研究

关系抽取是信息抽取中的一个重要子任务,很多关系抽取任务利用现有的词法分析和句法分析等基本的NLP处理工具来生成特征,但是该特征提取方法完全利用之前的经验进行,特征的质量过度依赖于已有的NLP工具的准确率,存在误差传播的问题.近年来随着深度学习的发展,卷积神经网络学习算法在很多自然语言处理任务中取得了较好的效果.文中应用...     

一种基于层叠指针网络的实体关系抽取——对新工科视角下高等教育的研究

通过对知网上252篇有关新工科的典型教育研究文献进行实体关系人工标注,建立了高等教育领域新工科视角下实验数据集NEDS(New Engineering Data Set),设计了一种层叠指针网络模型。实验结果表明,在高等教育领域NEDS上该模型表现突出,其精确率、召回率和F1值分别达到了83.56、76.25和79.74,很好地解决了关系重叠问题。