融合对抗学习的因果关系抽取

因果关系抽取在事件预测、情景生成、问答以及文本蕴涵等任务上都有重要的应用价值.但多数现有的因果关系抽取方法都需要人工定义模式和约束,且严重依赖知识库.为此,本文利用生成式对抗网络（Generative adversarial networks,GAN）的对抗学习特性,将带注意力机制的双向门控循环单元神经网络（Bidirectional gated recurrent units networks,BGRU）与对抗学习相融合,通过重定义生成模型和判别模型,基本的因果关系抽取网络能够与判别网络形成对抗,进而从因果关系解释信息中获得高区分度的特征.实验结果表明,与当前用于因果关系抽取的方法相比较,该方法表现出更优的抽取效果.     

基于深度学习的事件因果关系抽取综述

因果关系抽取是自然语言处理(NLP)中的一种关系抽取任务,它通过构造事件图来挖掘文本中具有因果关系的事件对,已经在金融、安全、生物等领域的应用中发挥重要作用.首先,介绍了事件抽取和因果关系等概念,并介绍了因果关系抽取主流方法的演变和常用数据集;然后,列举了当前主流的因果关系抽取模型,并且在分别对基于流水线的模型和联合抽...     

基于SoftLexicon和注意力机制的中文因果关系抽取

针对现有中文因果关系抽取方法对因果事件边界难以识别和文本特征表示不充分的问题,该文提出了一种基于外部词汇信息和注意力机制的中文因果关系抽取模型BiLSTM-TWAM+CRF。该模型使用SoftLexicon方法引入外部词汇信息构建词集,解决了因果事件边界难以识别的问题。通过构建的双路关注模块TWAM(Two Way Attention Module),实现了从局部和全局两个角度充分刻画文本特征。实验结果表明,与当前中文因果关系抽取模型相比较,该文所提方法表现出更优的抽取效果。     

基于双层CNN-BiGRU-CRF的事件因果关系抽取

针对现有事件因果关系抽取方法关系边界识别能力弱和文本语义表征不足的问题,提出一种基于双层CNN-BiGRU-CRF深度学习模型的事件因果关系抽取方法。将因果关系抽取任务转换为两次序列标注任务分别由两层CNN-BiGRU-CRF模型完成,上层模型用于识别事件因果关系语义角色词,其标注结果作为特征输入下层模型划分因果关系边界。在每层模型中,采用突发事件样本数据对BERT模型进行微调,形成文本表示模型以获取语义特征向量矩阵,利用卷积神经网络和双向门控循环单元分别提取局部和全局深层特征,并将上述特征在每个时间序列步进行线性加权融合以增强语义表征能力,最终基于残差思想将高区分度特征输入CRF模型解码完成序列标注任务。在中文突发事件语料集上的实验结果表明,与BiLSTM-Att-规则特征、GAN-BiGRU-CRF等因果关系抽取方法相比,该方法的事件因果关系抽取效果更好,F值达到91.81%,能有效实现事件因果关系的准确抽取。     

面向无触发词文本的因果关系事件对联合抽取模型

事件因果关系抽取(Event Causality Extraction, ECE)是从文本中抽取出表示因果事件对的事件类型、事件要素及事件间的关系。之前的工作都在含有触发词的文本上进行,并且事件抽取和关系识别也都依靠触发词等事件主体。然而,现实中有许多文本没有触发词,因此该文的抽取任务则是在无触发词标注的文本上进行。该任务的难点在于不仅要抽取多个独立事件,还要判断相互间的因果关系,并且存在事件主体缺失、多事件对及事件类型重叠的问题。该文提出一种分阶段的联合抽取模型,在第一阶段,利用层叠结构模型识别出文本中的事件类型与因果关系;在第二阶段,利用“双定位”和阅读理解机制获得嵌入事件类型信息的句子表示,并通过多层二元标志解码器预测各事件要素的首尾位置。为缓解误差传播问题,该文将两阶段模型通过共享编码层的方式联合训练。实验表明,该文提出的方法可以在完全无规则的情况下有效抽取出无触发词文本中的因果事件对。     

PosNet:基于位置的因果关系抽取网络

因果关系抽取是一种从文本中抽取因果实体对的自然语言处理技术,被广泛应用于金融、医疗等领域。传统的因果关系抽取技术需要人工选取文本特征进行因果匹配或使用神经网络多次提取特征,导致模型结构较为复杂,抽取效率不高。针对这一问题,提出一种基于位置的因果关系抽取网络(Position-based Causal Extraction Network, PosNet),以期提高因果关系的抽取效率。首先,预处理文本,构建多粒度文本特征作为网络的输入;然后,将文本特征传入位置预测网络,使用经典的浅层卷积神经网络预测因果实体的开始位置和结束位置;最后,通过组装算法按起始位置组装因果实体,抽取出全部因果实体对。实验结果证明PosNet可以提升因果关系抽取的效率。     

基于多任务学习的生物医学实体关系抽取

生物医学实体关系抽取是生物医学文本挖掘领域的一项重要任务,它可以自动从生物医学文本中挖掘实体间的相互关系。目前,生物医学实体关系抽取方法一般只针对某一特定任务(如药物关系,蛋白质交互关系抽取等)训练单任务模型进行抽取,忽略了多个任务之间的相关性。因此,该文使用基于神经网络的多任务学习方法对多个生物医学关系抽取任务间的关联性进行了探索。首先构建了全共享模型和私有共享模型,然后在此基础上提出了一种基于Attention机制的主辅多任务模型。在生物医学领域关系抽取的5个公开数据集上的实验结果表明,该文的多任务学习方法可以有效地在学习任务之间共享信息,使得任务间互相促进,获得了比单任务方法更好的关系抽取结果。     

航空安全事故因果关系抽取方法的研究

针对目前航空安全事故因果关系分析一般采用基于概率和统计的方法,缺乏对事故发生过程的详细分析这一问题,提出通过因果关系抽取挖掘事故的因果发展过程。针对世界航空安全事故调查报告构成的文本数据集,将航空安全事故因果关系分为显式因果关系和隐式因果关系,其中显式因果关系抽取采用模式匹配的方法,抽取准确率达到87.72%;隐式因果关系抽取则采用改进的基于自注意力机制的双向长短期记忆网络方法,该方法在公共数据集和航空安全数据集上的F值较基准方法分别提高近6%和10%。在有效实现单一航空安全事故因果关系对的识别与抽取的基础上,生成了每个事故的因果关系图,为深入分析航空安全事故发生过程和情景重现提供数据与方法支持。     

基于多任务学习的多罪名案件信息联合抽取

面向法律文本的实体关系联合抽取技术对于案情关键信息的智能提取至关重要,是智慧司法领域应用中的重要环节。目前的联合抽取方法虽然已经在特定罪名案件的数据集上取得了较好的效果,但是由于模型在训练时只关注了特定罪名类型文本数据的特点,使得模型的泛化能力有限,在应用到多罪名案件的情况下常常使得模型的效果下降。因此引入多任务学习的方法对多罪名情形下的实体关系联合抽取进行了研究,以涉毒类案件和盗窃类案件两大类罪名的文书数据为基础,构建了一个罪名分类任务作为联合抽取的辅助任务,通过基于特征筛选的动态加权多任务模型同时对两个任务进行学习,在单任务模型的基础上整体F1值提升了2.4个百分点,在涉毒类案件和盗窃类案件上的F1值分别提升了1.6和3.2个百分点。     

基于联合序列标注深度学习的层级信息抽取

现有的信息抽取工作多是针对无层次结构的数据信息,而在实际任务中,文本中的数据常常具有复杂的嵌套层次结构,如文档中包含多个不同类型的信息块序列,每个块中又包含了一个独立的信息序列.针对具有层级结构的信息抽取问题,提出一种基于联合序列标注的层级信息抽取方法.一方面使用BiLSTM-CNN-CRF模型分别对不同层级的数据进行...     

面向煤矿的实体识别与关系抽取模型

针对煤矿领域知识抽取中存在的术语嵌套、一词多义,抽取任务间存在误差传播等问题,提出了一种深层注意力模型框架。首先,使用标注策略联合学习两项知识抽取子任务,以解决误差传播的问题;其次,提出结合多种词向量信息的投影方法,以缓解煤矿领域术语抽取中的一词多义的问题;然后,设计深度特征提取网络,并提出深层注意力模型及两种模型增强方案来充分提取语义信息;最后,对模型的分类层进行研究,以在保证抽取效果的前提下最大限度地简化模型。实验结果表明,在煤矿领域语料上,相较于编码-解码结构的最好模型,所提模型的F1值有了1.5个百分点的提升,同时模型训练速度几乎提高至原来的3倍。该模型可有效地完成煤矿领域术语抽取以及术语关系抽取这两项知识抽取子任务。     

基于深度学习的关系抽取研究综述

关系抽取(RE)是为了抽取文本中包含的关系,是信息抽取(IE)的重要组成部分。近年来,研究人员利用深度学习技术在该领域开展了深入研究。由于神经网络类型丰富,基于深度学习的关系抽取方法也更加多样。该文从关系抽取的基本概念出发,对关系抽取方法依据不同的视角进行了类别划分。随后,介绍了基于深度学习的关系抽取方法常用的数据集,并总结出基于深度学习的关系抽取框架。在此框架下,对关系抽取方法在面向深度学习的输入数据预处理、面向深度学习的神经网络模型设计等方面的具体工作进行了分析与评述,最后对未来的研究方向进行了探讨和展望。     

基于指针网络的实体与关系联合抽取方法

针对现有实体和关系联合抽取方法中存在的实体与关系依赖建模不足、实体发生重叠难以抽取其所涉及的多个关系的问题,设计了基于深度学习的联合抽取框架。首先针对依赖建模不足问题,从预训练语料中提取实体共现特征,建模了实体间的潜在语义关系和实体与关系之间的依赖关系。其次提出了新颖的指针标注方法,该标注方法可以通过指针表示关系类别,由于任一实体可以被多个指针指向,所以可以在一段文本中标注重叠的实体并抽取多个实体—关系三元组结果。最后,为了有效利用单词的丰富语义和指针之间依赖的信息,设计了一个标签感知注意力机制,融合了包括来自编码层的字词信息、相关的共现语义信息。与研究中前沿的联合提取方法相比,该方法在百度DuIE测试集上实现了F₁值的增加。通过实验结果表明指针标注方法在一定程度上可以解决实体重叠问题。     

基于混合神经网络的实体关系抽取方法研究

实体关系抽取是信息抽取领域的重要研究内容,对知识库的自动构建起着至关重要的作用。针对非结构化文本实体关系抽取存在上下文环境信息难以准确表征,致使现有抽取模型准确率不能满足实际应用需求的问题,该文提出了一种新型的实体关系抽取模型BiGRU-Att-PCNN。该模型是基于混合神经网络,首先,构建双向门控循环单元(BiGRU)以更好地获取文本序列中的上下文语序的相关信息;然后,采用注意力(Attention)机制来达到自动关注对关系影响力高的序列特征的目的;最后,通过采用分段卷积神经网络(PCNN),从调整后的序列中较好地学习到了相关的环境特征信息来进行关系抽取。该模型在公开的英文数据集SemEval 2010 Task 8上取得了86.71%的F₁值,实验表明,该方法表现出了较好的性能,为信息抽取领域实体关系的自动获取提供了新的方法支持。     

基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含...     

基于强化学习的实体关系联合抽取模型

针对现有的基于远程监督的实体和关系抽取方法存在着标签噪声问题，提出了一种基于强化学习的实体关系联合抽取方法。该模型有两个模块：句子选择器模块和实体关系联合抽取模块。首先，句子选择器模块选择没有标签噪声的高质量句子，将所选句子输入到实体关系联合抽取模型；然后，实体关系联合抽取模块采用序列标注方法对输入的句子进行预测，并向句子选择器模块提供反馈，指导句子选择器模块挑选高质量的句子；最后，句子选择器模块和实体关系联合抽取模块同时训练，将句子选择与序列标注一起优化。实验结果表明，该模型在实体关系联合抽取中的F1值为47.3%，与CoType为代表的联合抽取模型相比，所提模型的F1值提升了1%；与LINE为代表的串行模型相比，所提模型的F1值提升了14%。结果表明强化学习结合实体关系联合抽取模型能够有效地提高序列标注模型的F1值，其中句子选择器能有效地处理数据的噪声。     

民航突发事件领域本体关系提取方法的研究

针对民航突发事件领域本体关系抽取准确率低的问题,提出了一种结合注意力机制与双向门控循环单元(BiGRU)的关系抽取模型。首先查询预先训练的词向量矩阵,将文本中每个词语映射为向量表示;其次构建BiGRU,得到词语序列的上下文语义信息;然后在词语层面和句子层面分别引入注意力机制,为表达语义关系更重要的词语和句子分配更大的权重;最后进行模型的训练与优化。将该模型应用在民航突发事件领域本体的关系提取中,实验结果表明该模型相较于其他方法具有更好的提取效果,验证了该模型的有效性,为民航突发事件领域本体关系的自动获取提供了新的方法支持。