基于深度学习的事件因果关系抽取综述

因果关系抽取是自然语言处理(NLP)中的一种关系抽取任务,它通过构造事件图来挖掘文本中具有因果关系的事件对,已经在金融、安全、生物等领域的应用中发挥重要作用.首先,介绍了事件抽取和因果关系等概念,并介绍了因果关系抽取主流方法的演变和常用数据集;然后,列举了当前主流的因果关系抽取模型,并且在分别对基于流水线的模型和联合抽...     

结合Roberta和Bi-FLASH-SRU的中文事件因果关系抽取

针对现有基于填表的事件关系抽取方法填表数目过多、表格特征获取不充分的问题, 本文提出了结合Roberta和Bi-FLASH-SRU的中文事件因果关系抽取方法TF-ChineseERE. 该方法通过制定填表策略, 利用文本中已标记关系, 将其转化为带有标签的表格; 借助Roberta预训练模型和本文提出的双向内置闪电注意力简单循环单元(bidirectional built-in flash attention simple recurrent unit, Bi-FLASH-SRU)获取主客体事件特征, 再利用表格特征循环学习模块挖掘全局特征, 最后进行表格解码获得事件因果关系三元组. 实验采用金融领域两个公开数据集进行验证, 结果表明, 本文提出的方法F₁值分别达到59.2%和62.5%, 且Bi-FLASH-SRU模型训练速度更快, 填表数目更少, 证明了该方法的有效性.     

基于双层CNN-BiGRU-CRF的事件因果关系抽取

针对现有事件因果关系抽取方法关系边界识别能力弱和文本语义表征不足的问题,提出一种基于双层CNN-BiGRU-CRF深度学习模型的事件因果关系抽取方法。将因果关系抽取任务转换为两次序列标注任务分别由两层CNN-BiGRU-CRF模型完成,上层模型用于识别事件因果关系语义角色词,其标注结果作为特征输入下层模型划分因果关系边界。在每层模型中,采用突发事件样本数据对BERT模型进行微调,形成文本表示模型以获取语义特征向量矩阵,利用卷积神经网络和双向门控循环单元分别提取局部和全局深层特征,并将上述特征在每个时间序列步进行线性加权融合以增强语义表征能力,最终基于残差思想将高区分度特征输入CRF模型解码完成序列标注任务。在中文突发事件语料集上的实验结果表明,与BiLSTM-Att-规则特征、GAN-BiGRU-CRF等因果关系抽取方法相比,该方法的事件因果关系抽取效果更好,F值达到91.81%,能有效实现事件因果关系的准确抽取。     

融合RACNN和BiLSTM的金融领域事件隐式因果关系抽取

金融领域的文本信息量大、价值高,尤其是其中的隐式因果关系事件包含着巨大的潜在利用价值。对金融领域文本进行隐式因果关系分析,挖掘隐式因果关系事件中隐含的重要信息,了解金融领域事件更深层的演化逻辑,进而构建金融领域知识库,对金融风险控制、风险预警等具有重要意义。为了提高金融领域中隐式因果关系事件识别的准确度,从特征挖掘的角度入手,提出了一种基于自注意力机制的融合循环注意力卷积神经网络(Recurrent Attention Convolution Neural Network, RACNN)和双向长短时记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)的隐式因果关系抽取方法。该方法结合了基于迭代反馈机制能提取更重要文本局部特征的RACNN、能更好地提取文本全局特征的BiLSTM以及能更深入地挖掘融合特征语义信息的自注意力机制,在SemEval-2010 Task 8数据集和金融领域数据集上进行了实验,结果表明,评估指标F1值分别达到了72.98%和75.74%,均显著优于其他对比模型。     

基于层叠条件随机场的事件因果关系抽取

传统的事件因果关系抽取方法只能覆盖文本中的部分显式因果关系。针对这种不足,提出一种基于层叠条件随机场模型的事件因果关系抽取方法。该方法将事件因果关系的抽取问题转化为对事件序列的标注问题,采用层叠(两层)条件随机场标注出事件之间的因果关系。第一层条件随机场模型用于标注事件在因果关系中的语义角色,标注结果传递给第二层条件随机场模型用于识别因果关系的边界。实验表明,本文方法不仅可以覆盖文本中的各类显式因果关系,并且均能取得较好的抽取效果,总体抽取效果的F1值达到85。3%。     

基于联合学习的生物医学因果关系抽取

生物医学因果关系抽取是BioCreative社区提出的一项评测任务,旨在挖掘生物医学实体间丰富的语义关系,并用生物医学表征语言(biological expression language, BEL)来表示。与传统的实体关系抽取不同,该任务不仅包含实体间因果关系的抽取,还包含实体功能的识别。此前已经提出了一些该任务的解决方法,但均未考虑这两个子任务间的关联性。该文基于多任务的思想,提出一种二元关系抽取和一元功能识别共同决策的联合学习模式。首先两个任务共享底层向量表示,然后利用长短期记忆(long short-term memory, LSTM)网络和门控机制学习两个任务之间的交互表示,最后分别进行分类预测。实验结果表明,该方法能够融合两个子任务的信息,在2015 BC-V测试集上获得了45.3%的F值。     

基于混合CNN的自然语言因果关系抽取方法

针对现有自然语言因果关系抽取模型的低准确性和自由参数过多等问题,提出高效的面向知识通道和面向数据通道相结合的混合卷积神经网络(Mixed Convolution Neural Network,MCNN)方法.面向知识通道结合词汇知识库中因果关系的语言知识,自动生成的卷积过滤器以捕获因果关系的重要语言线索.实验表明与Si...     

事件抽取综述

将用户感兴趣的事件从非结构化信息中提取出来,然后以结构化的方式展示给用户,这就是事件抽取。事件抽取在信息收集、信息检索、文档合成、信息问答等方面有着广泛应用。从全局出发,事件抽取算法可以分为基于模式匹配的算法、触发词法、基于本体的算法以及前沿联合模型方法这四类。在研究过程中根据相关需求可使用不同评价方法和数据集,而不同的事件表示方法也与事件抽取研究有一定联系;以任务类型区分,元事件抽取和主题事件抽取是事件抽取的两大基本任务。其中,元事件抽取有基于模式匹配、基于机器学习和基于神经网络这三种方式,而主题事件抽取有基于事件框架和基于本体两种方式。事件抽取研究在中英等单语言上均已取得了优秀成果,而跨语言事件抽取依然面临着许多问题。最后,总结了事件抽取的相关工作并提出未来研究方向,以期为后续研究提供参考。     

PosNet:基于位置的因果关系抽取网络

因果关系抽取是一种从文本中抽取因果实体对的自然语言处理技术,被广泛应用于金融、医疗等领域。传统的因果关系抽取技术需要人工选取文本特征进行因果匹配或使用神经网络多次提取特征,导致模型结构较为复杂,抽取效率不高。针对这一问题,提出一种基于位置的因果关系抽取网络(Position-based Causal Extraction Network, PosNet),以期提高因果关系的抽取效率。首先,预处理文本,构建多粒度文本特征作为网络的输入;然后,将文本特征传入位置预测网络,使用经典的浅层卷积神经网络预测因果实体的开始位置和结束位置;最后,通过组装算法按起始位置组装因果实体,抽取出全部因果实体对。实验结果证明PosNet可以提升因果关系抽取的效率。     

基于SoftLexicon和注意力机制的中文因果关系抽取

针对现有中文因果关系抽取方法对因果事件边界难以识别和文本特征表示不充分的问题,该文提出了一种基于外部词汇信息和注意力机制的中文因果关系抽取模型BiLSTM-TWAM+CRF。该模型使用SoftLexicon方法引入外部词汇信息构建词集,解决了因果事件边界难以识别的问题。通过构建的双路关注模块TWAM(Two Way Attention Module),实现了从局部和全局两个角度充分刻画文本特征。实验结果表明,与当前中文因果关系抽取模型相比较,该文所提方法表现出更优的抽取效果。     

一种基于事件本体的文本事件要素提取方法

在事件信息的抽取中,事件要素的提取是一个难点。现有的事件要素抽取主要是基于机器学习的方法,这类方法容易受到语料稀疏性的影响。该文提出一种基于事件本体的事件要素提取方法,该方法将事件要素推理分为两步: 一、通过事件要素词和事件指示词的位置关系来初步填充要素值,并将得出的置信度较高的事件作为种子事件;二、利用第一步得出的种子事件,查询事件本体中的事件类约束和基于事件非分类关系的推理规则,并对要素进行推理,进一步对事件要素进行填充和修正。实验结果表明,该方法能较好地提升事件要素提取的准确度。     

中文事件抽取研究及实现

在信息抽取越来越重要的今天,作为其重要研究方向,事件抽取也备受关注。选择了基于事件实例的方式,提出在对事件非事件句子分类的基础上,进行事件关键元素提取的研究。在句子分类上抓取句子特征进行分类,随后对包含事件句子中词进行特征抓取分类,选出特定事件元素。选取了SVM多元分类算法,并取得了一定成果。     

基于事件实例驱动的新闻文本事件抽取

目前,事件抽取的流行方法是以事件元素或触发词进行驱动,但该方法容易导致正反例不平衡,且在语料库规模较小时存在一定的数据稀疏问题。提出了一种基于事件实例驱动的事件抽取方法。首先,从文档句子中抽取出刻画一个事件发生有代表性的特征,构成候选事件实例表示;其次,通过二元分类器对新闻文本中的事件实例与非事件实例进行分类;最后,对事件实例采用基于层次聚类的k-mcdoids算法完成事件抽取。该方法不仅克服了正反例失衡以及数据稀疏问题,而且解决了预先定义事件类别的局限性。实验结果验证了该方法的有效性,对比传统方法,事件抽取的准确率与召回率均获得了显著的提高。     

基于文本事件网络自动摘要的抽取方法

将文本按事件方式进行表示,把事件作为基本语义单元来构建事件本体.根据事件间的关系构建事件网络有向图能较好地表达文本的语义信息及事件间的关系重要程度.利用PAGERANK算法测算事件网络图中各节点对应事件的重要度并进行排序,按事件发生的时间顺序,输出事件对应的原语句作为摘要.实验结果表明,基于事件网络的文本自动文摘方法抽取出的摘要效果较好.     

融合对抗学习的因果关系抽取

因果关系抽取在事件预测、情景生成、问答以及文本蕴涵等任务上都有重要的应用价值.但多数现有的因果关系抽取方法都需要人工定义模式和约束,且严重依赖知识库.为此,本文利用生成式对抗网络（Generative adversarial networks,GAN）的对抗学习特性,将带注意力机制的双向门控循环单元神经网络（Bidirectional gated recurrent units networks,BGRU）与对抗学习相融合,通过重定义生成模型和判别模型,基本的因果关系抽取网络能够与判别网络形成对抗,进而从因果关系解释信息中获得高区分度的特征.实验结果表明,与当前用于因果关系抽取的方法相比较,该方法表现出更优的抽取效果.     

面向个人简历的事件抽取和检索框架

个人简历(Curriculum Vitae,Vita)通常包含了丰富的数据,如个人信息、教育背景以及工作经历等。从大量的个人简历中抽取出有用的信息并提供检索服务,可以提供更加全面和完整的个人资料。个人简历中包含的信息可以看成是按时间排序的事件序列。进一步地,可以从不同的个人简历所包含的事件中挖掘出事件之间的关联关系。提出了一个从个人简历中提取并检索事件的框架,它可以自动地从互联网上搜索并下载个人简历文档,并从中提取出感兴趣的事件保存在数据库里,以进一步查询和检索事件。所完成的工作包括:(1)提出了一个事件表示模型,用于描述事件的基本属性及检索事件;(2)基于条件随机场提出了一个概率模型,用于从个人简历中自动提取事件;(3)通过挖掘事件属性之间的共现性,提出了基于事件的检索方法。     

基于启发式规则的流式日志事件提取方法

日志事件提取指将非结构化的日志消息解析为系统中对应的事件,是多数日志分析中必不可少的前置工作.传统的日志事件提取以批处理方法为主,需要等待所有日志数据到达再进行处理,实时性不佳.能够进行实时日志采集并处理的流处理方法逐渐成为主要研究方向,但已有的流处理方法在解析模型的构建方面存在缺陷,准确性不够高.针对上述问题,提出了...     

事件常识的获取方法研究

在动态语义学的基础上,以事件的语义、文法和常识为标准构建多层次的事件分类体系,并使用该分类体系提取事件的常识知识。事件采用框架的方式来表示,称为事件框架。事件框架的内容包括事件的定义、事件之间的关系、事件的文法表达、事件的谓词表示、事件的例句、事件的前提常识和后果常识。利用事件框架的内容提取事件的常识。为了说明该方法的实用性,以事件分类体系中典型的“交易类”事件为例来描述事件常识的获取方法。