增强语义表示的中文金融评价要素抽取

中文金融评价文本是了解金融行情和判断金融行业繁荣程度的主要载体,对其中的评价要素进行抽取和分析可以在一定程度上的帮助决策者做出判断.传统的抽取方法更侧重于寻找规则,工作量大,且在句子复杂或者不规范的情况下,难以充分考虑句子的句法特征.为了解决该问题,本文构建BBG-BMC模型,利用基于图自注意力机制的混合词编码模型BB...     

基于多粒度和语义信息的中文关系抽取

中文关系抽取采用基于字符或基于词的神经网络,现有的方法大多存在分词错误和歧义现象,会不可避免的引入大量冗余和噪音,从而影响关系抽取的结果.为了解决这一问题,本文提出了一种基于多粒度并结合语义信息的中文关系抽取模型.在该模型中,我们将词级别的信息合并进入字符级别的信息中,从而避免句子分割时产生错误;借助外部的语义信息对多...     

结合注意力机制与双向LSTM的中文事件检测方法

事件检测是信息抽取领域的重要任务之一。已有的方法大多高度依赖复杂的语言特征工程和自然语言处理工具,中文事件检测还存在由分词带来的触发词分割问题。该文将中文事件检测视为一个序列标注而非分类问题,提出了一种结合注意力机制与长短期记忆神经网络的中文事件检测模型ATT-BiLSTM,利用注意力机制来更好地捕获全局特征,并通过两个双向LSTM层更有效地捕获句子序列特征,从而提高中文事件检测的效果。在ACE 2005中文数据集上的实验表明,该文提出的方法与其他现有的中文事件检测方法相比性能得到明显提升。     

基于多特征自注意力BLSTM的中文实体关系抽取

实体关系抽取解决了原始文本中目标实体之间的关系分类问题,同时也被广泛应用于文本摘要、自动问答系统、知识图谱、搜索引擎和机器翻译中。由于中文句式和语法结构复杂,并且汉语有更多歧义,会影响中文实体关系分类的效果。该文提出了基于多特征自注意力的实体关系抽取方法,充分考虑词汇、句法、语义和位置特征,使用基于自注意力的双向长短期记忆网络来进行关系预测。在中文COAE 2016 Task 3和英文SemEval 2010 Task 8 数据集上的实验表明该方法表现出了较好的性能。     

基于特征加权的事件要素识别

事件抽取是自动内容抽取(Automatic Content Extraction,ACE)会议评测的任务之一,事件要素识别是事件抽取的一个子任务。分析了事件抽取和事件要素识别的研究现状,提出了一种基于特征加权的事件要素识别算法(Feature Weighting Based Event Argument Identification,FWEAI)。该算法首先对分类算法中的ReliefF特征选择算法进行改进,将其应用于聚类算法中。改进的ReliefF算法(FWA)根据各个特征对聚类的不同贡献分配不同的权值,然后采用KMeans算法对事件要素进行聚类。实验结果表明,FWEAI算法可以提高事件要素识别的准确率。     

基于Multi-BiLSTM-Attention的关系抽取

在关系抽取任务中,单一的长短期记忆模型只能学习到某个特定维度的特征,而卷积神经网络可以利用多个卷积核学习不同维度特征.基于上述两个特点,该文提出了一种多层双向长短期记忆-注意力模型,该方法通过给长短期记忆模型设置不同大小的隐藏层,使其能自动从原始输入中抽取不同维度的、带依赖信息的抽象特征,并利用注意力机制捕获全局信息....     

事件要素注意力与编码层融合的触发词抽取研究

事件抽取是信息抽取的主要任务之一,而触发词抽取是事件抽取的重要子任务.事件要素与事件触发词之间存在关联信息,现有的事件触发词抽取方法主要关注事件触发词本身,没有充分的利用事件要素信息.因此,提出一种事件要素注意力与编码层融合的事件触发词抽取模型,能够有效地利用事件要素信息,提高触发词抽取性能.通过事件要素与事件触发词之间的相关性来显示利用事件要素信息,同时利用编码层的多头自注意力机制间接学习事件要素与事件触发词之间的依赖关系,并将两个方法得到的输出向量进行处理,作为特征送入到编码层中进行训练.此外,通过词特征模型获取语义信息.该方法在ACE2005英文语料上对事件触发词抽取的F值达到71.95%.     

基于CNN和双向LSTM融合的实体关系抽取

实体关系抽取旨在识别网络文本中的实体,并提取出文本中实体之间隐含的关系。研究表明,深度神经网络在实体关系抽取任务上具有可行性,并优于传统关系抽取方法。目前的关系抽取方法大都使用卷积神经网络（CNN）和长短期记忆神经网络（LSTM）,然而CNN只考虑连续词之间的相关性而忽略了非连续词之间的相关性。另外,LSTM虽然考虑了长距离词的相关性,但提取特征不够充分。针对这些问题,提出了一种CNN和LSTM结合的实体关系抽取方法,采用3种结合方法进行了实验,验证了该方法的有效性,在F1值上有一定的提升。     

基于RoBERTa的全局图神经网络文档级中文金融事件抽取

当前基于图神经网络的事件抽取模型无法很好解决长距离依赖问题,并且图的构造中没有考虑实体之间的关系,实体也需要结合文档中的多个句子进行推理。为解决这些问题,该文首先使用预训练模型RoBERTa对文档进行编码并输出所有句子的特征表示和文档的上下文信息嵌入表示,能更好地学习中文金融数据的语义特征。其次,构建一个包含文档节点和实体节点的全局图神经网络使不同节点和边的交互有更丰富的表示,加强了文档和实体信息之间的联系。最后,应用图卷积网络捕获了它们之间的全局交互得到实体级图,在此基础上通过改进的路径推理机制来推断实体之间的关系,更好地解决了长距离文档上下文感知表示和跨句子论元分散问题。在CFA数据集上进行了模型验证,实验结果表明,该文所提模型F₁值优于对比模型,综合性能得到有效提升。     

基于动态掩蔽注意力机制的事件抽取

事件抽取(event extraction)是自然语言处理(natural language processing,NLP)中的一个重要且有挑战性的任务,以完成从文本中识别出事件触发词(trigger)以及触发词对应的要素(argument)。对于一个句子中有多个事件的多事件抽取任务,提出了一种注意力机制的变种——动态掩蔽注意力机制(dynamic masked attention network,Dy MAN),与常规注意力机制相比,动态掩蔽注意力机制能够捕捉更丰富的上下文表示并保留更有价值的信息。在ACE 2005数据集上进行的实验中,对于多事件抽取任务,与之前最好的模型JRNN相比,Dy MAN模型在触发词分类任务上取得了9. 8%的提升,在要素分类任务上取得了4. 5%的提升,表明基于Dy MAN的事件抽取模型在多事件抽取上能够实现领先的效果。     

基于双重注意力机制的事件抽取方法

针对事件抽取存在未充分利用句法关系、论元角色缺失的情况,提出了基于双重注意力机制的事件抽取（event extraction based on dual attention mechanism,EEDAM）方法,有助于提高事件抽取的精确率和召回率.首先,基于4种嵌入向量进行句子编码,引入依赖关系,构建依赖关系图,使深度神经网络可以充分利用句法关系.然后,通过图转换注意网络生成新的依赖弧和聚合节点信息,捕获长程依赖关系和潜在交互,加权融合注意力网络,捕捉句中关键的语义信息,抽取句子级事件论元,提升模型预测能力.最后,利用关键句检测和相似性排序,进行文档级论元填充.实验结果表明,采用基于双重注意力机制的事件抽取方法,在ACE2005数据集上,较最佳基线联合多中文事件抽取器（joint multiple Chinese event extractor,JMCEE）在精确率、召回率和F1-score分别提高17.82%、4.61%、9.80%;在大坝安全运行日志数据集上,较最佳基线JMCEE在精确率、召回率和F1-score上分别提高18.08%、4.41%、9.93%.     

基于时空关注度LSTM的行为识别

针对现有基于视频整体序列结构建模的行为识别方法中,存在着大量时空背景混杂信息,而引起的行为表达的判决能力低和行为类别错误判定的问题,提出一种基于双流特征的时空关注度长短时记忆网络模型.首先,本文定义了一种基于双流的时空关注度模块,其中,空间关注度用于抑制空间背景混杂,时间关注度用于抑制低信息量的视频帧.其次,本文为双流...     

基于阅读理解框架的中文事件论元抽取

传统的事件论元抽取方法把任务当作句子中实体提及的多分类或序列标注任务,论元角色的类别在这些方法中只能作为向量表示,而忽略了论元角色的先验信息。实际上,论元角色的语义和论元本身有很大关系。对此,该文提议将其当作机器阅读理解任务,把论元角色转换为自然语言描述的问题,通过在上下文中回答这些问题来抽取论元。该方法更好地利用了论元角色类别的先验信息,在ACE2005中文语料上的实验证明了该方法的有效性。     

基于知识蒸馏与模型集成的事件论元抽取方法

目前先进的事件论元抽取方法通常使用BERT模型作为编码器,但BERT巨大的参数量会降低效率,使模型无法在计算资源有限的设备中运行。提出一种新的事件论元抽取方法,将事件论元抽取教师模型蒸馏到2个不同的学生模型中,再对2个学生模型进行集成。构造使用BERT模型和图卷积神经网络的事件论元抽取教师模型,以及2个分别使用单层卷积神经网络和单层长短期记忆网络的学生模型。先通过均方误差损失函数对学生模型和教师模型的中间层向量进行知识蒸馏,再对分类层进行知识蒸馏,使用均方误差损失函数和交叉熵损失函数让学生模型学习教师模型分类层的知识和真实标签的知识。在此基础上,利用加权平均的方法对2个学生模型进行集成,从而提升事件论元抽取性能。使用ACE2005英文数据集进行实验,结果表明,与学生模型相比,该方法可使事件论元抽取F1值平均提升5.05个百分点,推理时间和参数量较教师模型减少90.85%和99.25%。     

中文事件抽取技术研究

事件抽取是信息抽取领域一个重要的研究方向,本文对事件抽取的两项关键技术——事件类别识别以及事件元素识别进行了深入研究。在事件类别识别阶段,本文采用了一种基于触发词扩展和二元分类相结合的方法;在事件元素识别阶段,本文采用了基于最大熵的多元分类的方法。这些方法很好的解决了事件抽取中训练实例正反例不平衡以及数据稀疏问题,取得了较好的系统性能。     

中文事件抽取研究及实现

在信息抽取越来越重要的今天,作为其重要研究方向,事件抽取也备受关注。选择了基于事件实例的方式,提出在对事件非事件句子分类的基础上,进行事件关键元素提取的研究。在句子分类上抓取句子特征进行分类,随后对包含事件句子中词进行特征抓取分类,选出特定事件元素。选取了SVM多元分类算法,并取得了一定成果。     

基于双重注意力机制的远程监督中文关系抽取

相比于传统有监督的中文关系抽取方法，基于远程监督的方法可极大地避免训练语料匮乏的问题，因此得到了广泛关注。然而，远程监督方法的性能却严重受困于构建语料过程中引入的错误标签，因此为缓解噪声数据所带来的影响，提出一种基于双重注意力机制的关系抽取模型。该模型可通过双向门限循环单元（Bidirectional Gated Recurrent Unit，BI-GRU）网络获取训练实例的双向上下文语义信息，并利用字符级注意力机制关注实例中重要的语义特征，同时在多个实例间引入实例级注意力机制计算实例与对应关系的相关性，以降低噪声数据的权重。在基于互动百科构建的中文人物关系抽取语料上的实验结果表明，该模型相比于单注意力机制模型可有效利用实例中所包含的语义信息并降低错误标签实例的影响，获取更高的准确率。     

一个基于语义的中文事件论元抽取方法

中文是一种话题结构的语言,其表达方式比较灵活,但句法结构不如英文严谨,导致了事件中论元与触发词的关系较松散。现有的论元抽取方法多数是基于浅层语义的句法结构特征,从而造成了论元抽取性能低下。为了解决这个问题,提出了基于语义的中文事件论元抽取方法。该方法利用角色、实体和触发词的语义,弥补了论元抽取中单纯采用句法特征的缺陷。在ACE2005中文语料上的测试结果表明,该方法与基准系统相比具有更高的性能。