基于word2vec和依存分析的事件识别研究

如何从大量信息中获取事件已成为关注的焦点,因此事件识别也就越来越重要。传统对于事件抽取采用字典和机器学习方法,字典包含触发词数量有限,机器学习需要大量语料和众多特征。针对传统方法的不足,提出了基于词向量和依存分析的方法。该方法利用word2vec模型找到触发词的大量同义词来进行对触发词的扩展,利用依存分析可以发现词与词间的依赖性从而为分类提供特征。最后通过实验进行验证,实验结果表明,该方法是可行的,并且在事件识别和事件要素抽取方面取得了较好结果。     

基于正负加权的中文事件识别研究

事件识别是事件抽取的子内容,其主要任务是找出文本中的事件触发词。针对现有的事件识别方法对单一特征的利用还不够充分的问题,通过构建包含正负特征的触发词表,提出一种基于正负加权的事件识别方法。定义一种关联词特征,该特征对事件识别有较好的效果;根据单一特征所属的词是否为触发词将特征分为正特征或负特征,并将正负特征结合起来进行触发词识别,提升单一特征在事件识别时的作用。在此基础上,将正负关联词特征、正负词性特征以及正负依存关系特征结合起来进行触发词识别,进一步提升事件识别效果。实验结果表明,基于正负加权的事件识别方法得到了比较理想的效果。     

基于核心词和实体推理的事件关系识别方法

事件关系识别是一项面向文本信息流进行事件关系判定的自然语言处理技术。事件关系识别的核心任务是以事件为基本语义单元,通过分析事件的篇章结构信息及语义特征,实现事件逻辑关系的浅层检测(即判定任意事件之间是否存在逻辑相关性)。该文通过利用同一话题下事件的核心词及实体的分布特性,针对同一话题下事件关系识别任务,提出一种基于核心词和实体推理的事件关系识别方法。实验结果显示,该文方法明显优于基于事件语义依存线索的事件关系识别方法,F值获得了15.34%的提升。     

基于SAO结构的非分类关系抽取研究

针对非分类关系抽取中的关系识别问题,提出利用SAO结构和依存句法分析相结合的识别方法。该方法将中文专利领域的非分类关系抽取问题转化为符合SAO结构的识别问题,通过SAO结构中的动词信息可以解决关系识别的问题,并在此基础上,利用依存句法分析得到的依存关系强度结合传统的特征,分别对新特征、词特征、上下文特征、距离特征的有效性进行验证分析。实验结果表明,该方法优于传统方法,也验证了依存句法分析在非分类关系抽取中的可行性。     

音乐领域典型事件抽取方法研究

事件抽取是信息抽取领域一个重要的研究方向。该文从音乐领域的事件抽取出发,通过领域事件词聚类的方法自动发现音乐领域具有代表性的事件,然后采用基于关键词与触发词相结合的过滤方法简化了事件类型的识别过程。在事件元素识别中,该文采用了基于最大熵的事件元素识别方法。在该文构建的语料库下,最终事件类型识别的平均F值达到82.82%,事件元素识别的平均F值达到75.79%。     

基于双向LSTM和两阶段方法的触发词识别

生物事件抽取是生物文本挖掘领域的一个重要分支,而触发词识别作为事件抽取的重要子过程,已经吸引了众多的关注。现有的触发词识别方法多为浅层的一阶段方法,训练代价较大,且需要丰富的领域知识抽取大量特征,人工成本较高。因此,该文提出了一种基于两阶段和双向LSTM神经网络的触发词识别方法。首先,将触发词识别分为识别和分类两个阶段,有效地缓解了训练过程中存在的类不平衡问题;其次,在两个阶段中均采用目前性能较好的双向LSTM神经网络来完成二分类任务和多分类任务,避免了浅层机器学习方法抽取人工特征时的代价。此外,利用PubMed数据库下载大规模语料训练带有依存关系的词向量,获得了更加丰富的语义信息,从而有效地提高了触发词的识别性能。该文方法在生物事件抽取通用语料MLEE上已获得目前最好抽取性能,F值为78.46%。     

基于混合模型的事件触发词抽取

事件结构性语法特征与事件语义特征各有优势,二者融合利于准确表征事件触发词,进而有利于完成事件触发词抽取任务。现有的基于特征、基于结构及基于神经网络模型等的抽取方法仅能捕捉事件的部分特征,不能够准确表征事件触发词。为解决上述问题,提出一种融合了事件结构性语法特征和事件语义特征的混合模型,完成事件触发词抽取任务。首先,在初始化向量模型中融入句子的依存句法信息,使初始向量中包含事件结构性语法特征;然后,将初始向量依次传入神经网络模型中的CNN和BiGRU-E-attention模型中,在捕获多维度事件语义特征的同时,完成事件结构性语法特征与事件语义特征的融合;最后,进行事件触发词的抽取。在CEC中文突发语料库上进行事件触发词位置识别和分类实验,该模型的F值较基准模型的分别提高了0.86%和4.07%;在ACE2005英文语料库上,该模型的F值较基准模型的分别提高了1.4%和1.5%。实验结果表明,混合模型在事件触发词抽取任务中取得了优异的效果。     

基于门控图卷积与动态依存池化的事件论元抽取

事件论元抽取是事件抽取任务中一个极具挑战性的子任务.该任务旨在抽取事件中的论元及论元扮演的角色.研究发现,句子的语义特征和依存句法特征对事件论元抽取都有着非常重要的作用,现有的方法往往未考虑如何将两种特征有效地融合起来.因此,提出一种基于门控图卷积与动态依存池化的事件论元抽取模型.该方法使用BERT抽取出句子的语义特征;然后通过依存句法树设计两个相同的图卷积网络,抽取句子的依存句法特征,其中一个图卷积的输出会通过激活函数作为门控单元;接着,语义特征和依存句法特征通过门控单元后相加融合.此外,还设计了一个动态依存池化层对融合后的特征进行池化.在ACE2005数据集上的实验结果表明,该模型可以有效地提升事件论元抽取效果.     

基于CRFs和跨事件的事件识别研究

事件检测与类型识别是事件抽取的基础,具体实施分为触发词检测和事件类型识别2个阶段。分别对2个阶段进行研究,在前一阶段,针对词形特征过拟和问题,提出利用LDA模型对词语聚类的方法,考虑到中文自动分词与标注的触发词边界的不一致性,提出基于CRFs模型的触发词识别方法。在后一阶段,为提高事件类型识别的效果,将跨事件理论应用于中文事件类型识别。实验结果表明,该方法能提高系统性能,F值分别提高到66.3和62.0。     

基于语义和句法依存特征的评论对象抽取研究

评论对象抽取是情感分析的重要研究内容。基于语义词典,从评论对象的类别视角出发,运用语义相似度和相关度计算方法,该文提出用于评价对象抽取的七种新的语义特征。评价对象和评价词之间通常存在句法依存关系,并且评价词往往带有情感倾向,将句法依存分析和评价词识别结合,提出句法情感依存特征抽取方法,忽略无情感词和微情感词的句法依存关系,提高评价对象抽取的准确率。使用条件随机场模型,在SEMEVAL比赛的三个领域数据集上进行实验,新的语义特征和句法情感依存特征组合的F₁分数比SEMEVAL比赛限制性系统最好成绩平均高3.78％,比非限制性系统最好成绩平均高2％,证明了所提特征的有效性。     

一种基于事件本体的文本事件要素提取方法

在事件信息的抽取中,事件要素的提取是一个难点。现有的事件要素抽取主要是基于机器学习的方法,这类方法容易受到语料稀疏性的影响。该文提出一种基于事件本体的事件要素提取方法,该方法将事件要素推理分为两步: 一、通过事件要素词和事件指示词的位置关系来初步填充要素值,并将得出的置信度较高的事件作为种子事件;二、利用第一步得出的种子事件,查询事件本体中的事件类约束和基于事件非分类关系的推理规则,并对要素进行推理,进一步对事件要素进行填充和修正。实验结果表明,该方法能较好地提升事件要素提取的准确度。     

EFFECTIVE BIO‐EVENT EXTRACTION USING TRIGGER WORDS AND SYNTACTIC DEPENDENCIES

The scientific literature is the main source for comprehensive, up‐to‐date biological knowledge. Automatic extraction of this knowledge facilitates core biological tasks, such as database curation and knowledge discovery. We present here a linguistically inspired, rule‐based and syntax‐driven methodology for biological event extraction. We rely on a dictionary of trigger words to detect and characterize event expressions and syntactic dependency based heuristics to extract their event arguments. We refine and extend our prior work to recognize speculated and negated events. We show that heuristics based on syntactic dependencies, used to identify event arguments, extend naturally to also identify speculation and negation scope. In the BioNLP’09 Shared Task on Event Extraction, our system placed third in the Core Event Extraction Task (F‐score of 0.4462), and first in the Speculation and Negation Task (F‐score of 0.4252). Of particular interest is the extraction of complex regulatory events, where it scored second place. Our system significantly outperformed other participating systems in detecting speculation and negation. These results demonstrate the utility of a syntax‐driven approach. In this article, we also report on our more recent work on supervised learning of event trigger expressions and discuss event annotation issues, based on our corpus analysis.     

基于BERT-CRF模型的中文事件检测方法研究

事件抽取是自然语言处理中信息抽取的关键任务之一。事件检测是事件抽取的第一步,事件检测的目标是识别事件中的触发词并为其分类。现有的中文事件检测存在由于分词造成的误差传递,导致触发词提取不准确。将中文事件检测看作序列标注任务,提出一种基于预训练模型与条件随机场相结合的事件检测模型,采用BIO标注方法对数据进行标注,将训练数据通过预训练模型BERT得到基于远距离的动态字向量的触发词特征,通过条件随机场CRF对触发词进行分类。在ACE2005中文数据集上的实验表明,提出的中文事件检测模型与现有模型相比,准确率、召回率与F1值都有提升。     

基于特征加权的事件要素识别

事件抽取是自动内容抽取(Automatic Content Extraction,ACE)会议评测的任务之一,事件要素识别是事件抽取的一个子任务。分析了事件抽取和事件要素识别的研究现状,提出了一种基于特征加权的事件要素识别算法(Feature Weighting Based Event Argument Identification,FWEAI)。该算法首先对分类算法中的ReliefF特征选择算法进行改进,将其应用于聚类算法中。改进的ReliefF算法(FWA)根据各个特征对聚类的不同贡献分配不同的权值,然后采用KMeans算法对事件要素进行聚类。实验结果表明,FWEAI算法可以提高事件要素识别的准确率。     

中文事件抽取技术研究

事件抽取是信息抽取领域一个重要的研究方向,本文对事件抽取的两项关键技术——事件类别识别以及事件元素识别进行了深入研究。在事件类别识别阶段,本文采用了一种基于触发词扩展和二元分类相结合的方法;在事件元素识别阶段,本文采用了基于最大熵的多元分类的方法。这些方法很好的解决了事件抽取中训练实例正反例不平衡以及数据稀疏问题,取得了较好的系统性能。     

Transferring Deep Object and Scene Representations for Event Recognition in Still Images

This paper addresses the problem of image-based event recognition by transferring deep representations learned from object and scene datasets. First we empirically investigate the correlation of the concepts of object, scene, and event, thus motivating our representation transfer methods. Based on this empirical study, we propose an iterative selection method to identify a subset of object and scene classes deemed most relevant for representation transfer. Afterwards, we develop three transfer techniques: (1) initialization-based transfer, (2) knowledge-based transfer, and (3) data-based transfer. These newly designed transfer techniques exploit multitask learning frameworks to incorporate extra knowledge from other networks or additional datasets into the fine-tuning procedure of event CNNs. These multitask learning frameworks turn out to be effective in reducing the effect of over-fitting and improving the generalization ability of the learned CNNs. We perform experiments on four event recognition benchmarks: the ChaLearn LAP Cultural Event Recognition dataset, the Web Image Dataset for Event Recognition, the UIUC Sports Event dataset, and the Photo Event Collection dataset. The experimental results show that our proposed algorithm successfully transfers object and scene representations towards the event dataset and achieves the current state-of-the-art performance on all considered datasets.     

基于GLSTM和Attention的中文事件要素提取

事件信息抽取是信息抽取任务中的一种,旨在识别并提出一个事件的触发词和元素。由于容易受到数据稀疏的影响,事件要素的抽取是中文事件抽取任务中的一个难点,研究的重点在于特征工程的构建。中文语法相较英文要复杂许多,所以捕获英文文本特征的方法在中文任务中效果并不明显,而目前常用的神经网络模型仅考虑了上下文信息,不能兼顾词法和句法特征。因此针对中文的词法和句法特点,构建一种结合分组长短期记忆网络（grouped long-short term memory,GLSTM）和Attention的中文事件要素抽取方法AGCEE（attention and GLSTM based Chinese event extraction）,通过Attention机制融合词特征和句子特征,采用GLSTM捕获句子的上下文信息,并通过条件随机场（conditional random fields,CRF）进行事件信息抽取,最后在公开数据集上进行实验以验证模型的有效性。     

基于BERT的多层标签指针网络事件抽取模型——2020语言与智能技术竞赛事件抽取任务系统报告

事件抽取(event extraction, EE)是指从自然语言文本中抽取事件并识别事件类型和事件元素的技术,是智能风控、智能投研、舆情监测等人工智能应用的重要技术基础。该文提出一种端到端的多标签指针网络事件抽取方法,并将事件检测任务融入到事件元素识别任务中,达到同时抽取事件元素及事件类型的目的。该方法避免了传统管道式方法存在的错误级联和任务割裂问题,同时也解决了事件抽取中存在的角色重叠和元素重叠问题。该文提出的事件抽取方法在2020语言与智能技术竞赛——事件抽取任务测试集上中取得85.9%的F₁值。     

融合触发词特征的事件抽取

事件抽取是信息抽取领域的重点研究方向.为了提升事件抽取效果,解决通用事件抽取方法无法充分利用文本特征信息的问题,提出了融合触发词特征的事件抽取方法.通过构建远程触发词库,为事件类型分类模型提供额外特征信息,增强事件触发词的发掘能力,再融合事件类型与触发词距离特征,提升事件要素抽取模型的表示学习能力,最后,将事件类型分类模型与事件要素抽取模型串联,提升事件抽取效果.在DuEE数据集上进行实验,与其他模型相比,本模型提升了准确率、召回率、F1值,证明了本模型的有效性.