基于事件共指消解的多源情报融合方法

情报数据存在多源异构、关联缺失、重复冗余等问题，有限的数据处理能力已经无法满足不断增长的数据获取能力。事件共指消解任务旨在将互为共指关系的事件识别为同一事件并进行融合处理。对融合多源情报进行研究，提出一种端到端的事件共指消解方法。从情报文本中自动抽取情报事件；编码整个情报文档得到待消解事件的表示，计算每对事件提及的共指得分，以此构建文档内事件共指链；通过算法利用文档内事件共指链融合多源情报文档中的共指事件。实验结果表明，提出方法对消除冗余信息、简化情报文本、融合情报信息具有明显增益。     

基于特征分选策略的中文共指消解方法

针对基于机器学习的中文共指消解中不同类别名词短语特征向量的使用差异,提出一种基于特征分选策略的方法。该方法在选择特征向量时对人称代词和普通名词短语分别处理,充分利用不同名词短语的已有特征进行共指消解,并减少部分无效特征在共指消解过程中产生的“噪声”。实验结果表明,该中文共指消解方法能提高共指消解的性能, 值达到80.72%。     

基于GLSTM和Attention的中文事件要素提取

事件信息抽取是信息抽取任务中的一种,旨在识别并提出一个事件的触发词和元素.由于容易受到数据稀疏的影响,事件要素的抽取是中文事件抽取任务中的一个难点,研究的重点在于特征工程的构建.中文语法相较英文要复杂许多,所以捕获英文文本特征的方法在中文任务中效果并不明显,而目前常用的神经网络模型仅考虑了上下文信息,不能兼顾词法和句法...     

基于触发词语义选择的Twitter事件共指消解研究

随着社交媒体的发展与普及,如何识别短文本中事件描述的共指关系已成为一个亟待解决的问题。在传统的事件共指消解研究中,需要从NLP工具和知识库中获得丰富的语义特征,这种方式不仅限制了领域的扩展性,而且还导致了误差传播。为了打破上述局限,提出了一种新颖的基于事件触发词来选择性表达句子语义的方法,以判断短文本中事件的共指关系。首先,利用双向长短记忆模型(Bi-LSTM)提取短文本的句子级语义特征和事件描述级语义特征;其次,通过在句子级特征上应用一个基于事件触发词的选择门来选择性表达句子级语义,以产生潜在语义特征;然后,设计了触发词重叠词数和时间间隔两个辅助特征;最后,通过融合以上特征形成一个分类器来预测共指关系。为评估上述方法,基于Twitter数据标注了一个新的数据集EventCoreOnTweets(ECT)。实验结果表明,与两个基准模型相比,提出的选择性表达模型显著提升了短文本共指消解的性能。     

一种面向生文本的事件同指消解神经网络方法

事件同指消解在自然语言理解中是一项复杂的任务,它需要在理解文本信息的基础上,发现其中的同指事件。事件同指消解在信息抽取、问答系统、阅读理解等自然语言任务中均有重要作用。该文提出了一个事件同指消解框架,包括事件抽取(ENS_NN)、真实性识别(ENS_NN)和事件同指消解(AGCNN)三个部分。事件同指消解模型(AGCNN)利用注意力池化机制来捕获事件的全局特征,利用门控卷积抽取复杂语义特征,提高了事件同指消解的性能。在KBP 2015和KBP 2016数据集上的实验结果表明,该文提出的方法优于目前最优的系统。     

基于有监督关联聚类的中文共指消解

共指消解是文本信息处理中的一个重要问题.提出了一种有监督的关联聚类算法以实现对中文实体提及的共指消解.首先将共指消解过程看成图的关联聚类问题,从全局的角度实现对共指等价类的划分,而不是孤立地对每一对名词短语分别进行共指决策;然后给出了关联聚类的推导算法;最后设计了一种基于梯度下降的特征参数学习算法,使得训练出的特征参数能够较好拟合关联聚类的目标.在ACE中文语料上的实验结果显示,该算法优于传统的"分类一聚类"共指消解学习算法.     

CGGA:一种CNN与并行门控机制混合的文本分类模型

针对中文文本分类准确率低、单一的卷积神经网络模型难以提取多方面特征的问题,本文提出一种基于CNN的并行门控机制的混合文本分类模型——CGGA(Convolutional Neural Network with parallel gating unit and attention mechanism).利用卷积提取文本的局部特征,并加入双向门控循环单元对数据进行上下文数据建模,提取关系特征,同时,引入门控Tanh-ReLU单元进行进一步的特征筛选,从而控制信息向下层流动的力度,并且减轻梯度弥散,提高模型分类准确率.最后,使用多头注意力机制进行权重更新计算,以提高在相应文本类别上的输出,进而优化模型分类性能.实验结果显示,本文提出的文本分类模型和分类算法,在THUCNews数据集和搜狐数据集上,比基线模型的宏平均精确率分别提高了2.24%、6.78%.     

基于核心句的端到端事件共指消解

大多数先前的事件共指消解模型都属于成对相似度模型，通过编码两个事件提及的表示并计算相似度来判断是否共指。但是，当两个事件提及在文档内出现的位置接近时，编码其中一个事件提及的上下文表示会引入另一事件的信息，从而降低模型的性能。针对此问题，提出了一种基于核心句的端到端事件共指消解模型(End-to-end Event Coreference Resolution Based on Core Sentence, ECR-CS),该模型自动抽取事件信息并按照预先设置好的模板为每个事件提及构造核心句，利用核心句的表示代替事件提及的表示。由于核心句中只包含单个事件的信息，因此所提模型可以在编码事件表示时消除其他事件信息的干扰。此外，受到事件信息抽取工具的性能限制，构造的核心句可能会丢失事件的部分重要信息，提出利用事件在文档中的上下文表示来进行出弥补。所提模型引入了一种门控机制，将上下文嵌入向量分解为分别与核心句嵌入向量平行和正交的两个分量，平行分量可以认为是与核心句信息维度相同的信息，正交分量则是核心句中不包含的新信息。通过上下文信息和核心句信息的相关度，控制正交分量中被用来补充核心句中缺失的重要...     

基于改进BERT-BiGRU模型的文本情感分类研究

针对目前网络评论文本情感分类准确性不高的问题,提出一种基于BERT和双向门控循环单元（BiGRU）的改进模型,使用能够表征文本丰富语义特征的BERT模型进行词向量表示,结合能够长期保留文本上下文关联信息的BiGRU神经网络提高模型的分类效果,并在此基础上引入注意力机制,突出文本中更能表达分类结果的情感词权重,提高情感分类的准确率。将上述模型分别在Acllmdb＿v1和酒店评论两个公开数据集上进行测试,实验结果表明,该模型在中、英文文本情感分类任务中都获得了良好的性能。     

文本自动分类系统文本预处理方法的研究

在没有建立起完善的中文停用词表的情况下,运用程序流程控制剔除中文分词器切分出来的单个独立字、英文字符、数字和一系列数学符号以及含有这些符号的中文词,从而使得两个字以上的纯中文词成为代表文本信息的特征项。这不仅明显降低了初始文本向量的维度,而且大大提高了文本向量中的特征信息含量。     

基于神经网络的端到端的事件指代消解研究

事件作为文本信息的关键语义组件,对篇章的理解具有重要意义。由于事件具有自身包含信息丰富、表达方式多样,以及在文本中分布稀疏等特点,使得事件指代消解成为自然语言处理领域的一个难点任务。在以往的事件指代消解任务中,多借助人工提取词匹配和句法结构等信息,再基于这些抽取的特征进行消解,然而这些特征并不能有效地处理具有复杂语义的事件任务。该文提出一种端到端的神经网络模型,通过多种词表征、双向循环神经网络和注意力机制来学习上下文的语义内容,从而完成事件的指代消解任务。在KBP2015、2016数据集上进行的事件指代消解实验验证了该文给出模型的有效性。实验结果表明,该神经网络模型能很好地理解文本语义信息,捕捉关键单词,提高事件指代消解任务的性能,最终端到端的事件指代消解性能在CoNLL评测标准下达到39.9%的F1值。     

应用ResGCNN的文本情感分析

文本情感分析是自然语言处理中的一项重要任务,而循环神经网络和卷积神经网络是自然语言处理中常用的两种深度学习模型。本文提出了一种残差网络、多层双向门控递归单元和文本卷积神经网络相结合的残差图卷积神经网络,并在多个英文、中文数据集上获得了良好的分类性能。     

面向中文新闻文本分类的融合网络模型

针对神经网络文本分类模型随着层数的加深,在训练过程中发生梯度爆炸或消失以及学习到的词在文本中的语义信息不够全面的问题,该文提出了一种面向中文新闻文本分类的融合网络模型。该模型首先采用密集连接的双向门控循环神经网络学习文本的深层语义表示,然后将前一层学到的文本表示通过最大池化层降低特征词向量维度,同时保留其主要特征,并采用自注意力机制获取文本中更关键的特征信息,最后将所学习到的文本表示拼接后通过分类器对文本进行分类。实验结果表明: 所提出的融合模型在中文新闻长文本分类数据集NLPCC2014上进行实验,其精度、召回率、F₁-score指标均优于最新模型AC-BiLSTM。     

基于结构化表示的中文事件同指消解方法

事件同指消解是自然语言处理中一个具有挑战性的任务,它在事件抽取、问答系统和阅读理解中具有重要作用。针对事件的语义信息主要由触发词和论元表示这一个特点,该文将事件进行结构化表示并输入一个基于门控和注意力机制的模型GAN-SR(gated attention network with structured representation),在文档内进行中文事件同指消解。首先,该模型采用语义角色标注和依存句法分析技术对事件句进行浅层语义分析,抽取事件句信息并表示为一个事件五元组。其次,将各种事件信息输入GRU进行编码,然后使用多头注意力机制挖掘事件句和事件对之间的重要特征。在ACE2005中文语料库上的实验表明,GAN-SR的性能优于目前性能最好的基准系统。     

面向短文本理解的省略恢复研究

省略作为一种普遍存在的语言现象,在中文文本尤其是对话、问答等短文本中频繁出现。该文从服务于短文本理解的视角出发,针对省略恢复问题提出了一种多重注意力融合的省略恢复模型。该模型融合交叉注意力机制和自注意力机制,借助门控机制将上下文信息与当前文本信息进行有效结合。在短文本问答语料上的多组实验结果表明,该文给出的模型能有效地识别并恢复短文本中的省略,从而更好地服务于短文本的理解。     

中文文本分类中的特征选择研究

有多种特征选择算法被用于文本自动分类,YimingYang教授曾针对英文文本分类中的特征选择做过深入的研究,并得出结论:IG和CHI方法效果相对较好.考虑到该结论不一定适合对中文文本的分类,对中文文本分类中的特征选择方法进行研究,采用了包含500篇新闻的中文语料库对几种特征选择算法进行测试,结果表明:在测试的特征选择算法中,χ2估计方法无需因训练集的改变而人为调节特征阀值,并且分类准确率较高.     

TFLS-BiGRU-ATT:一种简单有效的中文短文本关系抽取模型

关系抽取是信息抽取的核心任务,如何从海量的中文短文本中快速准确地抽取出重要的关系特征,成为中文短文本关系抽取任务的难点。针对这一问题,该文提出一种基于注意力机制的双向门控循环(Bidirectional Gated Recurrent Units, BiGRU)神经网络模型TFLS-BiGRU-ATT来对中文短文本中的关系特征进行抽取。首先,该模型使用所提出的文本定长选择(Text Fixed Length Selection, TFLS)策略对关系文本进行定长处理,然后利用双层BiGRU网络对定长文本进行关系特征提取,再通过所提出的注意力机制对关系特征进行权重的相应分配,最终对不同权重的特征信息进行实体间关系的抽取。基准实验的结果表明,TFLS-BiGRU-ATT模型在DuIE、COAE-2016-Task3、FinRE、SanWen四个具有不同特征的中文短文本数据集上获得的F₁值分别达到93.62%、91.38%、49.35%、62.98%,显著优于对比模型。此外,还通过消融实验和定长选择实验进一步验证TFLS-BiGRU-ATT模型能够有效地提高中文短文本关...     

融合ERNIE和注意力机制的中文关系抽取模型

关系抽取任务是要在实体识别的基础上确定无结构文本中实体对间的关系类别,即判断实体间的关系.针对目前中文关系抽取精度不足以及静态词向量无法很好地解读文本的问题,本文提出一种融合ERNIE预训练模型和注意力机制的TEXTCNN中文关系抽取模型.ERNIE词向量针对中文的特点以词组为单位做掩盖进行模型训练,实现了对中文文本更好的语义表达,再通过TEXTCNN模型对输入数据进行特征提取,融合注意力机制聚焦于影响最终结果的关键特征,从而实现特征优化提取.本文在百度发布的SKE数据集上进行实验,重点探索ERNIE模型结合注意力机制对中文文本的特征表达效果,结果表明本文模型可以更好地学习中文文本中的特征并用于关系抽取,有效提高关系抽取任务的准确率.     

结合注意力与卷积神经网络的中文摘要研究

目前深度学习已经广泛应用于英文文本摘要领域，但是在中文文本摘要领域极少使用该方法进行研究。另外，在文本摘要领域主要使用的模型是编码-解码模型，在编码时输入的是原始的文本信息，缺乏对文本高层次特征的利用，导致编码的信息不够充分，生成的摘要存在词语重复、语序混乱等问题。因此，提出一种局部注意力与卷积神经网络结合的具备高层次特征提取能力的编码-解码模型。模型通过局部注意力机制与卷积神经网络结合的方式提取文本的高层次的特征，将其作为编码器输入，此后通过基于全局注意力机制的解码器生成摘要。实验结果证明，在中文文本数据集上该模型相对于其他模型有着较好的摘要效果。     

基于事件卷积特征的新闻文本分类

以往的卷积神经网络模型在对文本建模和分类时,通常按顺序提取n-gram卷积特征,忽视了长距离依存关系中的句法结构和语义信息。提出了一种基于事件卷积特征的文本分类方法,利用事件的语义特性弥补之前模型的不足。该方法使用依存关系抽取出文本中的事件集合,通过卷积神经网络进行事件特征提取,并在此基础上进行文本分类。在对中文新闻语料的多分类实验中,该方法较传统的文本分类方法有明显的提高,较使用n-gram的卷积神经网络模型在更为稳定。实验结果说明了模型的有效性以及事件特征的优越性。