融合深度BiGRU与全局图卷积的方面级情感分析模型

现有基于深度学习的方面级情感分析模型需要考虑如何提取深层次的语义信息,其次通过依存树提取句法结构时可能存在信息丢失与数据稀疏问题.针对以上问题,本文提出了基于深度双向门控循环单元与全局双向图卷积网络的神经网络模型(DBG-GBGCN).该模型通过深度双向门控循环单元捕获深层次的语义特征,得到上下文的隐层表示.然后将依存树的邻接矩阵转变为带有全局句法信息的全局矩阵,将此矩阵与上下文的隐层表示一起输入至双向图卷积网络进行特征融合,最后经过掩码层和注意力层得到一个包含深层语义特征与句法结构信息结合的分类特征.实验结果证明,该模型在5个公开数据集上的准确率与F1值均比对比模型有着一定的提升.     

基于门控图卷积与动态依存池化的事件论元抽取

事件论元抽取是事件抽取任务中一个极具挑战性的子任务.该任务旨在抽取事件中的论元及论元扮演的角色.研究发现,句子的语义特征和依存句法特征对事件论元抽取都有着非常重要的作用,现有的方法往往未考虑如何将两种特征有效地融合起来.因此,提出一种基于门控图卷积与动态依存池化的事件论元抽取模型.该方法使用BERT抽取出句子的语义特征;然后通过依存句法树设计两个相同的图卷积网络,抽取句子的依存句法特征,其中一个图卷积的输出会通过激活函数作为门控单元;接着,语义特征和依存句法特征通过门控单元后相加融合.此外,还设计了一个动态依存池化层对融合后的特征进行池化.在ACE2005数据集上的实验结果表明,该模型可以有效地提升事件论元抽取效果.     

基于句法和全文信息增强的中文事件检测方法

针对目前中文事件检测中词语之间句法依存关系利用不充分和缺乏文章全局语义信息的问题,提出了一种基于句法和全文信息增强的中文事件检测模型。模型首先引入图卷积网络 （Graph convolutional network, GCN）,通过捕获词语之间的依存句法关系来增强词语的特征表示。之后采用双向门控循环单元（Bidirectional gate recurrent unit, Bi-GRU）分别学习句子内和句子之间的上下文信息,得到包含文章全局信息的句向量。最后将字、词、句3个粒度的信息通过门结构进行动态融合,使用条件随机场（Conditional random field, CRF）完成对句子中触发词的识别和标注。在ACE2005和CEC中文数据集上的实验结果表明,本文方法有效提升了中文事件检测的效果。     

基于自注意力门控图卷积网络的特定目标情感分析

基于特定目标的情感分析旨在预测句子中不同方面表达的不同情感倾向。针对之前利用循环神经网络（RNN）结合注意力机制的网络模型所带来的训练参数多且缺少对相关句法约束和长距离词依赖机制解释的问题,提出自注意力门控图卷积网络MSAGCN。首先,模型采用多头自注意力机制编码上下文词和目标,捕获句子内部的语义关联;然后,采用在句子的依存树上建立图卷积网络的方法获取句法信息以及词的依存关系;最后,通过带有目标嵌入的门控单元（GTRU）获取特定目标的情感。与基线模型相比,所提模型的准确率和调和平均值F1分别提高了1%~3.3%和1.4%~6.3%;同时,预训练的BERT模型也被应用到当前任务中,使模型效果获得了新的提升。实验结果表明所提出的模型能更好掌握用户评论的情感倾向。     

面向方面抽取与情感分类的多任务联合建模

基于方面的细粒度情感分析包括方面术语抽取和方面情感分类两项任务,以独立方式解决以上两项任务的研究方法无法利用彼此之间的关联信息,同时也会造成训练冗余和资源浪费。针对上述问题,在多任务学习框架下提出一种基于位置嵌入和图卷积网络的联合模型（PE-GCN）,以端到端方式整体解决方面术语抽取和方面情感分类。该模型首先通过双向门控循环单元网络学习句子的语义特征表示;随后利用位置嵌入增强句子中方面术语的识别,同时使用图卷积网络生成包含句法信息的上下文表示;最后通过交互注意力网络建模上下文和方面术语之间的语义关系,并通过softmax输出方面术语的情感极性。在SemEval-2014公开数据集上的实验结果表明,提出的模型与其他现有模型相比性能有显著的提升。     

用于方面情感分析的结合图卷积神经网络的注意力模型

特定方面情感分析旨在自动识别同一句子中不同方面的情感极性。在现有方法中,结合注意力机制的循环神经网络模型在特定方面情感分析任务中取得了较好的效果,但是大多都忽略了句子的句法特征。因此,该文提出一种结合图卷积神经网络的注意力网络(GCN-aware Attention Networks, GCAN)模型。首先通过长短时记忆网络获取句子的序列信息,并利用图卷积神经网络来捕获语义特征,然后提出两种特征融合方式,得到基于序列信息和语义特征的特定方面表示。在此基础上,引入双向注意力机制处理特定方面包含多个单词的情况,进而获得更精准的基于特定方面的上下文表示。与ASGCN模型相比,该方法在Twitter数据集和SemEval14/15数据集上的分类准确率分别提升了0.34%、0.94%、1.43%和1.23%,F₁值分别提升了0.53%、1.55%、1.60%和2.54%,验证了GCAN的有效性。     

基于情感增强与双图卷积网络的方面级情感分析

方面级情感分析旨在检测给定方面句子的情感极性。现有研究大多在句法依存树上构造图卷积网络,以获取方面词与上下文之间的句法信息。然而这类方法存在提取信息不够丰富、缺乏对句子中情感信息的挖掘等问题。针对上述问题,提出基于情感增强与双图卷积网络的方面级情感分析模型。该模型由双通道图卷积网络组成,旨在挖掘句子中的情感信息、句法信息和语义信息。利用位置信息和情感知识在依存树上构造情感增强依存图,并以此构建情感增强图卷积网络,增强方面词与上下文之间的情感依赖关系,同时挖掘句子中丰富的句法信息特征。构建基于多头注意力机制的图卷积网络,获取句子中的语义特征信息。对双图卷积网络的输出特征进行掩码、平均池化和拼接等操作,并通过情感分类层进行分类。实验结果表明,该模型与经典的图卷积网络模型(ASGCN)相比,在Restaurant、Laptop和Twitter数据集上的准确率和F1值分别提升3.43和5.69、3.13和3.92、3.57和4.02个百分点,具有较好的情感分类性能。     

基于图卷积网络的特定方面情感分析

方面级情感分析是细粒度情感分析的一个基本子任务,旨在预测文本中给定方面或实体的情感极性。语义信息、句法信息及其交互信息对于方面级情感分析是极其重要的。该文提出一种基于图卷积和注意力的网络模型(CA-GCN)。该模型主要分为两部分,一是将卷积神经网络结合双向LSTM获取的丰富特征表示与图卷积神经网络掩码得到的方面特征表示进行融合;二是采用两个多头交互注意力融合方面、上下文和经图卷积神经网络得到的特征信息,而后接入多头自注意力来学习信息交互后句子内部的词依赖关系。与ASGCN模型相比,该模型在三个基准数据集(Twitter、Lap14和Rest14)上准确率分别提升1.06%、1.62%和0.95%,F₁值分别提升1.07%、2.60%和1.98%。     

基于注意力和字嵌入的中文医疗问答匹配方法

针对当前的分词工具在中文医疗领域无法有效切分出所有医学术语,且特征工程需消耗大量人力成本的问题,提出了一种基于注意力机制和字嵌入的多尺度卷积神经网络建模方法。该方法使用字嵌入结合多尺度卷积神经网络用以提取问题句子和答案句子不同尺度的上下文信息,并引入注意力机制来强调问题和答案句子之间的相互影响,该方法能有效学习问题句子和正确答案句子之间的语义关系。由于中文医疗领域问答匹配任务没有标准的评测数据集,因此使用公开可用的中文医疗问答数据集（cMedQA）进行评测,实验结果表明该方法优于词匹配、字匹配和双向长短时记忆神经网络（BiLSTM）建模方法,并且Top-1准确率为65.43%。     

基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

基于知识图谱与关键词注意机制的中文医疗问答匹配方法

针对当前中文医疗领域高质量问答数据缺乏的问题,提出基于知识图谱与关键词注意机制的中文医疗问答匹配方法.首先,引入医学知识图谱,得到知识增强的句子特征.然后,加入关键词注意力机制,强调问题和答案句子之间的相互影响.在2个公开的中文医疗问答数据集cMedQA与webMedQA上的实验表明,当样本数据量较小时,文中方法的优势明显.消融实验也验证每个新增模块对文中方法的性能均有一定程度的提升.     

Co-attention fusion based deep neural network for Chinese medical answer selection

Chinese selection is one of the most important subtasks in Chinese medical question-answer system. To obtain the representations of question and answer, an attractive method is to use the attentive pooling based deep neural network. However, this method suffers from the over-pooling problem. It generates attentive information by only using the related medical keywords, and neglects the local semantic information of sentences. In this paper, a novel co-attention fusion based deep neural network method is proposed. Our method solves the over-pooling problem by fusing local semantic information with attentive information. Because of the usage of the fusion mechanism, the proposed method tends to obtain more useful information for pooling and produce better representations for question and answer. For comparison, we create a new Chinese medical answer selection dataset in the epilepsy theme (i.e., cEpilepsyQA), and our method performs much better than the state-of-the-art methods. Also, the proposed method gets competitive results on the public Chinese medical answer selection datasets: cMedQA v1.0 and v2.0.

     

基于Transformer和双重注意力融合的分层交互答案选择模型

答案选择是问答系统中的关键组成部分,提升其准确性是问答系统研究的重要内容之一。近年来深度学习技术广泛应用于答案选择,获得了良好效果,但仍旧有一定的局限性。其中模型对问题语义信息利用度低、缺乏局部语义重视、句子间交互感知能力差等问题尤为突出。针对上述问题提出了一种基于Transformer和双重注意力融合的答案选择模型NHITAS（new hierarchical interactive Transformer for answer selection）。首先,在信息预处理部分提取问题类别和关键词对答案进行初步筛选,并引入外部知识作为句子额外语义补充;其次,采用分层交互的Transformer对句子进行语义上下文建模,提出了UP-Transformer（untied position-Transformer）和DA-Transformer（decay self-attention-Transformer）两种结构学习语义特征;最后,通过双重注意力融合过滤句子噪声,增强问题和答案之间的语义交互。在WikiQA和TrecQA数据集上对NHITAS的性能进行测试,实验结果表明所提模型对比其他模型,能够有效提升答案选择任务的效果。     

基于图卷积网络融合依存信息的事件检测方法

句子级别细粒度的事件检测任务旨在对触发词进行识别与分类。针对现有事件检测方法中存在的过度平滑及缺乏依存类型信息的问题,提出了一种基于图卷积网络融合依存信息的事件检测方法。该模型首先使用双向长短期记忆网络对句子进行编码,同时根据依存分析构建多阶句法图和依存句法图;然后利用图卷积网络融合句子的依存信息,从而有效地利用多跳信息和依存标签信息。在自动文本抽取数据集上进行实验,在触发词识别和分类这两个子任务中分别取得了81.7%和78.6%的F1值。结果显示,提出的方法能更加有效地捕获句子中的事件信息,提升了事件检测的效果。     

基于多路语义图网络的图像自动问答

基于视觉特征与文本特征融合的图像问答已经成为自动问答的热点研究问题之一。现有的大部分模型都是通过注意力机制来挖掘图像和问题语句之间的关联关系,忽略了图像区域和问题词在同一模态之中以及不同视角的关联关系。针对该问题,提出一种基于多路语义图网络的图像自动问答模型（MSGN）,从多个角度挖掘图像和问题之间的语义关联。MSGN利用图神经网络模型挖掘图像区域和问题词细粒度的模态内模态间的关联关系,进而提高答案预测的准确性。模型在公开的图像问答数据集上的实验结果表明,从多个角度挖掘图像和问题之间的语义关联可提高图像问题答案预测的性能。     

基于神经网络的复句判定及其关系识别研究

复句是自然语言的基本单位之一,复句的判定及其语义关系的识别,对于句法解析、篇章理解等都有着非常重要的作用。基于神经网络模型识别自然语料中的复句,判断其复句关系,构造复句判定和复句关系识别联合模型,以最大程度地减少误差传递。在复句判定任务中通过Bi-LSTM获得上下文语义信息,采用注意力机制捕获句内跨距离搭配信息,利用CNN捕获句子局部信息。在复句关系识别任务中,使用Bert增强句子的语义表示,运用Tree-LSTM对句法结构和成分标记进行建模。在CAMR中文语料上的实验结果表明,基于注意力机制的复句判定模型F1值达到91.7%,基于Tree-LSTM的复句关系识别模型F1值达到69.15%。在联合模型中,2项任务的F1值分别达到92.15%和66.25%,说明联合学习能够使不同任务获得更多特征,从而提高模型性能。     

结合图卷积的深层神经网络用于文本分类

随着图卷积网络的发展,图卷积网络已经应用到很多任务中,其中就包含文本分类任务.通过将文本数据表示成图数据,进而在图上应用图卷积,从而捕获文本的结构信息和单词间的长距离依赖关系获得了良好的分类效果.但将文本建模成图模型后,图卷积网络面临着文本上下文语义信息和局部特征信息表示不充分的问题.提出一种新的模型,利用双向长短时记...     

基于距离与图卷积网络的方面级情感分析

目前,基于卷积神经网络和循环神经网络的方面级情感分析研究工作较少同时考虑到句子的句法结构和词语的语法距离,且卷积神经网络和循环神经网络无法有效地处理图结构的数据.针对上述问题,提出了一种基于距离与图卷积网络的方面级情感分类模型.首先,为该模型设计了一个具有残差连接的双层双向长短期记忆网络,用于提取句子的上下文信息;然后,根据句法依赖树得到词语的语法距离权重,并根据词语之间的句法关系构建邻接矩阵;最后,采用图卷积网络结合句子的上下文信息、语法距离权重和邻接矩阵提取方面的情感特征.实验结果表明,模型是有效的且可获得更好的性能.     

基于交互注意力图卷积网络的方面情感分类

基于方面的情感分类任务旨在识别句子中给定方面词的情感倾向性.以往的方法大多基于长短时记忆网络和注意力机制,这种做法在很大程度上仅依赖于建模句子中的方面词与其上下文的语义相关性,但忽略了句中的语法信息.针对这种缺陷,提出了一种交互注意力的图卷积网络,同时建模了句中单词的语义相关性和语法相关性.首先使用双向长短时记忆网络来...