基于交互式叠加注意力网络的实体属性情感分类

当上下文中单词的情感对给定属性敏感时,仅通过注意力建模无法解决情感分类性能下降的问题。提出一种基于交互式叠加注意力(Attention-Over-Attention,AOA)网络的属性级情感分类模型。模型在词向量层用BERT代替传统静态词向量表示;用LSTM分别提取属性和上下文中单词的隐藏语义;用AOA网络计算属性和上下文中每个单词的注意力权重;将权重与对应的隐藏语义状态做点积分别得到属性和上下文的最终特征表示,拼接两个特征表示用来分类。研究并分析模型中词向量和属性单独建模对情感分类结果的影响。实验表明,该模型较其他LSTM结合注意力机制的模型在准确率和F1值上都有显著提高。     

基于层次注意力机制和门机制的属性级别情感分析

近年来,作为细粒度的属性级别情感分析在商业界和学术界受到越来越多的关注,其目的在于识别一个句子中多个属性词所对应的情感极性。目前,在解决属性级别情感分析问题的绝大多数工作都集中在注意力机制的设计上,以此突出上下文和属性词中不同词对于属性级别情感分析的贡献,同时使上下文和属性词之间相互关联。该文提出使用层次注意力机制和门机制处理属性级别情感分析任务,在得到属性词的隐藏状态之后,通过注意力机制得到属性词新的表示,然后利用属性词新的表示和注意力机制进一步得到上下文新的表示,层次注意力机制的设计使得上下文和属性词的表达更加准确;同时通过门机制选择对属性词而言上下文中有用的信息,以此丰富上下文的表达,在SemEval 2014 Task 4和Twitter数据集上的实验结果表明了该文提出模型的有效性。     

基于词级交互注意力机制的方面级情感分类模型

方面级情感分类旨在判断句子中每个具体方面的情感极性.传统的注意力机制模型可能会给句子中重要情感词分配过低的注意力权重,而且很少考虑上下文与方面词的交互信息.针对第1个问题,本文改进了传统的输入方式,以方面词为界限,将句子划分成包含方面词的上文、方面词和包含方面词的下文3部分作为输入,分别提取上文或下文中的重要情感特征.针对第2个问题,本文提出了词级交互注意力机制,分别学习上文与方面词、下文与方面词的词级交互,得到特定于方面的上文表示和下文表示向量,最后将它们拼接得到特定于方面的上下文表示向量,作为方面级情感分类特征.通过在3个标准数据集上的实验证明,本文的模型性能优于基线模型.     

基于BiGRU和注意力交互模型的方面级情感分析

针对传统神经网络模型无法有效识别文本中特定方面情感倾向,以及不同词语对句子的情感极性贡献不同等问题,文章提出了基于BiGRU的注意力交互模型(BiGRU-IAT).该文使用Bert预训练模型分别对句子和方面词编码,充分考虑词语在上下文中的关联性,可以有效解决词语多义性问题.双向GRU网络提取文本语义信息得到隐藏层向量表示,接下来利用注意力机制捕捉句子和方面词之间的交互信息,为词语分配相应的权重分数.在SemEval 2014数据集上的实验结果表明,BiGRU-IAT模型在准确率和F1值上优于传统神经网络模型.     

融合匹配长短时记忆网络和语法距离的方面级情感分析模型

针对现阶段方面级情感分析（ABSA）存在的方面词与不相关上下文错误匹配以及缺乏语法层面特征的问题,提出一种融合匹配长短时记忆网络（mLSTM）和语法距离的ABSA模型mLSTM-GCN。首先,逐词计算方面词与上下文的关联性,并将得到的注意力权重与上下文表示融合作为mLSTM的输入,从而得到与方面词关联度更高的上下文表示;然后,引入语法距离以获得与方面词语法关联度更高的上下文,从而获取更多的上下文特征来指导方面词的建模,并通过方面掩盖层得到方面表示;最后,结合位置权重、上下文表示以及方面表示来进行信息交互,从而获取用于情感分析的特征。在Twitter、REST14和LAP14数据集上的实验结果表明,相较于特定方面的图卷积网络（ASGCN）,mLSTM-GCN的准确率分别提升1.32、2.50和1.63个百分点,宏平均F1分别提升2.52、2.19和1.64个百分点。可见,mLSTM-GCN能够有效降低方面词与不相关上下文错误匹配的概率,提升分类效果。     

基于动态词向量和注意力机制的文本情感分类

针对Word2vec等静态词向量模型对于每个词只有唯一的词向量表示,无法学习在不同上下文中的词汇多义性问题,提出一种基于动态词向量和注意力机制的文本情感分类方法.在大型语料库上利用深度双向语言模型预训练通用词向量;在情感分类任务的训练语料上对向量模型进行微调,得到最终的上下文相关的动态词向量作为输入特征;搭建双向长短期记忆网络模型,并引入注意力机制以提高特征提取的准确性.实验结果表明,该方法在IMDB和Yelp13数据集上的分类准确率分别提高了0.017和0.011.     

基于图卷积网络的特定方面情感分析

方面级情感分析是细粒度情感分析的一个基本子任务,旨在预测文本中给定方面或实体的情感极性。语义信息、句法信息及其交互信息对于方面级情感分析是极其重要的。该文提出一种基于图卷积和注意力的网络模型(CA-GCN)。该模型主要分为两部分,一是将卷积神经网络结合双向LSTM获取的丰富特征表示与图卷积神经网络掩码得到的方面特征表示进行融合;二是采用两个多头交互注意力融合方面、上下文和经图卷积神经网络得到的特征信息,而后接入多头自注意力来学习信息交互后句子内部的词依赖关系。与ASGCN模型相比,该模型在三个基准数据集(Twitter、Lap14和Rest14)上准确率分别提升1.06%、1.62%和0.95%,F₁值分别提升1.07%、2.60%和1.98%。     

ABAFN：面向多模态的方面级情感分析模型

随着互联网的不断发展,面向电商产品的用户评论日益增加。研究这些用户评论的情感导向,对于指导产品的更新迭代具有重要意义。以往的方面级情感分析任务通常只涉及文本模态,然而用户的评论数据一般不仅包括纯文本,还包括大量的图文数据。针对这种包括文本和图片的多模态数据,提出了一种新的方面级多模态情感分析模型ABAFN（aspect-based attention and fusion network）。模型结合预训练语言模型BERT和双向长短时记忆网络来获得文本和方面词的上下文表示,同时利用预训练残差网络ResNet提取图片特征生成视觉表示;利用注意力机制基于方面词对上下文表示和视觉表示进行加权;将两个模态加权后的表示级联融合执行情感标签分类任务。在Multi-ZOL数据集上的实验表明,ABAFN模型的性能超过了目前已知文献的结果。     

面向上下文注意力联合学习网络的方面级情感分类模型

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.     

基于情感知识的双通道图卷积网络的方面级情感分析

方面级情感分析是一项细粒度情感分析任务,其目标是对句子中给定的方面词进行情感极性分类。当前的情感分类模型大多在依存句法树上构建图神经网络,从依存句法树上学习方面词与上下文之间的信息,缺乏对句子中情感知识的挖掘。针对这个问题,文中提出了一种基于情感知识的双通道图卷积网络的情感分类模型(Dual-channel Graph Convolutional Network with Sentiment Knowledge, SKDGCN)。该模型由情感增强的依存图卷积网络(Sentiment-enhanced Dependency Graph Convolutional Network, SDGCN)和注意力图卷积网络(Attention Graph Convolutional Network, AGCN)组成,两个图卷积网络分别学习方面词与上下文词的句法依赖关系和语义关系。具体地,SDGCN在句法依存树上融合SenticNet中的情感知识以增强句子的依赖关系,使得模型既考虑了上下文词与方面词的句法关系,也考虑了上下文中意见词与方面词的情感信息;AGCN使用注意力机制学习方面词与句子中上下文的语...     

面向方面级情感分类的多层注意网络

特定于某一方面的情感分类是情感分析领域中的一项细粒度任务。深层的神经网络可以更好地提取上下文特征与方面特征,同时利用Attention机制可以根据上下文特征和方面特征不同的重要性赋予相应的权重值。模型着重从提取上下文与方面特征和更好地融合上下文与方面向量入手,提出了一种混合提取与多层注意的深度神经网络。基于Bi-LSTM和CNN在提取特征方面都有显著的成效,引入两种网络的合并模型。最后,在经典的Laptop,Resteraunt和Twitter数据集上进行了验证,展示了比基准模型更好地分类效果。     

基于BiGCN和IAM的方面级情感分类模型

目前基于神经网络的方面级情感分类模型很少会考虑上下文单词与方面词之间的句法依存关系,可能会错误地将与方面词语法无关的上下文单词作为方面词的情感特征;另一方面大多数方法也忽略了上下文与方面词之间的交互信息。针对这两个问题,提出了基于双向图卷积网络（BiGCN）和交互注意力机制（IAM）的方面级情感分类模型（BiGCN-IAM）,该模型在句法依存树上使用双向图卷积网络提取上下文单词和方面词之间的句法依存关系,然后使用掩码层得到特定的方面词表示;最后使用交互注意力机制学习上下文与方面词之间的交互信息,同时提取了上下文中的重要情感特征和方面词中对分类有贡献的特征。通过在五个公开数据集上的实验证明,该模型效果优于基线模型。     

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注，以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题，提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型（LWAOA-LSTM）。首先，为词向量加入位置权重信息；然后，使用长短期记忆（LSTM）网络同时对方面和句子进行建模以生成方面表示和句子表示，同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注，并自动关注句子中的重要部分；最后，在景点、餐饮、住宿不同主题数据集上进行实验，验证了该模型对方面情感分析的准确性。实验结果表明，所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%，取得了比传统LSTM网络模型更好的效果。     

融合多层注意力的方面级情感分析模型

方面情感分析旨在分析给定文本中特定方面的情感极性。针对目前的研究方法存在对方面情感注意力引入不足问题,提出了一种融合BERT和多层注意力的方面级情感分类模型（BERT and Multi-Layer Attention,BMLA）。模型首先提取BERT内部多层方面情感注意力信息,将编码后的方面信息与BERT隐藏层表征向量融合设计了多层方面注意力,然后将多层方面注意力与编码输出文本进行级联,进而增强了句子与方面词之间的长依赖关系。在SemEval2014 Task4和AI Challenger 2018数据集上的实验表明,强化目标方面权重并在上下文进行交互对方面情感分类是有效的。     

融合多特征的分段卷积神经网络对象级情感分类方法

对象级情感分类旨在判断句子中特定对象的情感极性类别.在现有基于卷积神经网络的研究中,常在模型的池化层采用最大池化操作提取文本特征作为句子表示,该操作未考虑由对象所划分的上下文,因此无法得到更细粒度的对象上下文特征.针对该问题,该文提出一种融合多特征的分段卷积神经网络(multi-feature piecewise co...     

利用位置增强注意力机制的属性级情感分类

属性级情感分类旨在准确识别评论中属性的情感极性。现有的基于长短时记忆网络(LSTM)的方法大多只利用了属性和上下文的语义信息,而忽视了属性与上下文相对位置信息。针对此问题,提出一种利用相对位置信息来增强注意力的LSTM网络模型,解决属性级情感分类问题。首先,对上下文的输入层加入位置向量,利用两个LSTM网络对上下文和属性分别进行独立语义编码;然后,对上下文的隐藏层再次拼接位置向量,并利用属性隐藏层向量参与上下文不同词注意力权重的计算;最后,利用上下文生成的有效表示进行情感分类。该模型在SemEval 2014 Task4 Restaurant和Laptop两个不同领域数据集上进行了实验,在三分类实验中,准确率分别达到79.7%和72.1%。在二分类实验中,准确率分别达到92.1%和88.3%。相比多个基线模型,在准确率上都有一定的提升。     

面向方面级情感分类的特征融合学习网络

在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器得到输入的向量表示后,使用注意力编码器进行上下文和方面词的建模,获取隐藏状态,提取语义信息.然后,基于隐藏状态特征,采用方面转换组件生成方面级特定的文本向量表示,将方面信息融入上下文表示中.最后,对于方面级特定的文本向量通过文本位置加权模块提取局部特征后,与全局特征进行融合学习,得到最终的表示特征,并进行情感分类.在英文数据集和中文评论数据集上的实验表明,文中网络提升分类效果.     

基于注意力网络的属性级别情感分析

传统的属性级别情感分析方法缺乏对属性实体与前后文之间交互关系的研究,导致情感分类结果的正确率不高。为了有效提取文本特征,提出了一种利用多头注意力机制学习属性实体与前后文之间关系的属性级别情感分析模型（intra&inter multi-head attention network, IIMAN）,从而提高情感极性判断结果。该模型首先利用BERT预训练完成输入语句的词向量化;通过注意力网络中的内部多头注意力与联合多头注意力学习属性实体与前后文以及前后文内部间的关系;最后通过逐点卷积变换层、面向属性实体的注意力层和输出层完成情感极性分类。通过在三个公开的属性级别情感分析数据集Twitter、laptop、restaurant上的实验证明,IIMAN相较于其他基线模型,正确率和F₁值有了进一步的提升,能够有效提高情感极性分类结果。