基于ELMo的混合注意力网络的方面级情感分析研究

方面级情感分析作为情感分析的一项细粒度任务,具有非常高的研究价值。方面词和对应的情感词之间的联系对于确定情感极性起着至关重要的作用。先前的研究大多仅利用一种注意力机制来关注句子和目标之间的联系,未考虑到词性中包含的情感信息。为解决这一问题,该文提出了一种基于ELMo的混合注意力网络(ELMo-based Hybrid Attention Network, EHAN)。与现有网络不同的是,模型不仅将ELMo与Transformer网络相结合来捕获文本信息的情感特征,还利用词性注意力机制对词性和单词进行交互获得方面与情感词之间的联系。在公开数据集上的实验结果表明,EHAN与基准模型相比在准确率和Macro-F₁值上都有显著提升,证明该方法可有效改善方面级情感分析的性能。     

融合左右双边注意力机制的方面级别文本情感分析

方面级别的文本情感分析旨在针对一个句子中具体的方面单词来判断其情感极性.针对方面单词可能由多个单词组成、平均化所有单词的词向量容易导致语义错误或混乱,不同的文本单词对于方面单词的情感极性判断具有不同的影响力的问题,提出一种融合左右的双边注意力机制的方面级别的文本情感分析模型.首先,设计内部注意力机制来处理方面单词,并根据方面单词和上下文单词设计了双边交互注意力机制,最后将双边交互注意力的处理结果与方面单词处理值三个部分级联起来进行分类.模型在SemEval 2014中两个数据集上进行了实验,分别实现了81.33％和74.22％的准确率,相比较于机器学习和结合注意力机制的各种模型取得了更好的效果.     

基于双通道语义差网络的方面级别情感分类

方面级别情感分类旨在分析一个句子中不同方面词的情感极性。先前的研究在文本表示上,难以产生依赖于特定方面词的上下文表示;在语义特征分析上,忽略了方面词的双侧文本在整体语义上与方面词情感极性之间具备不同关联度这一特征。针对上述问题,该文设计了一种双通道交互架构,同时提出了语义差这一概念,并据此构建了双通道语义差网络。双通道语义差网络利用双通道架构捕捉相同文本中不同方面词的上下文特征信息,并通过语义提取网络对双通道中的文本进行语义特征提取,最后利用语义差注意力增强模型对重点信息的关注。该文在SemEval2014的Laptop和Restaurant数据集以及ACL的Twitter数据集上进行了实验,分类准确率分别达到了81.35%、86.34%和78.18%,整体性能超过了所对比的基线模型。     

基于注意力网络的属性级别情感分析

传统的属性级别情感分析方法缺乏对属性实体与前后文之间交互关系的研究,导致情感分类结果的正确率不高。为了有效提取文本特征,提出了一种利用多头注意力机制学习属性实体与前后文之间关系的属性级别情感分析模型（intra&inter multi-head attention network, IIMAN）,从而提高情感极性判断结果。该模型首先利用BERT预训练完成输入语句的词向量化;通过注意力网络中的内部多头注意力与联合多头注意力学习属性实体与前后文以及前后文内部间的关系;最后通过逐点卷积变换层、面向属性实体的注意力层和输出层完成情感极性分类。通过在三个公开的属性级别情感分析数据集Twitter、laptop、restaurant上的实验证明,IIMAN相较于其他基线模型,正确率和F₁值有了进一步的提升,能够有效提高情感极性分类结果。     

面向双注意力网络的特定方面情感分析模型

特定方面情感分析已经成为自然语言处理领域的研究热点,其通过学习文本上下文的信息判别文本中特定方面的情感极性,可以更加有效地帮助人们了解用户对不同方面的情感表达.当前,将注意力机制和神经网络相结合的模型在解决特定方面情感分析任务时大多仅考虑单一层面的注意力信息,并且卷积神经网络无法获取全局结构信息、循环神经网络训练时间过长且单词间的依赖程度随着距离增加而逐渐减弱.针对上述问题,提出一种面向双注意力网络的特定方面情感分析(dual-attention networks for aspect-level sentiment analysis, DANSA)模型.首先,引入多头注意力机制,通过对输入进行多次不同的线性变换操作,获取更全面的注意力信息,同时,多头注意力机制可以实现并行化计算,保证了DANSA的训练速度.其次,DANSA引入自注意力机制,通过计算输入中每个单词与其他所有单词的注意力得分获取全局结构信息,并且单词间的依赖程度不会受到时间和句子长度的影响.最后,融合上下文自注意力信息与特定方面单词注意力信息,共同作为特定方面情感预测的依据,最终实现特定方面情感极性的预测.相比结合注意力机制的神经网络,DANSA弥补了注意力信息单一问题,不仅可以有效获取全局结构信息,还能够实现并行化计算,大大降低了训练时间.在SemEval2014数据集和Twitter数据集上进行实验,DANSA获得了更好的分类效果,进一步证明了DANSA的有效性.     

基于BG-DATT-CNN网络的方面级别情感分析

分析句子针对不同方面的情感极性,深入挖掘评论文本中的信息,为企业生产决策提供建议。针对传统方法多考虑单一层面注意力信息,且基于RNN的模型忽略了局部特征的重要性,而基于CNN的模型不能捕捉长距离依赖的信息的问题,提出了基于双重注意力机制的BG-DATT-CNN模型。在特征表示上,利用BERT对句子和方面词分别进行词向量编码,获得文本的深层语义特征。在特征提取上,设计了双重注意力机制,通过计算两类权重获得综合权重,强化文本的上下文相关特征和方面相关特征。在模型构建上,设计了BG-DATT-CNN网络,结合GRU和CNN各自的优势,Bi-GRU层捕捉文本的上下文全局特征,CNN层包括K-Max池化层和TextCNN层,通过两阶段特征提取获取分类的关键信息。在SemEval 2014数据集上的实验表明,与现有的其他模型相比,提出的模型取得了较好的效果。     

基于视觉方面注意力的图像文本情感分析模型

社交网络已经成为人们日常生活中不可分割的一部分,对社交媒体信息进行情感分析有助于了解人们在社交网站上的观点、态度和情绪。传统情感分析主要依赖文本内容,随着智能手机的兴起,网络上的信息逐渐多样化,除了文本内容,还包括图像。通过研究发现,在多数情况下,图像对文本有着支持增强作用,而不独立于文本来表达情感。文中提出了一种新颖的图像文本情感分析模型(LSTM-VistaNet),具体来说,LSTM-VistaNet模型未将图像信息作为直接输入,而是利用VGG16网络提取图像特征,进一步生成视觉方面注意力,赋予文档中核心句子更高的权重,得到基于视觉方面注意力的文档表示;此外,还使用LSTM模型对文本情感进行提取,得到基于文本的文档表示。最后,将两组分类结果进行融合,以获得最终的分类标签。在Yelp餐馆评论的数据集上,所提模型在精确度上达到了62.08%,比精度较高的模型BiGRU-mVGG提高了18.92%,验证了将视觉信息作为方面注意力辅助文本进行情感分类的有效性;比VistaNet模型提高了0.32%,验证了使用LSTM模型可以有效弥补VistaNet模型中图像无法完全覆盖文本的缺陷。     

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注，以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题，提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型（LWAOA-LSTM）。首先，为词向量加入位置权重信息；然后，使用长短期记忆（LSTM）网络同时对方面和句子进行建模以生成方面表示和句子表示，同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注，并自动关注句子中的重要部分；最后，在景点、餐饮、住宿不同主题数据集上进行实验，验证了该模型对方面情感分析的准确性。实验结果表明，所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%，取得了比传统LSTM网络模型更好的效果。     

融合多层注意力的方面级情感分析模型

方面情感分析旨在分析给定文本中特定方面的情感极性。针对目前的研究方法存在对方面情感注意力引入不足问题,提出了一种融合BERT和多层注意力的方面级情感分类模型（BERT and Multi-Layer Attention,BMLA）。模型首先提取BERT内部多层方面情感注意力信息,将编码后的方面信息与BERT隐藏层表征向量融合设计了多层方面注意力,然后将多层方面注意力与编码输出文本进行级联,进而增强了句子与方面词之间的长依赖关系。在SemEval2014 Task4和AI Challenger 2018数据集上的实验表明,强化目标方面权重并在上下文进行交互对方面情感分类是有效的。     

面向方面级情感分类的多层注意网络

特定于某一方面的情感分类是情感分析领域中的一项细粒度任务。深层的神经网络可以更好地提取上下文特征与方面特征,同时利用Attention机制可以根据上下文特征和方面特征不同的重要性赋予相应的权重值。模型着重从提取上下文与方面特征和更好地融合上下文与方面向量入手,提出了一种混合提取与多层注意的深度神经网络。基于Bi-LSTM和CNN在提取特征方面都有显著的成效,引入两种网络的合并模型。最后,在经典的Laptop,Resteraunt和Twitter数据集上进行了验证,展示了比基准模型更好地分类效果。     

基于层次注意力机制和门机制的属性级别情感分析

近年来,作为细粒度的属性级别情感分析在商业界和学术界受到越来越多的关注,其目的在于识别一个句子中多个属性词所对应的情感极性。目前,在解决属性级别情感分析问题的绝大多数工作都集中在注意力机制的设计上,以此突出上下文和属性词中不同词对于属性级别情感分析的贡献,同时使上下文和属性词之间相互关联。该文提出使用层次注意力机制和门机制处理属性级别情感分析任务,在得到属性词的隐藏状态之后,通过注意力机制得到属性词新的表示,然后利用属性词新的表示和注意力机制进一步得到上下文新的表示,层次注意力机制的设计使得上下文和属性词的表达更加准确;同时通过门机制选择对属性词而言上下文中有用的信息,以此丰富上下文的表达,在SemEval 2014 Task 4和Twitter数据集上的实验结果表明了该文提出模型的有效性。     

多目标依存建模在特定目标情感分类中的应用

特定目标情感分类旨在准确判别句子中目标的情感极性,现有的方法大多只对单一目标进行分析,而忽略了同一句中多个目标之间存在的依存性。为了有效建模目标之间的依存性,该文提出一种基于多目标依存建模的图卷积网络模型。首先,通过注意力机制对目标进行上下文语义编码;然后,根据句子的依存句法树构建多目标依存图,再根据多目标依存图使用图卷积网络对多个目标之间的依存性进行建模;最后,利用生成的目标表示进行情感分类。该模型在SemEval 2014 Task4 Restaurant和Laptop两个数据集上进行实验,结果表明,该文模型相比基于标准图卷积网络的模型性能有显著提高,在特定目标情感分类任务中更具竞争力。     

基于注意力融合网络的方面级多模态情感分类

方面级多模态情感分类任务的一个关键是从文本和视觉两种不同模态中准确地提取和融合互补信息, 以检测文本中提及的方面词的情感倾向. 现有的方法大多数只利用单一的上下文信息结合图片信息来分析, 存在对方面和上下文信息、视觉信息的相关性的识别不敏感, 对视觉中的方面相关信息的局部提取不够精准等问题, 此外, 在进行特征融合时, 部分模态信息不全会导致融合效果一般. 针对上述问题, 本文提出一种注意力融合网络AF-Net模型去进行方面级多模态情感分类, 利用空间变换网络STN学习图像中目标的位置信息来帮助提取重要的局部特征; 利用基于Transformer的交互网络对方面和文本以及图像之间的关系进行建模, 实现多模态交互; 同时补充了不同模态特征间的相似信息以及使用多头注意力机制融合多特征信息, 表征出多模态信息, 最后通过Softmax层取得情感分类的结果. 在两个基准数据集上进行实验和对比, 结果表明AF-Net能获得较好的性能, 提升方面级多模态情感分类的效果.     

基于依存树及距离注意力的句子属性情感分类

目前基于注意力机制的句子属性情感分类方法由于忽略句子中属性的上下文信息以及单词与属性间的距离特征,从而导致注意力机制难以学习到合适的注意力权重.针对该问题,提出一种基于依存树及距离注意力的句子属性情感分类模型(dependency tree and distance attention, DTDA).首先根据句子的依存树得到包含属性的依存子树,并利用双向GRU学习句子及属性的上下文特征表示;根据句子中单词和属性在依存树中的最短路径确定相应的语法距离及位置权重,同时结合相对距离构造包含语义信息和距离信息的句子特征表示,并进一步利用注意力机制生成属性相关的句子情感特征表示;最后,将句子的上下文信息与属性相关的情感特征表示合并后并通过softmax进行分类输出.实验结果表明：DTDA在国际语义评测SemEval2014的2个基准数据集Laptop和Restaurant上取得与目前最好方法相当的结果.当使用相关领域训练的词向量时,DTDA在Laptop上的精确率为77.01%,在Restaurant上的准确率为81.68%.     

基于情感评分的分层文本表示情感分类方法

文本中的词并非都具有相似的情感倾向和强度,较好地编码上下文并从中提取关键信息对于情感分类任务而言非常重要。为此,提出一种基于情感评分的分层注意力网络框架,以对文本情感进行有效分类。利用双向循环神经网络编码器分别对词向量和句向量进行编码,并通过注意力机制加权求和以获得文档的最终表示。设计辅助网络对文本的词、句进行情感评分,利用该评分调整注意力权重分布。在探究文本的情感信息对分类性能的影响后,通过辅助网络进一步促使模型关注情感色彩强烈的信息。在4个常用情感分类数据集上的实验结果表明,该框架能够关注文本中的情感表达并获得较高的分类准确率。     

基于交互注意力图卷积网络的方面情感分类

基于方面的情感分类任务旨在识别句子中给定方面词的情感倾向性.以往的方法大多基于长短时记忆网络和注意力机制,这种做法在很大程度上仅依赖于建模句子中的方面词与其上下文的语义相关性,但忽略了句中的语法信息.针对这种缺陷,提出了一种交互注意力的图卷积网络,同时建模了句中单词的语义相关性和语法相关性.首先使用双向长短时记忆网络来...     

基于多任务预训练模型的属性级情感分类

目前,缺少标注样本数据是属性级情感分类任务面临的一大难题,为了解决这一问题,该文提出了结合多项任务的预训练Bert模型。该模型利用大量未标注的篇章级情感分类数据,结合多种分类任务预训练模型共享参数,迁移属性级评论和篇章级评论中共享的有用的语义语法信息,从而帮助模型提高属性级情感分类准确率。在SemEval-14数据集上的实验结果表明,相较于一系列基准模型,该文提出的模型有效提高了属性级情感分类的准确率。     

基于跨语言图神经网络模型的属性级情感分类

目前,在属性级情感分类任务上较为成熟的有标注数据集均为英文数据集,而有标注的中文数据集较少.为了能够更好地利用规模庞大但却缺乏成熟标注数据的中文语言数据集,针对跨语言属性级情感分类任务进行了研究.在跨语言属性级情感分类中,一个核心问题为如何构建不同语言的文本之间的联系.针对该问题,在传统的单语言情感分类模型的基础上,使用图神经网络模型对跨语言词-词、词-句之间的关系信息进行建模,从而有效地刻画两种语言数据集之间的联系.通过构建单语词-句之间的联系和双语词-句之间的联系,将不同语言的文本关联起来,并利用图神经网络进行建模,从而实现利用英文数据集预测中文数据集的跨语言神经网络模型.实验结果表明：相较于其他基线模型,所提出的模型在F1值指标上有着较大的提升,从而说明使用图神经网络建立的模型能够有效地应用于跨语言的应用场.     

用于特定目标情感分析的交互注意力网络模型

特定目标情感分析旨在判别评论中不同目标所对应的情感极性。越来越多的研究人员采用基于神经网络的各种方法在特定目标情感分析任务中取得了较好的成绩。但大多数与目标相关的模型只关注目标对上下文建模的影响,而忽略了上下文在目标建模中的作用。为了解决上述问题,提出一种交互注意力网络模型（LT-T-TR）,该模型将一条评论分为三个部分：包含目标的上文,目标,包含目标的下文。通过注意力机制进行目标与上下文的交互,学习各自的特征表示,从中捕获目标短语和上下文中最重要的情感特征信息。通过在两个标准数据集上的实验验证了模型的有效性。