基于注意力机制的双向LSTM模型在中文商品评论情感分类中的研究

国内电商网站的快速发展促使产生大量的中文商品评论信息。对这些评论进行情感分类有利于获取其中的有用信息,具有重要的应用意义。目前,情感分类的研究主要基于情感词典或者传统机器学习。这些方法通常需要人工选取特征,费事费力,分类效果不好。针对这些不足,本文提出一种基于注意力机制的双向LSTM模型,对中文商品评论进行情感分类。实验结果表明,该模型在中文商品评论二分类任务和三分类任务中均获得了较好的准确率、召回率、F1值。     

嵌入常识的混合注意力LSTM用于主题情感分析

传统神经网络模型在捕捉上下文信息时,缺乏对于某一主题重要线索的准确分析能力。对此提出嵌入常识知识库的混合注意力长短时记忆网络(LSTM)主题情感分析模型。通过引入全局注意力和位置注意力机制来改进长短时记忆网络LSTM;将常识知识库嵌入到LSTM的情感分类训练中。该模型在推断特定主题的情感极性时明确地抓住了每个上下文词的重要性,使分类更加准确。实验结果表明,混合注意力模型与常识知识库的引入,提高了主题情感分析的分类效果。     

基于自注意力的双向LSTM网络的情感分析模型

如今,社交媒体中的用户评论经常涉及到对目标对象的多个属性不同的情感倾向.这种多维度的用户情感对文本情感分析任务构成了巨大的挑战.然而,先前的研究很大程度上侧重于依赖外部信息,不擅长捕捉数据或特征的内部相关性.因此,提出了一种新颖的基于自注意力机制的双向LSTM网络的情感分析模型.使用双向LSTM神经网络学习抽象的文本语...     

基于深层注意力的LSTM的特定主题情感分析

目前特定主题情感分析任务中,传统的基于注意力的深度学习模型缺乏对主题特征和情感信息的有效关注。针对该问题,构建了融合主题特征的深层注意力的LSTM模型（deeper attention LSTM with aspect embedding,AE-DATT-LSTM）,通过共享权重的双向LSTM将主题词向量和文本词向量进行训练,得到主题特征和文本特征进行特征融合,经过深层注意力机制的处理,由分类器得到相应主题的情感分类结果。在SemEval-2014 Task4和SemEval-2017 Task4数据集上的实验结果表明,该方法在特定主题情感分析任务中,较之前基于注意力的情感分析模型在准确率和稳定性上有了进一步的提高。主题特征和深层注意力机制的引入,对于基于特定主题的情感分类任务具有重要的意义,为舆情分析、问答系统和文本推理等领域提供了方法的支持。     

一种使用注意力双向异构LSTM的治疗引擎

近年来,通过挖掘电子病历系统中的大量数据和知识来辅助临床治疗从而改善医疗质量的方法受到了广泛的关注.治疗引擎可以帮助医生制定出合适的治疗方案,其通过对病患的历史住院信息建模来预测病人下一个疗程的治疗药物处方.然而,数据的时间性和多模态特性为治疗引擎的预测结果的有效性带来了挑战.为了应对上述挑战,本文提出了一种基于注意力...     

结合注意力和双向LSTM的开放域问句分类研究

针对现有端对端模型没有对问句局部信息进行显式建模以及模型可解释性差等方面的不足,本文提出面向开放域的基于注意力机制和双向LSTM的问句分类方法。该法一方面使用注意力机制捕捉问句的局部信息;另一方面将注意力机制视为一种模型内置的自解释机制,将其与双向LSTM结合完成对问句局部和全局信息的建模。在TREC、MSQC、Baidu-Zhidao、Baidu-Search四个公开的开放域问句分类数据集上的实验结果表明,本文提出的方法在分类性上优于现有的基准方法,而且该方法的注意力机制能捕捉到问句分类的关键局部信息,提高模型的可解释性,为下游任务提供除类别以外的关键信息。     

基于依存树和注意力机制情感分析模型的改进

主流的情感分析模型是基于依存树和注意力机制的LSTM神经网络模型,但依存树捕捉依存关系较弱;注意力机制有时隐藏层和目标向量维度可能不一致,且归一化后对应的梯度将会变小,使模型很难训练.针对上述问题,提出一种基于依存图和双线性串联平衡因子的注意力机制情感分析模型(BSBDG-LSTM),引入依存图形结构,允许多个依存根节点存在,使依存关系理解更加充分;在注意力机制中添加可学习的参数矩阵和平衡因子,使隐藏层和向量的维度保持一致,并降低维度系数.电商评论数据的实验结果表明,BSADG-LSTM模型比LSTM模型、ATAE-LSTM模型、DAT-LSTM模型和DASN模型在情感分析中准确率更高,模型训练效果更好.     

基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据.结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况.使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid...     

用于情感分类的双向深度LSTM

对商品、电影等的评论的体现人们对商品的喜好程度,从而为意向购买该商品的人提供参考,也有助于商家调整橱窗货品以取得最大利润。近年来,深度学习在文本上强大的表示和学习能力为理解文本语义、抓取文本所蕴含的情感倾向提供了极好的支持,特别是深度学习中的长短记忆模型(Long Short-Term Memory,LSTM)。评论是一种时序数据形式,通过单词前向排列来表达语义信息。而LSTM恰好是时序模型,可以前向读取评论,并把它编码到一个实数向量中,该向量隐含了评论的潜在语义,可以被计算机存储和处理。利用两个LSTM模型分别从前、后两个方向读取评论,从而获取评论的双向语义信息;再通过层叠多层双向LSTM来达到获取评论深层特征的目的;最后把这个模型放到一个情感分类模型中,以实现情感分类任务。实验证明,该模型相对基准LSTM取得了更好的实验效果,这表示双向深度LSTM能抓取更准确的文本信息。将双向深度LSTM模型和卷积神经网络(Convolutional Neural Network,CNN)进行实验对比,结果表明双向深度LSTM模型同样取得了更好的效果。     

基于协同过滤Attention机制的情感分析模型

该文主要研究在评论性数据中用户个性及产品信息对数据情感类别的影响。在影响数据情感类型的众多因素中,该文认为评价的主体即用户以及被评价的对象等信息对评论数据的情感至关重要。该文提出一种基于协同过滤Attention机制的情感分析方法(LSTM-CFA),使用协同过滤(CF)算法计算出用户兴趣分布矩阵,再将矩阵利用SVD分解后加入层次LSTM模型,作为模型注意力机制提取文档特征、实现情感分类。实验表明LSTM-CFA方法能够高效提取用户个性与产品属性信息,显著提升了情感分类的准确率。     

用于特定目标情感分析的交互注意力网络模型

特定目标情感分析旨在判别评论中不同目标所对应的情感极性。越来越多的研究人员采用基于神经网络的各种方法在特定目标情感分析任务中取得了较好的成绩。但大多数与目标相关的模型只关注目标对上下文建模的影响,而忽略了上下文在目标建模中的作用。为了解决上述问题,提出一种交互注意力网络模型（LT-T-TR）,该模型将一条评论分为三个部分：包含目标的上文,目标,包含目标的下文。通过注意力机制进行目标与上下文的交互,学习各自的特征表示,从中捕获目标短语和上下文中最重要的情感特征信息。通过在两个标准数据集上的实验验证了模型的有效性。     

融合注意力机制的多通道卷积与双向GRU模型的文本情感分析研究

文本情感分析作为自然语言处理领域的一大分支,具有非常高的研究价值。该文提出了一种基于多通道卷积与双向GRU网络的情感分析模型。该模型首先使用多通道卷积神经网络对文本不同粒度的特征信息进行提取,提取后的特征信息经过融合送入双向 GRU 中,结合注意力机制获得文本的上下文情感特征,最后由分类器给出文本的情感倾向。注意力机制自适应的感知上下文信息进而提取对情感极性影响较强的特征,在模型的基础上引入Maxout神经元,解决模型训练过程中的梯度弥散问题。模型在IMDb及SST-2数据集上进行实验,实验结果表明本文模型较CNN-RNN模型在分类精确度上有了一定程度的提升。     

基于领域特有情感词注意力模型的跨领域属性情感分析

虽然近年来情感分析相关研究取得很大进展,但跨领域属性情感分析仍是一个挑战.现有的方法主要关注源领域和目标领域的共有信息,忽略了目标领域的特有信息.此外,情感词作为句子中的重要信息,不仅能反映属性的情感极性,而且可以被划分为共有情感词和特有情感词.针对目标领域的特有信息和情感词,该文提出领域特有情感词注意力模型(DSSW...     

基于极性转移和LSTM递归网络的情感分析

长短时记忆(long short term memory,LSTM)是一种有效的链式循环神经网络(recurrent neural network,R²NN^①),被广泛用于语言模型、机器翻译、语音识别等领域。但由于该网络结构是一种链式结构,不能有效表征语言的结构层次信息,该文将LSTM扩展到基于树结构的递归神经网络(Recursive Neural Network,RNN)上,用于捕获文本更深层次的语义语法信息,并根据句子前后词语间的关联性引入情感极性转移模型。实验证明本文提出的模型优于LSTM、递归神经网络等。
     

基于多层次特征融合注意力网络的多模态情感分析

现有分析社会媒体中用户情感的方法,大多依赖于某一种模态数据的信息,缺少多种模态数据的信息融合,并且现有方法缺少分析多种模态数据的信息层次结构之间的关联。针对上述问题,该文提出多层次特征融合注意力网络,在分别提取社会媒体中文本和图像多层次特征的基础上,通过计算“图文”特征与“文图”特征,实现多模态的情感特征互补,从而准确感知社会媒体中用户的情感。在Yelp和MultiZOL数据集上的实验结果表明,该文方法可有效提升多模态数据情感分类的准确率。     

用于方面情感分析的结合图卷积神经网络的注意力模型

特定方面情感分析旨在自动识别同一句子中不同方面的情感极性。在现有方法中,结合注意力机制的循环神经网络模型在特定方面情感分析任务中取得了较好的效果,但是大多都忽略了句子的句法特征。因此,该文提出一种结合图卷积神经网络的注意力网络(GCN-aware Attention Networks, GCAN)模型。首先通过长短时记忆网络获取句子的序列信息,并利用图卷积神经网络来捕获语义特征,然后提出两种特征融合方式,得到基于序列信息和语义特征的特定方面表示。在此基础上,引入双向注意力机制处理特定方面包含多个单词的情况,进而获得更精准的基于特定方面的上下文表示。与ASGCN模型相比,该方法在Twitter数据集和SemEval14/15数据集上的分类准确率分别提升了0.34%、0.94%、1.43%和1.23%,F₁值分别提升了0.53%、1.55%、1.60%和2.54%,验证了GCAN的有效性。     

结合注意力机制和句子排序的情感分析研究

针对传统的深度学习算法作情感分析未充分考虑文本特征和输入优化的问题,提出了结合注意力机制和句子排序的双层CNN-BiLSTM模型(DASSCNN-BiLSTM)。利用情感词典对文档数据进行情感极性排序,得到优化的文档数据;将优化的文档数据输入第一层模型(由CNN和BiLSTM组成)生成句子表示;将句子表示输入第二层模型(由BiLSTM和注意力机制组成)生成文档表示,作为分类的依据,由此解决了输入优化的问题并且充分捕获了句子之间的语义信息,提升了情感分类精度。实验结果表明,该模型在分类精度上相对于现有的方法有明显的提升,且拥有较好的MSE值,能够较好应用于一般的情感分析任务。     

利用位置增强注意力机制的属性级情感分类

属性级情感分类旨在准确识别评论中属性的情感极性。现有的基于长短时记忆网络(LSTM)的方法大多只利用了属性和上下文的语义信息,而忽视了属性与上下文相对位置信息。针对此问题,提出一种利用相对位置信息来增强注意力的LSTM网络模型,解决属性级情感分类问题。首先,对上下文的输入层加入位置向量,利用两个LSTM网络对上下文和属性分别进行独立语义编码;然后,对上下文的隐藏层再次拼接位置向量,并利用属性隐藏层向量参与上下文不同词注意力权重的计算;最后,利用上下文生成的有效表示进行情感分类。该模型在SemEval 2014 Task4 Restaurant和Laptop两个不同领域数据集上进行了实验,在三分类实验中,准确率分别达到79.7%和72.1%。在二分类实验中,准确率分别达到92.1%和88.3%。相比多个基线模型,在准确率上都有一定的提升。