基于注意力机制和BiGRU融合的文本情感分析

针对简单的神经网络缺乏捕获文本上下文语义和提取文本内重要信息的能力,设计了一种注意力机制和门控单元(GRU)融合的情感分析模型FFA-BiAGRU.首先,对文本进行预处理,通过GloVe进行词向量化,降低向量空间维度;然后,将注意力机制与门控单元的更新门融合以形成混合模型,使其能提取文本特征中的重要信息;最后,通过强制向前注意力机制进一步提取文本特征,再由softmax分类器进行分类.在公开数据集上进行实验,结果证明该算法能有效提高情感分析的性能.     

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明：提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.     

基于注意力机制的BiGRU判决结果倾向性分析

对裁判文书中判决结果的倾向性分析是完成律师推荐系统的前提,如何高效的实现判决结果倾向性分析是本文的重点.本文提出了基于注意力机制和BiGRU的判决结果倾向性分析模型.首先,训练词向量,得到词向量表;然后,通过查找词向量表,将文书数据转化为词向量序列,将词向量序列作为输入来训练判决结果倾向性分析模型.实验结果表明：注意力机制和BiGRU算法在判决结果倾向性分析中具有一定的有效性.该模型能够对裁判文书中判决结果的倾向性做一个合理的判断,为后期律师推荐系统的实现提供一个合理的评分依据.     

面向手机动画的基于注意力机制和卷积神经网络的短信情感分析

2008年,中科院张松懋研究员提出了将3D动画自动生成技术应用在手机短信中.短信情感分析是手机3D动画自动生成系统的一个重要环节.目前系统中使用的方法是传统的机器学习方法,准确率较低,无法达到实用的目的.而近几年,深度学习在情感分析任务中取到了较好的效果,卷积神经网络可以自动提取短信中的语义情感特征,且注意力机制可以自动为词加权获取信息.为此,本文提出将深度学习中的注意力机制和卷积神经网络相结合应用于手机短信自动生成系统中的情感分类.实验表明,基于注意力机制的卷积神经网络比之前的方法准确率、召回率和F值都有明显的提高.     

基于ELMo和Bi-SAN的中文文本情感分析

目前情感分析模型通常使用word2vec、GloVe等方法生成静态词向量,并且传统的卷积或循环深度模型无法完整地关注上下文,提取特征不充分,影响情感判断.针对上述问题,提出基于ELMo(embedding from lan-guage model)和双向自注意力网络(bidirectional self-attention network,Bi-SAN)的中文文本情感分析模型.首先通过ELMo语言模型训练得到融合词语本身和上下文信息的词向量,解决了一词多义的问题;同时使用预训练的skip-gram算法代替随机初始化的ELMo模型的嵌入层,提高模型的收敛速度;之后使用Bi-SAN提取特征,由于自注意力机制,Bi-SAN可以完整地关注每个词的上下文,提取特征更为全面.同现有的多个情感分析模型对比,该模型在酒店评论数据集上和NLPCC2014 task2中文数据集取得了更高的F1值,验证了模型的有效性.     

基于注意力机制的特征融合-双向门控循环单元多模态情感分析

针对视频多模态情感分析中,未考虑跨模态的交互作用以及各模态贡献程度对最后情感分类结果的影响的问题,提出一种基于注意力机制的特征融合-双向门控循环单元多模态情感分析模型(AMF-BiGRU).首先,利用双向门控循环单元(BiGRU)来考虑各模态中话语间的相互依赖关系,并得到各模态的内部信息;其次,通过跨模态注意力交互网络...     

基于动态词向量和注意力机制的文本情感分类

针对Word2vec等静态词向量模型对于每个词只有唯一的词向量表示,无法学习在不同上下文中的词汇多义性问题,提出一种基于动态词向量和注意力机制的文本情感分类方法.在大型语料库上利用深度双向语言模型预训练通用词向量;在情感分类任务的训练语料上对向量模型进行微调,得到最终的上下文相关的动态词向量作为输入特征;搭建双向长短期...     

基于并行混合网络与注意力机制的文本情感分析模型

现有基于深度学习和神经网络的文本情感分析模型通常存在文本特征提取不全面,且未考虑关键信息对文本情感倾向的影响等问题。基于并行混合网络与双路注意力机制,提出一种改进的文本情感分析模型。根据不同神经网络的特点分别采用GloVe和Word2vec两种词向量训练工具将文本向量化,得到更丰富的文本信息。将两种不同的词向量并行输入由双向门控循环单元与卷积神经网络构建的并行混合网络,同时提取上下文全局特征与局部特征,提高模型的特征提取能力。使用双路注意力机制分别对全局特征和局部特征中的关键信息进行加强处理及特征融合,增强模型识别关键信息的能力。将融合后的整个文本特征输入全连接层,实现最终的情感极性分类。在IMDb和SST-2公开数据集上的实验结果表明,该模型的分类准确率分别达到91.73%和91.16%,相比于同类文本情感分析模型有不同程度的提升,从而证明了双路注意力机制可以更全面地捕获文本中的关键信息,提高文本情感分类效果。     

基于注意力与门控机制相结合的细粒度情感分析

细粒度情感分析(fine-grained sentiment analysis)是自然语言处理领域的关键问题之一,其通过学习文本的上下文信息来进行特定方面的情感分析,可以帮助用户和商家更好地了解用户评论特定方面的情感.针对基于用户评论的方面级别细粒度情感分析任务,提出了BiGRU-Attention与门控机制(gate...     

基于BiGRU和注意力交互模型的方面级情感分析

针对传统神经网络模型无法有效识别文本中特定方面情感倾向,以及不同词语对句子的情感极性贡献不同等问题,文章提出了基于BiGRU的注意力交互模型(BiGRU-IAT).该文使用Bert预训练模型分别对句子和方面词编码,充分考虑词语在上下文中的关联性,可以有效解决词语多义性问题.双向GRU网络提取文本语义信息得到隐藏层向量表示,接下来利用注意力机制捕捉句子和方面词之间的交互信息,为词语分配相应的权重分数.在SemEval 2014数据集上的实验结果表明,BiGRU-IAT模型在准确率和F1值上优于传统神经网络模型.     

基于注意力机制的评论情感分析及情感词检测

评论情感分析是用户生成内容分析的一个研究热点。评论对象的多样性与评论者用语的随意性,导致评论情感分析成为一个非常具有挑战性的任务。现有方法主要通过预先构建情感词表来计算评论的情感极性,但这类方法无法处理同一个词语在不同语境下情感极性存在差异的问题。针对这一问题,文中提出了一种基于注意力的卷积-递归神经网络模型,对评论的情感极性和词语在不同语境下的情感极性进行了建模。通过结合词语在句子中的上下文语境,所提方法可以将注意力集中在主要情感词周围的一个小范围内,并以一种自适应的方式对情感词的情感极性进行计算,提高了词语情感极性判断的准确率,进而提高了短文本的情感极性准确率。与CRNN,CNN以及基于情感词典的方法相比,所提方法在中文数据集(美团评论、党建评论)和英文数据集(亚马逊商品评论数据集)上都达到了更好的效果。     

基于协同过滤Attention机制的情感分析模型

该文主要研究在评论性数据中用户个性及产品信息对数据情感类别的影响。在影响数据情感类型的众多因素中,该文认为评价的主体即用户以及被评价的对象等信息对评论数据的情感至关重要。该文提出一种基于协同过滤Attention机制的情感分析方法(LSTM-CFA),使用协同过滤(CF)算法计算出用户兴趣分布矩阵,再将矩阵利用SVD分解后加入层次LSTM模型,作为模型注意力机制提取文档特征、实现情感分类。实验表明LSTM-CFA方法能够高效提取用户个性与产品属性信息,显著提升了情感分类的准确率。     

基于特征融合的文本情感分类

虽然卷积神经网络(CNN)可以提取局部特征,长短期记忆网络(LSTM)可以提取全局特征,它们都表现出了较好的分类效果,但CNN在获取文本的上下文全局信息方面有些不足,而LSTM容易忽略词语之间隐含的特征信息.因此,提出了用CNN_BiLSTM_Attention并行模型进行文本情感分类.首先,使用CNN提取局部特征,同...     

基于多层次特征融合注意力网络的多模态情感分析

现有分析社会媒体中用户情感的方法,大多依赖于某一种模态数据的信息,缺少多种模态数据的信息融合,并且现有方法缺少分析多种模态数据的信息层次结构之间的关联。针对上述问题,该文提出多层次特征融合注意力网络,在分别提取社会媒体中文本和图像多层次特征的基础上,通过计算“图文”特征与“文图”特征,实现多模态的情感特征互补,从而准确感知社会媒体中用户的情感。在Yelp和MultiZOL数据集上的实验结果表明,该文方法可有效提升多模态数据情感分类的准确率。     

基于双注意力多层特征融合的视觉情感分析

为获得更具判别性的视觉特征并提升情感分类效果,构建融合双注意力多层特征的视觉情感分析模型。通过卷积神经网络提取图像多通道的多层次特征,根据空间注意力机制对多通道的低层特征赋予空间注意力权重,利用通道注意力机制对多通道的高层特征赋予通道注意力权重,分别强化不同层次的特征表示,将强化后的高层特征和低层特征进行融合,形成用于训练情感分类器的判别性特征。在3个真实数据集Twitter Ⅰ、Twitter Ⅱ和EmotionROI上进行对比实验,结果表明,该模型的分类准确率分别达到79.83%、78.25%和49.34%,有效提升了社交媒体视觉情感分析的效果。