基于BiGRU-CNN-Attention模型的股市评论情感分析

人们对股市的评论能够反映出股票投资人对股市的关注程度以及投资意向,对股市评论进行情感分析有利于证券投资机构和个人投资者做出更合理的投资决策。爬取了东方财富网股吧的股市评论记录,选取其中9000条评论作为股市评论数据集,将双向门控循环单元、卷积神经网络和注意力机制结合,对该股市评论数据集进行情感分析研究,并采用GRU、BiGRU、BiGRU-Attention、CNN-BiGRU算法与之比较。实验结果表明,BiGRU-CNN-Attention网络模型在准确率(accuracy)、精确率(precision)、召回率(recall)和F1值(F-measure)均有较好表现,非常适用于该类短文本数据的情感分析。     

基于交叉注意力机制和新闻正文的评论情感分类

目前,新闻评论已成为新闻的重要衍生数据,新闻评论表达了评论者对新闻事件的观点、立场及个人情感,通过对新闻评论的情感倾向性分析有助于了解社会舆情及动向,因此,新闻评论的情感研究备受广大学者的青睐.通常的新闻评论情感分析只考虑评论文本自身的信息,而新闻评论文本信息和新闻正文信息往往是紧密相关的,基于此,文中提出一种基于交叉...     

基于双向多维度自注意力机制的文本情感分析方法

针对循环神经网络或者长短时记忆网络,远距离的相互依赖特征,要经过若干时间步骤的信息累积才能将两者联系起来,而距离越远,有效捕获的可能性越小的问题,笔者提出一种多维度,双向自注意网络(MDiSAN)的情感分析研究方法。引入双向多维度自注意会在计算过程中直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来,使得远距离依赖特征之间的距离被极大缩短,能有效地利用特征。在计算每个特征时,能获取更准确的语义特征。在使用斯坦福情绪树库(SST)进行实验,将之前的模型与MDiSAN进行比较测试准确性。MDiSAN提高了最高精度(由CNN-Tensor给出)0.52%。与大量现有结构使用树的模型相比,MV-RNN,RNTN和Tree-LSTM,MDiSAN的表现分别优于7.32%,6.02%和0.72%。此外,MDiSAN比基于CNN的模型有更好的性能。     

基于多层注意力机制深度学习模型的虚假评论检测

针对现有的虚假评论检测方法忽略了虚假评论文本的情感特征这一问题,提出一种基于注意力机制的多层编码器模型(ABME)。基于评论首尾部分表达情感更加强烈等特点,将评论拆分为首、中、尾三部分,提高首尾部分的权重;使用双向LSTM模型编码,得到三个局部表示,使用自注意力机制和注意力机制将三个局部表示编码成一个全局特征表示;通过Softmax分类器得到分类结果。实验结果表明,与目前的最好方法相比较,该模型的平均准确率提高了3.3%,平均精度提高了1.21%。     

基于注意力机制的特征融合-双向门控循环单元多模态情感分析

针对视频多模态情感分析中,未考虑跨模态的交互作用以及各模态贡献程度对最后情感分类结果的影响的问题,提出一种基于注意力机制的特征融合-双向门控循环单元多模态情感分析模型(AMF-BiGRU).首先,利用双向门控循环单元(BiGRU)来考虑各模态中话语间的相互依赖关系,并得到各模态的内部信息;其次,通过跨模态注意力交互网络...     

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明:提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.     

基于注意力交互机制的层次网络情感分类

目前关于商品评论的深度网络模型难以有效利用评论中的用户信息和产品信息.提出一种基于注意力交互机制的层次网络(HNAIM)模型.该模型利用层次网络对不同粒度语义信息进行提取,并通过注意力交互机制在层次网络中通过捕捉用户、产品中的重要特征来帮助提取文本特征.最终将用户视角下的损失值和产品视角下的损失值作为辅助分类信息,并利...     

基于注意力机制Bi-LSTM算法的双语文本情感分析

针对双语微博情感分析方法稀缺且准确率低的问题,根据相同英文词汇在不同语境下对文本情感作用不同这一事实,提出基于注意力机制的双语文本情感分析神经网络模型。该模型使用双向循环神经网络模型学习文本的特征表示,并引入注意力机制,为文本不同词语赋予不同权重,得到融合特征后新的知识表示,从而实现双语文本情感识别。实验结果显示,与纯中文作为网络输入、纯英文作为网络输入和中英混合文本作为网络输入相比,注意力机制明显优于其他方法;与现有双语情感分析算法相比,该模型有效提升了情感分析的准确率。     

融合自注意力机制和BiGRU网络的微博情感分析模型

基于微博文本的情感分析已经成为近些年的研究热点.为了更有效分析微博文本的情感极性,实现将表情符的情感表现加入到文本分类的任务中,提出了一种将深度学习与情感符号相结合的学习方法.该方法利用双向门控循环(BiGRU)神经网络对文本进行特征提取,然后利用自注意力机制对文本和表情符号的向量表示进行特征提取,最后通过softmax识别出最终的情感极性.本文采集了三种微博语料集,实验结果表明,与融合表情符的自注意力机制和BiLSTM模型和与仅输入纯文本的自注意力机制和BiGRU模型相比,融合表情符号的自注意力机制和BiGRU网络模型有效地提高了情感分类的准确率.     

字词融合的双通道混合神经网络情感分析模型

针对双向门控循环神经网络(BiGRU)无法获取文本局部特征,卷积神经网络(CNN)无法聚焦文本全局特征的问题,提出一种字词融合的双通道混合神经网络文本情感分析模型(CW_BGCA).首先,将文本分别用字符级词向量和词语级词向量表示;然后使用门控循环神经网络和卷积神经网络结合的混合神经模型分别从字向量和词向量中提取隐层特...     

基于话语间时序多模态数据的情绪分析方法

长期以来,传统的基于单模态数据情绪分析方法存在分析角度单一、分类准确率低下等问题,时序多模态数据的分析方法为解决这些问题提供了可能.本文基于话语间的时序多模态数据,对现有的多模态情绪分析方法进行了改进,使用双向门控循环网络(Bi-GRU)结合模态内和跨模态的上下文注意力机制进行情绪分析,最后在MOSI和MOSEI数据集...     

融合注意力机制的多通道卷积与双向GRU模型的文本情感分析研究

文本情感分析作为自然语言处理领域的一大分支,具有非常高的研究价值。该文提出了一种基于多通道卷积与双向GRU网络的情感分析模型。该模型首先使用多通道卷积神经网络对文本不同粒度的特征信息进行提取,提取后的特征信息经过融合送入双向 GRU 中,结合注意力机制获得文本的上下文情感特征,最后由分类器给出文本的情感倾向。注意力机制自适应的感知上下文信息进而提取对情感极性影响较强的特征,在模型的基础上引入Maxout神经元,解决模型训练过程中的梯度弥散问题。模型在IMDb及SST-2数据集上进行实验,实验结果表明本文模型较CNN-RNN模型在分类精确度上有了一定程度的提升。     

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支.现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能.该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型.该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利...     

基于BiGRU-attention神经网络的文本情感分类模型

针对双向长短时记忆神经（BiLSTM）模型训练时间长、不能充分学习文本上下文信息的问题,提出一种基于BiGRU-attention的文本情感分类模型。首先,利用双向门控循环（BiGRU）神经网络层对文本深层次的信息进行特征提取;其次,利用注意力机制（attention）层对提取的文本深层次信息分配相应的权重;最后,将不同权重的文本特征信息放入softmax函数层进行文本情感极性分类。实验结果表明,所提的神经网络模型在IMDB数据集上的准确率是90.54%,损失率是0.2430,时间代价是1100 s,验证了 BiGRU-attention模型的有效性。     

结合BERT和BiSRU-AT的中文文本情感分类

针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT- BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元（BiSRU）二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明,结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值。     

基于双编码器表示学习的多模态情感分析

多模态情感分析旨在通过用户上传在社交平台上的视频来判断用户的情感.目前的多模态情感分析研究主要是设计复杂的多模态融合网络来学习模态之间的一致性信息,在一定程度上能够提升模型的性能,但它们大部分都忽略了模态之间的差异性信息所起到的互补作用,从而导致情感分析出现偏差.本文提出了一个基于双编码器表示学习的多模态情感分析模型DERL(dual encoder representation learning),该模型通过双编码器结构学习模态不变表征和模态特定表征.具体来说,我们利用基于层级注意力机制的跨模态交互编码器学习所有模态的模态不变表征,获取一致性信息;利用基于自注意力机制的模态内编码器学习模态私有的模态特定表征,获取差异性信息.此外,我们设计两个门控网络单元对编码后的特征进行增强和过滤,以更好地结合模态不变和模态特定表征,最后在融合时通过缩小不同多模态表示之间的L2 距离以捕获它们之间潜在的相似情感用于情感预测.在两个公开的数据集CMU-MOSI和CMU-MOSEI上的实验结果表明该模型优于一系列基线模型.     

基于注意力机制的深度学习推荐算法

针对目前基于评论文本的推荐算法存在文本特征和隐含信息提取能力不足的问题, 提出一种基于注意力机制的深度学习推荐算法. 通过分别构建用户和项目的评论文本表示, 利用双向门控循环单元提取文本的上下文依赖关系以获得文本特征表示, 引入注意力机制, 更准确的获取用户兴趣偏好和项目属性特征. 将生成的用户和项目评论数据的两组隐含...     

一种基于多任务学习的方面级情感分析方法

针对方面类别或方面词项子任务的情感分析方法性能受单任务网络结构的限制,且相关任务的数据集不足.为此,提出一种基于多任务学习的方面级情感分析模型,共同学习两个子任务和方面词项重建任务.通过共享双向门控循环单元和Sentence-level的注意力对多个任务的句子向量编码,并利用Aspect-level的注意力针对不同方面...