基于对抗双向GRU网络的跨语言情感分类方法

为了提高资源匮乏语言的情感分类性能,提出一种基于对抗双向GRU网络相结合的跨语言情感分类模型(ABi-GRU)。通过基于语义双语词嵌入方法来提取中英文文本词向量特征;结合注意力机制的双向GRU网络提取文本的上下文情感特征,同时引入生成对抗网络缩小中英文向量特征分布之间的差距;通过情感分类器进行情感分类。实验结果分析表明,该方法有效地提升了跨语言情感分类的准确率。     

基于Self-Attention和Bi-LSTM的中文短文本情感分析

短文本情感分析用于判断文本的情感极性,在商品评论、舆情监控等领域有重要应用。由于目前主流的基于词注意力机制的双向循环神经网络模型性能很大程度上依赖于分词的准确性,且注意力机制需较多的参数依赖,无法使模型更多的关注短文本的内部序列关系。针对上述问题,该文提出了基于字向量表示方法并结合Self-attention和BiLSTM的中文短文本情感分析算法。首先,对短文本进行字向量化表示,采用BiLSTM网络提取文本上下文关系特征,通过自注意力机制动态调整特征权重,Softmax分类器得到情感类别。在COAE 2014微博数据集和酒店评论数据集的实验结果表明,采用字向量文本表示方法较词向量更适合短文本,自注意力机制可以减少外部参数依赖,使模型能学到更多的文本自身关键特征,分类性能可分别提高1.15%和1.41%。     

基于多媒体信息的双向LSTM情感分析方法

随着信息技术的飞速发展，智慧政务的建设在中国如火如荼地展开。为了更好地服务社会，获取舆论的情感倾向变得至关重要。然而，由于媒体数据的多样性，例如讨论话题、文本正文、正文回复以及文本字数限制等原因，人们不仅要对文本正文进行分析，还必须对文本回复、讨论话题等多样文本信息，以及诸如表情符号、社交关系等因素进行建模。遗憾的是，很少有研究工作针对推文文本的回复及多媒体信息进行建模。本文针对推文正文回复、话题以及多媒体信息，提出一种新的双向长短时记忆网络CBi-LSTM (Content Bi-LSTM)对舆论进行情感分析。实验表明，文本信息和多媒体信息的融合能显著提高情感分析的准确性。     

一种基于情感特征表示的跨语言文本情感分析模型

基于深度学习的跨语言情感分析模型需要借助预训练的双语词嵌入(Bilingual Word Embedding,BWE)词典获得源语言和目标语言的文本向量表示.为了解决BWE词典较难获得的问题,该文提出一种基于词向量情感特征表示的跨语言文本情感分析方法,引入源语言的情感监督信息以获得源语言情感感知的词向量表示,使得词向量...     

基于卷积自注意力联合模型的评论情感分析

随着移动互联网的兴起,人们可以在网络上自由发表各种感想和评论,文本情感分析已经成为了自然语言处理中的一个重要研究方向.应用深度学习算法进行评论文本情感分析已经成为研究热点.论文应用了一种基于多通道卷积神经网络和双向长短时记忆神经网络融合的深度学习算法,获取文本的多粒度局部语义特征与全局语义特征,同时引入自注意力机制,提...     

基于自联想记忆与卷积神经网络的跨语言情感分类

该文提出了一种以商品评论为对象的基于语义融合的跨语言情感分类算法。该算法首先从短文本语义表示的角度出发,基于开源工具Word2Vec预先生成词嵌入向量来获得不同语言下的信息表示;其次,根据不同语种之间的词向量的统计关联性提出使用自联想记忆关系来融合提取跨语言文档语义;然后利用卷积神经网络的局部感知性和权值共享理论,融合自联想记忆模型下的复杂语义表达,从而获得不同长度的短语融合特征。深度神经网络将能够学习到任意语种语义的高层特征致密组合,并且输出分类预测。为了验证算法的有效性,将该模型与最新几种模型方法的实验结果进行了对比。实验结果表明,此模型适用于跨语言情感语料正负面情感分类,实验效果明显优于现有的其他算法。     

一种基于AdaBoost的跨语言情感资源迁移方法

针对文本情感分类研究中,有情感标注的语料在不同语言中的不均衡问题,提出一种基于AdaBoost的跨语言情感资源迁移策略。首先将目标语言训练集翻译成源语言;再在联合训练集上运用AdaBoost算法;通过设置滑动窗口更新训练集,训练最优弱分类器;最后得到适用于目标语言情感识别的分类器。实验表明,从目标语言到源语言的翻译方法是可行的。基于AdaBoost的分类策略获得了优于Base Line的正确率和召回率,证明了该方法的有效性。     

基于双向多维度自注意力机制的文本情感分析方法

针对循环神经网络或者长短时记忆网络,远距离的相互依赖特征,要经过若干时间步骤的信息累积才能将两者联系起来,而距离越远,有效捕获的可能性越小的问题,笔者提出一种多维度,双向自注意网络(MDiSAN)的情感分析研究方法。引入双向多维度自注意会在计算过程中直接将句子中任意两个单词的联系通过一个计算步骤直接联系起来,使得远距离依赖特征之间的距离被极大缩短,能有效地利用特征。在计算每个特征时,能获取更准确的语义特征。在使用斯坦福情绪树库(SST)进行实验,将之前的模型与MDiSAN进行比较测试准确性。MDiSAN提高了最高精度(由CNN-Tensor给出)0.52%。与大量现有结构使用树的模型相比,MV-RNN,RNTN和Tree-LSTM,MDiSAN的表现分别优于7.32%,6.02%和0.72%。此外,MDiSAN比基于CNN的模型有更好的性能。     

基于注意力机制的卷积-双向长短期记忆模型跨领域情感分类方法

针对现有跨领域情感分类方法中文本表示特征忽略了重要单词的情感信息，且在迁移过程中存在负迁移的问题，提出一种基于注意力机制的卷积-双向长短期记忆（AC-BiLSTM）模型的知识迁移方法。首先，利用低维稠密的词向量对文本进行向量表示；其次，采用卷积操作获取局部上下文特征之后，通过双向长短期记忆（BiLSTM）网络充分考虑特征之间的长期依赖关系；然后，通过引入注意力机制考虑不同词汇对文本的贡献程度，同时为了避免迁移过程中出现负迁移现象，在目标函数中引入正则项约束；最后，将在源领域产品评论训练得到的模型参数迁移到目标领域产品评论中，并在少量目标领域有标注数据上进行微调。实验结果表明，与AE-SCL-SR方法和对抗记忆网络（AMN）方法相比，AC-BiLSTM方法的平均准确率分别提高了6.5%和2.2%，AC-BiLSTM方法可以有效地提高跨领域情感分类性能。     

基于深度学习的短文本情感倾向分析综述

短文本情感倾向分析是自然语言处理领域的关键研究问题之一.情感倾向分析是用于检测语言所蕴含主观倾向语义的一系列方法、技术和工具,是对文本深层语义理解的关键.短文本数据的随意性、高歧义性以及简短性使得传统基于特征工程和机器学习分类技术的情感倾向分析任务性能有限.随着深度学习技术在自然语言处理中的广泛应用,基于深度学习的短文...     

基于卷积神经网络的短文本情感分类

近年来,卷积神经网络模型常常被用于文本情感分类的研究中,但多数研究都会忽略文本特征词本身所携带的情感信息和中文文本分词时被错分的情况.针对此问题,提出一种融合情感特征的双通道卷积神经网络情感分类模型(Dual-channel Convolutional Neural Network sentiment classifi...     

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明：提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.     

领域对齐对抗的无监督跨领域文本情感分析算法

在实际应用场景中,情感分析技术为自动判别文本情感极性提供了有效的决策及解决方案,但是文本情感分析技术依赖于大量的标定样本.为了减小对人工标注的依赖,有研究者提出了基于领域自适应的跨领域情感分析技术.该技术面向跨领域文本情感分析任务,将经由标定样本训练的源领域模型,迁移至无标定的目标领域.然而目前的领域自适应技术仅从单个角度进行迁移,即减小领域专有特征差异或提取领域不变特征.因此考虑到跨领域文本数据同时包含领域专有特征和领域不变特征的特点,提出了一种领域对齐对抗的无监督跨领域文本情感分析算法.该算法通过渐进式的迁移策略,逐层减小不同语义层的领域差异,并在高层语义子空间通过协同优化的领域自适应算法,实现跨领域文本数据的领域知识迁移.在2个公开跨领域文本情感数据集上的24组跨领域文本情感分类实验结果表明,与4类领域自适应算法中代表性的和当前表现最优的方法相比,领域对齐对抗的无监督跨领域文本情感分析算法在24组实验中取得了最高的平均分类准确率,同时结合迁移性能分析结果和特征分布可视化结果,证明该算法一定程度上提升了现有无监督跨领域文本情感分析算法的分类性能和迁移性能.     

基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

基于ALBERT-AFSFN的中文短文本情感分析

针对传统的卷积神经网络未能充分利用不同通道间的文本特征语义信息和关联信息,以及传统的词向量表示方法采用静态方式对文本信息进行提取,忽略了文本的位置信息,从而导致文本情感分类不准确的问题,提出了一种结合ALBERT（a lite BERT）和注意力特征分割融合网络（attention feature split fusion network,AFSFN）的中文短文本情感分类模型ALBERT-AFSFN。该模型利用ALBERT对文本进行词向量表示,提升词向量的表征能力;通过注意力特征分割融合网络将特征分割为两组,对两组不同通道的特征进行提取和融合,最大程度保留不同通道之间的语义关联信息;借助Softmax函数对中文短文本情感进行分类,得到文本的情感倾向。在三个公开数据集Chnsenticorp、waimai-10k和weibo-100k上的准确率分别达到了93.33%、88.98%和97.81%,F1值也分别达到了93.23%、88.47%和97.78%,结果表明提出的方法在中文短文本情感分析中能够达到更好的分类效果。     

基于并行混合网络与注意力机制的文本情感分析模型

现有基于深度学习和神经网络的文本情感分析模型通常存在文本特征提取不全面,且未考虑关键信息对文本情感倾向的影响等问题。基于并行混合网络与双路注意力机制,提出一种改进的文本情感分析模型。根据不同神经网络的特点分别采用GloVe和Word2vec两种词向量训练工具将文本向量化,得到更丰富的文本信息。将两种不同的词向量并行输入由双向门控循环单元与卷积神经网络构建的并行混合网络,同时提取上下文全局特征与局部特征,提高模型的特征提取能力。使用双路注意力机制分别对全局特征和局部特征中的关键信息进行加强处理及特征融合,增强模型识别关键信息的能力。将融合后的整个文本特征输入全连接层,实现最终的情感极性分类。在IMDb和SST-2公开数据集上的实验结果表明,该模型的分类准确率分别达到91.73%和91.16%,相比于同类文本情感分析模型有不同程度的提升,从而证明了双路注意力机制可以更全面地捕获文本中的关键信息,提高文本情感分类效果。     

MaskAE: 基于无监督的短文本情感迁移方法

基于无监督的文本情感迁移技术是通过迁移原句子情感并且保持句子内容不变,生成带有其他情感的新句子的技术。这项技术在两个方面富有挑战性: 第一,没有平行语料;第二,文本属性纠缠问题,即当改变句子情感时,通常难以保证句子内容不变。该文提出了一个基于掩码自编码器(mask-autoEncoder,MaskAE)的文本情感迁移方法。首先,利用情感词典来匹配句子中的情感词并用“mask”符号标记它;之后,利用MaskAE 模型生成被标记的情感词,保持其他词不变,从而缓解属性纠缠问题。在模型训练过程中,利用情感判别器去控制生成句子的情感,从而解决没有平行语料问题。实验结果表明,该文模型简单有效,与当前先进模型比较,在自动评价指标和人工评价指标上均有提升,生成的句子在语法和语义正确性上的表现也更好。     

文本情感分析方法研究综述

文本情感分析是自然语言处理领域的一个重要分支,广泛应用于舆情分析和内容推荐等方面,是近年来的研究热点.根据使用的不同方法,将其划分为基于情感词典的情感分析方法、基于传统机器学习的情感分析方法、基于深度学习的情感分析方法.通过对这三种方法进行对比,分析其研究成果,并对不同方法的优缺点进行归纳总结,介绍相关数据集和评价指标...     

基于LSTM的商品评论情感分析

随着电子商务的发展,产生了大量的商品评论文本.针对商品评论的短文本特征,基于情感词典的情感分类方法需要大量依赖于情感数据库资源,而机器学习的方法又需要进行复杂的人工设计特征和提取特征过程.本文提出采用长短期记忆网络（Long Short-Term Memory）文本分类算法进行情感倾向分析,首先利用Word2vec和分词技术将评论短文本文本处理为计算机可理解的词向量传入LSTM网络并加入Dropout算法以防止过拟合得出最终的分类模型.实验表明：在基于深度学习的商品评论情感倾向分析中,利用LSTM网络的短时记忆独特特征对商品评论的情感分类取得了很好的效果,准确率达到99%以上.