一种基于自注意力的句子情感分类方法

注意力机制近年来在多个自然语言任务中得到广泛应用,但在句子级别的情感分类任务中仍缺乏相应的研究。文中利用自注意力在学习句子中重要局部特征方面的优势,结合长短期记忆网络(Long Short-Term Model,LSTM),提出了一种基于注意力机制的神经网络模型(Attentional LSTM,AttLSTM),并将其应用于句子的情感分类。AttLSTM首先通过LSTM学习句子中词的上文信息;接着利用自注意力函数从句子中学习词的位置信息,并构造相应的位置权重向量矩阵;然后通过加权平均得到句子的最终语义表示;最后利用多层感知器进行分类和输出。实验结果表明,AttLSTM在公开的二元情感分类语料库Movie Reviews(MR),Stanford Sentiment Treebank(SSTb2)和Internet Movie Database(IMDB)上的准确率最高,分别为82.8%,88.3%和91.3%;在多元情感分类语料库SSTb5上取得50.6%的准确率。     

基于深层注意力的LSTM的特定主题情感分析

目前特定主题情感分析任务中,传统的基于注意力的深度学习模型缺乏对主题特征和情感信息的有效关注。针对该问题,构建了融合主题特征的深层注意力的LSTM模型（deeper attention LSTM with aspect embedding,AE-DATT-LSTM）,通过共享权重的双向LSTM将主题词向量和文本词向量进行训练,得到主题特征和文本特征进行特征融合,经过深层注意力机制的处理,由分类器得到相应主题的情感分类结果。在SemEval-2014 Task4和SemEval-2017 Task4数据集上的实验结果表明,该方法在特定主题情感分析任务中,较之前基于注意力的情感分析模型在准确率和稳定性上有了进一步的提高。主题特征和深层注意力机制的引入,对于基于特定主题的情感分类任务具有重要的意义,为舆情分析、问答系统和文本推理等领域提供了方法的支持。     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

注意力增强的双向LSTM情感分析

在基于深度学习的情感分析工作中,传统的注意力机制主要以串行的方式作为其他模型的下一层,用于学习其他神经网络模型输出的权重分布。该文在探究使用深度学习进行句子级情感分析任务的基础上,提出一种注意力增强的双向LSTM模型。模型使用注意力机制直接从词向量的基础上学习每个词对句子情感倾向的权重分布,从而学习到能增强分类效果的词语,使用双向LSTM学习文本的语义信息。最终,通过并行融合的方式提升分类效果。通过在NLPCC 2014情感分析语料上进行测试,该模型的结果优于其他句子级情感分类模型。     

基于多注意力长短时记忆的实体属性情感分析

属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题，提出了一种融合多注意力和属性上下文的长短时记忆（LSTM-MATT-AC）神经网络模型。在双向长短时记忆（LSTM）的不同位置加入不同类型的注意力机制，充分利用多注意力机制的优势，让模型能够从不同的角度关注句子中特定属性的情感信息，弥补了单一注意力机制的不足；同时，融合双向LSTM独立编码的属性上下文语义信息，获取更深层次的情感特征，有效识别特定属性的情感极性；最后在SemEval2014 Task4和Twitter数据集上进行实验，验证了不同注意力机制和独立上下文处理方式对属性情感分析模型的有效性。实验结果表明，模型在Restaurant、Laptop和Twitter领域数据集上的准确率分别达到了80.6%、75.1%和71.1%，较之前基于神经网络的情感分析模型在准确率上有了进一步的提高。     

基于BiGRU和注意力交互模型的方面级情感分析

针对传统神经网络模型无法有效识别文本中特定方面情感倾向,以及不同词语对句子的情感极性贡献不同等问题,文章提出了基于BiGRU的注意力交互模型(BiGRU-IAT).该文使用Bert预训练模型分别对句子和方面词编码,充分考虑词语在上下文中的关联性,可以有效解决词语多义性问题.双向GRU网络提取文本语义信息得到隐藏层向量表示,接下来利用注意力机制捕捉句子和方面词之间的交互信息,为词语分配相应的权重分数.在SemEval 2014数据集上的实验结果表明,BiGRU-IAT模型在准确率和F1值上优于传统神经网络模型.     

RoBERTa融合BiLSTM及注意力机制的隐式情感分析

隐式情感分析是自然语言处理的研究热点之一,由于其表达隐晦且缺少显示情感词,使得传统的文本情感分析方法不再适用。针对隐式情感分析中句子语义的隐藏情感捕捉困难问题,提出了基于RoBERTa融合双向长短期记忆网络及注意力机制的RBLA模型。该模型使用RoBERTa预训练模型捕获隐式情感句中字词的语义特征,再使用双向长短期记忆网络学习句子的正反向语义信息,以捕获句子间的依赖关系,实现对文本深层次特征的提取。使用注意力机制进行情感权重计算,通过softmax函数进行归一化处理,得出隐式情感分类结果。实验结果表明,与现有的几种典型隐式情感分类模型相比较,RBLA模型在精确率、召回率和F1值上均取得了较好效果。     

融合标签信息的分层图注意力网络文本分类模型

目前基于分层图注意力网络的单标签文本分类任务存在2方面不足：一是不能较好地对文本特征进行提取；二是很少有研究通过文本与标签之间的联系进一步凸显文本特征。针对这2个问题，提出一种融合标签信息的分层图注意力网络文本分类模型。该模型依据句子关键词与主题关联性构建邻接矩阵，然后使用词级图注意力网络获取句子的向量表示。该模型是以随机初始化的目标向量为基础，同时利用最大池化提取句子特定的目标向量，使得获取的句子向量具有更加明显的类别特征。在词级图注意力层之后使用句子级图注意力网络获取具有词权重信息的新文本表示，并通过池化层得到文本的特征信息。另一方面利用GloVe预训练词向量对所有文本标注的标签信息进行初始化向量表示，然后将其与文本的特征信息进行交互、融合，以减少原有特征损失，得到区别于不同文本的特征表示。在R52、R8、20NG、Ohsumed及MR 5个公开数据集上的实验结果表明，该模型的分类准确率明显优于其它主流基线模型的。     

嵌入常识的混合注意力LSTM用于主题情感分析

传统神经网络模型在捕捉上下文信息时,缺乏对于某一主题重要线索的准确分析能力。对此提出嵌入常识知识库的混合注意力长短时记忆网络(LSTM)主题情感分析模型。通过引入全局注意力和位置注意力机制来改进长短时记忆网络LSTM;将常识知识库嵌入到LSTM的情感分类训练中。该模型在推断特定主题的情感极性时明确地抓住了每个上下文词的重要性,使分类更加准确。实验结果表明,混合注意力模型与常识知识库的引入,提高了主题情感分析的分类效果。     

基于注意力机制的文本情感倾向性研究

社交媒体上短文本情感倾向性分析作为情感分析的一个重要分支,受到越来越多研究人员的关注。为了改善短文本特定目标情感分类准确率,提出了词性注意力机制和LSTM相结合的网络模型PAT-LSTM。将文本和特定目标映射为一定阈值范围内的向量,同时用词性标注处理句子中的每个词,文本向量、词性标注向量和特定目标向量作为模型的输入。PAT-LSTM可以充分挖掘句子中的情感目标词和情感极性词之间的关系,不需要对句子进行句法分析,且不依赖情感词典等外部知识。在SemEval2014-Task4数据集上的实验结果表明,在基于注意力机制的情感分类问题上,PAT-LSTM比其他模型具有更高的准确率。     

融合情感词交互注意力机制的属性抽取研究

在现有的属性抽取研究中,注意力建模多采用全局或局部的自注意力机制,未能较好地利用句子本身所含有的情感词信息。然而,句子中所需抽取的属性大多存在若干与其具有强相关性的情感词。因此,利用情感词辅助注意力的建模可增强注意力的准确性。该文提出一种融合情感词的交互注意力机制,将文本中所有的情感词按序排列,并通过双向长短时记忆网络编码原始文本,利用全连接神经网络和高速网络编码排列的情感词;然后,利用情感词编码与原始文本编码建模交互注意力,从而使模型在情感词的辅助下精确地定位文中所包含的属性;最终,使用条件随机场进行属性标记。该文利用2014、2015语义评估属性级情感分析官方评测数据进行实验,验证了上述方法的有效性,该方法在三个基准数据集上F₁值分别提高了5.53、2.90和5.76个百分点。     

面向上下文注意力联合学习网络的方面级情感分类模型

针对现有的方面级情感分类模型存在感知方面词能力较弱、泛化能力较差等问题,文中提出面向上下文注意力联合学习网络的方面级情感分类模型(CAJLN).首先,利用双向Transformer的表征编码器(BERT)模型作为编码器,将文本句子预处理成句子、句子对和方面词级输入序列,分别经过BERT单句和句子对分类模型,进行上下文、方面词级和句子对隐藏特征提取.再基于上下文和方面词级隐藏特征,建立上下文和方面词的多种注意力机制,获取方面特定的上下文感知表示.然后,对句子对隐藏特征和方面特定的上下文感知表示进行联合学习.采用Xavier正态分布对权重进行初始化,确保反向传播时参数持续更新,使CAJLN在训练过程中可以学习有用信息.在多个数据集上的仿真实验表明,CAJLN可有效提升短文本情感分类性能.     

基于情感评分的分层文本表示情感分类方法

文本中的词并非都具有相似的情感倾向和强度,较好地编码上下文并从中提取关键信息对于情感分类任务而言非常重要。为此,提出一种基于情感评分的分层注意力网络框架,以对文本情感进行有效分类。利用双向循环神经网络编码器分别对词向量和句向量进行编码,并通过注意力机制加权求和以获得文档的最终表示。设计辅助网络对文本的词、句进行情感评分,利用该评分调整注意力权重分布。在探究文本的情感信息对分类性能的影响后,通过辅助网络进一步促使模型关注情感色彩强烈的信息。在4个常用情感分类数据集上的实验结果表明,该框架能够关注文本中的情感表达并获得较高的分类准确率。     

一种基于多任务学习的方面级情感分析方法

针对方面类别或方面词项子任务的情感分析方法性能受单任务网络结构的限制,且相关任务的数据集不足.为此,提出一种基于多任务学习的方面级情感分析模型,共同学习两个子任务和方面词项重建任务.通过共享双向门控循环单元和Sentence-level的注意力对多个任务的句子向量编码,并利用Aspect-level的注意力针对不同方面...     

基于BiGCN和IAM的方面级情感分类模型

目前基于神经网络的方面级情感分类模型很少会考虑上下文单词与方面词之间的句法依存关系,可能会错误地将与方面词语法无关的上下文单词作为方面词的情感特征;另一方面大多数方法也忽略了上下文与方面词之间的交互信息。针对这两个问题,提出了基于双向图卷积网络（BiGCN）和交互注意力机制（IAM）的方面级情感分类模型（BiGCN-IAM）,该模型在句法依存树上使用双向图卷积网络提取上下文单词和方面词之间的句法依存关系,然后使用掩码层得到特定的方面词表示;最后使用交互注意力机制学习上下文与方面词之间的交互信息,同时提取了上下文中的重要情感特征和方面词中对分类有贡献的特征。通过在五个公开数据集上的实验证明,该模型效果优于基线模型。     

融合多特征的分段卷积神经网络对象级情感分类方法

对象级情感分类旨在判断句子中特定对象的情感极性类别。在现有基于卷积神经网络的研究中,常在模型的池化层采用最大池化操作提取文本特征作为句子表示,该操作未考虑由对象所划分的上下文,因此无法得到更细粒度的对象上下文特征。针对该问题,该文提出一种融合多特征的分段卷积神经网络(multi-feature piecewise convolution neural network,MP-CNN)模型,根据对象将句子划分为两个部分作为上下文,并在池化层采用分段最大池化操作提取上下文特征。此外,该模型还将有助于情感分类的多个辅助特征融入其中,如词的相对位置、词性以及词在情感词典中的情感得分,并通过卷积操作计算词的注意力得分,有效判断对象的情感极性类别。最后在SemEval 2014数据集和Twitter数据集的实验中,取得了较基于传统机器学习、基于循环神经网络以及基于单一最大池化的卷积神经网络分类模型更好的分类效果。     

基于交互注意力图卷积网络的方面情感分类

基于方面的情感分类任务旨在识别句子中给定方面词的情感倾向性。以往的方法大多基于长短时记忆网络和注意力机制,这种做法在很大程度上仅依赖于建模句子中的方面词与其上下文的语义相关性,但忽略了句中的语法信息。针对这种缺陷,提出了一种交互注意力的图卷积网络,同时建模了句中单词的语义相关性和语法相关性。首先使用双向长短时记忆网络来学习句子的词序关系,捕捉句中上下文的语义信息;其次引入位置信息后,通过图卷积网络来学习句中的语法信息;然后通过一种掩码机制提取方面词;最后使用交互注意力机制,交互计算特定方面的上下文表示,并将其作为最后的分类特征。通过这种优势互补的设计,该模型可以很好地获得聚合了目标方面信息的上下文表示,并有助于情感分类。实验结果表明,该模型在多个数据集上都获得了优秀的效果。与未考虑语法信息的Bi-IAN模型相比,该模型在所有数据集上的结果均优于Bi-IAN模型,尤其在餐厅领域的REST14,REST15和REST16数据集上,该模型的F1值较Bi-IAN模型分别提高了4.17%,7.98%和8.03%;与同样考虑了语义信息和语法信息的ASGCN模型相比,该模型的F1值在除了LAP14数据集外的其他数据集上均优于ASGCN模型,尤其在餐厅领域的REST14,REST15和REST16数据集上,该模型的F1值较ASGCN模型分别提高了2.05%,1.66%和2.77%。     

融合情感词典与上下文语言模型的文本情感分析

词嵌入技术在文本情感分析中发挥着重要的作用,但是传统的Word2Vec、GloVe等词嵌入技术会产生语义单一的问题。针对上述问题提出了一种融合情感词典与上下文语言模型ELMo的文本情感分析模型SLP-ELMo。首先,利用情感词典对句子中的单词进行筛选;其次,将筛选出的单词输入字符卷积神经网络（char-CNN）,从而产生每个单词的字符向量;然后,将字符向量输入ELMo模型进行训练;此外,在ELMo向量的最后一层加入了注意力机制,以便更好地训练词向量;最后,将词向量与ELMo向量并行融合并输入分类器进行文本情感分类。与现有的多个模型对比,所提模型在IMDB和SST-2这两个数据集上均得到了更高的准确率,验证了模型的有效性。     

方面级多模态协同注意图卷积情感分析模型

目的 方面级多模态情感分析日益受到关注,其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够,限制了方面级多模态情感分析的性能。为了解决上述问题,提出一个方面级多模态协同注意图卷积情感分析模型（aspect-level multimodal co-attention graph convolutional sentiment analysis model,AMCGC）来同时建模方面指向的模态内上下文语义关联和跨模态的细粒度对齐,以提升情感分析性能。方法 AMCGC为了获得方面导向的模态内的局部语义相关性,利用正交约束的自注意力机制生成各个模态的语义图。然后,通过图卷积获得含有方面词的文本语义图表示和融入方面词的视觉语义图表示,并设计两个不同方向的门控局部跨模态交互机制递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐,从而降低模态间的异构鸿沟。最后,设计方面掩码来选用各模态图表示中方面节点特征作为情感表征,并引入跨模态损失降低异质方面特征的差异。结果 在两个多模态数据集上与9种方法进行对比,在Twitter-2015数据集中,相比于性能第2的模型,准确率提高了1.76%;在Twitter-2017数据集中,相比于性能第2的模型,准确率提高了1.19%。在消融实验部分则从正交约束、跨模态损失、交叉协同多模态融合分别进行评估,验证了AMCGC模型各部分的合理性。结论 本文提出的AMCGC模型能更好地捕捉模态内的局部语义相关性和模态之间的细粒度对齐,提升方面级多模态情感分析的准确性。