面向方面级情感分类的特征融合学习网络

在方面级情感分类任务中,现有方法强化方面词信息能力较弱,局部特征信息利用不充分.针对上述问题,文中提出面向方面级情感分类的特征融合学习网络.首先,将评论处理为文本、方面和文本-方面的输入序列,通过双向Transformer的表征编码器得到输入的向量表示后,使用注意力编码器进行上下文和方面词的建模,获取隐藏状态,提取语义信息.然后,基于隐藏状态特征,采用方面转换组件生成方面级特定的文本向量表示,将方面信息融入上下文表示中.最后,对于方面级特定的文本向量通过文本位置加权模块提取局部特征后,与全局特征进行融合学习,得到最终的表示特征,并进行情感分类.在英文数据集和中文评论数据集上的实验表明,文中网络提升分类效果.     

结合RoBERTa和BiSRU-AT的微博用户情感分类研究

针对传统词向量如Word2Vec无法表示多义词,以及现有情感分类模型特征提取能力不足等问题,提出了将RoBERTa(robustly optimized BERT pretraining approach)和BiSRU-AT的微博用户情感分类模型结合的方法。预训练模型RoBERTa,通过参考词所处的具体上下文位置学习到词的动态语义表征向量;BiSRU-AT模块二次提取文本序列特征、软注意力机制为关键词分配更高权重。在真实新浪微博用户评论数据集进行实验,结果表明,RoBERTa-BiSRU-AT模型取得了更高的分类准确率,BiSRU训练效率更优,证明RoBERTa与BiSRU-AT结合的有效性。     

结合BERT和BiSRU-AT的中文文本情感分类

针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT- BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元（BiSRU）二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明,结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值。     

基于改进BERT-BiGRU模型的文本情感分类研究

针对目前网络评论文本情感分类准确性不高的问题,提出一种基于BERT和双向门控循环单元（BiGRU）的改进模型,使用能够表征文本丰富语义特征的BERT模型进行词向量表示,结合能够长期保留文本上下文关联信息的BiGRU神经网络提高模型的分类效果,并在此基础上引入注意力机制,突出文本中更能表达分类结果的情感词权重,提高情感分类的准确率。将上述模型分别在Acllmdb＿v1和酒店评论两个公开数据集上进行测试,实验结果表明,该模型在中、英文文本情感分类任务中都获得了良好的性能。     

基于ChineseBERT和多特征协同网络的电力设备缺陷文本分类模型

针对传统模型特征提取不够全面,词向量语义表达不准确等问题,提出了结合ChineseBERT和多特征协同网络的电力设备缺陷文本分类模型。采用针对汉字优化的ChineseBERT模型提取文本向量表征,提高词向量语义表示的准确性。多特征协同网络全面捕捉缺陷文本局部和上下文语义特征。软注意力机制提升模型聚焦于关键特征的能力。在真实电力设备缺陷文本数据集开展实验,结果表明该模型分类性能优于近期表现较好的深度学习模型,F1分数高达96.82%,证明了模型的有效性。     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

基于Transformer和多通道卷积神经网络的情感分析研究

文本情感分析是自然语言处理的经典领域之一.文中提出了一种基于transformer特征抽取器联合多通道卷积神经网络的文本情感分析的模型.该模型使用transformer特征提取器在传统Word2vector,Glove等方式训练的静态词向量的基础上来进行单词的分层、动态表示,针对特定数据集采用Fine-Tuning方式来进行训练有效提升了词向量的表征能力.多通道卷积神经网络考虑了不同大小范围内词序列之间的依赖关系,有效进行特征抽取并达到降维的目的,能够有效捕捉句子的上下文语义信息,使模型捕获更多的语义情感信息,提升文本的语义表达能力,通过Softmax激活函数达成情感倾向分类的目标.模型分别在IMDb和SST-2电影评论数据集上进行实验,测试集上准确率达90.4％和90.2％,这明所提模型较传统词嵌入结合CNN或RNN的模型在分类精确度上有了一定程度的提升.     

基于ALBERT-AFSFN的中文短文本情感分析

针对传统的卷积神经网络未能充分利用不同通道间的文本特征语义信息和关联信息,以及传统的词向量表示方法采用静态方式对文本信息进行提取,忽略了文本的位置信息,从而导致文本情感分类不准确的问题,提出了一种结合ALBERT（a lite BERT）和注意力特征分割融合网络（attention feature split fusion network,AFSFN）的中文短文本情感分类模型ALBERT-AFSFN。该模型利用ALBERT对文本进行词向量表示,提升词向量的表征能力;通过注意力特征分割融合网络将特征分割为两组,对两组不同通道的特征进行提取和融合,最大程度保留不同通道之间的语义关联信息;借助Softmax函数对中文短文本情感进行分类,得到文本的情感倾向。在三个公开数据集Chnsenticorp、waimai-10k和weibo-100k上的准确率分别达到了93.33%、88.98%和97.81%,F1值也分别达到了93.23%、88.47%和97.78%,结果表明提出的方法在中文短文本情感分析中能够达到更好的分类效果。     

双通道的BCBLA情感分类模型

针对传统情感分类模型的词向量表示无法解决多义词表征的问题,以及目前基于BERT的多通道情感分类模型研究较少的问题,提出了一种基于BERT的双通道情感分类模型BCBLA.该模型有BERT+CNN和BERT+BiLSTM-Attention两个通道,首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用通道1的CNN网络增强对文本局部特征提取的能力和通道2的BiLSTM-Attention模型增强对长序列文本处理以及关键情感分类特征提取的能力;最后使用Softmax激励函数对通道1和通道2的融合特征进行分类.为了验证本文提出的模型的有效性,本文在中文谭松波酒店评论和英文Yelp Dataset Challenge两种数据集进行实验,设置了与当前流行的情感分类模型对比、减少通道后的模型对比和更换预训练模型后的对比等3种实验对比方式,最终实验结果表明,本文BCBLA模型在中文和英文两种数据集上测试结果中值分别取得了92.86%和95.55%的最佳效果.     

改进CNN的多通道语义合成情感分类模型研究

为了解决传统神经网络由于上下文语序变化而导致的情感歧义问题,提出一种多通道语义合成卷积神经网络（SFCNN）。使用改进的情感倾向注意力机制对词向量进行情感加权操作;将情感倾向词向量进行多通道语义合成,生成带有文本上下文语义信息的深度语义向量,构建情感分类模型;使用自适应学习率的梯度下降算法对模型参数进行优化,完成行情感分类任务。为了验证改进算法的有效性,使用多种微博数据样本集在提出的模型上进行对比实验。实验结果表明,改进的情感倾向注意力机制结合多通道语义合成卷积神经网络具有较好的情感分类能力,并且自适应学习率的梯度下降算法可以更快地完成模型收敛工作。     

基于加权融合字词向量的中文在线评论情感分析

随着社交网络平台的广泛使用,涌现出大量蕴涵丰富情感信息的在线评论文本,分析评论中表达的情感对企业、平台等具有重要意义。为了解决目前针对在线评论短文本情感分析中存在特征提取能力弱以及忽略短文本本身情感信息的问题,提出一种基于文本情感值加权融合字词向量表示的模型——SVW-BERT模型。首先,基于字、词级别向量融合表示文本向量,最大程度获取语义表征,同时考虑副词、否定词、感叹句及疑问句对文本情感的影响,通过权值计算得到文本的情感值,构建情感值加权融合字词向量的中文短文本情感分析模型。通过网络平台在线评论数据集对模型的可行性和优越性进行验证。实验结果表明,字词向量融合特征提取语义的能力更强,同时情感值加权句向量考虑了文本本身蕴涵的情感信息,达到了提升情感分类能力的效果。     

基于词性特征的CNN_BiGRU文本分类模型

传统词嵌入通常将词项的不同上下文编码至同一参数空间,造成词向量未能有效辨别多义词的语义;CNN网络极易关注文本局部特征而忽略文本时序语义,BiGRU网络善于学习文本时序整体语义,造成关键局部特征提取不足.针对上述问题,提出一种基于词性特征的CNN_BiGRU文本分类模型.引入词性特征构建具有词性属性的词性向量;将词性向量与词向量交叉组合形成增强词向量,以改善文本表示;采用CNN网络获取增强词向量的局部表示,利用BiGRU网络捕获增强词向量的全局上下文表示;融合两模型学习的表示形成深度语义特征;将该深度语义特征连接至Softmax分类器完成分类预测.实验结果表明,该模型提高了分类准确率,具有良好的文本语义建模和识别能力.     

基于Self-Attention和Bi-LSTM的中文短文本情感分析

短文本情感分析用于判断文本的情感极性,在商品评论、舆情监控等领域有重要应用。由于目前主流的基于词注意力机制的双向循环神经网络模型性能很大程度上依赖于分词的准确性,且注意力机制需较多的参数依赖,无法使模型更多的关注短文本的内部序列关系。针对上述问题,该文提出了基于字向量表示方法并结合Self-attention和BiLSTM的中文短文本情感分析算法。首先,对短文本进行字向量化表示,采用BiLSTM网络提取文本上下文关系特征,通过自注意力机制动态调整特征权重,Softmax分类器得到情感类别。在COAE 2014微博数据集和酒店评论数据集的实验结果表明,采用字向量文本表示方法较词向量更适合短文本,自注意力机制可以减少外部参数依赖,使模型能学到更多的文本自身关键特征,分类性能可分别提高1.15%和1.41%。     

标签指导的双注意力深度神经网络模型

在数据集不包含标签文本信息时,现有的显式交互分类模型无法显式计算文本单词和标签之间的语义关系.针对此问题,文中提出标签指导的双注意力深度神经网络模型.首先,提出基于逆标签频次的自动类别标签描述生成方法,为每个标签生成特定的标签描述,用于显式计算文本单词与标签之间的语义关系.在此基础上,使用文本编码器学习具有上下文语境信息的评论文本表示,并提出标签指导的双注意力网络,分别学习基于自注意力的文本表示和基于标签注意力的文本表示.然后,使用自适应门控机制融合这两个文本表示,得到文本最终表示.最后,使用两层前馈神经网络作为分类器,进行情感分类.在3个公开的真实数据集上的实验表明,文中模型分类效果较优,可减少计算代价和训练时长.     

应用BERT和BiGRU-AT的电力营销客服工单分类模型

针对传统词向量无法表示多义词，以及传统深度学习模型特征提取能力弱等问题，提出结合BERT和BiGRU-AT的电力营销客服工单分类模型。利用BERT进行工单文本特征表示，参考具体上下文语境，知道动态词向量表示；用BiGRU模型进行二次语义特征学习，全面提取句子的高维特征；通过软注意力机制为每个词分配不同权重，提升模型聚焦关键词的能力；在真实电力客服工单数据集上进行实验，结果表明，BERT-BiGRU-AT模型在客服工单分类上具有较高的准确率。     

基于动态词向量和注意力机制的文本情感分类

针对Word2vec等静态词向量模型对于每个词只有唯一的词向量表示,无法学习在不同上下文中的词汇多义性问题,提出一种基于动态词向量和注意力机制的文本情感分类方法.在大型语料库上利用深度双向语言模型预训练通用词向量;在情感分类任务的训练语料上对向量模型进行微调,得到最终的上下文相关的动态词向量作为输入特征;搭建双向长短期记忆网络模型,并引入注意力机制以提高特征提取的准确性.实验结果表明,该方法在IMDB和Yelp13数据集上的分类准确率分别提高了0.017和0.011.     

基于BERT变种模型的情感分析实现

随着舆论数据的快速增长,情感分析技术在舆论检测中发挥越来越重要的作用。由于文本数据本身的稀疏性和高维性,加上中文语义的复杂性,情感分析面临着巨大挑战。本文提出了基于BERT变种的深度学习模型。首先利用BERT模型将文本编码为词向量,采用权重矩阵对词向量加权,增强语句中情感特征,然后利用BiLSTM提取词向量中上下文特征,利用注意力机制对隐特征向量进行特征加权。经过处理后,利用卷积神经网络提取出文本中重要的局部特征,最后输出到全连接层进行文本的分类。实验表明,相比BERT模型,BiLSTM以及其它文本分类模型,该模型在外卖评论数据集中的精确率明显提高。     

融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入（ELMo）和多尺度卷积神经网络（MSCNN）的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆（LSTM）网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络（CNN）的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。     

预训练模型下融合注意力机制的多语言文本情感分析方法

多语言文本的情感分析是情感分析领域的重要问题之一,而现有的情感分析方法着重于对单语言文本的研究.本文针对中英混合文本提出了一种细粒度情感分析模型,通过基于大规模语料的预训练语言模型得到上下文语义相关的词向量,将词向量输入双向LSTM网络学习文本的情感表征,使用多语言注意力机制分别针对单语和双语文本提取关键情感表征,最终通过并行融合的方式提升情感分类效果.本文使用NLPCC2018多语言文本情绪分析任务数据集进行细粒度情感分析,对比评测任务中的最好结果,本文模型得到的宏平均F1值提高至0. 581,表明了本文方法的有效性.     

基于LDA—加权Word2Vec组合的机器学习情感分类模型研究

为解决社交媒体用户发布评论文本过长,导致情感倾向不明确,情感特征分布离散,传统情感分类模型缺乏上下文语义分析,提取情感特征不准确,分类精准率较低的难题,提出一种主题模型与词向量组合特征（LDA-Word2Vec）的情感分类模型。通过LDA主题模型对长评论文本进行特征提取,构建所有主题下的特征词库;借助特征词库构建长评论的LDA特征表达;利用CBOW训练得到特征表达后文本的词向量表示,使用TF-IDF对词向量进行加权并融合语义特征,再构建机器学习模型对长评论文本进行情感分类的方法,研究了机器学习情感分类模型。实验结果表明：相较于传统的文本特征表示方法,本文提出的LDA-Word2Vec组合特征的方法,在情感分类的准确率与召回率的表现上都更加优秀。可见本文的模型能够进一步挖掘文本的情感特征,具有一定学术意义和现实意义。