基于表情符注意力机制的微博情感分析模型

为了对中文微博进行有效的情感极性识别,基于表情符能改变或加强微博文本的情感极性这一认知事实,提出基于表情符注意力机制的微博情感分析神经网络模型。该模型在使用双向循环神经网络模型(BiLSTM)学习文本的特征表示时,利用表情符注意力机制,得到文本结合表情符后新的特征表示,从而实现微博情感识别。实验结果显示,与输入纯文本和表情符的Bi-LSTM模型相比,基于表情符注意力机制的模型准确率提高了4. 06%;与仅输入纯文本的Bi-LSTM模型相比,基于表情符注意力机制的模型准确率提高了6. 35%。     

标签指导的双注意力深度神经网络模型

在数据集不包含标签文本信息时,现有的显式交互分类模型无法显式计算文本单词和标签之间的语义关系.针对此问题,文中提出标签指导的双注意力深度神经网络模型.首先,提出基于逆标签频次的自动类别标签描述生成方法,为每个标签生成特定的标签描述,用于显式计算文本单词与标签之间的语义关系.在此基础上,使用文本编码器学习具有上下文语境信息的评论文本表示,并提出标签指导的双注意力网络,分别学习基于自注意力的文本表示和基于标签注意力的文本表示.然后,使用自适应门控机制融合这两个文本表示,得到文本最终表示.最后,使用两层前馈神经网络作为分类器,进行情感分类.在3个公开的真实数据集上的实验表明,文中模型分类效果较优,可减少计算代价和训练时长.     

多维特征融合的混合神经网络文本情感分析模型

针对复杂文本评论的情感分析研究存在着隐式主题方面分类不精确、文本特征提取不全面和识别文本上下文语义不足等问题,论文提出了一种多维特征融合的混合神经网络文本情感分析模型MFF-HNN.该模型先把词向量、词性、位置和句法依存特征进行注意力特征融合,抽取出主题词库,然后把融合特征输入到改进的TBGRU模型和DCNN模型中获取语义信息和局部特征信息,再与主题词库结合进行注意力特征融合语义特征信息,最后使用SoftMax函数获取文本方面级情感分类信息.实验表明,该模型的情感分类的效果优于其它模型.     

基于并行混合网络与注意力机制的文本情感分析模型

现有基于深度学习和神经网络的文本情感分析模型通常存在文本特征提取不全面,且未考虑关键信息对文本情感倾向的影响等问题。基于并行混合网络与双路注意力机制,提出一种改进的文本情感分析模型。根据不同神经网络的特点分别采用GloVe和Word2vec两种词向量训练工具将文本向量化,得到更丰富的文本信息。将两种不同的词向量并行输入由双向门控循环单元与卷积神经网络构建的并行混合网络,同时提取上下文全局特征与局部特征,提高模型的特征提取能力。使用双路注意力机制分别对全局特征和局部特征中的关键信息进行加强处理及特征融合,增强模型识别关键信息的能力。将融合后的整个文本特征输入全连接层,实现最终的情感极性分类。在IMDb和SST-2公开数据集上的实验结果表明,该模型的分类准确率分别达到91.73%和91.16%,相比于同类文本情感分析模型有不同程度的提升,从而证明了双路注意力机制可以更全面地捕获文本中的关键信息,提高文本情感分类效果。     

基于声学和文本特征的多模态情感识别

在语音模态中,利用OpenSMILE工具箱可以从语音信号中提取浅层声学特征,通过Transformer Encoder网络从浅层声学特征中挖掘深层特征,并将深浅层特征融合,从而获取更丰富的情感表征。在文本模态中,考虑到停顿因素与情感之间的关联性,将语音和文本对齐以获得说话停顿信息,采用停顿编码的方式将停顿信息添加到转录文本中,再通过DC-BERT模型获取话语级文本特征。将获得的声学与文本特征进行融合,利用基于注意力机制的双向长短时记忆（Bi-directional long short-term memory-attention,BiLSTM-ATT）神经网络进行情感分类。最后,本文对比了3种不同注意力机制融入BiLSTM网络后对情感识别的影响,即局部注意力、自注意力和多头自注意力,发现局部注意力的效果最优。实验表明,本文提出的方法在IEMOCAP数据集上的4类情感分类的加权准确率达到了78.7%,优于基线系统。     

基于RoBERTa-ATTLSTM新闻分类方法研究

针对解决新闻文本如何有效提取关键主题信息进行归纳分类的问题,提出一种基于RoBERTa-wwm与注意力机制混合的深度学习文本分类模型RoBERTa-ATTLSTM。模型首先采用RoBERTa-wwm预训练语言模型获取文本的动态特征信息;利用双向长短期记忆网络Bi-LSTM进一步提取文本更深层次的语义关系,将最后一个时序输出作为特征向量输入到注意力机制层;最后通过全连接层神经网络得到文本分类结果。在今日头条与新浪新闻THUCnews数据集上的实验表明,模型RoBERTa-ATTLSTM的准确率、精确率、F1值、召回率均为最高,且模型可有效提取文本中字词特征信息,提高新闻文本分类效果。     

一种基于自注意力机制的用户评论情感分类方法

近年来,用户评论情感分类方法成为自然语言处理领域的重要研究内容。本文利用自注意力机制在文本中捕捉重要局部特征的优势,在没有外部语法信息的条件下自动学习上下文关系,并结合卷积神经网络模型TextCNN,提出一种基于自注意力机制的文本分类模型(TextCNN Attention,TextCNN-Att),TextCNN-Att模型结合了卷积神经网络中的卷积操作,但不对卷积结果进行Maxpoolling,而是对卷积结果进行Attention处理,然后对每一个Attention结果进行Softmax,从而实现对用户评论的情感分类。实验结果表明,TextCNN-Att在2018 AI全球挑战赛的数据集上的精确率为0.921,召回率为0.945,F1值为0.933。     

基于深层注意力的LSTM的特定主题情感分析

目前特定主题情感分析任务中,传统的基于注意力的深度学习模型缺乏对主题特征和情感信息的有效关注。针对该问题,构建了融合主题特征的深层注意力的LSTM模型（deeper attention LSTM with aspect embedding,AE-DATT-LSTM）,通过共享权重的双向LSTM将主题词向量和文本词向量进行训练,得到主题特征和文本特征进行特征融合,经过深层注意力机制的处理,由分类器得到相应主题的情感分类结果。在SemEval-2014 Task4和SemEval-2017 Task4数据集上的实验结果表明,该方法在特定主题情感分析任务中,较之前基于注意力的情感分析模型在准确率和稳定性上有了进一步的提高。主题特征和深层注意力机制的引入,对于基于特定主题的情感分类任务具有重要的意义,为舆情分析、问答系统和文本推理等领域提供了方法的支持。     

多头注意力记忆网络的对象级情感分类

细粒度的情感分类任务需要识别文本当中与评论对象相关度最高的观点词并进行情感极性分类.文中利用多头注意力机制改进记忆网络,提取不同对象情感分类特征,实现对象级情感分类.将文本的词嵌入向量存储在记忆组件中,使用多头注意力机制在多个特征空间同时建模文本整体语义与对象相关语义.利用前馈网络层整合多个特征空间下的信息作为分类特征.在SemEval-2014数据集及扩充的数据集上实验表明,文中方法有利于缓解方法的选择性偏好.     

基于级联双通道分阶段融合的双模态情感识别

为充分提取文本和语音双模态深层情感特征，解决模态间有效交互融合的问题，提高情感识别准确率，提出了基于级联双通道分阶段融合（cascade two channel and phased fusion,CTC-PF）的双模态情感识别模型。设计级联顺序注意力编码器（cascaded sequential attention-Encoder,CSA-Encoder）对长距离语音情感序列信息进行并行化计算，提取深层语音情感特征；提出情感领域级联编码器（affective field cascade-Encoder,AFC-Encoder），提高模型的全局和局部文本理解能力，解决文本关键情感特征稀疏的问题。两个级联通道完成语音和文本信息的特征提取之后，利用协同注意力机制对两者的重要情感特征进行交互融合，降低对齐操作成本，然后采用哈达玛点积对其进行二次融合，捕获差异性特征，分阶段融合实现不同时间步长模态序列间的信息交互，解决双模态情感信息交互不足的问题。模型在IEMOCAP数据集上进行分类实验，结果表明，情感识别准确率可达79.4%,F1值可达79.0%，相比现有主流方法有明显提升，证明了该模型在语...     

基于Self-Attention和Bi-LSTM的中文短文本情感分析

短文本情感分析用于判断文本的情感极性,在商品评论、舆情监控等领域有重要应用。由于目前主流的基于词注意力机制的双向循环神经网络模型性能很大程度上依赖于分词的准确性,且注意力机制需较多的参数依赖,无法使模型更多的关注短文本的内部序列关系。针对上述问题,该文提出了基于字向量表示方法并结合Self-attention和BiLSTM的中文短文本情感分析算法。首先,对短文本进行字向量化表示,采用BiLSTM网络提取文本上下文关系特征,通过自注意力机制动态调整特征权重,Softmax分类器得到情感类别。在COAE 2014微博数据集和酒店评论数据集的实验结果表明,采用字向量文本表示方法较词向量更适合短文本,自注意力机制可以减少外部参数依赖,使模型能学到更多的文本自身关键特征,分类性能可分别提高1.15%和1.41%。     

结合自注意力机制的神经网络文本分类算法研究

在长文本数据中存在很多与主题不相关词汇,导致这些文本数据具有信息容量大、特征表征不突出等特点。增加这些文本中关键词汇的特征影响,是提高文本分类器性能需要解决的问题。提出一种结合自注意力机制的循环卷积神经网络文本分类模型RCNN_A。注意力机制对文本词向量计算其对正确分类类别的贡献度,得到注意力矩阵,将注意力矩阵和词向量矩阵相结合作为后续结构的输入。实验结果表明,RCNN_A在10类搜狗新闻数据集上,得到了97.35%的分类正确率,比Bi-LSTM(94.75%)、Bi-GRU(94.25%)、TextCNN(93.31%)、RCNN(95.75%)具有更好的文本分类表现。通过在深度神经网络模型中引入注意力机制,能够有效提升文本分类器性能。     

基于深度神经网络的微博文本情感倾向性分析

随着新型社交媒体的发展,作为传播网络舆论的重要媒介,微博已然成为挖掘民意的平台.自然语言处理技术可以从微博文本中提取有效情感信息,为网络舆情监控、预测潜在问题及产品分析等提供科学的决策依据.为了克服现有的浅层学习算法对复杂函数表示能力有限的问题,本文尝试融合深度学习的思想,提出基于Word2Vec和针对长短时记忆网络改进的循环神经网络的方法进行中文微博情感分析.在两万多条中文标注语料上进行训练实验,实验数据与SVM、RNN、CNN作对比,对比结果证明,本文提出的情感分析模型准确率达到了91.96%,可以有效提高微博文本情感分类的正确率.     

基于上下文和位置交互协同注意力的文本情绪原因识别

文本情绪原因识别是情绪分析的重要研究任务,其目的是发现文本中个体情绪产生、变迁的原因.近年来,深度神经网络和注意力机制被广泛应用到情绪原因识别方法中,取得了较好的效果.但在这些工作中,文本中的语义信息以及上下文信息未能被充分学习,子句的相对位置信息也未被有效利用.因此,该文提出一种基于上下文和位置交互的协同注意力神经网...     

PSO-GP中文文本情感分类方法研究

中文文本的情感倾向分析是网络舆情信息挖掘和分析的关键技术之一。提出了一种粒子群-高斯过程算法(PSO-GP)的中文文本情感倾向分类方法,采用粒子群优化算法(Particle Swarm optimization,PSO)进行高斯过程(Gaussian Process)超参数的最优搜索,解决了传统高斯过程中共轭梯度法迭代次数难确定、对初值依赖性强和易陷入局部极小值等问题。首先采用多线程网络爬虫技术采集文本数据组成语料库,构建特定领域情感词典,然后通过情感词匹配选择最有效的特征,降低数据维度,并利用TF-IDF算法计算特征词的权重以生成特征向量。最终,将测试样本输入PSO-GP分类模型。实验结果表明,与传统GP方法相比,提出的改进高斯过程分类模型的分类准确率提高了近15%。     

基于Transformer模型的商品评论情感分析

该文通过研究商品评论正、负向情感识别任务,基于Transformer模型,提出了一种结合多头自注意力层和卷积层的神经网络模型,其中多头自注意力层丰富了词语之间的关联关系,卷积操作进行特征的再提取和融合。通过和双向长期时记忆网络(bidirectional long short-term memory networks, BILSTM)、基于注意力机制的BILSTM网络、文本卷积神经网络(text convolutional neural networks, TEXTCNN)进行对比,实验证明,该文提出的模型在商品评论情感分类任务的最高准确率分别提高了4.12%、1.47%、1.36%,同时训练用时也大大缩减。     

基于自注意力机制的中文标点符号预测模型

中文标点符号预测是自然语言处理的一项重要任务,能够帮助人们消除歧义,更准确地理解文本。为解决传统自注意力机制模型不能处理序列位置信息的问题,提出一种基于自注意力机制的中文标点符号预测模型。在自注意力机制的基础上堆叠多层Bi-LSTM网络,并结合词性与语法信息进行联合学习,完成标点符号预测。自注意力机制可以捕获任意两个词的关系而不依赖距离,同时词性和语法信息能够提升预测标点符号的正确率。在真实新闻数据集上的实验结果表明,该模型F1值达到85.63%,明显高于传统CRF、LSTM预测方法,可实现对中文标点符号的准确预测。     

基于多通道特征和自注意力的情感分类方法

针对情感分析任务中没有充分利用现有的语言知识和情感资源,以及在序列模型中存在的问题：模型会将输入文本序列解码为某一个特定的长度向量,如果向量的长度设定过短,会造成输入文本信息丢失.提出了一种基于多通道特征和自注意力的双向LSTM情感分类方法（MFSA-BiLSTM）,该模型对情感分析任务中现有的语言知识和情感资源进行建模,形成不同的特征通道,并使用自注意力重点关注加强这些情感信息.MFSA-BiLSTM可以充分挖掘句子中的情感目标词和情感极性词之间的关系,且不依赖人工整理的情感词典.另外,在MFSA-BiLSTM模型的基础上,针对文档级文本分类任务提出了MFSA-BiLSTM-D模型.该模型先训练得到文档的所有的句子表达,再得到整个文档表示.最后,对5个基线数据集进行了实验验证.结果表明：在大多数情况下,MFSA-BiLSTM和MFSA-BiLSTM-D这两个模型在分类精度上优于其他先进的文本分类方法.     

基于注意力的多通道特征融合情感分析

为解决现今情感分析方法多利用单通道浅层的文本情感因素,不能获取词与词之间更深层语义联系的问题,提出一种基于注意力机制的多通道特征融合情感分析模型(triple channel BIGRU and attention model,Tri-BiGRU-Atten).结合词性特征、依存句法、位置信息3种不同语义特征混合建模,...     

局部语义与上下文关系的中文短文本分类算法

短文本通常是由几个到几十个词组成,长度短、特征稀疏,导致短文本分类的准确率难以提升。为了解决此问题,提出了一种基于局部语义特征与上下文关系融合的中文短文本分类算法,称为Bi-LSTM_CNN_AT,该算法利用CNN提取文本的局部语义特征,利用Bi-LSTM提取文本的上下文语义特征,并结合注意力机制,使得Bi-LSTM_CNN_AT模型能从众多的特征中提取出和当前任务最相关的特征,更好地进行文本分类。实验结果表明,Bi-LSTM_CNN_AT模型在NLP＆CC2017的新闻标题分类数据集18个类别中的分类准确率为81.31%,比单通道的CNN模型提高2.02%,比单通道的Bi-LSTM模型提高1.77%。