基于细粒度多通道卷积神经网络的文本情感分析

以词向量为输入的单通道卷积神经网络无法充分利用文本的特征信息,并且不能准确识别中文文本的多义词。针对上述问题,建立一种细粒度的多通道卷积神经网络模型。采用word2vec进行词向量的预训练,利用3个不同的通道做卷积运算,分别为原始词向量、词向量与词性表示相结合的词性对向量以及细粒度的字向量。通过词性标注进行词义消歧,利用细粒度的字向量发现深层次的语义信息。在此基础上,设置不同尺寸的卷积核以学习句子内部更高层次抽象的特征。仿真结果表明,该模型较传统卷积神经网络模型在情感分类的准确率和F1值上性能均有明显提升。     

基于改进的卷积神经网络的中文情感分类

探究了基于卷积神经网络的句子级别的中文文本情感分类,模型以文本经过预处理后得到的词向量作为输入。传统的卷积神经网络是由线性卷积层、池化层和全连接层堆叠起来的,提出以跨通道卷积层替代传统线性卷积滤波器,对基本的卷积神经网络进行改进,提高网络的表达能力。实验表明,改进后的卷积神经网络在保证训练速度的情况下,识别率达到91.89%,优于传统的卷积神经网络,有较好的识别能力。     

基于卷积神经网络的微博情感倾向性分析

微博情感倾向性分析旨在发现用户对热点事件的观点态度。由于微博噪声大、新词多、缩写频繁、有自己的固定搭配、上下文信息有限等原因,微博情感倾向性分析是一项有挑战性的工作。该文主要探讨利用卷积神经网络进行微博情感倾向性分析的可行性,分别将字级别词向量和词级别词向量作为原始特征,采用卷积神经网络来发现任务中的特征,在COAE2014任务4的语料上进行了实验。实验结果表明,利用字级别词向量及词级别词向量的卷积神经网络分别取得了95.42%的准确率和94.65%的准确率。由此可见对于中文微博语料而言,利用卷积神经网络进行微博情感倾向性分析是有效的,且使用字级别的词向量作为原始特征会好于使用词级别的词向量作为原始特征。     

融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入（ELMo）和多尺度卷积神经网络（MSCNN）的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆（LSTM）网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络（CNN）的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。     

融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析

文本情感倾向性分析是自然语言处理研究领域的一个基础问题。基于深度学习的模型是处理此问题的常用模型。而当前的多数深度学习模型在中文文本情感倾向性分析方面的应用存在两个问题: 一是未能充分考虑到文本的层次化结构对情感倾向性判定的重要作用,二是传统的分词技术在处理文本时会产生歧义。该文针对这些问题基于卷积神经网络与层次化注意力网络的优点提出了一种深度学习模型C-HAN(Convolutional Neural Network-based and Hierarchical Attention Network-based Chinese Sentiment Classification Model),先用并行化卷积层学习词向量间的联系与组合形式,再将其结果输入到基本单元为双向循环神经网络的层次化注意力网络中判定情感倾向。实验表明: 模型在中文评论数据集上倾向性分类准确率达到92.34%,和现有多个情感分析模型相比有所提升;此外,对于中文文本,选择使用字级别词向量作为原始特征会优于词级别词向量作为原始特征。     

多特征混合模型文本情感分析方法

近年来,深度学习被广泛应用于文本情感分析。其中文本卷积神经网络（TextCNN）最具代表性,但是TxetCNN的语义特征提取存在词嵌入维度语义特征丢失、最大池化算法特征提取不足和文本长期依赖关系丢失的问题。针对以上问题,提出多特征混合模型（BiLSTM-MFCNN）的文本情感分析方法。该方法使用双向长短记忆网络（BiLSTM）学习文本的长期依赖关系;改进TextCNN的卷积层和池化层提出多特征卷积神经网络（MFCNN）,卷积层利用五种不同的卷积算法,分别从句子维度、整个词嵌入维度、单个词嵌入维度、相邻词向量维度和单个词向量维度提取文本的语义特征,池化层利用最大池化算法和平均池化算法,获取文本的情感特征。在中文NLPCC Emotion Classification Challenge和COAE2014数据集、英文Twitter数据集进行对比实验,实验结果表明该混合模型在文本情感分析任务中能够取得更好的效果。     

基于深度学习方法的中文情感分析

针对以文本词向量作为卷积神经网络的输入无法考虑情感特征对文本情感极性的影响、难以突出对类别更具代表性的词且卷积神经网络无法利用文本上下文信息等问题,提出一种基于权重分配的多通道卷积神经网络（WAMCCNN）和双向长短时记忆网络（BILSTM）模型相结合的方法。将文本词向量、情感词向量及词语的特征权重相互结合形成新的特征向量作为卷积网络不同通道的输入,使得模型能够从多方面的特征学习到文本的情感信息且有效利用了每个词语在句子中重要性的信息,获得更多的语义信息。同时,结合BILSTM模型学习到的包含文本上下文信息的全局特征,也解决了卷积神经网络无法利用文本上下文信息的问题。最后在新浪微博评论数据集和京东评论数据集上进行实验,结果表明,该模型分类准确率相比之前的基于深度学习的情感分析模型得到了明显的提升。     

基于特征融合深度学习网络的情感分析模型

现如今,深度学习技术迅速发展,在情感分析任务中被大量使用。针对传统神经网络模型中,卷积神经网络难以捕捉文本前后文关联语义信息以及长短时记忆网络训练所需时间长、缺乏深层次信息提取能力的问题,提出了一种双通道卷积神经网络和循环网络变体的特征融合情感分析模型(CSRMA),该模型能够获取更全面的情感特征,加快训练速度。该模型使用GloVe进行词向量化,将词向量分别传入卷积神经网络通道,和引入注意力机制与最大池化的BiSRU通道,得到局部深层次情感语义和前后文时序情感语义,最后融合特征进行分类,输出情感极性,完成情感分析任务。论文主要在四个英文短文本情感数据集上,与传统神经网络模型进行对照实验,从实验结果看来,CSRMA模型对于情感语料的分类准确性有进一步提高,训练时耗费时间缩短,具有良好的泛化性。     

基于ERNIE-DPCNN的短文本分类研究

目前采用短文本分类的方法几乎都使用词向量,不管是机器学习还是深度学习本质上都是对数字的处理.将文本汉字转换成计算机可识别的数字信息是词向量的作用.ERNIE是百度提出主要针对中文设计的词向量模型.将ERNIE词向量与深金字塔卷积神经网络相融合,对中文类新闻文本标题进行文本分类处理.通过实验比较,ERNIE词向量与深金字塔卷积神经网络相结合的短文本分类模型具有较高的分类精度.     

基于Transformer和多通道卷积神经网络的情感分析研究

文本情感分析是自然语言处理的经典领域之一.文中提出了一种基于transformer特征抽取器联合多通道卷积神经网络的文本情感分析的模型.该模型使用transformer特征提取器在传统Word2vector,Glove等方式训练的静态词向量的基础上来进行单词的分层、动态表示,针对特定数据集采用Fine-Tuning方式来进行训练有效提升了词向量的表征能力.多通道卷积神经网络考虑了不同大小范围内词序列之间的依赖关系,有效进行特征抽取并达到降维的目的,能够有效捕捉句子的上下文语义信息,使模型捕获更多的语义情感信息,提升文本的语义表达能力,通过Softmax激活函数达成情感倾向分类的目标.模型分别在IMDb和SST-2电影评论数据集上进行实验,测试集上准确率达90.4％和90.2％,这明所提模型较传统词嵌入结合CNN或RNN的模型在分类精确度上有了一定程度的提升.