融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入（ELMo）和多尺度卷积神经网络（MSCNN）的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆（LSTM）网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络（CNN）的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。     

ELMo-CNN-BiGRU双通道文本情感分类模型

文本情感分类通过对带有情感色彩的主观性文本进行分析和推理,帮助用户更好地做出判断与决策。针对传统情感分类模型难以根据上下文信息调整词向量的问题,提出一种双通道文本情感分类模型。利用ELMo和Glove预训练模型分别生成动态和静态词向量,通过堆叠嵌入2种词向量生成输入向量。采用自注意力机制处理输入向量,计算内部的词依赖关系。构建融合卷积神经网络（CNN）和双向门控递归单元（BiGRU）的双通道神经网络结构,同时获取文本局部特征和全局特征。最终将双通道处理结果进行拼接,经过全连接层处理后输入分类器获得文本情感分类结果。实验结果表明,与同类情感分类模型中性能较优的H-BiGRU模型相比,ELMo-CNN-BiGRU模型在IMDB、yelp和sentiment140数据集上的准确率和F1值分别提升了2.42、1.98、2.52和2.40、1.94、2.43个百分点,具有更好的短文本情感分类效果和稳定性。     

融合情感与语义信息的情感分析方法

在使用词嵌入法进行词转向量时，两个反义词会转换成相近的向量。如果这两个词是情感词，将会导致词的情感信息的丢失，这在情感分析任务中是不合理的。为了解决这个问题，提出了一种在词嵌入的基础上增加情感向量来获取情感信息的方法。首先利用情感词典资源构建情感向量，将其与词嵌入法得到的词向量融合在一起；然后采用双向长短期记忆（BiLSTM）网络获取文本的特征；最后对文本的情感进行分类。在4个数据集上分别对该方法与未融合情感向量的方法进行了实验。实验结果表明所提方法分类准确度与F1值都高于未融合方法，说明了加入情感向量有助于提高情感分析的性能。     

基于ELMo和Bi-SAN的中文文本情感分析

目前情感分析模型通常使用word2vec、GloVe等方法生成静态词向量,并且传统的卷积或循环深度模型无法完整地关注上下文,提取特征不充分,影响情感判断.针对上述问题,提出基于ELMo(embedding from lan-guage model)和双向自注意力网络(bidirectional self-attention network,Bi-SAN)的中文文本情感分析模型.首先通过ELMo语言模型训练得到融合词语本身和上下文信息的词向量,解决了一词多义的问题;同时使用预训练的skip-gram算法代替随机初始化的ELMo模型的嵌入层,提高模型的收敛速度;之后使用Bi-SAN提取特征,由于自注意力机制,Bi-SAN可以完整地关注每个词的上下文,提取特征更为全面.同现有的多个情感分析模型对比,该模型在酒店评论数据集上和NLPCC2014 task2中文数据集取得了更高的F1值,验证了模型的有效性.     

一种基于情感特征表示的跨语言文本情感分析模型

基于深度学习的跨语言情感分析模型需要借助预训练的双语词嵌入(Bilingual Word Embedding,BWE)词典获得源语言和目标语言的文本向量表示.为了解决BWE词典较难获得的问题,该文提出一种基于词向量情感特征表示的跨语言文本情感分析方法,引入源语言的情感监督信息以获得源语言情感感知的词向量表示,使得词向量...     

一种融合字词信息的中文情感分析模型

中文情感分析模型的文本表示通常只采用词粒度信息，这会导致模型在特征提取时丧失字粒度的特性，同时常用的分词方法的分词结果过于精简，也一定程度上限制了文本表示的丰富度。对此，提出了一种融合字粒度特征与词粒度特征的中文情感分析模型，采用全模式分词得到更丰富的词序列，经词嵌入后将词向量输入Bi-LSTM中提取全文的语义信息，并将隐层语义表示与对应字向量进行初步融合，增强词级信息的鲁棒性；另一方面将字向量输入多窗口卷积，捕捉更细粒度的字级特征信息。最后将字词粒度特征进一步融合后输入分类器得到情感分类结果，在2个公开数据集上的性能测试结果表明，该模型相比同类模型有更好的分类性能。     

面向中朝跨语言文本分类的双语主题词嵌入模型的研究

针对日渐丰富的少数民族语言资源进行管理、研究和使用有着重要的应用价值。为了解决语言差异引起的语言鸿沟,针对中朝两种语言环境下的跨语言文本分类任务,提出了双语主题词嵌入模型。该文将词嵌入模型与主题模型扩展到双语环境,并将两种模型相结合,解决了歧义性对跨语言文本分类精度带来的影响。首先,在大规模单词级别对齐平行句对中训练中朝单词的词嵌入向量;其次,利用主题模型对中朝分类语料进行表示,并获得中朝单词的含有主题信息的词嵌入向量;最后,将中朝单词的主题词嵌入向量输入至文本分类器,进行模型的训练与分类预测。实验结果表明,中朝跨语言文本分类任务的准确率达到了91.76%,已达到实际应用的水平,同时该文提出的模型可以对一词多义单词的多个词义有很好的表示。     

基于ELMo和Transformer混合模型的情感分析

针对循环神经网络模型无法直接提取句子的双向语义特征,以及传统的词嵌入方法无法有效表示一词多义的问题,该文提出了基于ELMo和Transformer的混合模型用于情感分类.首先,该模型利用ELMo模型生成词向量.基于双向LSTM模型,ELMo能够在词向量中进一步融入词语所在句子的上下文特征,并能针对多义词的不同语义生成不...     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

基于图神经网络结合预训练模型的藏文短文本情感分析研究

针对藏文情感分析研究中，由于藏文构字规则以及数据集不统一导致深度学习模型效果欠佳的问题，该文提出了一种结合图神经网络以及预训练模型的藏文情感分析模型，应用于藏文短文本。首先，采用Albert预训练模型对藏文文本进行词向量构建；其次，为对应句中标注出的藏文情感词构建表征，并且通过构建后的词向量与情感词表征进行融合；最后，将融合后的表征进行图数据构建并输入到图神经网络模型中，得到最终的分类效果。实验结果表明，该文提出的藏文情感分类模型准确率达到98.60%,优于其他基线模型。数据集公开网址为：https://github.com/TU-NLP/TU＿SA/。     

基于加权融合字词向量的中文在线评论情感分析

随着社交网络平台的广泛使用,涌现出大量蕴涵丰富情感信息的在线评论文本,分析评论中表达的情感对企业、平台等具有重要意义。为了解决目前针对在线评论短文本情感分析中存在特征提取能力弱以及忽略短文本本身情感信息的问题,提出一种基于文本情感值加权融合字词向量表示的模型——SVW-BERT模型。首先,基于字、词级别向量融合表示文本向量,最大程度获取语义表征,同时考虑副词、否定词、感叹句及疑问句对文本情感的影响,通过权值计算得到文本的情感值,构建情感值加权融合字词向量的中文短文本情感分析模型。通过网络平台在线评论数据集对模型的可行性和优越性进行验证。实验结果表明,字词向量融合特征提取语义的能力更强,同时情感值加权句向量考虑了文本本身蕴涵的情感信息,达到了提升情感分类能力的效果。     

双通道卷积神经网络在文本情感分析中的应用

针对单通道卷积神经网络（CNN）视角单一、不能充分学习到文本的特征信息的问题,提出双通道CNN （DCCNN）算法。首先,采用Word2Vec训练词向量,利用词向量获得句子的语义信息;其次,采用两个不同的通道进行卷积运算,一个通道为字向量,另一个通道为词向量,利用细粒度的字向量辅助词向量捕捉深层次的语义信息;最后,通过不同尺寸的卷积核,发现句子内部更高层次抽象的特征。实验结果表明,所提DCCNN算法能够准确识别文本情感极性,其正确率和F1值均达到95%以上,相比逻辑回归算法、支持向量机（SVM）算法以及CNN算法等都有显著提升。     

基于细粒度多通道卷积神经网络的文本情感分析

以词向量为输入的单通道卷积神经网络无法充分利用文本的特征信息,并且不能准确识别中文文本的多义词。针对上述问题,建立一种细粒度的多通道卷积神经网络模型。采用word2vec进行词向量的预训练,利用3个不同的通道做卷积运算,分别为原始词向量、词向量与词性表示相结合的词性对向量以及细粒度的字向量。通过词性标注进行词义消歧,利用细粒度的字向量发现深层次的语义信息。在此基础上,设置不同尺寸的卷积核以学习句子内部更高层次抽象的特征。仿真结果表明,该模型较传统卷积神经网络模型在情感分类的准确率和F1值上性能均有明显提升。     

改进的CBOW情感信息获取研究

大数据时代,文本的情感倾向对于文本潜在价值挖掘具有重要意义,然而人工方法很难有效挖掘网络上评论文本的潜在价值,随着计算机技术的快速发展,这一问题得到了有效解决。在文本情感分析中,获取词语的情感信息对于情感分析至关重要,词向量方法一般仅对词语的语法语义进行建模,但是忽略了词语的情感信息,无法更好地进行情感分析。通过TF-IDF算法模型获得赋权矩阵,构建停用词表,同时根据赋权矩阵生成Huffman树作为改进的CBOW算法的输入,引入情感词典生成情感标签辅助词向量生成,使词向量具有情感信息。实验结果表明,提出的方法对评论文本中获得的词向量能够较好地表达情感信息,情感分类结果优于传统模型。因此,该模型在评论文本情感分析中可以有效提升文本情感分类效果。     

基于注意力机制的文本情感倾向性研究

社交媒体上短文本情感倾向性分析作为情感分析的一个重要分支,受到越来越多研究人员的关注。为了改善短文本特定目标情感分类准确率,提出了词性注意力机制和LSTM相结合的网络模型PAT-LSTM。将文本和特定目标映射为一定阈值范围内的向量,同时用词性标注处理句子中的每个词,文本向量、词性标注向量和特定目标向量作为模型的输入。PAT-LSTM可以充分挖掘句子中的情感目标词和情感极性词之间的关系,不需要对句子进行句法分析,且不依赖情感词典等外部知识。在SemEval2014-Task4数据集上的实验结果表明,在基于注意力机制的情感分类问题上,PAT-LSTM比其他模型具有更高的准确率。     

基于改进CHI特征选择的情感文本分类研究

为了提高情感文本分类的准确率,对英文情感文本不同的预处理方式进行了研究,同时提出了一种改进的卡方统计量(CHI)特征提取算法.卡方统计量是一种有效的特征选择方法,但分析发现存在负相关现象和倾向于选择低频特征词的问题.为了克服不足之处,在考虑到词频、集中度和分散度等因素的基础上,考虑文本的长短不均衡和特征词分布,对词频进行归一化,提出了一种改进的卡方统计量特征提取算法.利用经典朴素贝叶斯和支持向量机分类算法在均衡语料、非均衡语料和混合长短文本语料上实验,实验结果表明:新的方法提高了情感文本分类的准确率.