基于多重冗余标记CRFs的句子情感分析研究

本文提出了一种基于多重冗余标记的CRFs并将其应用于情感分析任务。该方法不仅能够有效地解决有序标记的分类问题,还能够在保证情感分析中各子任务能够使用不同特征的前提下,将情感分析中的主客观分类、褒贬分类和褒贬强弱分类任务统一在一个模型之中,在多个子任务上寻求联合最优,制约分步完成时误差的传播。实验证明,该方法有效地提高了句子情感分析任务的准确率。在理论上,该方法也为基于最大似然训练的算法解决序回归问题提供了一条途径。     

一个面向微博的情感倾向性分析模型

在微博情感倾向性分析中,一种典型分析方法是先对微博进行主客观分类,再对判定为主观的微博进行褒贬分类,但其问题在于主客观分类错误将直接传导到褒贬分类。针对这一问题,本文提出了一个主客观分类和褒贬分类融合的评估情感倾向性强度的模型。首先使用改进的逻辑回归模型构建主客观分类模型,并结合情感词典构建褒贬分类模型;然后,将二者融合,构建情感倾向性强度模型来选出具有较强情感的微博;最后应用褒贬分类模型判定情感倾向性。该方法在第六届中文倾向性分析评测(COAE2014)的微博观点句识别任务中获得了主要指标Micro_F1值和Macro_F1值的第二名。     

基于层叠模型细粒度情感要素抽取及倾向分析

针对商品评论中的细粒度情感要素抽取问题,提出基于条件随机场模型( CRFs)和支持向量机( SVM)的层叠模型。针对情感对象与情感词的识别,将评论的句法信息、语义信息等引入CRFs模型,进一步提高CRFs特征模板的鲁棒性。在SVM模型中,引入情感对象和情感词的深层词义及情感词的基本情感倾向等特征,改进传统的词包模型,对掖情感对象,情感词业词对进行细粒度的情感分类判断,从而获得商品评论中的情感关键信息：(情感对象,情感词,情感倾向性)三元组。实验表明,文中的CRFs和SVM层叠模型可提高情感要素抽取与情感分类判断的准确性。     

基于层叠条件随机场的高棉语分词及词性标注方法

针对高棉语分词及词性标注问题,提出一种基于层叠条件随机场模型的自动分词及词性标注方法。该方法由三层条件随机场模型构成: 第一层是分词模型,该模型以字符簇为粒度,结合上下文信息与高棉语的构词特点构建特征模板,实现对高棉语句子的自动分词;第二层是分词结果修正模型,该模型以词语为粒度,结合上下文信息与高棉语中命名实体的构成特点构建特征模板,实现对第一层分词结果的修正;第三层是词性标注模型,该模型以词语为粒度,结合上下文信息与高棉语丰富的词缀信息构建特征模板,实现对高棉语句子中的词语进行自动标注词性。基于该模型进行开放测试实验,最终准确率为95.44%,结果表明该方法能有效解决高棉语的分词和词性标注问题。     

基于主题模型的微博评论方面观点褒贬态度挖掘

在新浪微博中,原创微博下存在着很多用户评论。这些评论能反映原创微博的内容,用户的态度以及与其相关的一些话题。因此,对这些评论进行细粒度信息的提取与褒贬态度的分类很有必要。基于上述原因,该文首先提出与原创无关的评论判别方法,通过三个相似度方法得到原创微博与评论之间的相关度,从而判断评论对象是否为原创微博。其次,提出一种用于评论集褒贬态度和方面观点挖掘的新模型,该模型在LDA中加入了表情符号层与文本情感层,实现评论集方面和褒贬态度的同步检测。实验表明: 表情符号情感层的融入能提高新模型褒贬态度识别能力。     

基于深度学习方法的中文情感分析

针对以文本词向量作为卷积神经网络的输入无法考虑情感特征对文本情感极性的影响、难以突出对类别更具代表性的词且卷积神经网络无法利用文本上下文信息等问题,提出一种基于权重分配的多通道卷积神经网络（WAMCCNN）和双向长短时记忆网络（BILSTM）模型相结合的方法。将文本词向量、情感词向量及词语的特征权重相互结合形成新的特征向量作为卷积网络不同通道的输入,使得模型能够从多方面的特征学习到文本的情感信息且有效利用了每个词语在句子中重要性的信息,获得更多的语义信息。同时,结合BILSTM模型学习到的包含文本上下文信息的全局特征,也解决了卷积神经网络无法利用文本上下文信息的问题。最后在新浪微博评论数据集和京东评论数据集上进行实验,结果表明,该模型分类准确率相比之前的基于深度学习的情感分析模型得到了明显的提升。     

MASGC：融合特定屏蔽机制的简单图卷积情感分析模型

方面级情感分析目前是基于图卷积神经网络(GCN)来整合句子的语法结构,它能够有效地解决长范围词汇依赖不准确的问题,但GCN却拥有不必要的复杂性和冗余计算。此外,它忽略了属性与上下文之间相对位置的关系。为此,提出了一种新的模型来解决上述问题。首先建立双向GRU层,接着使用位置感知转换增加靠近方面词的上下文词的重要程度,然后通过移除非线性和折叠连续层之间的权重矩阵来降低复杂性;再与特定屏蔽层进行融合实现单层MASGC结构,生成一种新的基于检索上下文的注意力机制;最后通过全连接层给出分类结果。该模型在五个数据集上进行了大量实验,实验结果表明其具有更高的准确率和更少的训练时间。     

基于BG-DATT-CNN网络的方面级别情感分析

分析句子针对不同方面的情感极性,深入挖掘评论文本中的信息,为企业生产决策提供建议。针对传统方法多考虑单一层面注意力信息,且基于RNN的模型忽略了局部特征的重要性,而基于CNN的模型不能捕捉长距离依赖的信息的问题,提出了基于双重注意力机制的BG-DATT-CNN模型。在特征表示上,利用BERT对句子和方面词分别进行词向量编码,获得文本的深层语义特征。在特征提取上,设计了双重注意力机制,通过计算两类权重获得综合权重,强化文本的上下文相关特征和方面相关特征。在模型构建上,设计了BG-DATT-CNN网络,结合GRU和CNN各自的优势,Bi-GRU层捕捉文本的上下文全局特征,CNN层包括K-Max池化层和TextCNN层,通过两阶段特征提取获取分类的关键信息。在SemEval 2014数据集上的实验表明,与现有的其他模型相比,提出的模型取得了较好的效果。     

基于生成式-判别式混合模型的可解释性文档分类

现有可解释性文档分类常忽略对文本信息的深度挖掘,未考虑单词与单词上下文、句子与句子上下文之间的语义关系.为此,文中提出基于生成式-判别式混合模型的可解释性文档分类方法,在文档编码器中引入分层注意力机制,获得富含上下文语义信息的文档表示,生成精确的分类结果及解释性信息,解决现有模型对文本信息挖掘不够充分的问题.在PCMag、Skytrax评论数据集上的实验表明,文中方法在文档分类上性能较优,生成较准确的解释性信息,提升方法的整体性能.     

利用三层条件随机场模型进行情感极性分类及强度分析

通过对商品评论进行基于方面的情感分析,可以得到某件商品各个方面的优劣情况。本文提出利用三层CRFs模型进行情感极性分类及强度分析。在CRFs模型中,融合了词、词性、语气词、程度词、方面和评价词的共现等特征。在情感句识别、情感极性分类和情感强度分析上得到的F1值分别为86.3%、77.2%、70.7%,证明了：(1)分层CRFs模型在各个层次的任务中都能取得较好的结果;(2) 语气词、程度词、方面和评价词的共现特征在情感分类时是的有效性。     

基于层次体系的情感单元表示方法

情感词是情感分析中的基础单元,因此情感词典在情感分析中起着决定性的作用,目前构建情感词典的方法只是用到了单词的语义信息和构词信息,忽略了其所在语境。基于此,对于一些语义未知的词,传统语义方法难以得出其情感权重,而对于一些由于语境变化而产生新用法的词,使用语义方法很难计算出其真实权重。针对这种情况,首先提出了从构字到篇章的情感分析层次体系,每层都有对应到上层的表示方法和情感值计算公式,将分析单元细分到单词维度。在此基础上,提出了基于词语构字和语境的情感语义单元自动构建方法。该方法利用已知情感词典,同时根据情感词的构字和情感词的语境情感倾向计算该词的情感权重,得到的结果更加准确。在社交网络真实数据集上的实验表明,本文方法构建的情感单元较之前的方法在准确率上有3%的提升。同时,情感单元可直接用到情感分析任务中,情感分析的准确率在基于规则的情感分析实验中有9%的提升,在深度学习方法上有3%的提升。     

基于多通道双向长短期记忆网络的情感分析

当前存在着大量的语言知识和情感资源,但在基于深度学习的情感分析研究中,这些特有的情感信息,没有在情感分析任务中得到充分利用。针对以上问题,该文提出了一种基于多通道双向长短期记忆网络的情感分析模型(multi-channels bidirectional long short term memory network,Multi-Bi-LSTM),该模型对情感分析任务中现有的语言知识和情感资源进行建模,生成不同的特征通道,让模型充分学习句子中的情感信息。与CNN相比,该模型使用的Bi-LSTM考虑了词序列之间依赖关系,能够捕捉句子的上下文语义信息,使模型获得更多的情感信息。最后在中文COAE2014数据集、英文MR数据集和SST数据集进行实验,取得了比普通Bi-LSTM、结合情感序列特征的卷积神经网络以及传统分类器更好的性能。     

用于方面情感分析的结合图卷积神经网络的注意力模型

特定方面情感分析旨在自动识别同一句子中不同方面的情感极性。在现有方法中,结合注意力机制的循环神经网络模型在特定方面情感分析任务中取得了较好的效果,但是大多都忽略了句子的句法特征。因此,该文提出一种结合图卷积神经网络的注意力网络(GCN-aware Attention Networks, GCAN)模型。首先通过长短时记忆网络获取句子的序列信息,并利用图卷积神经网络来捕获语义特征,然后提出两种特征融合方式,得到基于序列信息和语义特征的特定方面表示。在此基础上,引入双向注意力机制处理特定方面包含多个单词的情况,进而获得更精准的基于特定方面的上下文表示。与ASGCN模型相比,该方法在Twitter数据集和SemEval14/15数据集上的分类准确率分别提升了0.34%、0.94%、1.43%和1.23%,F₁值分别提升了0.53%、1.55%、1.60%和2.54%,验证了GCAN的有效性。     

一种扩展式CRFs的短语情感倾向性分析方法研究

短语情感倾向性分析是文本情感分析的重要研究内容。该文将短语情感倾向性分析问题视作序列标注问题,利用条件随机场模型实现短语的情感倾向性判断。条件随机场模型是利用序列特征处理序列标注问题的经典方法,然而现有条件随机场模型无法将词语的情感倾向性分析与短语的情感倾向性分析相结合,从而造成准确率不高。因此,该文提出一种扩展式条件随机场模型YACRFs。该模型在链式条件随机场模型的基础上进行扩充,将词语情感倾向性分析与短语情感倾向性分析有效地结合起来,引入了情感词汇、短语规则模板以及词性等特征。与传统的规则方法和统计分类方法进行对比实验,该文提出方法取得了最高准确率81.07%。进一步地,在应用于句子情感倾向性分析的实验中得到了94.30%的准确率。实验结果表明,该文所提出的YACRFs模型能够显著提高短语情感倾向性判断结果的准确率。     

基于BERT和超图对偶注意力网络的文本情感分析

针对网络短文本存在大量的噪声和缺乏上下文信息的问题,提出一种基于BERT和超图对偶注意力机制的文本情感分析模型。首先利用BERT预训练模型强大的表征学习能力,对情感文本进行动态特征提取;同时挖掘文本的上下文顺序信息、主题信息和语义依存信息将其建模成超图,通过对偶图注意力机制来对以上关联信息进行聚合;最终将BERT和超图对偶注意力网络两个模块提取出的特征进行拼接,经过softmax层得到对文本情感倾向的预测结果。该模型在电商评论二分类数据集和微博文本六分类数据集上的准确率分别达到95.49%和79.83%,相较于基准模型分别提高2.27%～3.45%和6.97%～11.69%;同时还设计了消融实验验证模型各部分对分类结果的增益。实验结果表明,该模型能够显著提高针对中文网络短文本情感分析的准确率。     

基于神经主题模型的对话情感分析

对话情感分析旨在识别出一段对话中每个句子的情感倾向,其在电商客服数据分析中发挥着关键作用。不同于对单个句子的情感分析,对话中句子的情感倾向依赖于其在对话中的上下文。目前已有的方法主要采用循环神经网络和注意力机制建模句子之间的关系,但是忽略了对话作为一个整体所呈现的特点。建立在多任务学习的框架下,该文提出了一个新颖的方法,同时推测一段对话的主题分布和每个句子的情感倾向。对话的主题分布,作为一种全局信息,被嵌入到每个词以及句子的表示中。通过这种方法,每个词和句子被赋予了在特定对话主题下的含义。在电商客服对话数据上的实验结果表明,该文提出的模型能充分利用对话主题信息,与不考虑主题信息的基线模型相比,Macro-F1值均有明显提升。     

基于朴素贝叶斯与潜在狄利克雷分布相结合的情感分析

针对情感分析需要大量人工标注语料的难点,提出了一种面向无指导情感分析的层次性生成模型。该模型将朴素贝叶斯(NB)模型和潜在狄利克雷分布(LDA)相结合,仅仅需要合适的情感词典,不需要篇章级别和句子级别的标注信息即可同时对网络评论的篇章级别和句子级别的情感倾向进行分析。该模型假设每个句子而不是每个单词拥有一个潜在的情感变量;然后,该情感变量再以朴素贝叶斯的方式生成一系列独立的特征。在该模型中,朴素贝叶斯假设的引入使得该模型可以结合自然语言处理(NLP)相关的技术,例如依存分析、句法分析等,用以提高无指导情感分析的性能。在两个情感语料数据集上的实验结果显示,该模型能够自动推导出篇章级别和句子级别的情感极性,该模型的正确率显著优于其他无指导的方法,甚至接近部分半指导或有指导的研究方法。     

细粒度意见挖掘中维吾尔语文本情感分析研究

传统的情感分析研究通过分析, 确定词语、句子或篇章的情感, 但忽略了情感表达的主题。针对这一不足, 该文提出了一种基于双层CRFs模型的细粒度意见挖掘中维吾尔语意见型文本陈述级情感分析方法。第一层模型识别意见型文本中的主题词和意见词, 确定意见陈述的范围, 并将识别结果传递给第二层模型, 将其作为重要特征之一, 用于陈述级情感分析。细粒度意见挖掘中情感分析的目标是构建<意见陈述, 主题词, 意见词, 情感>四元组。该方法用于维吾尔语陈述级情感分析的准确率为77.41%, 召回率为78.51%, 证明了该方法在细粒度意见挖掘中情感分析任务上的有效性。