Bert在微博短文本情感分类中的应用与优化

微博短文本是一种典型的用户生成数据(user generate data),蕴含了丰富的用户情感信息,微博短文本情感分类在舆情分析等众多应用中具有较强的实用价值.微博短文本具有简洁不规范、话题性强等特征,现有研究表明基于有监督的深度学习模型能够显著提升分类效果.本文针对广播电视领域微博文本展开情感分类研究,实验对比了多种文本分类模型,结果表明基于Bert的情感分类方法准确率最高.深入分析实验结果发现,Bert模型对于困难样本的分类错误率较高,为此本文引入Focal Loss作为Bert模型的损失函数,提出一种基于Bert与Focal Loss的微博短文本情感分类方法(简称为Bert-FL方法),使得Bert模型能够更容易学习到困难样本的类别边界信息,实验表明Bert-FL方法的分类准确率绝对提升了0.8%,同时对困难样本的分类准确率也有显著提升.     

基于CRFs的中文微博情感倾向性研究

本文针对中文微博短文本情感倾向性进行了深入分析。以HowNet情感分析用词作为基本词典,结合常见的网络非正式表达词汇及微博表情图,构建了一个情感词典,并采用机器学习中的CRFs算法,对中文微博短文本的情感倾向性分类进行了研究。对比试验表明,CRFs算法在以短文本为主的微博情感倾向性分析评测中,相较于句法分析,取得了较好的效果。     

基于CRFs和领域本体的中文微博评价对象抽取研究

微博情感分析是对微博内容进行细粒度的挖掘,有着重要的研究价值。微博评价对象的抽取是微博情感分析研究的关键问题之一。为了提高中文微博评价对象抽取的准确率,该文在中文微博特征分析和微博评论本体构建研究的基础上,尝试从词、词性、情感词以及本体四个方面进行特征选择,采用CRFs模型对评价对象进行抽取。该文将提出的方法运用到COAE2014测评的Task5评价对象抽取任务中,宏平均准确率达到61.20%,在所有测评队伍中居第一。实验结果表明,将本体特征引入到CRFs模型中,能够有效地提高评价对象抽取的准确率。     

基于微博的情感倾向性分析方法研究

随着微博等新型社会网络媒体的发展,人们在网络上传播着对各类话题的情感,社会网络也因此成为了挖掘社情民意的有效平台。传统文本分析算法难以适应篇幅短小、内容琐碎且富含情感特征的微博等短文本挖掘的需要。该文提出基于情感单元和评价对象分析的微博情感倾向性分析方法,通过基于词性共现概率计算的情感单元和情感评价对象抽取,计算情感单元的情感度,建立博主个性化及情感倾向性分析模型,完成情感倾向性分析。实验结果及分析验证了上述算法的有效性。     

基于改进主题模型的微博短文本情感分析研究

信息时代,社交媒体发展异常迅速,微博、微信等社交平台受到了广大网友的喜爱和关注。微博社交平台发布的信息文本相对较短,传播速度快,更新速度快,越来越多的网民在微博平台上表达个人意见和想法。但是,微博短文本的信息较为分散,上下文内容联系不紧密,分析微博短文本情感态度的过程中常常存在一定阻碍和问题。基于此,重点研究了基于改进主题模型的微博短文本情感分析,希望可以深入挖掘质量更高的情感主题。     

考虑语境的微博短文本挖掘:情感分析的方法

传统基于词典的情感分析方法中情感词语的极性和强度是固定和静态的,没有考虑情感词语随不同语义环境极性和强度的变化.为此,提出一种考虑语境的基于情感本体和情感圈的微博短文本情感分析方法.采用情感圈方法考虑不同语境中词语的共现模式,以捕获它们的语义并更新情感词语的极性和强度.结合已构建的情感本体和语义量化规则,建立考虑语义环境的微博短文本挖掘方法.实验结果表明,该方法从实体级和微博级两个层面,在精度、召回率、F值和准确率几个指标上都明显优于基线方法.     

基于卷积神经网络和Tree-LSTM的微博情感分析

微博情感分析旨在研究用户关于热点事件的情感观点,研究表明深度学习在微博情感分析上具有可行性。针对传统卷积神经网络进行微博情感分析时忽略了非连续词之间的相关性,为此将注意力机制应用到卷积神经网络（CNN）模型的输入端以改善此问题。由于中文微博属于短文本范畴,卷积神经网络前向传播过程中池化层特征选择存在丢失过多语义特征的可能性,为此在卷积神经网络的输出端融入树型的长短期记忆神经网络（LSTM）,通过添加句子结构特征加强深层语义学习。在两种改进基础上构造出一种微博情感分析模型（Att-CTL）,实验表明该模型在微博情感分析上具有优良的特性,尤其在极性转移方面仍保持较高的F1值。     

基于Word2Vec的微博文本分类研究

以微博为代表的社交平台是信息时代人们必不可少的交流工具.挖掘微博文本数据中的信息对自动问答、舆情分析等应用研究都具有重要意义.短文本数据的分类研究是短文本数据挖掘的基础.基于神经网络的Word2vec模型能很好的解决传统的文本分类方法无法解决的高维稀疏和语义鸿沟的问题.本文首先基于Word2vec模型得到词向量,然后将类别因素引入传统权重计算方法TF-IDF （Term Frequency-Inverse Document Frequency）设计词向量权重,进而用加权求和的方法得到短文本向量,最后用SVM分类器对短文本做分类训练并且通过微博数据实验验证了该方法的有效性.     

基于微博短文本的用户兴趣建模方法

针对微博用户兴趣建模问题,提出一种在微博短文本数据集上建立用户兴趣模型的方法。为缓解短文本造成的数据稀疏性问题,在分析微博短文本结构和内容的基础上,给出微博短文本重构概念,根据微博相关的其他微博短文本和文本中包含的3种特殊符号,进行文本内容的扩展,从而扩充原始微博的特征信息。利用HowNet2000概念词典将重构后文本的特征词集映射到概念集。以抽象到概念层的文本向量为基础进行聚类,划分用户的兴趣集合,并给出用户兴趣模型的表示机制。实验结果表明,短文本重构和概念映射提高了聚类效果,与基于协同过滤的微博用户兴趣建模方法相比,平衡均值提高29.1%,表明构建的微博用户兴趣模型具有较好的性能。     

细粒度微博情绪识别的集成算法研究

目前大部分微博情绪分析研究集中在粗粒度情绪的划分,但细粒度微博情绪更能反映公众对舆论热点、政策的反应.因此提出了一种结合朴素贝叶斯和K最近邻的集成算法,着重对新浪微博展开了情绪识别与分析的研究.首先采用朴素贝叶斯分类算法将微博分为有无情绪两类.然后根据情绪本体库的分类规则,分别构建待预测微博和已标注微博的21维情绪向量.最后采用K最近邻算法,计算待预测情绪微博与已标注情绪微博的向量相似度,从而获取待预测微博的细粒度情绪.实验表明K最近邻算法的引入,在微博细粒度情绪识别的准确率上取得了较好的效果.     

基于本体特征的影评细粒度情感分类

针对中文影评情感分类中缺少特征属性及情感强度层面的粒度划分问题,提出一种基于本体特征的细粒度情感分类模型。首先,利用词频逆文档频率（TF-IDF）和TextRank算法提取电影特征,构建本体概念模型。其次,将电影特征属性和普鲁契克多维度情绪模型与双向长短时记忆网络（Bi-LSTM）融合,构建了在特征粒度层面和八分类情感强度下的细粒度情感分类模型。实验中,本体特征分析表明：观影人对故事属性关注度最高,继而是题材、人物、场景、导演等特征;模型性能分析表明：基于特征粒度和八分类情感强度,与应用情感词典、机器学习、Bi-LSTM网络算法在整体粒度和三分类情感强度层面的其他5个分类模型相比,该模型不仅有较高的F1值（0.93）,而且还能提供观影人对电影属性的情感偏好和情感强度参考,实现了中文影评更细粒度的情感分类。     

面向手机动画的基于注意力机制和卷积神经网络的短信情感分析

2008年,中科院张松懋研究员提出了将3D动画自动生成技术应用在手机短信中.短信情感分析是手机3D动画自动生成系统的一个重要环节.目前系统中使用的方法是传统的机器学习方法,准确率较低,无法达到实用的目的.而近几年,深度学习在情感分析任务中取到了较好的效果,卷积神经网络可以自动提取短信中的语义情感特征,且注意力机制可以自动为词加权获取信息.为此,本文提出将深度学习中的注意力机制和卷积神经网络相结合应用于手机短信自动生成系统中的情感分类.实验表明,基于注意力机制的卷积神经网络比之前的方法准确率、召回率和F值都有明显的提高.     

基于对抗式神经网络的多维度情绪回归

情绪分析是细粒度的情感分析任务,其目的是通过训练机器学习模型来判别文本中蕴含了何种情绪,是当前自然语言处理领域中的研究热点.情绪分析可细分为情绪分类与情绪回归两个任务.针对情绪回归任务,提出一种基于对抗式神经网络的多维度情绪回归方法.所提出的对抗式神经网络由3部分组成：特征抽取器、回归器、判别器.该方法旨在训练多个特征抽取器和回归器,以对输入文本的不同情绪维度进行打分.特征抽取器接受文本为输入,从文本中抽取针对不同情绪维度的特征;回归器接受由特征抽取器输出的特征为输入,对文本的不同情绪维度打分;判别器接受由特征抽取器输出的特征为输入,以判别输入的特征是针对何情绪维度.该方法借助判别器对不同的特征抽取器进行对抗式训练,从而获得能够抽取出泛化性更强的针对不同情绪维度的特征抽取器.在EMOBANK多维度情绪回归语料上的实验结果表明,该方法在EMOBANK新闻领域和小说领域的情绪回归上均取得了较为显著的性能提升,并在r值上超过了所有的基准系统,其中包括文本回归领域的先进系统.     

基于多注意力长短时记忆的实体属性情感分析

属性情感分析是细粒度的情感分类任务。针对传统神经网络模型无法准确构建属性情感特征的问题，提出了一种融合多注意力和属性上下文的长短时记忆（LSTM-MATT-AC）神经网络模型。在双向长短时记忆（LSTM）的不同位置加入不同类型的注意力机制，充分利用多注意力机制的优势，让模型能够从不同的角度关注句子中特定属性的情感信息，弥补了单一注意力机制的不足；同时，融合双向LSTM独立编码的属性上下文语义信息，获取更深层次的情感特征，有效识别特定属性的情感极性；最后在SemEval2014 Task4和Twitter数据集上进行实验，验证了不同注意力机制和独立上下文处理方式对属性情感分析模型的有效性。实验结果表明，模型在Restaurant、Laptop和Twitter领域数据集上的准确率分别达到了80.6%、75.1%和71.1%，较之前基于神经网络的情感分析模型在准确率上有了进一步的提高。     

基于弱监督预训练CNN模型的情感分析方法

传统的情感分析研究大多基于机器学习算法,此类方法依赖大量人工抽取的特征与领域知识。使用卷积神经网络自动学习文本的特征表示,进而判别文本的情感极性。为了解决情感分析中监督训练样本不足的问题,利用大规模弱监督数据来训练卷积神经网络。同时引入“预训练-微调”策略,先在弱监督数据集上对卷积神经网络进行预训练,然后使用监督数据集进行微调训练来克服弱监督数据中的噪声问题。在SemEval-2013 Twitter情感分析数据集上进行实验验证,结果表明由于引入了弱监督数据参与训练,有效增强了卷积神经网络学习情感语义的能力,从而提升了模型的准确性。     

面向产品属性的用户情感模型

传统情感模型在分析商品评论中的用户情感时面临两个主要问题:1)缺乏针对产品属性的细粒度情感分析;2)自动提取的产品属性其数量须提前确定。针对上述问题,提出了一种细粒度的面向产品属性的用户情感模型(USM)。首先,利用分层狄利克雷过程(HDP)将名词实体聚类形成产品属性并自动获取其数量;然后,结合产品属性中名词实体的权重和评价短语以及情感词典作为先验,利用潜在狄利克雷分布(LDA)对产品属性进行情感分类。实验结果表明,该模型具有较高的情感分类准确率,情感分类平均准确率达87%。该模型与传统的情感模型相比在抽取产品属性和评价短语的情感分类上具有较高的准确率。     

跨领域文本的可迁移情绪分析方法

随着移动互联网的迅猛发展,社交网络平台充斥着大量带有情绪色彩的文本数据,对此类文本中的情绪进行分析研究不仅有助于了解网民的态度和情感,而且对科研机构和政府掌握社会的情绪变化及走向有着重要作用。传统的情感分析主要对情感倾向进行分析,无法精确、多维度地描述出文本的情绪,为了解决这个问题,文中对文本的情绪分析进行研究。首先针对不同领域文本数据集中情绪标签缺乏的问题,提出了一个基于深度学习的可迁移情绪分类的情感分析模型FMRo-BLA,该模型对通用领域文本进行预训练,然后通过基于参数的迁移学习、特征融合和FGM对抗学习,将预训练模型应用于特定领域的下游情感分析任务中,最后在微博的公开数据集上进行对比实验。结果表明,该方法相比于目前性能最好的RoBERTa预训练语言模型,在目标领域数据集上F1值有5.93%的提升,进一步加入迁移学习后F1值有12.38%的提升。     

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支。现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能。该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型。该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利用卷积神经网络和双向GRU提取文本不同粒度的情感特征,特征融合后输入全局平均池化层,在得到文本的实例特征表示的同时,针对每个情感类别结合注意力机制生成特征向量构建情感胶囊,最后根据胶囊属性判断文本情感类别。模型在MR、IMDB、SST-5及谭松波酒店评论数据集上进行实验,相比于其他基线模型具有更好的分类效果。     

Image-text interaction graph neural network for image-text sentiment analysis

As various social platforms are experiencing fast development, the volume of image-text content generated by users has grown rapidly. Image-text based sentiment of social media analysis has also attracted great interest from researchers in recent years. The main challenge of image-text sentiment analysis is how to construct a model that can promote the complementarity between image and text. In most previous studies, images and text were simply merged, while the interaction between them was not fully considered. This paper proposes an image-text interaction graph neural network for image-text sentiment analysis. A text-level graph neural network is used to extract the text features, and a pre-trained convolutional neural network is employed to extract the image features. Then, an image-text interaction graph network is constructed. The node features of the graph network are initialized by the text features and the image features, while the node features in the graph are updated based on the graph attention mechanism. Finally, combined with image-text aggregation layer to realize sentiment classification. The results of the experiments prove that the presented method is more effective than existing methods. In addition, a large-scale Twitter image-text sentiment analysis dataset was built by us and used in the experiments.

     

网络舆情的监测、疏导及预警

近年来,由于互联网的飞速发展,网民数量急剧增加,网络舆情也随之异常活跃,若对舆情处理不当,极有可能诱发民众不良情绪,导致不良事件的发生,对社会稳定造成严重威胁,进而破坏政治经济生活秩序。因此,做好互联网时代网络舆情的监测、疏导及预警,是我们在新形势下面临的一项十分重要而迫切的任务。