卷积神经网络下的Twitter文本情感分析

随着社交网络的日益普及,基于Twitter文本的情感分析成为近年来的研究热点。Twitter文本中蕴含的情感倾向对于挖掘用户需求和对重大事件的预测具有重要意义。但由于Twitter文本短小和用户自身行为存在随意性等特点,再加之现有的情感分类方法大都基于手工制作的文本特征,难以挖掘文本中隐含的深层语义特征,因此难以提高情感分类性能。本文提出了一种基于卷积神经网络的Twitter文本情感分类模型。该模型利用word2vec方法初始化文本词向量,并采用CNN模型学习文本中的深层语义信息,从而挖掘Twitter文本的情感倾向。实验结果表明,采用该模型能够取得82.3%的召回率,比传统分类方法的分类性能有显著提高。     

基于联合学习的问答情感分类方法

面向问答型评论的情感分类在情感分析领域是一项新颖且极具挑战性的研究任务。由于问答型评论情感分类标注数据非常匮乏,基于监督学习的情感分类方法的性能有一定限制。为了解决上述困境,该文提出了一种基于联合学习的问答情感分类方法。该方法通过大量自然标注普通评论辅助问答情感分类任务,将问答情感分类作为主任务,将普通评论情感分类作为辅助任务。具体而言,首先通过主任务模型单独学习问答型评论的情感信息;其次,使用问答型评论和普通评论共同训练辅助任务模型,以获取问答型评论的辅助情感信息;最后通过联合学习同时学习和更新主任务模型及辅助任务模型的参数。实验结果表明,基于联合学习的问答情感分类方法能较好融合问答型评论和普通评论的情感信息,大幅提升问答情感分类任务的性能。     

基于双指导注意力网络的属性情感分析模型

鉴于深度学习技术的不断发展,越来越多的研究者倾向于使用深度神经网络学习文本特征表示用于情感分析,其中序列模型(sequence models)和图神经网络(graph neural networks)已得到广泛的应用,并取得了不错的效果.然而,对于属性情感分类任务,属性对象与其他单词之间存在远距离的依赖关系,虽然序列型神经网络能捕获句子的上下文语义信息,但是对词语之间的远距离依赖关系无法进行有效学习;而图神经网络虽然可以通过图结构聚合更多的属性依赖信息,但会忽略有序词语间的上下文语义联系.因此结合双向长短时记忆网络(bi-directional long short-term memory, BiLSTM)和图卷积神经网络(graph convolutional network, GCN),提出一种基于双指导注意力网络(bi-guide attention network, BiG-AN)的属性情感分析模型.该模型通过交互指导注意力机制,同时关注到文本的上下文信息和远距离依赖信息,提高了模型对于文本属性级别情感特征的表示学习能力.在4个公开数据集Laptop,Rest14,Rest16,Twitter的实验结果表明,与其他几种基准模型相比,所提模型能够提取到更丰富的属性文本特征,有效提高属性情感分类的结果.     

基于时空多粒度的序贯三支情感分析

大数据时代下传统静态的情感分析方法已无法适应当前动态数据的量级和复杂度.为了改善传统的二支静态决策的不足,文中基于序贯三支决策思想提出基于时空多粒度的序贯三支情感分析方法.利用随时间增加的数据和拟合度较高的特征空间,构造具有时空特性的多层粒结构,平衡误分类代价和训练代价.使用3种基准分类器实际测试方法效率,在2个数据集上的实验表明,文中方法在维持分类质量的前提下,大幅减少分类代价.     

Joint sentiment/topic modeling on text data using a boosted restricted Boltzmann Machine

Recently by the development of the Internet and the Web, different types of social media such as web blogs become an immense source of text data. Through the processing of these data, it is possible to discover practical information about different topics, individual’s opinions and a thorough understanding of the society. Therefore, applying models which can automatically extract the subjective information from documents would be efficient and helpful. Topic modeling methods and sentiment analysis are the raised topics in natural language processing and text mining fields. In this paper a new structure for joint sentiment-topic modeling based on a Restricted Boltzmann Machine (RBM) which is a type of neural networks is proposed. By modifying the structure of RBM as well as appending a layer which is analogous to sentiment of text data to it, we propose a generative structure for joint sentiment topic modeling based on neural networks. The proposed method is supervised and trained by the Contrastive Divergence algorithm. The new attached layer in the proposed model is a layer with the multinomial probability distribution which can be used in text data sentiment classification or any other supervised application. The proposed model is compared with existing models in the experiments such as evaluating as a generative model, sentiment classification, information retrieval and the corresponding results demonstrate the efficiency of the method.

     

基于交互式叠加注意力网络的实体属性情感分类

当上下文中单词的情感对给定属性敏感时,仅通过注意力建模无法解决情感分类性能下降的问题。提出一种基于交互式叠加注意力(Attention-Over-Attention,AOA)网络的属性级情感分类模型。模型在词向量层用BERT代替传统静态词向量表示;用LSTM分别提取属性和上下文中单词的隐藏语义;用AOA网络计算属性和上下文中每个单词的注意力权重;将权重与对应的隐藏语义状态做点积分别得到属性和上下文的最终特征表示,拼接两个特征表示用来分类。研究并分析模型中词向量和属性单独建模对情感分类结果的影响。实验表明,该模型较其他LSTM结合注意力机制的模型在准确率和F1值上都有显著提高。     

结合卷积神经网络和词语情感序列特征的中文情感分析

目前基于词嵌入的卷积神经网络文本分类方法已经在情感分析研究中取得了很好的效果。此类方法主要使用基于上下文的词嵌入特征,但在词嵌入过程中通常并未考虑词语本身的情感极性,同时此类方法往往缺乏对大量人工构建情感词典等资源的有效利用。针对这些问题,该文提出了一种结合情感词典和卷积神经网络的情感分类方法,利用情感词典中的词条对文本中的词语进行抽象表示,在此基础上利用卷积神经网络提取抽象词语的序列特征,并用于情感极性分类。该文提出的相关方法在中文倾向性分析评测COAE2014数据集上取得了比目前主流的卷积神经网络以及朴素贝叶斯支持向量机更好的性能。     

融合语言特征的卷积神经网络的反讽识别方法

面对某些热点事件,微博评论者经常使用反讽来表达对于该事件的看法,以往的情感分析任务往往忽略这一语言现象。为了提高微博情感分析的准确率,该文对反讽识别开展了研究。通过分析中文文本的语言现象和社交网络的特性,归纳了中文微博反讽的语言特征,提出了一种融合语言特征的卷积神经网络(CNN)的反讽识别方法。该方法将反讽特征和句子分别采用Word Embedding作为输入,再卷积、池化后,将其全连接融合,构建了新的卷积神经网络模型。实验结果表明,该方法在反讽识别的性能上优于传统的基于机器学习的方法。     

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支.现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能.该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型.该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利...     

基于概率生成模型的网络数据分类方法

利用实体之间的相互关系来对实体进行分类的网络数据分类是数据挖掘的一个重要研究内容.现有的网络数据分类方法普遍根据邻居节点的类别来对节点进行分类.这些方法在同质性程度较高的网络中达到了很高的分类精度.然而在现实世界中,存在许多同质性程度很低的网络.在低同质性网络中,大多数相连节点的类别不同,所以现有方法难以正确预测出节点的类别.因此,提出了一种新的网络数据分类方法.其主要思路是建立一个描述网络的概率生成模型.在这个概率生成模型中,将网络中的边作为观察变量,将未知类别节点的类别作为潜在变量.通过吉布斯采样方法对模型进行求解,计算出潜在变量的取值,从而得到未知类别节点的类别.在真实数据集上的对比实验表明,提出的分类方法在低同质性网络上有更好的分类性能.     

基于BERT的不完全数据情感分类

不完全数据,如社交平台的互动信息、互联网电影资料库中的影评内容,广泛存在于现实生活中.而现有情感分类模型大多建立在完整的数据集上,没有考虑不完整数据对分类性能的影响.针对上述问题提出基于BERT的栈式降噪神经网络模型,用于面向不完全数据的情感分类.该模型由栈式降噪自编码器(SDAE)和BERT两部分组成.首先将经词嵌入...     

基于社会学理论的信任关系预测模型

随着社会网络的盛行,信任作为用户之间交互的基础,在信息共享、经验交流和社会舆论方面发挥着重要作用。然而,信任是一个复杂而抽象的概念,受多种因素影响,很难识别信任形成的诱因以及其形成机制。由于来自社会科学的社会学理论有助于解释社会现象,而社会网络反映了现实世界中用户之间的联系,因此,从社会学角度出发,通过研究社会等级理论和同质性理论获取信任关系的发展规律,进而构建信任关系预测模型。首先,对社会等级理论和同质性理论进行阐述,并验证了社会等级理论和同质性理论在社会网络中的存在;然后,分别针对社会等级理论和同质性理论对信任关系的影响提出社会等级正则化方法和同质性正则化方法;最后,利用非负矩阵的三维分解方法并结合社会等级理论和同质性理论实现对信任关系预测的建模,并提出 SocialTrust 模型用于信任关系预测。实验结果表明,相比于其他方法,该方法在信任关系预测方面具有较高的精度。     

用户评论方面级情感分析研究

方面级情感分析是自然语言处理的热门研究方向之一,相比于传统的情感分析技术,基于方面的情感分析是细粒度的,能够判断句子中多个目标的情感倾向,能更加准确地挖掘用户对目标的情感极性。针对以往研究忽略目标单独建模的问题,提出了一种基于双向长短期记忆神经网络(BiLSTM)的交互注意力神经网络模型(Bi-IAN)。该模型通过BiLSTM对目标和上下文分别进行建模,获得目标和上下文的隐藏表示,提取其中的语义信息。接下来利用交互注意模块学习上下文和目标之间的注意力,分别生成目标和上下文的表示,捕捉目标和上下文之内和之间的相关性,并重构评价对象和上下文的表示,最终通过非线性层得到分类结果。在数据集SemEval 2014任务4和Chinese review datasets上的实验训练显示,在正确率和F1-score上,比现有的基准情感分析模型有更好的效果。     

融入主题特征的中越跨语言情感分类模型

越南语网络评论的情感分类是越南语事件观点分析的基础.越南语资源匮乏,标注困难,可借助中文标注语料进行跨语言情感分类,实现越南语评论的情感极性预测.但现有的跨语言情感分类模型忽略了主题信息对加强情感表征学习、减小语言差异的作用.为此,该文提出了一种融入主题特征的中越跨语言情感分类模型.将中文①和越南语的主题词分布作为外部...     

用于短文本情感分类的多头注意力记忆网络

随着社交网络的发展,对其包含的海量文本进行情感分析具有重要的社会价值。不同于普通文本分类,短文本情感分类需要挖掘隐含的情感语义特征,具有极大的难度和挑战性。为了能在更高的层次上得到短文本的情感语义特征,提出了一种多头注意力记忆网络（MAMN）用于短文本情感分类。首先,利用n元语法特征信息和有序神经元长短时记忆（ON-LSTM）网络对多头自注意力机制进行改进,以对文本上下文内联关系进行充分提取,使模型可以获得更丰富的文本特征信息。然后,利用多头注意力机制对多跳记忆网络的结构进行优化,使得在拓展模型深度的同时,挖掘更高层次的上下文内联情感语义关系。在电影评论集（MR）、斯坦福情感树（SST）-1和SST-2这三个不同的数据集上进行了大量实验。实验结果表明,与基于循环神经网络（RNN）和卷积神经网络（CNN）结构的基线模型以及一些最新成果相比,所提MAMN取得了较优的分类效果,验证了多跳结构对于性能改善的重要作用。     

基于多通道特征和自注意力的情感分类方法

针对情感分析任务中没有充分利用现有的语言知识和情感资源,以及在序列模型中存在的问题:模型会将输入文本序列解码为某一个特定的长度向量,如果向量的长度设定过短,会造成输入文本信息丢失.提出了 一种基于多通道特征和自注意力的双向LSTM情感分类方法(MFSA-BiLSTM),该模型对情感分析任务中现有的语言知识和情感资源进行...     

基于多尺度卷积和门控机制的注意力情感分析模型

针对现有的文档级情感分析模型大多只是考虑从词级对文本进行编码的问题,提出了一种基于多尺度卷积和门控机制的注意力情感分析模型。首先,使用多尺度卷积捕获不同粒度的局部相关性,从而得到更多不同层次的文本语义信息并形成更丰富的文本表示;其次,考虑到用户个性及产品信息对文本情感分类的影响,将全局用户产品信息融合到注意力中捕捉与用户和产品相关度较高的关键语义成分来生成文档表示;然后,引入门控机制来控制情感信息流向汇集层的路径;最后,通过全连接层和argmax函数实现情感分类。实验结果表明,与基准模型中性能最好的相比,所提模型在IMDB和Yelp2014两个数据集上的情感分类准确率分别提高了1.2个百分点和0.7个百分点,并且在IMDB和Yelp2013数据集上获得了最小的均方根误差（RMSE）。     

基于多通道卷积神经网络的中文微博情感分析

近年来,深度学习在情感分析任务中的应用得到了越来越多的关注.针对以文本词向量作为输入的卷积神经网络无法充分利用情感分析任务中特有的情感特征信息,以及难以有效表示每个词语在句子中的重要程度等问题,提出一种基于多通道卷积神经网络(multi-channels convolutional neural networks, MCCNN)的中文微博情感分析模型.该模型针对情感分析任务中特有的情感信息来构建文本输入矩阵,使模型在训练过程中有效获取输入句子的情感特征信息.同时,该模型通过将不同特征信息结合形成不同的网络输入通道,使网络模型在训练过程中从多方面的特征表示来学习输入句子的情感信息,有效表示出每个词语在句子中的重要程度,获取更多的隐藏信息.最后在COAE2014数据集和微博语料数据上进行实验,取得了比普通卷积神经网络、结合情感信息的卷积神经网络和传统分类器更好的性能.     

基于双向注意力机制的多模态情感分类方法

社交网络的发展为情感分析研究提供了大量的多模态数据.结合多模态内容进行情感分类可以利用模态间数据的关联信息,从而避免单一模态对总体情感把握不全面的情况.使用简单的共享表征学习方法无法充分挖掘模态间的互补特征,因此提出多模态双向注意力融合(Multimodal Bidirectional Attention Hybrid...     

基于加权融合字词向量的中文在线评论情感分析

随着社交网络平台的广泛使用,涌现出大量蕴涵丰富情感信息的在线评论文本,分析评论中表达的情感对企业、平台等具有重要意义。为了解决目前针对在线评论短文本情感分析中存在特征提取能力弱以及忽略短文本本身情感信息的问题,提出一种基于文本情感值加权融合字词向量表示的模型——SVW-BERT模型。首先,基于字、词级别向量融合表示文本向量,最大程度获取语义表征,同时考虑副词、否定词、感叹句及疑问句对文本情感的影响,通过权值计算得到文本的情感值,构建情感值加权融合字词向量的中文短文本情感分析模型。通过网络平台在线评论数据集对模型的可行性和优越性进行验证。实验结果表明,字词向量融合特征提取语义的能力更强,同时情感值加权句向量考虑了文本本身蕴涵的情感信息,达到了提升情感分类能力的效果。