融合左右双边注意力机制的方面级别文本情感分析

方面级别的文本情感分析旨在针对一个句子中具体的方面单词来判断其情感极性.针对方面单词可能由多个单词组成、平均化所有单词的词向量容易导致语义错误或混乱,不同的文本单词对于方面单词的情感极性判断具有不同的影响力的问题,提出一种融合左右的双边注意力机制的方面级别的文本情感分析模型.首先,设计内部注意力机制来处理方面单词,并根据方面单词和上下文单词设计了双边交互注意力机制,最后将双边交互注意力的处理结果与方面单词处理值三个部分级联起来进行分类.模型在SemEval 2014中两个数据集上进行了实验,分别实现了81.33％和74.22％的准确率,相比较于机器学习和结合注意力机制的各种模型取得了更好的效果.     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

用户评论方面级情感分析研究

方面级情感分析是自然语言处理的热门研究方向之一,相比于传统的情感分析技术,基于方面的情感分析是细粒度的,能够判断句子中多个目标的情感倾向,能更加准确地挖掘用户对目标的情感极性。针对以往研究忽略目标单独建模的问题,提出了一种基于双向长短期记忆神经网络(BiLSTM)的交互注意力神经网络模型(Bi-IAN)。该模型通过BiLSTM对目标和上下文分别进行建模,获得目标和上下文的隐藏表示,提取其中的语义信息。接下来利用交互注意模块学习上下文和目标之间的注意力,分别生成目标和上下文的表示,捕捉目标和上下文之内和之间的相关性,并重构评价对象和上下文的表示,最终通过非线性层得到分类结果。在数据集SemEval 2014任务4和Chinese review datasets上的实验训练显示,在正确率和F1-score上,比现有的基准情感分析模型有更好的效果。     

基于方面语义和门控过滤网络的方面级情感分析

方面级情感分析(Aspect-based Sentiment Analysis, ABSA)是一项细粒度的情感分析任务,旨在预测文本中特定方面的情感极性。目前,鉴于循环神经网络在序列建模方面的卓越性能以及卷积神经网络学习局部模式的出色表现,部分工作将两者相结合来挖掘情感信息,并且取得了不错的效果。但是,少有工作在将两者结合后应用到方面级情感分析任务中的同时考虑方面信息。在方面级情感分析任务中,大部分工作将方面视作一个独立整体与上下文进行交互,但是对于方面的表示过于简单,缺乏真实语义。针对上述问题,文中提出了一种基于方面语义和门控过滤网络(Aspect Semantic and Gated Filtering Network, ASGFN)的神经网络模型,用于挖掘方面级情感信息。首先,设计了方面编码模块,用于捕捉特定语境下的方面语义信息,该模块基于全局上下文融合多头注意机制与图卷积神经网络构建包含特定语义的方面表示。其次,设计门控过滤网络连接循环神经网络和卷积神经网络,以此增强方面与上下文的交互,同时结合循环神经网络与卷积神经网络的优势,进而提取情感特征。最后,将情感特征与方面表示相结合...     

基于图神经网络的方面级情感分析

目前基于循环神经网络和注意力机制的方面级情感分析模型缺乏解释相关句法约束和远程单词依赖关系.针对该问题提出结合句子依存树和单词序列信息建立句子关系图模型.首先将句子表示为图,单词作为图的节点,依存句法树的边和单词序列作为图的边;然后提出邻接矩阵标记方案对句子关系图进行标记;最后利用图神经网络实现节点和边的分类任务.该模型在SemEval2014任务中的restaurant和laptop两个数据集上进行实验,在两个数据集上F1值提升了5％左右.实验结果表明,将句子转换成图利用图神经网络对句子进行方面级情感分析是有益的.     

融合多注意力神经网络的方面级情感分析

针对现有方面级情感分析模型中特征向量信息不足和语义丢失问题,提出一种多注意力融合的神经网络模型。利用词向量注意力机制捕捉句子上下文和方面词之间的语义关系;利用位置注意力机制影响方面词周围的情感特征;利用自注意力机制捕捉序列内部特征用于加强序列表示。为验证模型的有效性,在SemEval 2014 Task 4和ACL 14 Twitter基准数据集上进行实验,实验结果表明,所提模型取得的性能优于比较方法。     

基于CNN的方面级跨领域情感分析研究

近年来,方面级情感分析吸引了越来越多学者的关注,但方面级跨领域情感分析存在没有标注数据,难以获得好的分类结果的问题。将上下文特征与方面特征进行融合,构建基于卷积神经网络和门控单元的情感分类模型,并利用少量目标领域数据集对模型进行微调来实现迁移学习,再用迁移学习后的模型对目标领域的数据进行方面级情感分析,有效解决了训练样本不足、准确率低的问题。人工标注了适用于方面级跨领域情感分析的中、英文语料,所提出的方法在中文数据集最优的F1值达到92.19%,英文数据集最优的F1值达到了86.18%,实验结果表明基于卷积神经网络的方面级跨领域情感分析方法有效提高了目标领域的情感分类准确性。     

基于BGRU池的卷积神经网络文本分类模型

针对深度学习在处理文本分类问题时存在的适应度小、精确度较低等问题,提出一种采用双向门控循环单元(BGRU)进行池化的改进卷积神经网络模型。在池化阶段,将BGRU产生的中间句子表示与由卷积层得到的局部表示进行对比,将相似度高的判定为重要信息,并通过增大其权重来保留此信息。该模型可以进行端到端的训练,对多种类型的文本进行训练,适应性较强。实验结果表明,相较于其他同类模型,提出的改进模型在学习能力上有较大优势,分类精度也有显著提高。     

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明：提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.     

基于多任务预训练模型的属性级情感分类

目前,缺少标注样本数据是属性级情感分类任务面临的一大难题,为了解决这一问题,该文提出了结合多项任务的预训练Bert模型。该模型利用大量未标注的篇章级情感分类数据,结合多种分类任务预训练模型共享参数,迁移属性级评论和篇章级评论中共享的有用的语义语法信息,从而帮助模型提高属性级情感分类准确率。在SemEval-14数据集上的实验结果表明,相较于一系列基准模型,该文提出的模型有效提高了属性级情感分类的准确率。     

融合卷积神经网络与双向GRU的文本情感分析胶囊模型

文本情感分析是自然语言处理领域一个重要的分支.现有深度学习方法不能更为全面地提取文本情感特征,且严重依赖于大量的语言知识和情感资源,需要将这些特有的情感信息充分利用使模型达到最佳性能.该文提出了一种融合卷积神经网络与双向GRU网络的文本情感分析胶囊模型.该模型首先使用多头注意力学习单词间的依赖关系、捕获文本中情感词,利...     

融合注意力机制的多通道卷积与双向GRU模型的文本情感分析研究

文本情感分析作为自然语言处理领域的一大分支,具有非常高的研究价值。该文提出了一种基于多通道卷积与双向GRU网络的情感分析模型。该模型首先使用多通道卷积神经网络对文本不同粒度的特征信息进行提取,提取后的特征信息经过融合送入双向 GRU 中,结合注意力机制获得文本的上下文情感特征,最后由分类器给出文本的情感倾向。注意力机制自适应的感知上下文信息进而提取对情感极性影响较强的特征,在模型的基础上引入Maxout神经元,解决模型训练过程中的梯度弥散问题。模型在IMDb及SST-2数据集上进行实验,实验结果表明本文模型较CNN-RNN模型在分类精确度上有了一定程度的提升。     

基于话语间时序多模态数据的情绪分析方法

长期以来,传统的基于单模态数据情绪分析方法存在分析角度单一、分类准确率低下等问题,时序多模态数据的分析方法为解决这些问题提供了可能.本文基于话语间的时序多模态数据,对现有的多模态情绪分析方法进行了改进,使用双向门控循环网络(Bi-GRU)结合模态内和跨模态的上下文注意力机制进行情绪分析,最后在MOSI和MOSEI数据集...     

字词融合的双通道混合神经网络情感分析模型

针对双向门控循环神经网络(BiGRU)无法获取文本局部特征,卷积神经网络(CNN)无法聚焦文本全局特征的问题,提出一种字词融合的双通道混合神经网络文本情感分析模型(CW_BGCA).首先,将文本分别用字符级词向量和词语级词向量表示;然后使用门控循环神经网络和卷积神经网络结合的混合神经模型分别从字向量和词向量中提取隐层特...     

基于集成学习理论的文本情感分类

随着Web2.0的迅速发展,越来越多的用户乐于在互联网上分享自己的观点或体验。这类评论信息迅速膨胀,仅靠人工的方法难以应对网上海量信息的收集和处理,因此基于计算机的文本情感分类技术应运而生,并且研究的重点之一就是提高分类的精度。由于集成学习理论是提高分类精度的一种有效途径,并且已在许多领域显示出其优于单个分类器的良好性能,为此,提出基于集成学习理论的文本情感分类方法。实验结果显示三种常用的集成学习方法 Bagging、Boosting和Random Subspace对基础分类器的分类精度都有提高,并且在不同的基础分类器条件下,Random Subspace方法较Bagging和Boosting方法在统计意义上更优,以上结果进一步验证了集成学习理论在文本情感分类中应用的有效性。     

基于语言建模的文本情感分类研究

提出了一种基于语言建模的文本情感分类的方法.将文本的情感倾向标记为“赞扬”或“批评”,可以为文本提供主题之外的语义信息.为此提出了从训练数据中分别估计出代表“赞扬”和“批评”两种情感倾向的语言模型,然后通过比较测试文本自身的语言模型和这两种训练好的情感模型之间的Kullback-Leibler距离,分类测试文本的思路.各个模型的参数分别选用词形特征的unigram和bigram,而相应的参数估计也分别尝试了最大似然和平滑两种策略.当在电影评论语料上和代表不同分类模型的支持向量机及朴素贝叶斯分类器进行比较时,语言建模的方法表现出了较好的分类性能和鲁棒性.     

领域对齐对抗的无监督跨领域文本情感分析算法

在实际应用场景中,情感分析技术为自动判别文本情感极性提供了有效的决策及解决方案,但是文本情感分析技术依赖于大量的标定样本.为了减小对人工标注的依赖,有研究者提出了基于领域自适应的跨领域情感分析技术.该技术面向跨领域文本情感分析任务,将经由标定样本训练的源领域模型,迁移至无标定的目标领域.然而目前的领域自适应技术仅从单个角度进行迁移,即减小领域专有特征差异或提取领域不变特征.因此考虑到跨领域文本数据同时包含领域专有特征和领域不变特征的特点,提出了一种领域对齐对抗的无监督跨领域文本情感分析算法.该算法通过渐进式的迁移策略,逐层减小不同语义层的领域差异,并在高层语义子空间通过协同优化的领域自适应算法,实现跨领域文本数据的领域知识迁移.在2个公开跨领域文本情感数据集上的24组跨领域文本情感分类实验结果表明,与4类领域自适应算法中代表性的和当前表现最优的方法相比,领域对齐对抗的无监督跨领域文本情感分析算法在24组实验中取得了最高的平均分类准确率,同时结合迁移性能分析结果和特征分布可视化结果,证明该算法一定程度上提升了现有无监督跨领域文本情感分析算法的分类性能和迁移性能.