基于依存树增强的注意力模型的方面级情感分析

近年来的方面级情感分析研究尝试利用注意力机制与基于依存树的图卷积模型对上下文词和方面之间的依赖关系进行建模,然而,基于注意力机制的模型具有容易引入噪声信息的缺点,基于依存树的图模型则具有高度依赖于依存树解析质量、鲁棒性较差的缺点。为解决以上问题,探索一种将注意力机制与语法知识相结合的新方法,利用依存树和位置信息分别对注意力机制进行监督,设计并提出了一种用于方面级情感分析的依存树增强的注意力模型,能够更合理地利用语义和句法信息的同时减轻对依存树的依赖程度。在三个基准数据集上进行的实验验证了所提方法的有效性和可解释性。     

基于特征级注意力的方面级情感分类模型研究

近年来大数据、自然语言处理等技术得到了飞速发展。情感分析作为自然语言处理细分领域的前沿技术之一,得到了极大的重视。然而,低参数量、高精度依然是制约情感分析的关键因素之一。为实现模型参数少、模型分类精度高的情感分析需求,通过改进特征级注意力机制的输入向量,以及前馈神经网络与注意力编码的前后位置关系,得到可复位特征级注意力机制,并基于该机制提出了基于可复位特征级注意力方面级情感分类模型(RFWA)和基于可复位特征级自注意力方面级情感分类模型(RFWSA),实现了高精度的方面级情感分析效果。在公开数据集上的实验结果表明,相比现有的主流情感分析方法,所提出的模型有明显的优势,尤其是在取得相当分类效果的情况下,模型的参数量仅为最新AOA网络的1/4。     

基于BiGRU和注意力交互模型的方面级情感分析

针对传统神经网络模型无法有效识别文本中特定方面情感倾向,以及不同词语对句子的情感极性贡献不同等问题,文章提出了基于BiGRU的注意力交互模型(BiGRU-IAT).该文使用Bert预训练模型分别对句子和方面词编码,充分考虑词语在上下文中的关联性,可以有效解决词语多义性问题.双向GRU网络提取文本语义信息得到隐藏层向量表示,接下来利用注意力机制捕捉句子和方面词之间的交互信息,为词语分配相应的权重分数.在SemEval 2014数据集上的实验结果表明,BiGRU-IAT模型在准确率和F1值上优于传统神经网络模型.     

基于交叉注意力的方面级情感分析

方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意力模型在分析单词之间的关系时,其注意力是相互独立的。为了分析句子中方面词与其他单词的复杂关联,提出一种基于交叉注意力和卷积门控网络的情感分析模型。对于给定的词向量特征,设计了一种交叉注意力模块。该模块对多头注意力中查询向量与关键字向量的匹配得分,添加交叉的线性映射,以融合多个注意力中的匹配得分,用于描述更复杂的方面词的上下文单词关系。使用卷积门控网络对局部单词关系进行编码,并设计了单词的位置编码模块,用于提供单词的位置编码特征,以分析位置编码对单词关系分析的作用。对上述编码的单词特征,使用时间池化获得句子描述,并使用全连接分类器进行情感分类标记预测。在Rest14和Laptop14数据集上的实验分析表明,提出的方法能有效估计方面级单词与其他单词之间得分关系。     

结合依存句法分析与交互注意力机制的隐式方面提取

隐式方面提取对于提升细粒度情感分析的准确性具有重要意义,然而现有隐式方面提取技术在处理大规模数据时泛化能力不强。为此,提出结合依存句法分析与交互注意力机制的隐式方面提取模型。首先利用预训练语言模型BERT生成文本的初始表征,然后传递给依存句法引导的自注意力层再次处理,再将两次处理的结果经交互注意力机制进一步提取特征,最终用分类器判断句子所属的隐式方面类别。与基线BERT及其他深度神经网络模型对比,所提模型在增强的SemEval隐式方面数据集上取得了更高的F₁与AUC值,证明了模型的有效性。     

融合左右双边注意力机制的方面级别文本情感分析

方面级别的文本情感分析旨在针对一个句子中具体的方面单词来判断其情感极性.针对方面单词可能由多个单词组成、平均化所有单词的词向量容易导致语义错误或混乱,不同的文本单词对于方面单词的情感极性判断具有不同的影响力的问题,提出一种融合左右的双边注意力机制的方面级别的文本情感分析模型.首先,设计内部注意力机制来处理方面单词,并根据方面单词和上下文单词设计了双边交互注意力机制,最后将双边交互注意力的处理结果与方面单词处理值三个部分级联起来进行分类.模型在SemEval 2014中两个数据集上进行了实验,分别实现了81.33％和74.22％的准确率,相比较于机器学习和结合注意力机制的各种模型取得了更好的效果.     

用于方面提取的多元关系协作学习模型

方面级情感分析广泛应用于商品评价、餐饮、电商决策等,该任务的一个核心点是方面词提取.目前常用方法是用观点词来辅助提取方面词对文本进行序列标注,或使用跨度标记法预测方面词开始与结束的位置.这些方法没有考虑到观点词提取、情感极性分类对方面词提取的影响.针对这个问题提出一种用于方面提取的多元关系协作学习模型,利用观点词提取、方面词提取、情感极性分类间的关系建模,在关系中实现多任务的协作学习与联合训练.在REST14、REST15和LAP14三个数据集上进行的实验结果表明,提出的方法优于目前的最新方法.     

基于词级交互注意力机制的方面级情感分类模型

方面级情感分类旨在判断句子中每个具体方面的情感极性.传统的注意力机制模型可能会给句子中重要情感词分配过低的注意力权重,而且很少考虑上下文与方面词的交互信息.针对第1个问题,本文改进了传统的输入方式,以方面词为界限,将句子划分成包含方面词的上文、方面词和包含方面词的下文3部分作为输入,分别提取上文或下文中的重要情感特征.针对第2个问题,本文提出了词级交互注意力机制,分别学习上文与方面词、下文与方面词的词级交互,得到特定于方面的上文表示和下文表示向量,最后将它们拼接得到特定于方面的上下文表示向量,作为方面级情感分类特征.通过在3个标准数据集上的实验证明,本文的模型性能优于基线模型.     

基于ELMo的混合注意力网络的方面级情感分析研究

方面级情感分析作为情感分析的一项细粒度任务,具有非常高的研究价值。方面词和对应的情感词之间的联系对于确定情感极性起着至关重要的作用。先前的研究大多仅利用一种注意力机制来关注句子和目标之间的联系,未考虑到词性中包含的情感信息。为解决这一问题,该文提出了一种基于ELMo的混合注意力网络(ELMo-based Hybrid Attention Network, EHAN)。与现有网络不同的是,模型不仅将ELMo与Transformer网络相结合来捕获文本信息的情感特征,还利用词性注意力机制对词性和单词进行交互获得方面与情感词之间的联系。在公开数据集上的实验结果表明,EHAN与基准模型相比在准确率和Macro-F₁值上都有显著提升,证明该方法可有效改善方面级情感分析的性能。     

基于类卷积交互式注意力机制的属性抽取研究

在基于深度学习的属性抽取研究中,注意力机制是常用的模型之一.目前,面向属性抽取的注意力机制存在2个局限性：其一,注意力机制多为自注意力机制,这是一种全局式注意力机制,其将不相关的噪音(距离目标词较远且与之不相关的词)带入注意力向量的计算;其二,目前的注意力机制多为单层注意力机制,注意力一次建模后缺少交互性.针对这2个局限性,提出一种面向属性抽取的类卷积交互式注意力机制.该方法先将目标句输入到双向循环神经网络,借以获得每个词的隐式表达,再经过类卷积交互式注意力机制进行表示学习.类卷积交互式注意力机制分为2层注意力计算：第1层按序(从句首到句末)通过滑动窗口控制每个词的上下文宽度,并计算每个词的注意力分布向量;第2层将第1层的注意力分布向量与所有单词进行交互注意力计算,将得到的注意力向量与第1层的注意力向量拼接,最终输入到条件随机场进行属性标记.在2014—2016语义评估(semantic evaluation, SemEval)官方数据集上验证了模型的有效性.相比于基线模型,在4个数据集上的F1值分别提高了2.21,1.35,2.22,2.21个百分点.     

融合情感词交互注意力机制的属性抽取研究

在现有的属性抽取研究中,注意力建模多采用全局或局部的自注意力机制,未能较好地利用句子本身所含有的情感词信息。然而,句子中所需抽取的属性大多存在若干与其具有强相关性的情感词。因此,利用情感词辅助注意力的建模可增强注意力的准确性。该文提出一种融合情感词的交互注意力机制,将文本中所有的情感词按序排列,并通过双向长短时记忆网络编码原始文本,利用全连接神经网络和高速网络编码排列的情感词;然后,利用情感词编码与原始文本编码建模交互注意力,从而使模型在情感词的辅助下精确地定位文中所包含的属性;最终,使用条件随机场进行属性标记。该文利用2014、2015语义评估属性级情感分析官方评测数据进行实验,验证了上述方法的有效性,该方法在三个基准数据集上F₁值分别提高了5.53、2.90和5.76个百分点。     

KENAOTE：一种知识增强的方面和意见对提取多任务学习模型

方面和意见对提取旨在根据给定句子提取方面和意见项并匹配关系,然而相关研究通常独立提取方面和意见项,而不识别关系。为了识别方面和意见项关系,提出一种知识增强的方面和意见对提取多任务学习模型。首先使用预训练语言模型为文本生成具有语义信息的词向量,为了实现知识增强的效果,使用遮蔽注意力的方式将知识图谱的语义信息融入词向量中,然后使用基于距离注意力和条件随机场的序列标注方法提取方面和意见项,最后再将提取的方面和意见项两两匹配预测对应关系。为了加强方面和意见项提取模块和匹配模块的联系,采用共享编码层的方式实现联合训练。在训练流程中,匹配模块采用真实标签作为输入,在测试过程中采用提取模块的结果作为输入。为了证明模型的有效性,使用三个通用领域数据集进行对比实验,该模型在方面和意见项匹配任务中F1值分别达到66.99%、75.17%和67.30%,并优于其他比较模型。     

基于多注意力卷积神经网络的特定目标情感分析

特定目标情感分析作为情感分析一个重要的子任务,近年来得到越来越多研究人员的关注.针对在特定目标情感分析中,将注意力机制和LSTM等序列性输入网络相结合的网络模型训练时间长、且无法对文本进行平行化输入等问题,提出一种基于多注意力卷积神经网络(multi-attention convolution neural networks, MATT-CNN)的特定目标情感分析方法.相比基于注意力机制的LSTM网络,该方法可以接收平行化输入的文本信息,大大降低了网络模型的训练时间.同时,该方法通过结合多种注意力机制有效弥补了仅仅依赖内容层面注意力机制的不足,使模型在不需要例如依存句法分析等外部知识的情况下,获取更深层次的情感特征信息,有效识别不同目标的情感极性.最后在SemEval2014数据集和汽车领域数据集(automotive-domain data, ADD)进行实验,取得了比普通卷积神经网络、基于单注意力机制的卷积神经网络和基于注意力机制的LSTM网络更好的效果.     

ABAFN：面向多模态的方面级情感分析模型

随着互联网的不断发展,面向电商产品的用户评论日益增加。研究这些用户评论的情感导向,对于指导产品的更新迭代具有重要意义。以往的方面级情感分析任务通常只涉及文本模态,然而用户的评论数据一般不仅包括纯文本,还包括大量的图文数据。针对这种包括文本和图片的多模态数据,提出了一种新的方面级多模态情感分析模型ABAFN（aspect-based attention and fusion network）。模型结合预训练语言模型BERT和双向长短时记忆网络来获得文本和方面词的上下文表示,同时利用预训练残差网络ResNet提取图片特征生成视觉表示;利用注意力机制基于方面词对上下文表示和视觉表示进行加权;将两个模态加权后的表示级联融合执行情感标签分类任务。在Multi-ZOL数据集上的实验表明,ABAFN模型的性能超过了目前已知文献的结果。     

基于BiGCN和IAM的方面级情感分类模型

目前基于神经网络的方面级情感分类模型很少会考虑上下文单词与方面词之间的句法依存关系,可能会错误地将与方面词语法无关的上下文单词作为方面词的情感特征;另一方面大多数方法也忽略了上下文与方面词之间的交互信息。针对这两个问题,提出了基于双向图卷积网络（BiGCN）和交互注意力机制（IAM）的方面级情感分类模型（BiGCN-IAM）,该模型在句法依存树上使用双向图卷积网络提取上下文单词和方面词之间的句法依存关系,然后使用掩码层得到特定的方面词表示;最后使用交互注意力机制学习上下文与方面词之间的交互信息,同时提取了上下文中的重要情感特征和方面词中对分类有贡献的特征。通过在五个公开数据集上的实验证明,该模型效果优于基线模型。     

基于领域特有情感词注意力模型的跨领域属性情感分析

虽然近年来情感分析相关研究取得很大进展,但跨领域属性情感分析仍是一个挑战.现有的方法主要关注源领域和目标领域的共有信息,忽略了目标领域的特有信息.此外,情感词作为句子中的重要信息,不仅能反映属性的情感极性,而且可以被划分为共有情感词和特有情感词.针对目标领域的特有信息和情感词,该文提出领域特有情感词注意力模型(DSSW...     

基于BERT和层次化Attention的微博情感分析研究

微博情感分析旨在挖掘网民对特定事件的观点和看法,是网络舆情监测的重要内容.目前的微博情感分析模型一般使用Word2Vector或GloVe等静态词向量方法,不能很好地解决一词多义问题;另外,使用的单一词语层Attention机制未能充分考虑文本层次结构的重要性,对句间关系捕获不足.针对这些问题,提出一种基于BERT和层...     

用于方面级情感分析的多信息增强图卷积网络

方面级情感分析旨在预测句子中特定方面的情感极性。然而,现阶段的研究依然存在语义信息不充分利用的问题,一方面大多数现有工作侧重于学习上下文词到方面词之间的依存信息,没有充分利用句子的语义信息;另一方面现有研究没有专注于依存树的语法构建,从而没有充分利用语法结构信息去补充语义信息。针对以上问题,提出多信息增强图卷积神经网络（MIE-GCN）模型。主要包括两部分：一是通过方面感知注意力、自注意力和外部常识形成多信息融合层充分利用语义信息;二是根据单词间不同的语法距离构造句子的语法掩码矩阵,通过获得全面语法结构信息来补充语义信息。利用图卷积神经网络增强节点表示。在基准数据集上的实验结果表明,提出的模型均比对比模型有一定的提升。