一种基于多模型联合学习的方面情感分析方法

基于方面词的情感分类是情感分析的一个重要子任务，通过学习文本上下文的信息，判别文本中特定方面的情感极性。常用的方法大多都是依赖于给定方面词和上下文词之间的语义关系来构建模型，这在一定程度上忽视了它们之间的句法关系。针对上述问题，提出一种融合注意力机制和句法信息的联合学习方法，不仅能同时学习方面词和上下文词之间的句法及语义关系，在训练过程中自动调整对方面词周围上下文词的关注度，而且同时考虑不同上下文词对方面词在句法上的修饰关系。在SemEval 2014的Restaurant数据集和Laptop数据集上进行实验，与目前最好模型相比，分类准确率和F1值都得到了较大提高。     

基于图注意力网络的方面级别文本情感分析

方面级别文本情感分析旨在分析文本中不同方面所对应的情感趋向。传统基于神经网络的深度学习模型在文本情感分析的过程中,大多直接使用注意力机制而忽略了句法关系的重要性,即不能充分利用方面节点的上下文语义信息,导致情感趋向预测效果不佳。针对该问题,设计一种融合句法信息的图注意力神经网络模型,并将其应用于文本情感分析任务。利用预训练模型BERT进行词嵌入得到初始词向量,将初始词向量输入双向门控循环神经网络以增强特征向量与上下文信息之间的融合,防止重要上下文语义信息丢失。通过融合句法信息的图注意力网络加强不同方面节点之间的交互,从而提升模型的特征学习能力。在SemEval-2014数据集上的实验结果表明,该模型能够充分利用句法信息进行情感分析,其准确率较LSTM及其变种模型至少提升3%,对Restaurant评论进行情感分类预测时准确率高达83.3%。     

基于BiGCN和IAM的方面级情感分类模型

目前基于神经网络的方面级情感分类模型很少会考虑上下文单词与方面词之间的句法依存关系,可能会错误地将与方面词语法无关的上下文单词作为方面词的情感特征;另一方面大多数方法也忽略了上下文与方面词之间的交互信息。针对这两个问题,提出了基于双向图卷积网络（BiGCN）和交互注意力机制（IAM）的方面级情感分类模型（BiGCN-IAM）,该模型在句法依存树上使用双向图卷积网络提取上下文单词和方面词之间的句法依存关系,然后使用掩码层得到特定的方面词表示;最后使用交互注意力机制学习上下文与方面词之间的交互信息,同时提取了上下文中的重要情感特征和方面词中对分类有贡献的特征。通过在五个公开数据集上的实验证明,该模型效果优于基线模型。     

融合双图卷积与门控线性单元的方面级情感分析模型

方面级情感分析旨在确定句子中给定方面的情感极性。现有的基于图神经网络的方面级情感分析存在以下2个方面的不足:忽略了不同类型的句法依存关系和语料库中的词共现信息,以及不能准确地控制情感信息流向给定方面。针对以上问题,提出融合双图卷积与门控线性单元(GLU)的方面级情感分析模型。该模型首先采用全局词汇图来编码语料库中的词共现信息,在词汇图和句法图上利用分类概括结构来区分各种词共现频率和不同类型的句法依存关系。然后分别在2个图上进行双层卷积,继而使用Bi Affine变换模块作为桥梁,在2个图卷积网络模块之间有效地交换相关特征,从而有效地融合句法信息和词汇信息。最后利用GLU控制情感信息流向给定方面,使模型可以更专注地分析与该方面相关的情感信息,避免不相关的情感信息影响对给定方面的情感分析结果,从而提高分析的准确性。实验结果表明,在Twitter、Laptop14、Restaurant15和Restaurant16数据集上,该模型的准确率分别达到74.82%、77.61%、82.29%和89.81%,F1值分别达到72.97%、73.52%、67.72%和73.37%,方面级情感分类效果明显...     

结合依存图卷积与文本片段搜索的方面情感三元组抽取

现有基于序列标注或文本生成的三元组抽取模型通常未考虑完整文本片段级别的交互,且忽略了句法知识的应用。为解决上述问题,提出一种基于依存图卷积与文本片段搜索的深度学习模型来联合抽取方面情感三元组。通过预训练语言模型BERT编码层学习句子中每个单词的上下文表达,同时利用图卷积神经网络学习句子单词之间的依存关系和句法标签信息,以捕获远距离的方面词与观点词之间的语义关联关系,并采用文本片段搜索构造候选方面词与观点词及其特征表示,最终使用多个分类器同时进行方面词与观点词抽取及情感极性判断。在ASTE-Data-V2数据集上的实验结果表明,该模型在14res、14lap、15res和16res子集上的F1值相比于JET模型提升了10.61、10.54、4.91和8.48个百分点,具有较高的方面情感三元组抽取效率。     

基于混合图神经网络的方面级情感分类

目前在方面级情感分类研究中,图卷积网络被应用于句法依赖树上构建方面词与上下文词的依赖关系。但是由于句法依赖树的不稳定性和语句的复杂性与不规范表达,这种改进较为有限。为解决上述问题,提出了一种基于混合图神经网络模型。在该模型中,为了深度提取方面词与上下文词的依赖关系,设计了应用于句法依赖树的多层图卷积网络。同时为提取词级依赖特征,设计了具有残差连接的图注意力网络（Res-GAT）,其主要思想为以词级依赖关系特征作为补充,结合句法依赖关系进行方面级情感分类。通过在五个经典数据集上实验,证明了该模型相较于基线模型具有更优异的分类能力。     

语义和句法依赖增强的跨度级方面情感三元组抽取

本研究针对目前跨度级别的方面情感三元组抽取模型忽视词性和句法知识的问题且存在三元组冲突的情况, 提出了语义和句法依赖增强的跨度级方面情感三元组抽取模型SSES-SPAN (semantic and syntactic enhanced span-based aspect sentiment triplet extraction). 首先, 在特征编码器中引入词性知识和句法依赖知识, 使模型能够更精准地区分文本中的方面词和观点词, 并且更深入地理解它们之间的关系. 具体而言, 对于词性信息, 采用了一种加权求和的方法, 将词性上下文表示与句子上下文表示融合得到语义增强表示, 以帮助模型准确提取方面词和观点词. 对于句法依赖信息, 采用注意力机制引导的图卷积网络捕捉句法依赖特征得到句法依赖增强表示, 以处理方面词和观点词之间的复杂关系. 此外, 鉴于跨度级别的输入缺乏互斥性的保证, 采用推理策略以消除冲突三元组. 在基准数据集上进行的大量实验表明, 我们提出的模型在效果和鲁棒性方面超过了最先进的方法.     

SS-GCN:情感增强和句法增强的方面级情感分析模型

方面级情感分析(Aspect-Based Sentiment Analysis, ABSA)作为知识图谱下游应用，属于细粒度情感分析任务，旨在理解人们对评价目标在方面层次的情感极性。近年来，相关研究已经取得显著进步，但现有方法侧重于利用句子内的顺序性或句法依赖约束，而没有充分利用上下文词与方面词之间的依赖类型。此外，现有的基于图卷积神经网络模型对节点特征保留的能力不足。针对该问题，首先，在句法依赖树的基础上，充分挖掘上下文词与方面词之间的依赖类型，将其融入依赖图的构建；其次，定义了一个“敏感关系集合”,利用它来构建辅助句以增强特定上下文词与方面词之间的关联性，同时结合情感知识网络SenticNet以增强句子的依赖图，进而改进图神经网络的构建；最后，引入上下文保留机制，来减小节点特征在多层图卷积神经网络中的信息损失。提出的SS-GCN模型将并行学习到的句法表示和上下文表示进行融合以完成情感增强和句法增强。在3个公开数据集上进行了广泛的实验，证明了SS-GCN的有效性。     

基于渐进增强与图卷积的方面级情感分析模型

方面级情感分析的任务目标是对评论中的特定方面词情感极性的判别,近年来的大多研究方法都采用句法依存树结合图卷积网络来构建模型,但是对句法依存结构的使用过于直接且忽略了在生成树是伴随的噪声影响,因此提出了一种渐进增强结合双向图卷积模块的情感分类模型（PCB-GCN）。首先,设计渐进增强算法来获取更加特异性的句法依存树,利用BiLSTM来提取语义,同时针对不同方向的句法图结构采用双向图卷积模块进行特征提取,最后将句法特征与上下文语义通过协同融合网络结合起来进行最终分类。模型在多组公开数据集上进行了实验,均取得了相比目前基线模型更好的效果。     

基于关系特征交互的方面级情感分类方法

方面级情感分类是一项细粒度的情感分析任务,其目的是识别一句话中的方面词、观点项及其对应的情感极性。现有的方面级情感分类方法对模型的构建存在不足,难以有效利用句子中的依存关系信息,从而导致分类准确率较低。基于此,该文提出一种基于关系交互的图注意力网络模型。该模型首先利用单词之间的依存关系构建句法依存树,并使用双向门控循环单元提取句子上下文特征,然后将两者融入图注意力网络和关系感知网络中进行关系交互,以学习句子间的句法和语义信息,最后将关系的表征结果结合并输出方面词的情感类别(正面、负面、中性)。在四个公开数据集上的实验结果表明,该模型在方面级情感分类任务上充分挖掘并利用了文本的句法关系信息,进一步提升了情感分类的准确率。     

基于情感知识的双通道图卷积网络的方面级情感分析

方面级情感分析是一项细粒度情感分析任务,其目标是对句子中给定的方面词进行情感极性分类。当前的情感分类模型大多在依存句法树上构建图神经网络,从依存句法树上学习方面词与上下文之间的信息,缺乏对句子中情感知识的挖掘。针对这个问题,文中提出了一种基于情感知识的双通道图卷积网络的情感分类模型(Dual-channel Graph Convolutional Network with Sentiment Knowledge, SKDGCN)。该模型由情感增强的依存图卷积网络(Sentiment-enhanced Dependency Graph Convolutional Network, SDGCN)和注意力图卷积网络(Attention Graph Convolutional Network, AGCN)组成,两个图卷积网络分别学习方面词与上下文词的句法依赖关系和语义关系。具体地,SDGCN在句法依存树上融合SenticNet中的情感知识以增强句子的依赖关系,使得模型既考虑了上下文词与方面词的句法关系,也考虑了上下文中意见词与方面词的情感信息;AGCN使用注意力机制学习方面词与句子中上下文的语...     

基于情感增强与双图卷积网络的方面级情感分析

方面级情感分析旨在检测给定方面句子的情感极性。现有研究大多在句法依存树上构造图卷积网络,以获取方面词与上下文之间的句法信息。然而这类方法存在提取信息不够丰富、缺乏对句子中情感信息的挖掘等问题。针对上述问题,提出基于情感增强与双图卷积网络的方面级情感分析模型。该模型由双通道图卷积网络组成,旨在挖掘句子中的情感信息、句法信息和语义信息。利用位置信息和情感知识在依存树上构造情感增强依存图,并以此构建情感增强图卷积网络,增强方面词与上下文之间的情感依赖关系,同时挖掘句子中丰富的句法信息特征。构建基于多头注意力机制的图卷积网络,获取句子中的语义特征信息。对双图卷积网络的输出特征进行掩码、平均池化和拼接等操作,并通过情感分类层进行分类。实验结果表明,该模型与经典的图卷积网络模型(ASGCN)相比,在Restaurant、Laptop和Twitter数据集上的准确率和F1值分别提升3.43和5.69、3.13和3.92、3.57和4.02个百分点,具有较好的情感分类性能。     

面向多方面的双通道知识增强图卷积网络模型

基于方面的情感分析是一项细粒度的情感分析任务，旨在将方面与相应的情感词对齐，以进行特定于方面的情感极性推理。近年来，借助句法依赖信息的图神经网络情感分类方法成为该领域的一个研究热点，但是由于评论语句在内容表达和句法结构上的灵活性，仅利用句法依赖信息的建模方法仍然存在一定的不足。为了发挥情感知识与结构语义信息对评论语句的增强作用，提出一种双通道知识增强图卷积网络模型DualSyn-GCN。一方面根据方面与方面、方面与上下文之间的隐含关系进行句法依赖邻接矩阵的增强，另一方面从外部情感知识对方面的情感依赖进行学习，随后对2种不同增强表示进行融合，从而实现不同表示间的共享与互补。实验结果表明，相较于经典的基于特定方面的图卷积网络模型(ASGCN),该模型在LAP14数据集上的准确率和MF1值分别提升了2.34%和3.26%。     

基于图卷积记忆网络的方面级情感分类

在方面级情感分类中,常用的方法是用卷积神经网络或循环神经网络提取特征,利用注意力权重获取序列中不同词汇的重要程度。但此类方法未能很好地利用文本的句法信息,导致模型不能准确地在评价词与方面词之间建立联系。该文提出一种图卷积神经记忆网络模型(MemGCN)来解决此依赖问题。首先通过记忆网络存储文本表示与辅助信息,然后利用基于依存句法树的图卷积神经网络获取文本的句法信息。最后,使用注意力机制融合句法信息与其他辅助信息。在SemEval 2014任务和Twitter数据集上的实验结果表明,MemGCN显著提升了模型性能。     

基于图卷积网络的多交互注意方面级情感分析

为解决当前方面级情感分析中提取语义句法信息不充分导致分类结果不准确的问题,提出一种基于图卷积网络的多交互注意模型。基于注意力机制和句法相对距离分别重构带有权重的语义图邻接矩阵和句法图邻接矩阵,以这种方式存储更多信息,结合图卷积网络充分挖掘上下文中更深层次的语义和句法信息;通过掩码机制和交互注意完成方面词与上下文的语义交互和句法交互,捕获相关关联并进行特征融合。在SemEval 2014和Twitter数据集上进行实验,实验结果表明,该模型与基于注意力的模型和基于图卷积网络的模型相比,有更好的分类效果。     

基于自注意力门控图卷积网络的特定目标情感分析

基于特定目标的情感分析旨在预测句子中不同方面表达的不同情感倾向。针对之前利用循环神经网络（RNN）结合注意力机制的网络模型所带来的训练参数多且缺少对相关句法约束和长距离词依赖机制解释的问题,提出自注意力门控图卷积网络MSAGCN。首先,模型采用多头自注意力机制编码上下文词和目标,捕获句子内部的语义关联;然后,采用在句子的依存树上建立图卷积网络的方法获取句法信息以及词的依存关系;最后,通过带有目标嵌入的门控单元（GTRU）获取特定目标的情感。与基线模型相比,所提模型的准确率和调和平均值F1分别提高了1%~3.3%和1.4%~6.3%;同时,预训练的BERT模型也被应用到当前任务中,使模型效果获得了新的提升。实验结果表明所提出的模型能更好掌握用户评论的情感倾向。     

面向深度学习网络的细粒度商品评价分析

利用BERT预训练模型的优势,将句法特征与BERT词嵌入模型融入到深度学习网络中,实现细粒度的商品评价分析。提出一种基于深度学习的两阶段细粒度商品评价情感分析模型,利用融合句法特征与BERT词嵌入的BILSTM-CRF注意力机制模型提取用户评论中的商品实体、属性与情感词;运用BILSTM模型对提取的结果进行情感分析。在SemEval-2016 Task 5和COAE Task3商品评价数据集上的特征提取F1值达到88.2%,分别高出BILSTM模型、BILSTM-CRF模型4.8个百分点、2.3个百分点;情感分类精度达到88.5%,比普通的RNN高出8个百分点,比支持向量机、朴素贝叶斯等传统机器学习方法高出15个百分点。通过模型的复杂度分析,进一步证明融合句法特征与BERT词嵌入后的深度学习模型,在细粒度商品评价情感分析上的优势。     

基于AWI和GCN的方面级情感分类模型

目前大多数方面级情感分类研究都忽略了方面词的建模,以及方面词与上下文之间的交互信息,并且难以体现语法上与方面词有直接联系上下文单词的重要程度。针对上述问题,提出基于方面词交互（aspect word interaction,AWI）和图卷积网络（graph convolutional network,GCN）的方面级情感分类模型（AWI-GCN）。使用双向长短期记忆网络（bi-directional long short-term memory,Bi-LSTM）分别提取方面词和上下文的特征;采用GCN根据句法依存树进一步提取与方面词有直接语法联系的上下文情感特征;利用注意力机制学习方面词与上下文的交互信息,同时提取上下文中为方面词情感分类做出重要贡献的情感特征。针对3个公开数据集上的仿真实验结果表明,AWI-GCN模型相比当前代表模型取得了更好的情感分类效果。     

基于句法规则与情感词的隐式特征提取

针对当前句法关系研究存在过多考虑主谓关系、情感词识别能力有限、忽视隐式特征提取等方面的不足,提出一种基于句法规则与情感词的隐式特征提取方法。借助中文情感词典资源,基于外部语料与实验语料训练的词向量分别构建混合情感词典和产品特征词典,通过词典和定义的句法规则提取显式特征及情感词,根据其共现关系提取隐式特征。在相机评论语料集上进行实验并与现有方法进行对比,实验结果表明,该方法能有效提取显式及隐式特征,在获取全面特征信息上具有较好的性能。     

基于句法结构树和混合注意力网络的方面级情感分类

在目前方面级别情感分类的研究方法中,大部分是基于循环神经网络或单层注意力机制等方法,忽略了位置信息对于特定方面词情感极性的影响,并且此类方法编码语句和方面词时直接采用了拼接或者相乘的方式,导致处理长句子时可能会丢失信息以及无法捕获深层次情感特征。为了解决上述问题,该文提出了基于句法结构树和混合注意力网络的模型,其基本思想是将基于句法结构树构建的位置向量作为辅助信息,并提出混合注意力网络模型来提取句子在给定方面词下的情感极性。所以该文设计了浅层和深层网络,并分别构建位置注意力机制和交互型多头注意力机制获取句子中和方面词相关的语义信息。实验结果表明：大多数情况下,该模型在SemEval 2014公开数据集中的Restaurant和Laptop以及ACL14 Twitter上的表现优于相关基线模型,可以有效地识别不同方面的情感极性。