基于特征级注意力的方面级情感分类模型研究

近年来大数据、自然语言处理等技术得到了飞速发展。情感分析作为自然语言处理细分领域的前沿技术之一,得到了极大的重视。然而,低参数量、高精度依然是制约情感分析的关键因素之一。为实现模型参数少、模型分类精度高的情感分析需求,通过改进特征级注意力机制的输入向量,以及前馈神经网络与注意力编码的前后位置关系,得到可复位特征级注意力机制,并基于该机制提出了基于可复位特征级注意力方面级情感分类模型(RFWA)和基于可复位特征级自注意力方面级情感分类模型(RFWSA),实现了高精度的方面级情感分析效果。在公开数据集上的实验结果表明,相比现有的主流情感分析方法,所提出的模型有明显的优势,尤其是在取得相当分类效果的情况下,模型的参数量仅为最新AOA网络的1/4。     

SS-GCN:情感增强和句法增强的方面级情感分析模型

方面级情感分析(Aspect-Based Sentiment Analysis, ABSA)作为知识图谱下游应用,属于细粒度情感分析任务,旨在理解人们对评价目标在方面层次的情感极性。近年来,相关研究已经取得显著进步,但现有方法侧重于利用句子内的顺序性或句法依赖约束,而没有充分利用上下文词与方面词之间的依赖类型。此外,现有的基于图卷积神经网络模型对节点特征保留的能力不足。针对该问题,首先,在句法依赖树的基础上,充分挖掘上下文词与方面词之间的依赖类型,将其融入依赖图的构建;其次,定义了一个“敏感关系集合”,利用它来构建辅助句以增强特定上下文词与方面词之间的关联性,同时结合情感知识网络SenticNet以增强句子的依赖图,进而改进图神经网络的构建;最后,引入上下文保留机制,来减小节点特征在多层图卷积神经网络中的信息损失。提出的SS-GCN模型将并行学习到的句法表示和上下文表示进行融合以完成情感增强和句法增强。在3个公开数据集上进行了广泛的实验,证明了SS-GCN的有效性。     

基于Graph-LSTMs的双重位置感知方面级情感分类

目前针对用户评论中方面词项情感分类任务的研究大多忽略了依存句法信息,或并未建立依存句法结构与单词之间的联系。为此,提出一种基于Graph-LSTMs的双重位置感知方面级情感分类方法。通过Graph-LSTMs学习词项的上下文语境特征;在双向GRU的输入中拼接具有双重位置信息的位置向量,优化句子情感编码;利用注意力机制捕获关键的情感特征,实现分类。在SemEval2014的两个数据集上的实验结果表明,该模型相比几种基线模型在准确率和Macro-F1这两个指标上提升明显。     

基于词级交互注意力机制的方面级情感分类模型

方面级情感分类旨在判断句子中每个具体方面的情感极性.传统的注意力机制模型可能会给句子中重要情感词分配过低的注意力权重,而且很少考虑上下文与方面词的交互信息.针对第1个问题,本文改进了传统的输入方式,以方面词为界限,将句子划分成包含方面词的上文、方面词和包含方面词的下文3部分作为输入,分别提取上文或下文中的重要情感特征.针对第2个问题,本文提出了词级交互注意力机制,分别学习上文与方面词、下文与方面词的词级交互,得到特定于方面的上文表示和下文表示向量,最后将它们拼接得到特定于方面的上下文表示向量,作为方面级情感分类特征.通过在3个标准数据集上的实验证明,本文的模型性能优于基线模型.     

基于交叉注意力的方面级情感分析

方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意力模型在分析单词之间的关系时,其注意力是相互独立的。为了分析句子中方面词与其他单词的复杂关联,提出一种基于交叉注意力和卷积门控网络的情感分析模型。对于给定的词向量特征,设计了一种交叉注意力模块。该模块对多头注意力中查询向量与关键字向量的匹配得分,添加交叉的线性映射,以融合多个注意力中的匹配得分,用于描述更复杂的方面词的上下文单词关系。使用卷积门控网络对局部单词关系进行编码,并设计了单词的位置编码模块,用于提供单词的位置编码特征,以分析位置编码对单词关系分析的作用。对上述编码的单词特征,使用时间池化获得句子描述,并使用全连接分类器进行情感分类标记预测。在Rest14和Laptop14数据集上的实验分析表明,提出的方法能有效估计方面级单词与其他单词之间得分关系。     

基于AWI和GCN的方面级情感分类模型

目前大多数方面级情感分类研究都忽略了方面词的建模,以及方面词与上下文之间的交互信息,并且难以体现语法上与方面词有直接联系上下文单词的重要程度。针对上述问题,提出基于方面词交互（aspect word interaction,AWI）和图卷积网络（graph convolutional network,GCN）的方面级情感分类模型（AWI-GCN）。使用双向长短期记忆网络（bi-directional long short-term memory,Bi-LSTM）分别提取方面词和上下文的特征;采用GCN根据句法依存树进一步提取与方面词有直接语法联系的上下文情感特征;利用注意力机制学习方面词与上下文的交互信息,同时提取上下文中为方面词情感分类做出重要贡献的情感特征。针对3个公开数据集上的仿真实验结果表明,AWI-GCN模型相比当前代表模型取得了更好的情感分类效果。     

基于依存树增强的注意力模型的方面级情感分析

近年来的方面级情感分析研究尝试利用注意力机制与基于依存树的图卷积模型对上下文词和方面之间的依赖关系进行建模,然而,基于注意力机制的模型具有容易引入噪声信息的缺点,基于依存树的图模型则具有高度依赖于依存树解析质量、鲁棒性较差的缺点。为解决以上问题,探索一种将注意力机制与语法知识相结合的新方法,利用依存树和位置信息分别对注意力机制进行监督,设计并提出了一种用于方面级情感分析的依存树增强的注意力模型,能够更合理地利用语义和句法信息的同时减轻对依存树的依赖程度。在三个基准数据集上进行的实验验证了所提方法的有效性和可解释性。     

基于对抗学习的自适应加权方面级情感分类算法

方面级情感分类是自然语言处理研究领域的一个热点问题,旨在分类出文本中不同方面的情感.目前,大多数深度神经网络情感分类模型都采用均值注意力机制,这导致情感词不能有效获得相应权重的问题.为此,提出一种基于对抗学习的自适应加权方面级情感分类模型AWSCM(Adaptive Weighted aspect-level Sentiment Classification Model based on adversarial learning),旨在自适应地学习文本权重.首先,将训练文本预处理成方面词、句子、句子对形式的输入,通过BERT对输入编码.然后,通过对抗学习算法和训练文本计算扰动生成对抗样本.最后,通过注意力机制提取训练文本和对抗样本编码后的深层文本特征和自适应权重,再进行联合学习.实验结果表明,和大多数深度神经网络情感分类模型相比,AWSCM能提升情感分类的准确性.同时,通过消融实验,证明了AWSCM结构设计的合理性.     

融合简化句法信息的端到端方面级情感分析

端到端方面级情感分析（E2E-ABSA）通过联合标签的方式识别评论中的方面术语,并对其进行情感极性分类。现有模型关注于改进特征编码器和解码器来提升性能。对于该任务而言,方面术语通常以组块的形式出现,且方面术语和观点术语具有句法关联,有效利用上述特性将有利于E2E-ABSA。提出了一种融合简化句法信息的E2E-ABSA模型。通过常用的句法分析获得评论的原始句法依赖树。同时,制定一组规则对句法依赖树进行重构,以获得简洁的句法信息。利用注意力机制将重构的句法信息融合到模型中,获得方面术语和观点术语的相关特征,从而更好地完成方面级情感分析。在两个公共评论数据集上进行验证,实验结果证明了该模型的有效性,且消融实验证明简化的句法信息确实有利于端到端方面级情感分析任务的完成。     

基于BERT与记忆网络的长文本方面级情感分析

目前在方面级情感分析(ABSA)方法中,利用上下文或方面短语的平均值来计算方面短语或上下文之间注意力得分的方法往往会产生较大的信息损失,导致模型在长文本分类上的性能降低.为此,研究了一种建立在BERT表示上的记忆网络模型,BDMN.首先,把句子构造成多[CLS]的Token嵌入形式,然后,从BERT输出中获取到各短句的...     

结合语法信息的BG-CNN用于方面级情感分类

方面级别的情感分析(ABSA)旨在确定句子中特定目标的情感倾向.大部分现有方法仅使用语义层面信息,不能很好地利用不同方面词的意见术语来达到精确的情感分类,且模型不具有可解释性.语法层面信息中词性信息和以特定方面术语为根节点的句法结构依存树可以用于捕获句子中特定方面的意见术语.提出了结合词性信息且具有模型可解释性的BG-...     

基于BiGCN和IAM的方面级情感分类模型

目前基于神经网络的方面级情感分类模型很少会考虑上下文单词与方面词之间的句法依存关系,可能会错误地将与方面词语法无关的上下文单词作为方面词的情感特征;另一方面大多数方法也忽略了上下文与方面词之间的交互信息。针对这两个问题,提出了基于双向图卷积网络（BiGCN）和交互注意力机制（IAM）的方面级情感分类模型（BiGCN-IAM）,该模型在句法依存树上使用双向图卷积网络提取上下文单词和方面词之间的句法依存关系,然后使用掩码层得到特定的方面词表示;最后使用交互注意力机制学习上下文与方面词之间的交互信息,同时提取了上下文中的重要情感特征和方面词中对分类有贡献的特征。通过在五个公开数据集上的实验证明,该模型效果优于基线模型。     

一种基于情感句模的文本情感分类方法

考虑到同类型的情感句往往具有相同或者相似的句法和语义表达模式,该文提出了一种基于情感句模的文本情感自动分类方法。首先,将情感表达相关句模人工分为3大类105个二级分类;然后,设计了一种利用依存特征、句法特征和同义词特征的句模获取方法,从标注情感句中半自动地获取情感句模。最后,通过对输入句进行情感句模分类实现文本情感分类。在NLP&CC2013中文微博情绪分类评测语料及RenCECps博客语料的实验结果显示,该文提出的分类方法准确率显著高于基于词特征支持向量机分类器。     

基于局部上下文关键词的方面级情感分析

针对目前大多数方面级情感分析方法存在着没有重点关注局部上下文中关键词特征的问题.本文提出了一种基于局部上下文关键词特征提取及增强的方面级情感分析模型LCPM (local context pos mask).首先提出了局部上下文词性掩码机制,提取方面词周围重要词的特征,减少噪声词的干扰.其次对损失函数进行修改,让模型重点关注与方面词有关的局部上下文关键词特征,提升模型情感分类的表现.最后设计了一种门控机制,模型可以动态学习权重系数,给局部上下文关键词特征和全局上下文特征分配不同的权重系数.在4个公开数据集上的实验结果表明,与现有的方面级情感分析模型相比,准确率和MF1值都有提高,验证了局部上下文关键词提取及增强的有效性,在方面级情感分析任务上有较大的应用价值.     

基于多通道BERT的跨语言属性级情感分类方法

属性级情感分类是情感分析领域中一个细粒度的情感分类任务,旨在判断文本中针对某个属性的情感极性.现有的属性级情感分类方法大多是使用同一种语言的标注文本进行模型的训练与测试,而现实中很多语言的标注文本规模并不足以训练一个高性能的模型,因此跨语言属性级情感分类是一个亟待解决的问题.跨语言属性级情感分类是指利用源语言文本的语义...     

基于维吾尔语情感词的句子情感分析

提出基于自动标注的维吾尔语情感词分析句子情感的方法。将8种情感类别作为情感类别集合。判断句子中是否含有转折性连词,若有则屏蔽含有转折性连词句子的前半部分,通过条件随机场模型自动标注句子中的情感词,依据标注的情感词,为句子的每种情感类别打分,得分最高的情感类型作为句子的候选情感。识别句中维语的否定成分,根据否定成分出现的奇偶次数对句子的候选情感修正,得到句子的最终情感类型。实验结果表明,在句子情感分析上该方法可取得较好的效果。     

基于情感关键句抽取的情感分类研究

情感分析需要解决的一个重要问题是判断一篇文档的极性是正面的还是负面的.情感分类的正确率很难达到普通文本分类的水平,因为情感分类更难更复杂.在判断文档的情感极性时,不同的句子具有不同的情感贡献度,所以,对整篇文档的关键句和细节句进行区分将有助于提高情感分类的性能.关键句通常简短且具有判别性,而细节描述句通常复杂多样且容易引入歧义.在关键句抽取算法中,考虑3类属性:情感属性、位置属性和关键词属性.为了更好地利用关键句和细节句之间的差异性和互补性,将抽取的关键句分别用于有监督的和半监督的情感分类.在有监督情感分类中,采用的是分类器融合的方法;在半监督情感分类中,采用的是Co-training算法.在8个领域上进行实验,结果表明所提方法性能明显优于Baseline,从而证明情感关键句抽取算法是有效的.     

基于多媒体信息的双向LSTM情感分析方法

随着信息技术的飞速发展，智慧政务的建设在中国如火如荼地展开。为了更好地服务社会，获取舆论的情感倾向变得至关重要。然而，由于媒体数据的多样性，例如讨论话题、文本正文、正文回复以及文本字数限制等原因，人们不仅要对文本正文进行分析，还必须对文本回复、讨论话题等多样文本信息，以及诸如表情符号、社交关系等因素进行建模。遗憾的是，很少有研究工作针对推文文本的回复及多媒体信息进行建模。本文针对推文正文回复、话题以及多媒体信息，提出一种新的双向长短时记忆网络CBi-LSTM (Content Bi-LSTM)对舆论进行情感分析。实验表明，文本信息和多媒体信息的融合能显著提高情感分析的准确性。     

基于层叠CRFs模型的句子褒贬度分析研究

本文研究句子的褒贬度分析问题。针对传统的基于分类的句子褒贬度分析方法不能考虑上下文信息的问题,以及基于单层模型的句子褒贬度分类方法中的由于标记冗余引起的分类精度不高问题,本文提出了基于层叠式CRFs模型的句子褒贬度分析方法。该方法利用多个CRFs模型从粗到细分步地判断句子的褒贬类别及其褒贬强度,其中层叠式框架可以考虑句子褒贬类别与褒贬强度类别之间的层级冗余关系,而CRFs模型可以利用上下文信息对于句子褒贬类别和强度的影响。该方法在有效识别句子褒贬度的同时,提高了句子褒贬强度判别的准确度。实验证明相对于传统分类方法和单层CRFs模型,本文的方法取得了良好的效果。