基于依存树增强的注意力模型的方面级情感分析

近年来的方面级情感分析研究尝试利用注意力机制与基于依存树的图卷积模型对上下文词和方面之间的依赖关系进行建模,然而,基于注意力机制的模型具有容易引入噪声信息的缺点,基于依存树的图模型则具有高度依赖于依存树解析质量、鲁棒性较差的缺点。为解决以上问题,探索一种将注意力机制与语法知识相结合的新方法,利用依存树和位置信息分别对注意力机制进行监督,设计并提出了一种用于方面级情感分析的依存树增强的注意力模型,能够更合理地利用语义和句法信息的同时减轻对依存树的依赖程度。在三个基准数据集上进行的实验验证了所提方法的有效性和可解释性。     

基于特征级注意力的方面级情感分类模型研究

近年来大数据、自然语言处理等技术得到了飞速发展。情感分析作为自然语言处理细分领域的前沿技术之一,得到了极大的重视。然而,低参数量、高精度依然是制约情感分析的关键因素之一。为实现模型参数少、模型分类精度高的情感分析需求,通过改进特征级注意力机制的输入向量,以及前馈神经网络与注意力编码的前后位置关系,得到可复位特征级注意力机制,并基于该机制提出了基于可复位特征级注意力方面级情感分类模型(RFWA)和基于可复位特征级自注意力方面级情感分类模型(RFWSA),实现了高精度的方面级情感分析效果。在公开数据集上的实验结果表明,相比现有的主流情感分析方法,所提出的模型有明显的优势,尤其是在取得相当分类效果的情况下,模型的参数量仅为最新AOA网络的1/4。     

基于BiGRU和注意力交互模型的方面级情感分析

针对传统神经网络模型无法有效识别文本中特定方面情感倾向,以及不同词语对句子的情感极性贡献不同等问题,文章提出了基于BiGRU的注意力交互模型(BiGRU-IAT).该文使用Bert预训练模型分别对句子和方面词编码,充分考虑词语在上下文中的关联性,可以有效解决词语多义性问题.双向GRU网络提取文本语义信息得到隐藏层向量表示,接下来利用注意力机制捕捉句子和方面词之间的交互信息,为词语分配相应的权重分数.在SemEval 2014数据集上的实验结果表明,BiGRU-IAT模型在准确率和F1值上优于传统神经网络模型.     

基于交叉注意力的方面级情感分析

方面级情感分析旨在识别句子中方面词的积极、消极和中性情绪。其关键在于方面词和句子中单词之间关系的学习。在学习单词之间关系时,现有卷积门控网络使用时间卷积方法,其局部时间窗口无法描述任意单词之间的关系。同时,现有时间注意力模型在分析单词之间的关系时,其注意力是相互独立的。为了分析句子中方面词与其他单词的复杂关联,提出一种基于交叉注意力和卷积门控网络的情感分析模型。对于给定的词向量特征,设计了一种交叉注意力模块。该模块对多头注意力中查询向量与关键字向量的匹配得分,添加交叉的线性映射,以融合多个注意力中的匹配得分,用于描述更复杂的方面词的上下文单词关系。使用卷积门控网络对局部单词关系进行编码,并设计了单词的位置编码模块,用于提供单词的位置编码特征,以分析位置编码对单词关系分析的作用。对上述编码的单词特征,使用时间池化获得句子描述,并使用全连接分类器进行情感分类标记预测。在Rest14和Laptop14数据集上的实验分析表明,提出的方法能有效估计方面级单词与其他单词之间得分关系。     

结合依存句法分析与交互注意力机制的隐式方面提取

隐式方面提取对于提升细粒度情感分析的准确性具有重要意义,然而现有隐式方面提取技术在处理大规模数据时泛化能力不强。为此,提出结合依存句法分析与交互注意力机制的隐式方面提取模型。首先利用预训练语言模型BERT生成文本的初始表征,然后传递给依存句法引导的自注意力层再次处理,再将两次处理的结果经交互注意力机制进一步提取特征,最终用分类器判断句子所属的隐式方面类别。与基线BERT及其他深度神经网络模型对比,所提模型在增强的SemEval隐式方面数据集上取得了更高的F₁与AUC值,证明了模型的有效性。     

融合左右双边注意力机制的方面级别文本情感分析

方面级别的文本情感分析旨在针对一个句子中具体的方面单词来判断其情感极性.针对方面单词可能由多个单词组成、平均化所有单词的词向量容易导致语义错误或混乱,不同的文本单词对于方面单词的情感极性判断具有不同的影响力的问题,提出一种融合左右的双边注意力机制的方面级别的文本情感分析模型.首先,设计内部注意力机制来处理方面单词,并根据方面单词和上下文单词设计了双边交互注意力机制,最后将双边交互注意力的处理结果与方面单词处理值三个部分级联起来进行分类.模型在SemEval 2014中两个数据集上进行了实验,分别实现了81.33％和74.22％的准确率,相比较于机器学习和结合注意力机制的各种模型取得了更好的效果.     

用于方面提取的多元关系协作学习模型

方面级情感分析广泛应用于商品评价、餐饮、电商决策等,该任务的一个核心点是方面词提取.目前常用方法是用观点词来辅助提取方面词对文本进行序列标注,或使用跨度标记法预测方面词开始与结束的位置.这些方法没有考虑到观点词提取、情感极性分类对方面词提取的影响.针对这个问题提出一种用于方面提取的多元关系协作学习模型,利用观点词提取、方面词提取、情感极性分类间的关系建模,在关系中实现多任务的协作学习与联合训练.在REST14、REST15和LAP14三个数据集上进行的实验结果表明,提出的方法优于目前的最新方法.     

基于词级交互注意力机制的方面级情感分类模型

方面级情感分类旨在判断句子中每个具体方面的情感极性.传统的注意力机制模型可能会给句子中重要情感词分配过低的注意力权重,而且很少考虑上下文与方面词的交互信息.针对第1个问题,本文改进了传统的输入方式,以方面词为界限,将句子划分成包含方面词的上文、方面词和包含方面词的下文3部分作为输入,分别提取上文或下文中的重要情感特征.针对第2个问题,本文提出了词级交互注意力机制,分别学习上文与方面词、下文与方面词的词级交互,得到特定于方面的上文表示和下文表示向量,最后将它们拼接得到特定于方面的上下文表示向量,作为方面级情感分类特征.通过在3个标准数据集上的实验证明,本文的模型性能优于基线模型.     

基于ELMo的混合注意力网络的方面级情感分析研究

方面级情感分析作为情感分析的一项细粒度任务,具有非常高的研究价值。方面词和对应的情感词之间的联系对于确定情感极性起着至关重要的作用。先前的研究大多仅利用一种注意力机制来关注句子和目标之间的联系,未考虑到词性中包含的情感信息。为解决这一问题,该文提出了一种基于ELMo的混合注意力网络(ELMo-based Hybrid Attention Network, EHAN)。与现有网络不同的是,模型不仅将ELMo与Transformer网络相结合来捕获文本信息的情感特征,还利用词性注意力机制对词性和单词进行交互获得方面与情感词之间的联系。在公开数据集上的实验结果表明,EHAN与基准模型相比在准确率和Macro-F₁值上都有显著提升,证明该方法可有效改善方面级情感分析的性能。     

属性抽取研究综述

属性抽取是一种自动识别和提取属性表述文字的自然语言处理任务.首先重温了属性抽取的基本任务、权威数据资源和通用评测规范,并在此基础上全面回顾了现有前沿技术,包括基于统计策略和特征工程的传统抽取技术以及利用深度学习的神经抽取技术.特别地,以属性表述语言的本质为出发点,结合现有技术暴露出的不足,对该领域的技术难点和推演方向给出了详细解释.     

基于类卷积交互式注意力机制的属性抽取研究

在基于深度学习的属性抽取研究中,注意力机制是常用的模型之一.目前,面向属性抽取的注意力机制存在2个局限性：其一,注意力机制多为自注意力机制,这是一种全局式注意力机制,其将不相关的噪音(距离目标词较远且与之不相关的词)带入注意力向量的计算;其二,目前的注意力机制多为单层注意力机制,注意力一次建模后缺少交互性.针对这2个局限性,提出一种面向属性抽取的类卷积交互式注意力机制.该方法先将目标句输入到双向循环神经网络,借以获得每个词的隐式表达,再经过类卷积交互式注意力机制进行表示学习.类卷积交互式注意力机制分为2层注意力计算：第1层按序(从句首到句末)通过滑动窗口控制每个词的上下文宽度,并计算每个词的注意力分布向量;第2层将第1层的注意力分布向量与所有单词进行交互注意力计算,将得到的注意力向量与第1层的注意力向量拼接,最终输入到条件随机场进行属性标记.在2014—2016语义评估(semantic evaluation, SemEval)官方数据集上验证了模型的有效性.相比于基线模型,在4个数据集上的F1值分别提高了2.21,1.35,2.22,2.21个百分点.     

基于交互特征表示的评价对象抽取模型

评价对象抽取是对象级情感分析的关键任务之一,评价对象抽取结果会直接影响对象级情感分类的准确率.在评价对象抽取任务中,借助手工特征加强模型性能的方式既消耗时间又耗费人力.针对数据规模小、特征信息不充分等问题,提出一种基于交互特征表示的评价对象抽取模型(aspect extraction model based on interactive feature representation, AEMIFR).相比其他模型,AEMIFR模型结合字符级嵌入与单词嵌入,捕获单词的语义特征、字符的形态特征以及字符与词语之间的内在联系.而且,AEMIFR模型获取文本的局部特征表示和上下文依赖特征表示,并学习2种特征表示之间的交互关系,增强2种特征之间的相似特征的重要性,减少无用特征对模型的消极影响,以及学习更高质量的特征表示.最后在SemEval 2014,SemEval 2015,SemEval 2016中的数据集L-14,R-14,R-15,R-16上进行实验,取得具有竞争力的效果.     

融合情感词交互注意力机制的属性抽取研究

在现有的属性抽取研究中,注意力建模多采用全局或局部的自注意力机制,未能较好地利用句子本身所含有的情感词信息。然而,句子中所需抽取的属性大多存在若干与其具有强相关性的情感词。因此,利用情感词辅助注意力的建模可增强注意力的准确性。该文提出一种融合情感词的交互注意力机制,将文本中所有的情感词按序排列,并通过双向长短时记忆网络编码原始文本,利用全连接神经网络和高速网络编码排列的情感词;然后,利用情感词编码与原始文本编码建模交互注意力,从而使模型在情感词的辅助下精确地定位文中所包含的属性;最终,使用条件随机场进行属性标记。该文利用2014、2015语义评估属性级情感分析官方评测数据进行实验,验证了上述方法的有效性,该方法在三个基准数据集上F₁值分别提高了5.53、2.90和5.76个百分点。     

A Model for Cross-Domain Opinion Target Extraction in Sentiment Analysis

Opinion target extraction is one of the core tasks in sentiment analysis on text data. In recent years, dependency parser–based approaches have been commonly studied for opinion target extraction. However, dependency parsers are limited by language and grammatical constraints. Therefore, in this work, a sequential pattern-based rule mining model, which does not have such constraints, is proposed for cross-domain opinion target extraction from product reviews in unknown domains. Thus, knowing the domain of reviews while extracting opinion targets becomes no longer a requirement. The proposed model also reveals the difference between the concepts of opinion target and aspect, which are commonly confused in the literature. The model consists of two stages. In the first stage, the aspects of reviews are extracted from the target domain using the rules automatically generated from source domains. The aspects are also transferred from the source domains to a target domain. Moreover, aspect pruning is applied to further improve the performance of aspect extraction. In the second stage, the opinion target is extracted among the aspects extracted at the former stage using the rules automatically generated for opinion target extraction. The proposed model was evaluated on several benchmark datasets in different domains and compared against the literature. The experimental results revealed that the opinion targets of the reviews in unknown domains can be extracted with higher accuracy than those of the previous works.     

KENAOTE：一种知识增强的方面和意见对提取多任务学习模型

方面和意见对提取旨在根据给定句子提取方面和意见项并匹配关系,然而相关研究通常独立提取方面和意见项,而不识别关系。为了识别方面和意见项关系,提出一种知识增强的方面和意见对提取多任务学习模型。首先使用预训练语言模型为文本生成具有语义信息的词向量,为了实现知识增强的效果,使用遮蔽注意力的方式将知识图谱的语义信息融入词向量中,然后使用基于距离注意力和条件随机场的序列标注方法提取方面和意见项,最后再将提取的方面和意见项两两匹配预测对应关系。为了加强方面和意见项提取模块和匹配模块的联系,采用共享编码层的方式实现联合训练。在训练流程中,匹配模块采用真实标签作为输入,在测试过程中采用提取模块的结果作为输入。为了证明模型的有效性,使用三个通用领域数据集进行对比实验,该模型在方面和意见项匹配任务中F1值分别达到66.99%、75.17%和67.30%,并优于其他比较模型。     

基于AWI和GCN的方面级情感分类模型

目前大多数方面级情感分类研究都忽略了方面词的建模,以及方面词与上下文之间的交互信息,并且难以体现语法上与方面词有直接联系上下文单词的重要程度。针对上述问题,提出基于方面词交互（aspect word interaction,AWI）和图卷积网络（graph convolutional network,GCN）的方面级情感分类模型（AWI-GCN）。使用双向长短期记忆网络（bi-directional long short-term memory,Bi-LSTM）分别提取方面词和上下文的特征;采用GCN根据句法依存树进一步提取与方面词有直接语法联系的上下文情感特征;利用注意力机制学习方面词与上下文的交互信息,同时提取上下文中为方面词情感分类做出重要贡献的情感特征。针对3个公开数据集上的仿真实验结果表明,AWI-GCN模型相比当前代表模型取得了更好的情感分类效果。     

语义和句法依赖增强的跨度级方面情感三元组抽取

本研究针对目前跨度级别的方面情感三元组抽取模型忽视词性和句法知识的问题且存在三元组冲突的情况, 提出了语义和句法依赖增强的跨度级方面情感三元组抽取模型SSES-SPAN (semantic and syntactic enhanced span-based aspect sentiment triplet extraction). 首先, 在特征编码器中引入词性知识和句法依赖知识, 使模型能够更精准地区分文本中的方面词和观点词, 并且更深入地理解它们之间的关系. 具体而言, 对于词性信息, 采用了一种加权求和的方法, 将词性上下文表示与句子上下文表示融合得到语义增强表示, 以帮助模型准确提取方面词和观点词. 对于句法依赖信息, 采用注意力机制引导的图卷积网络捕捉句法依赖特征得到句法依赖增强表示, 以处理方面词和观点词之间的复杂关系. 此外, 鉴于跨度级别的输入缺乏互斥性的保证, 采用推理策略以消除冲突三元组. 在基准数据集上进行的大量实验表明, 我们提出的模型在效果和鲁棒性方面超过了最先进的方法.     

基于多注意力卷积神经网络的特定目标情感分析

特定目标情感分析作为情感分析一个重要的子任务,近年来得到越来越多研究人员的关注.针对在特定目标情感分析中,将注意力机制和LSTM等序列性输入网络相结合的网络模型训练时间长、且无法对文本进行平行化输入等问题,提出一种基于多注意力卷积神经网络(multi-attention convolution neural networks, MATT-CNN)的特定目标情感分析方法.相比基于注意力机制的LSTM网络,该方法可以接收平行化输入的文本信息,大大降低了网络模型的训练时间.同时,该方法通过结合多种注意力机制有效弥补了仅仅依赖内容层面注意力机制的不足,使模型在不需要例如依存句法分析等外部知识的情况下,获取更深层次的情感特征信息,有效识别不同目标的情感极性.最后在SemEval2014数据集和汽车领域数据集(automotive-domain data, ADD)进行实验,取得了比普通卷积神经网络、基于单注意力机制的卷积神经网络和基于注意力机制的LSTM网络更好的效果.