基于多层次注意力的语义增强情感分类模型

由于自然语言的复杂语义、词的多情感极性以及文本的长期依赖关系，现有的文本情感分类方法面临严峻挑战。针对这些问题，提出了一种基于多层次注意力的语义增强情感分类模型。首先，使用语境化的动态词嵌入技术挖掘词汇的多重语义信息，并且对上下文语义进行建模；其次，通过内部注意力层中的多层并行的多头自注意力捕获文本内部的长期依赖关系，从而获取全面的文本特征信息；再次，在外部注意力层中，将评论元数据中的总结信息通过多层次的注意力机制融入评论特征中，从而增强评论特征的情感信息和语义表达能力；最后，采用全局平均池化层和Softmax函数实现情感分类。在4个亚马逊评论数据集上的实验结果表明，与基线模型中表现最好的TE-GRU(Transformer Encoder with Gated Recurrent Unit)相比，所提模型在App、Kindle、Electronic和CD数据集上的情感分类准确率至少提升了0.36、0.34、0.58和0.66个百分点，验证了该模型能够进一步提高情感分类性能。     

一种新闻评论情感词典的构建方法

情感词典研究是文本情感分析领域的一个重要内容;基于情感词典的文本情感分析方法是一种非常有效的方法。互联网上的新闻评论包含评论人的情感,对其情感进行自动分析研究是非常有意义的。借鉴图排序模型的原理,提出一种新闻评论情感词典构建方法,该方法首先通过新闻评论语料和基础情感词典获得评论情感词集和种子词,然后根据提出的基于PageRank算法的方法判定评论情感词集的极性并计算其强度,进而构建新闻评论情感词典。实验从情感词判定的准确性和基于构建的情感词典的分类性能两个方面验证了所提方法的有效性。     

多注意力层次神经网络文本情感分析

在文本情感分析研究中,一条评论分别包含了篇章级、句子级和词语级等不同粒度的语义信息,而不同的词和句子在情感分类中所起的作用也是不同的,直接使用整条评论进行建模的情感分析方法则过于粗糙,同时也忽略了表达情感的用户信息和被评价的产品信息。针对该问题,提出一种基于多注意力机制的层次神经网络模型。该模型分别从词语级别、句子级别和篇章级别获取语义信息,并分别在句子级和篇章级引入基于用户和商品的注意力机制来计算不同句子和词的重要性。最后通过三个公开数据集进行测试验证,实验结果表明,基于多注意力层次神经网络的文本情感分析方法较其他模型性能有显著的提升。     

OPEN:一个基于评论的商品特征抽取及情感分析框架

针对电商平台提出一个基于评论的商品特征抽取及情感分析框架,并将该框架在京东生鲜类商品的评论中进行应用。实验结果表明该框架确实能够成功抽取出商品的典型特征及该特征对应的情感极性,且在小样本数据集上测试了特征词和观点词抽取算法以及情感极性计算方法的性能,其中显式<特征词,观点词>词对抽取的准确率达到了53.6%,召回率达到了81.5%,极性判断的准确率达到了98.3%。主要贡献包括:提出一种依据观点词与特征词关联度的隐含特征词映射方法;基于word2vec词向量模型计算特征词相似度,并利用改进的半监督层次聚类算法对特征词进行典型特征聚类,建立特征词关联表。     

基于BiGRU和注意力交互模型的方面级情感分析

针对传统神经网络模型无法有效识别文本中特定方面情感倾向,以及不同词语对句子的情感极性贡献不同等问题,文章提出了基于BiGRU的注意力交互模型(BiGRU-IAT).该文使用Bert预训练模型分别对句子和方面词编码,充分考虑词语在上下文中的关联性,可以有效解决词语多义性问题.双向GRU网络提取文本语义信息得到隐藏层向量表示,接下来利用注意力机制捕捉句子和方面词之间的交互信息,为词语分配相应的权重分数.在SemEval 2014数据集上的实验结果表明,BiGRU-IAT模型在准确率和F1值上优于传统神经网络模型.     

基于翻译和语义方法的情感词挖掘研究

随着互联网的扩展,网络上出现了越来越多的含有观点信息的主观性评论文本。挖掘这些文本中的情感词语并进行极性判别具有重要的现实意义和商业价值。为此,提出一种基于翻译方法的情感词提取方法,使用汉英机器翻译系统翻译汉语种子情感词典生成候选英语词语,根据WordNet提取候选英语词语的上下位词、同义词或反义词并将这些词语翻译成汉语,进而提取汉语情感词语。另外,依据SentiWordNet判别候选英语词语极性,并将候选英语词语极性映射到目标汉语情感词语上,进而达到判别汉语情感词语极性的目的。实验结果表明上述方法可以有效提高情感词的识别效率以及极性判别的准确率。     

融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型

针对传统的基于注意力机制的神经网络模型不能对方面特征和情感信息进行有效关注，以及不同距离或不同方向的上下文词对方面词的情感极性判断有不同的贡献等问题，提出一种融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型（LWAOA-LSTM）。首先，为词向量加入位置权重信息；然后，使用长短期记忆（LSTM）网络同时对方面和句子进行建模以生成方面表示和句子表示，同时通过注意力交叉注意力模块共同学习方面和句子的表示以获得方面到文本和文本到方面的交互关注，并自动关注句子中的重要部分；最后，在景点、餐饮、住宿不同主题数据集上进行实验，验证了该模型对方面情感分析的准确性。实验结果表明，所提模型在景点、餐饮、住宿主题数据集上的准确率分别达到78.3%、80.6%和82.1%，取得了比传统LSTM网络模型更好的效果。     

基于机器学习的网络新闻评论情感分类研究

首先对网络新闻评论数据的特点进行归纳总结,选取不同的特征集、特征维度、权重计算方法和词性等因素进行分类测试,并对实验结果进行分析比较。对比结果表明：情感词和论据词语搭配效果优于仅使用情感词作为评论特征;另外该类数据中特征维度对分类准确率的影响减小,且TF-IDF权重计算方法仍优于布尔型权重;在词性选择上,名词和动词词性比形容词和副词取得更好的分类效果。     

一种融合位置特征的方面级情感分析方法

方面级情感分析是如今情感分析领域的重要研究任务之一,旨在计算文本中多个方面词的情感极性。现有的方面级情感分析方法通常将整个句子直接输入复杂的神经网络,尽管此类方法能够有效捕捉到词与词之间的依赖关系,却忽略了方面词与其上下文之间所隐含的位置特征。因此,提出了一种融合位置特征的方面级情感分析方法。将文本分别采用基于方面词间隔的上下文划分方式与基于单词距离的上下文划分方式,通过两个微调后的BERT模型,完成词向量的表达;将两种词向量送入多头注意力机制,计算其文本特征;使用平均池化将语义信息进行融合,在输出层完成方面词的情感极性分类。在SemEval2014 Task4数据集和Twitter数据集上的实验表明,提出的融合位置特征的方面级情感分析方法能够充分利用方面词上下文之间的位置特征,有效提升了准确率和F1值。     

面向旅游在线评论情感词典构建方法

旅游在线评论情感分析的基础是情感词典的构建。在领域情感词典构建过程中,通常仅使用词频作为筛选种子词集的标准,而并未考虑其内部词语的关联程度,这会导致种子词集聚类效果不明显,进而影响情感词语归类精度。因此,基于词向量模型,提出一种情感词典种子词集筛选方法。该方法将情感词语以向量形式表征并计算词向量间距离,形成种子词集的筛选标准和分类依据,再通过类别判断形成在线评论的情感词典。最后,构建了山岳型旅游景区在线评论情感词典,并通过对比实验验证了方法的有效性,对提高情感词语归类精度和旅游在线评论情感词典的构建起到了积极的作用。     

面向方面记忆网络的IT产品细粒度情感分析

以用户情感需求为导向进行产品的设计和营销定位已成为研究热点，细粒度的情感挖掘可进一步提高评论分析的效率。提出一种面向方面深度记忆网络模型进行细粒度情感分析。对京东等IT产品评论数据进行爬取，应用依存句法分析方法抽取评论中的方面词，采用基于self-attention机制的深度记忆网络模型实现基于方面的细粒度情感分类。实验结果表明，面向方面深度记忆网络模型在英文数据集上的准确率相比一些经典模型有所提升，同时在京东等40?000条IT的用户评价数据进行情感倾向分析也具有良好的效果。     

基于词嵌入与记忆网络的方面情感分类

用户评论往往同时包含多个方面、多种情感,如何正确判断一条评论中不同方面的情感倾向性是方面情感分析的难点.文中提出基于词嵌入与记忆网络的方面情感分类.通过在记忆网络的不同模块引入方面词向量,加强方面词的语义信息,指导注意力机制捕捉方面相关的上下文信息,提升方面情感分类效果.在SemEval 2014任务4的短文本英文评论数据集和文中标注的长文本中文新闻数据集上实验表明,文中方法分类效果较好,在记忆网络框架下引入方面词嵌入信息是有效的.     

利用位置增强注意力机制的属性级情感分类

属性级情感分类旨在准确识别评论中属性的情感极性。现有的基于长短时记忆网络(LSTM)的方法大多只利用了属性和上下文的语义信息,而忽视了属性与上下文相对位置信息。针对此问题,提出一种利用相对位置信息来增强注意力的LSTM网络模型,解决属性级情感分类问题。首先,对上下文的输入层加入位置向量,利用两个LSTM网络对上下文和属性分别进行独立语义编码;然后,对上下文的隐藏层再次拼接位置向量,并利用属性隐藏层向量参与上下文不同词注意力权重的计算;最后,利用上下文生成的有效表示进行情感分类。该模型在SemEval 2014 Task4 Restaurant和Laptop两个不同领域数据集上进行了实验,在三分类实验中,准确率分别达到79.7%和72.1%。在二分类实验中,准确率分别达到92.1%和88.3%。相比多个基线模型,在准确率上都有一定的提升。     

A New Method for Sentiment Analysis Using Contextual Auto-Encoders

Sentiment analysis, a hot research topic, presents new challenges for understanding users’ opinions and judgments expressed online. They aim to classify the subjective texts by assigning them a polarity label. In this paper, we introduce a novel machine learning framework using auto-encoders network to predict the sentiment polarity label at the word level and the sentence level. Inspired by the dimensionality reduction and the feature extraction capabilities of the auto-encoders, we propose a new model for distributed word vector representation “PMI-SA” using as input pointwise-mutual-information “PMI” word vectors. The resulted continuous word vectors are combined to represent a sentence. An unsupervised sentence embedding method, called Contextual Recursive Auto-Encoders “CoRAE”, is also developed for learning sentence representation. Indeed, CoRAE follows the basic idea of the recursive auto-encoders to deeply compose the vectors of words constituting the sentence, but without relying on any syntactic parse tree. The CoRAE model consists in combining recursively each word with its context words (neighbors’ words: previous and next) by considering the word order. A support vector machine classifier with fine-tuning technique is also used to show that our deep compositional representation model CoRAE improves significantly the accuracy of sentiment analysis task. Experimental results demonstrate that CoRAE remarkably outperforms several competitive baseline methods on two databases, namely, Sanders twitter corpus and Facebook comments corpus. The CoRAE model achieves an efficiency of 83.28% with the Facebook dataset and 97.57% with the Sanders dataset.     

基于词向量与句法树的中文句子情感分析

随着互联网的快速发展,网络中充斥着海量主观性文本,如何对这些主观性语句进行情感倾向性判断是文本情感分析的关键。本文提出一种基于词向量和句法树的中文句子情感分析方法。针对目前大量网络新词的使用所带来的问题,以已有标注的情感词典为基础,采用词向量的方法判断词语之间的语义相似度,从而得到未知词语的情感极性。针对情感极性转移现象,定义相应的情感判断规则。在此基础上,利用句子的句法树结构,对句子进行情感倾向性分析。实验证明,该方法在一定程度上解决了网络新词的问题,有效提高了句子情感分析的准确率和召回率,且具有领域适用性。     

一种扩展式CRFs的短语情感倾向性分析方法研究

短语情感倾向性分析是文本情感分析的重要研究内容。该文将短语情感倾向性分析问题视作序列标注问题,利用条件随机场模型实现短语的情感倾向性判断。条件随机场模型是利用序列特征处理序列标注问题的经典方法,然而现有条件随机场模型无法将词语的情感倾向性分析与短语的情感倾向性分析相结合,从而造成准确率不高。因此,该文提出一种扩展式条件随机场模型YACRFs。该模型在链式条件随机场模型的基础上进行扩充,将词语情感倾向性分析与短语情感倾向性分析有效地结合起来,引入了情感词汇、短语规则模板以及词性等特征。与传统的规则方法和统计分类方法进行对比实验,该文提出方法取得了最高准确率81.07%。进一步地,在应用于句子情感倾向性分析的实验中得到了94.30%的准确率。实验结果表明,该文所提出的YACRFs模型能够显著提高短语情感倾向性判断结果的准确率。     

基于卷积注意力机制的情感分类方法

为提取文本的局部最优情感极性、捕捉文本情感极性转移的语义信息,提出一种基于卷积注意力机制的神经网络模型(CNN_attention_LSTM)。使用卷积操作提取文本注意力信号,将其加权融合到Word-Embedding文本分布式表示矩阵中,突出文本关注重点的情感词与转折词,使用长短记忆网络LSTM来捕捉文本前后情感语义关系,采用softmax线性函数实现情感分类。在4个数据集上进行的实验结果表明,在具有情感转折词的文本中,该模型能够更精准捕捉文本情感倾向,提高分类精度。     

基于双层注意力循环神经网络的方面级情感分析

在方面级情感分析中,常用的方法是将循环神经网络和注意力机制结合,利用注意力获取序列中不同单词的重要程度,但这并不能获取不同句子的重要程度,仅仅依赖单层注意力难于获取深层次情感特征信息。为了解决上述问题,该文提出一种基于双层注意力循环神经网络模型。通过双层注意力分别对单词层和句子层进行建模,捕获不同单词和不同句子的重要性,利用双向的循环神经网络获取更多的序列上下文依赖信息。情感特征信息具有重要性,但在深层神经网络中却未被充分利用。因此,该文将方面、词性信息和位置信息作为模型的辅助信息,进行更深层次情感特征信息学习,有效识别不同方面的情感极性。该方法与IAN模型相比,在SemEval 2014中的Restaurant数据集和Laptop数据集上进行实验,分类准确率分别提升了2.0%和5.2%。在与TD-LSTM模型对比中,Twitter数据集的分类准确率提升了1.7%。     

面向网络新闻领域的评论情感极性分析

网络新闻评论情感分析对于互联网时代分析舆情、掌握民调具有重要意义。目前研究聚焦在评论自身的分析而忽略评论间的结构关系,因此利用该关系生成评论关系树,并基于评论关系树建立情感极性判别规则。将评论经过预处理后,同时采用基于扩展情感词典和支持向量机两种方法来进行情感极性分析,动态扩展了情感词典,设计了情感极性分类器。实验结果表明,在利用了评论结构关系之后,两种方法的分析准确率均较没利用该关系之前有了明显的提升。     

基于HowNet和PMI的词语情感极性计算

基于语料库的点互信息(PMI)计算方法依赖于语料库的完善性,基于HowNet的计算方法则依赖于知网相似度计算的准确性。为克服2种方法的局限性,提出一种HowNet和PMI相融合的词语极性计算方法,利用知网进行同义词扩展,降低情感词在语料库中出现频率低所带来的问题。实验结果表明,该方法的微平均和宏平均性能比传统方法提升约5%。