双通道混合神经网络的文本情感分析模型

大多数文本情感分析方法不能有效地反映文本序列中不同单词的重要程度,并且不能获得足够的文本信息。提出了一种双通道混合神经网络的文本情感分析模型,混合神经网络层在胶囊网络(Capsule Network)模型和双向门限循环单元(BiGRU)模型之后分别引入注意力机制,使其自适应地感知上下文信息并提取影响文本情感分析的文本特征,将两种模型提取的特征进行融合。将两种不同的词向量经过混合神经网络层得到的结果进一步融合,由Softmax分类器进行分类。在三个标准数据集上的实验结果证明了该模型的有效性。     

字词融合的双通道混合神经网络情感分析模型

针对双向门控循环神经网络(BiGRU)无法获取文本局部特征,卷积神经网络(CNN)无法聚焦文本全局特征的问题,提出一种字词融合的双通道混合神经网络文本情感分析模型(CW_BGCA).首先,将文本分别用字符级词向量和词语级词向量表示;然后使用门控循环神经网络和卷积神经网络结合的混合神经模型分别从字向量和词向量中提取隐层特...     

融合多窗口局部信息的方面级情感分析模型

针对目前方面级情感分析（ABSA）模型过多依赖关系较为稀疏的句法依赖树学习特征表示,导致模型学习局部信息能力不足的问题,提出了一种融合多窗口局部信息的ABSA模型MWGAT(combining Multi-Window local information and Graph ATtention network)。首先,通过多窗口局部特征学习机制学习局部上下文特征,并挖掘文本包含的潜在局部信息;其次,采用能够较好理解依赖树的图注意力网络（GAT）学习句法依赖树所表示的语法结构信息,并生成语法感知的上下文特征;最后,将这两种表示不同语义信息的特征融合,形成既包含句法依赖树的语法信息又包含局部信息的特征表示,从而便于分类器高效判别方面词的情感极性。在Restaurant、Laptop和Twitter这3个公开数据集上进行实验,结果表明与结合了句法依赖树的T-GCN(Type-aware Graph Convolutional Network)模型相比,所提模型的Macro-F1分数分别提高了2.48%、2.37%和0.32%。可见,所提模型能够有效挖掘潜在的局部信息,并更为精确地预测方面词的...     

融合多级特征的俄语推特文本情感分析

社交媒体中俄语情感信息的深入挖掘和分析,对国家制定政治、经贸和外交战略具有重要参考价值.本文针对俄语社交媒体文本口语化、不规范、形态多样等特点,提出融合俄语形态、俚语等词级特征和特殊符号、英译情感信息等句级特征的多级特征表示方法,建立基于自注意力机制的俄语情感分类深度学习模型.针对俄语推特文本的情感分类实验表明,本文提...     

一种融合位置特征的方面级情感分析方法

方面级情感分析是如今情感分析领域的重要研究任务之一,旨在计算文本中多个方面词的情感极性。现有的方面级情感分析方法通常将整个句子直接输入复杂的神经网络,尽管此类方法能够有效捕捉到词与词之间的依赖关系,却忽略了方面词与其上下文之间所隐含的位置特征。因此,提出了一种融合位置特征的方面级情感分析方法。将文本分别采用基于方面词间隔的上下文划分方式与基于单词距离的上下文划分方式,通过两个微调后的BERT模型,完成词向量的表达;将两种词向量送入多头注意力机制,计算其文本特征;使用平均池化将语义信息进行融合,在输出层完成方面词的情感极性分类。在SemEval2014 Task4数据集和Twitter数据集上的实验表明,提出的融合位置特征的方面级情感分析方法能够充分利用方面词上下文之间的位置特征,有效提升了准确率和F1值。     

融合个体偏差信息的文本情感分析模型

目前情感分析任务经常只聚焦于评论文本本身,忽略了评论者与被评论者的个体偏差特征,会显著影响对文本的整体情感判断。针对上述问题,提出一种融合评论双边个体偏差信息的文本情感分析模型UP-ATL (User and Product-Attention TranLSTM)。该模型使用自注意力机制、交叉注意力机制对评论文本与个体偏差信息分别进行双向融合,在融合过程中采用定制化权重的计算方式,以缓解实际应用场景中冷启动带来的数据稀疏问题,最终得到特征充分融合的评论文本和评论双边的表示信息。选取餐饮领域、电影领域的三个真实公开数据集Yelp2013、Yelp2014、IMDB进行效果验证,与UPNN(User Product Neural Network)、NSC(Neural Sentiment Classification)、CMA(Cascading Multiway Attention)、HUAPA (Hierarchical User And Product multi-head Attention)等基准模型进行比较。实验结果表明,相较于比较模型中最好的HUAPA模型,UP-ATL的准确...     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。     

基于并行混合网络与注意力机制的文本情感分析模型

现有基于深度学习和神经网络的文本情感分析模型通常存在文本特征提取不全面,且未考虑关键信息对文本情感倾向的影响等问题。基于并行混合网络与双路注意力机制,提出一种改进的文本情感分析模型。根据不同神经网络的特点分别采用GloVe和Word2vec两种词向量训练工具将文本向量化,得到更丰富的文本信息。将两种不同的词向量并行输入由双向门控循环单元与卷积神经网络构建的并行混合网络,同时提取上下文全局特征与局部特征,提高模型的特征提取能力。使用双路注意力机制分别对全局特征和局部特征中的关键信息进行加强处理及特征融合,增强模型识别关键信息的能力。将融合后的整个文本特征输入全连接层,实现最终的情感极性分类。在IMDb和SST-2公开数据集上的实验结果表明,该模型的分类准确率分别达到91.73%和91.16%,相比于同类文本情感分析模型有不同程度的提升,从而证明了双路注意力机制可以更全面地捕获文本中的关键信息,提高文本情感分类效果。     

融合位置信息的观点三元组情感分析模型

方面级情感分析主要有两大类任务：a)抽取任务,旨在抽取出语句中的方面词及观点词;b)分类任务,旨在分析情感极性。在这两种复合任务的基础上,针对目前方面词与观点词耦合性较差,导致分类任务出错这一问题,提出了融合位置信息的观点三元组情感分析模型OTPM。该模型利用双向长短时记忆网络获得文本表示,接着利用自注意力机制来增强方面词与情感词之间的关联性,之后在多任务框架中进行观点三元组的抽取,同时将抽取出的表示与位置信息进行加权融合,最后利用biaffine评分器分析加权后的方面词与观点词之间的情感依赖关系,并利用stop-on-non-I算法对三元组进行解码输出三元组。在Lap14、Rest14、Rest15、Rest16四个数据集上进行大量实验,结果表明所提模型优于一系列基线模型。     

基于多通道融合特征网络的文本情感分析

针对现有文本情感分析基础深度学习模块特征提取不够全面,语义表示不准确及训练效率低等问题,提出了基于多通道融合特征网络的文本情感分析模型。首先,采用针对汉字优化的预训练模型ChineseBERT提取文本的动态词向量表征,解决静态词向量存在的无法表示多义词问题,提升词向量语义表征质量;然后,通过多通道融合特征网络全面捕捉文本不同尺度下的语义特征融合向量表示,增强模型对文本深层次情感特征的学习能力;并利用软注意力机制计算每个特征对情感极性类型识别的影响权重,赋予关键特征更高权重,避免无关特征对结果造成干扰;最后,由线性层输出文本情感分类结果。在SMP2020微博疫情相关情绪分类评测数据集、购物评论数据集和酒店评论数据集上进行实验验证,分别取得了76.59%、97.59%和95.72%的F1分数以及76.6%、97.59%和95.73%的准确率,高于近期表现优秀的对比深度学习模型,验证了该模型在文本情感分析任务上的有效性。     

MASGC：融合特定屏蔽机制的简单图卷积情感分析模型

方面级情感分析目前是基于图卷积神经网络(GCN)来整合句子的语法结构,它能够有效地解决长范围词汇依赖不准确的问题,但GCN却拥有不必要的复杂性和冗余计算。此外,它忽略了属性与上下文之间相对位置的关系。为此,提出了一种新的模型来解决上述问题。首先建立双向GRU层,接着使用位置感知转换增加靠近方面词的上下文词的重要程度,然后通过移除非线性和折叠连续层之间的权重矩阵来降低复杂性;再与特定屏蔽层进行融合实现单层MASGC结构,生成一种新的基于检索上下文的注意力机制;最后通过全连接层给出分类结果。该模型在五个数据集上进行了大量实验,实验结果表明其具有更高的准确率和更少的训练时间。     

基于特征级注意力的方面级情感分类模型研究

近年来大数据、自然语言处理等技术得到了飞速发展。情感分析作为自然语言处理细分领域的前沿技术之一,得到了极大的重视。然而,低参数量、高精度依然是制约情感分析的关键因素之一。为实现模型参数少、模型分类精度高的情感分析需求,通过改进特征级注意力机制的输入向量,以及前馈神经网络与注意力编码的前后位置关系,得到可复位特征级注意力机制,并基于该机制提出了基于可复位特征级注意力方面级情感分类模型(RFWA)和基于可复位特征级自注意力方面级情感分类模型(RFWSA),实现了高精度的方面级情感分析效果。在公开数据集上的实验结果表明,相比现有的主流情感分析方法,所提出的模型有明显的优势,尤其是在取得相当分类效果的情况下,模型的参数量仅为最新AOA网络的1/4。     

语义增强的图神经网络方面级文本情感分析

方面级情感分析是一种细粒度文本情感分析技术,可以判断文本目标方面的情感倾向,被广泛应用于商品评价、教育评价等领域,可以辅助用户更全面地了解实体属性并做出精准决策。但是现有方面级情感分析技术大多存在文本句法依存关系特征以及外部知识特征提取不充分的问题,为此,利用图卷积神经网络可以处理异构数据的特点,构建一种语义增强的方面级文本情感分析模型。将文本的词嵌入向量输入双向门控循环神经网络以提取文本和目标方面词的上下文语义信息,依据句法依存关系类型构建加权句法依存图,根据文本单词和外部知识库构建知识子图,使用图卷积神经网络处理加权句法依存图和知识子图,从而获取融合文本句法结构信息的文本特征和体现外部知识信息的目标方面特征,在此基础上,拼接两组特征向量完成情感极性分类。实验结果表明,在Laptop14、Restaurat14和Restaurat15数据集上,该模型的F1值分别达到77.34%、76.58%和68.57%,相比ATAELSTM、TD-LSTM、ASGCN等基线模型,其F1值分别平均提高7.28%、5.71%和6.28%,所提模型通过提取文本句法依存关系特征以及外部知识特征获得了更好的...     

SS-GCN:情感增强和句法增强的方面级情感分析模型

方面级情感分析(Aspect-Based Sentiment Analysis, ABSA)作为知识图谱下游应用,属于细粒度情感分析任务,旨在理解人们对评价目标在方面层次的情感极性。近年来,相关研究已经取得显著进步,但现有方法侧重于利用句子内的顺序性或句法依赖约束,而没有充分利用上下文词与方面词之间的依赖类型。此外,现有的基于图卷积神经网络模型对节点特征保留的能力不足。针对该问题,首先,在句法依赖树的基础上,充分挖掘上下文词与方面词之间的依赖类型,将其融入依赖图的构建;其次,定义了一个“敏感关系集合”,利用它来构建辅助句以增强特定上下文词与方面词之间的关联性,同时结合情感知识网络SenticNet以增强句子的依赖图,进而改进图神经网络的构建;最后,引入上下文保留机制,来减小节点特征在多层图卷积神经网络中的信息损失。提出的SS-GCN模型将并行学习到的句法表示和上下文表示进行融合以完成情感增强和句法增强。在3个公开数据集上进行了广泛的实验,证明了SS-GCN的有效性。     

基于BERT与记忆网络的长文本方面级情感分析

目前在方面级情感分析(ABSA)方法中,利用上下文或方面短语的平均值来计算方面短语或上下文之间注意力得分的方法往往会产生较大的信息损失,导致模型在长文本分类上的性能降低.为此,研究了一种建立在BERT表示上的记忆网络模型,BDMN.首先,把句子构造成多[CLS]的Token嵌入形式,然后,从BERT输出中获取到各短句的...     

融合左右双边注意力机制的方面级别文本情感分析

方面级别的文本情感分析旨在针对一个句子中具体的方面单词来判断其情感极性.针对方面单词可能由多个单词组成、平均化所有单词的词向量容易导致语义错误或混乱,不同的文本单词对于方面单词的情感极性判断具有不同的影响力的问题,提出一种融合左右的双边注意力机制的方面级别的文本情感分析模型.首先,设计内部注意力机制来处理方面单词,并根据方面单词和上下文单词设计了双边交互注意力机制,最后将双边交互注意力的处理结果与方面单词处理值三个部分级联起来进行分类.模型在SemEval 2014中两个数据集上进行了实验,分别实现了81.33％和74.22％的准确率,相比较于机器学习和结合注意力机制的各种模型取得了更好的效果.     

融合匹配长短时记忆网络和语法距离的方面级情感分析模型

针对现阶段方面级情感分析（ABSA）存在的方面词与不相关上下文错误匹配以及缺乏语法层面特征的问题,提出一种融合匹配长短时记忆网络（mLSTM）和语法距离的ABSA模型mLSTM-GCN。首先,逐词计算方面词与上下文的关联性,并将得到的注意力权重与上下文表示融合作为mLSTM的输入,从而得到与方面词关联度更高的上下文表示;然后,引入语法距离以获得与方面词语法关联度更高的上下文,从而获取更多的上下文特征来指导方面词的建模,并通过方面掩盖层得到方面表示;最后,结合位置权重、上下文表示以及方面表示来进行信息交互,从而获取用于情感分析的特征。在Twitter、REST14和LAP14数据集上的实验结果表明,相较于特定方面的图卷积网络（ASGCN）,mLSTM-GCN的准确率分别提升1.32、2.50和1.63个百分点,宏平均F1分别提升2.52、2.19和1.64个百分点。可见,mLSTM-GCN能够有效降低方面词与不相关上下文错误匹配的概率,提升分类效果。