面向方面级情感分析的交互图注意力网络模型

方面级情感分析目前主要采用注意力机制与传统神经网络相结合的方法对方面与上下文词进行建模.这类方法忽略了句子中方面与上下文词之间的句法依存信息及位置信息,从而导致注意力权重分配不合理.为此,该文提出一种面向方面级情感分析的交互图注意力网络模型(IGATs).该模型首先使用双向长短期记忆网络(BiLSTM)学习句子的语义特征表示,并结合位置信息生成新的句子特征表示,然后在新生成的特征表示上构建图注意力网络以捕获句法依存信息,再通过交互注意力机制建模方面与上下文词之间的语义关系,最后利用soft-max进行分类输出.在3个公开数据集上的实验结果表明,与其他现有模型相比,IGATs的准确率与宏平均F1值均得到显著提升.     

面向方面级情感分析的交互图注意力网络模型

方面级情感分析目前主要采用注意力机制与传统神经网络相结合的方法对方面与上下文词进行建模。这类方法忽略了句子中方面与上下文词之间的句法依存信息及位置信息,从而导致注意力权重分配不合理。为此,该文提出一种面向方面级情感分析的交互图注意力网络模型(IGATs)。该模型首先使用双向长短期记忆网络(BiLSTM)学习句子的语义特征表示,并结合位置信息生成新的句子特征表示,然后在新生成的特征表示上构建图注意力网络以捕获句法依存信息,再通过交互注意力机制建模方面与上下文词之间的语义关系,最后利用softmax进行分类输出。在3个公开数据集上的实验结果表明,与其他现有模型相比,IGATs的准确率与宏平均F1值均得到显著提升。     

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F₁分值上分别提高了3.7%和5.1%。     

基于情感融合和层次注意力机制的情感分析

针对两个反义词在相似语境下转化成词向量后空间距离相近,容易造成情感信息丢失,循环神经网络等的特征提取方式容易导致网络依赖增强,难以充分提取局部性特征。针对第一个问题,本文提出情感嵌入模块,在词嵌入的过程中加入情感向量与语义信息作为网络的输入层;针对第二个问题,本文提出层次注意力机制,将融合后的词向量切片形成两个子序列,将单词的词向量输入到双向门控循环网络,利用注意力机制对隐藏层进行加权计算,获得子序列文本信息,通过多个网络层获得整个文本序列信息;最后,经过softmax函数输出文本情感极性。在NLPIR微博语料库和NLPCC2014的微博公开数据集进行实验,表明该情感分析模型在准确率上有所提高,证明了模型的有效性。     

基于BERT和CNN的评论文本情感分类应用研究

随着互联网应用的快速普及,用户在商品分析、服务评估、影视分享等众多领域发表了大量的评论文本。如何快速识别众多评论文本中的情感倾向,提高文本数据的应用价值,已成为自然语言处理领域关注的热点话题之一。针对此问题,基于BERT和CNN模型对资产维修服务的评论文本进行情感分析,将BERT模型输出的动态字向量送入CNN进行二次表征,并将其与文本序列向量相融合为分类器提供更多的语义信息。实验结果表明,所提出的方法在文本情感分类准确率、F1值上均取得了良好的结果,具有有效性,同时通过对评论文本进行情感分析形成对维修工人的综合评价,实现系统报修工单的智能派单,为企业资产管理系统中资产维修管理模块的优化提供一定的思路。     

基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于知识迁移和注意力融合的方面级文本情感分析

方面级情感分析是针对一个评论中涉及多种方面类别时的情感分析,现有方法通常利用方面级数据集在神经网络模型上直接进行训练,但已标注的方面级训练数据规模较小,造成模型不能充分学习而性能受限.为解决上述问题,本文利用迁移学习的思想,将数据量较大的文档级数据进行情感分析模型的预训练,进而获得丰富的文本语义、句法信息和情感特征,然...     

基于位置感知交叉注意力网络的方面情感分析

针对目前大多数基于深度学习的模型忽略了位置信息在识别方面术语情感任务上起着重要作用的事实,提出了一种基于双向门控循环网络(Bi-GRU)的位置感知交叉注意力模型(PAOAN).该模型先获得文本词向量和方面词向量,并在文本词向量上融合位置信息,通过Bi-GRU网络后,分别得到上下文隐藏表示和方面隐藏表示,再通过交叉注意力机制(Attention-Over-Attention)得到方面术语与句子之间的相互关系,最后通过Softmax层获得其情感标签.实验在SemEval2014数据集上进行,结果表明,本文提出的PAOAN模型相比于其他模型是有效的.     

基于Bi-GRU和双层注意力机制的商品评论情感分析

本文针对现有商品评论情感分析模型均没有对商品评论文本进行细粒度划分的缺点,提出一种基于双向门控循环网络(Bi-GRU)和双层注意力机制的商品评论情感分类模型。该模型将商品评论文本划分成词级和句子级,通过Bi-GRU提取商品评论在词级和句子级的特征,同时在词级和句子级分别应用注意力机制对相应信息进行权重重分布,通过层级递进的方式获取到商品评论的情感倾向。实验结果表明,本研究提出的商品评论情感分析模型在评论数据集中取得了93.78%的准确率,相对于使用单层注意力机制的Bi-GRU提升了2.6%。     

基于BERT的中文健康问句分类研究

现有的医学健康问句数据大多数都是短文本,但短文本存在特征稀疏的局限性.对此,提出一种融合特征的方法,首先通过基于变换器的双向编码器表征技术(Bidirectional Encoder Representations from Transformers,BERT)字符级特征的输出取平均并与BERT句子级特征的输出进行拼接...     

融合BERT-BiGRU和多尺度CNN的中文微博情感分析

随着社交媒体的快速发展,人们在微博等平台上表达情感的方式也得到了极大的丰富和多样。因此,针对中文微博情感分析的研究变得尤为重要。为提高中文微博情感分析的效果,设计了一种基于BERT-BiGRU和多尺度卷积神经网络(Convolutional Neural Networks, CNN)的中文微博情感分析模型。具体来说,首先,利用预训练的BERT模型对微博文本进行编码;然后,通过BiGRU捕捉上下文信息和语境特征,并利用多尺度CNN提取文本中重要的局部情绪特征;最后,使用全连接层进行情感分类。在SMP2020发布的公开微博数据集上进行比较实验,实验结果表明,提出的模型在中文微博情感分类任务上取得了较好的表现,具有更高的准确性和泛化能力。     

基于对话者语句交互图神经网络的对话情感分析

对话情感分析任务旨在通过理解人类在对话中表达情绪的方式,结合对话内容及对话者信息,识别对话中的每一个语句的情感分类。不同于其余文本情感分析任务,对话情感分析需要建模对话中的顺序上下文语境。然而,如何更直观有效地建模对话语境,并且充分考虑对话参与者的情绪变化,以提高对话情感分析任务的准确率等问题仍有待探索。因此,本文提出一种基于对话者语句交互图神经网络的对话情感分析模型。首先,通过微调RoBERTa预训练语言模型提取对话文本的语句特征和对话者信息特征;其次,使用Bi-GRU建模对话文本的序列上下文语境,获得上下文语句特征;最后,融合上下文语句特征和对话者信息特征构建对话者语句交互图神经网络模型。在公开数据集MELD上的实验结果表明,与其他基线模型相比,本文所提模型取得了更好的实验性能。     

基于胶囊网络的跨语言方面级情感分析

跨语言情感分析的目的是利用数据资源丰富的源语言帮助资源较少的目标语言进行情感分析。针对中文文本标注语料较少和不同方面项的不同情感极性特征重叠影响文本情感分析准确率的问题,提出一种基于胶囊网络的跨语言方面级情感分类方法 BBCapNet,该方法利用BERT模型学习源语言的语义特征训练词向量作为嵌入层,然后利用BiLSTM学习上下文信息,利用胶囊网络（Capsule Network）获取文本中局部信息和整体情感极性间的关系,从而提取不同方面项的情感特征,最后使用归一化指数函数（Softmax）进行分类。通过与其他主流方法进行对比论证,论证结果表明,该方法在跨语言方面级情感分类效果上有显著提升。     

基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

一种结合序列和主题信息的无监督方面词提取模型

方面词提取是方面级情感分析中一个较为重要的子任务,现有的无监督方面词提取模型主要对评论的词袋表示进行主题建模,而忽略了评论本身的序列信息.因此提出一种结合序列和主题信息的无监督方面词提取模型,对评论的词袋表示进行变分编码,在获得初始主题向量的基础上,使用不同的注意力机制获取含有评论序列信息的主题向量,并用方面词分布矩阵...     

基于卷积注意力门控循环网络的加密流量分类方法

流量加密技术给流量分类带来了新的挑战,为实现加密流量的快速准确分类,提出了一种基于卷积注意力门控循环网络的加密流量分类方法.将卷积神经网络和门控循环单元相结合,针对流量数据的特点,修改卷积神经网络的池化层以提取单个数据包特征,通过注意力机制寻找单个数据包的关键特征并赋予高权重;然后采用门控循环单元提取流层面数据包间的时...     

融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。     

基于预训练语言模型及交互注意力的平行句对抽取方法

从互联网可比语料中筛选高质量的平行句对,是提升低资源机器翻译性能的有效手段之一.针对该问题,融合预训练语义表征提出一种基于双向交互注意力机制的跨语言文本语义匹配方法,首先利用预训练语言模型分别获得源语言和目标语言的双语表征,其次基于双向交互注意力机制实现跨语言特征的空间语义对齐,最后基于多视角特征融合后的语义表征实现跨...     

基于BERT模型的指令集多标签分类研究

指令分类可有效识别出指令的类别并提取出指令中的关键信息,有助于编译器开发人员快速构建编译器后端指令相关的代码,降低时间成本。针对传统文本分类模型的不足,研究提出基于BERT预训练模型的指令描述文本分类方法。经过数据清洗、预处理,在BERT预训练模型基础上,研究构建了文本多标签分类模型,实验结果表明,本文提出的方法对指令文本有较好的分类效果。