基于高效Transformer的中文在线课程评论方面情感分析

准确挖掘在线课程评论中蕴涵的情感信息对在线课程的健康发展极具价值.现有中文在线课程评论情感分析研究大多为分析整条评论句子情感极性的粗粒度模型,无法准确表达课程评论句子中各个方面的细粒度情感.为此,提出一种基于高效Transformer的中文在线课程评论方面情感分析模型.首先,通过ALBERT预训练模型获得评论文本方面和上下文的动态字向量编码;然后,采用可以并行输入字向量的高效Transformer分别对课程评论文本的方面和上下文进行语义表征;最后,使用交互注意机制交互地学习课程评论文本中方面和上下文的重要部分,并输入方面和上下文的最终表示到情感分类层进行在线课程评论情感极性预测.在中国MOOC网真实数据集上的实验结果表明,高效Transformer中文在线课程评论方面情感分析模型与基线模型相比,在更低的时间开销下准确率达到了80％以上.     

基于BERT及双向GRU模型的慕课用户评论情感倾向性分析

以实现慕课网用户评论的情感倾向性分析为目的,本文提出一种基于BERT和双向GRU模型的用户评论情感倾向性分类方法。首先使用BERT模型提取课程评论文本的特征表示,其次将获取的词语特征输入BiGRU网络实现用户评论的情感特征的提取,最后用Softmax逻辑回归的方式进行情感倾向性分类。实验结果表明基于BERT和双向GRU模型的评论情感倾向性分类模型的F1值达到92.5%,提高了用户情感倾向性分析的准确率,从而验证了方法的有效性。     

双通道的BCBLA情感分类模型

针对传统情感分类模型的词向量表示无法解决多义词表征的问题,以及目前基于BERT的多通道情感分类模型研究较少的问题,提出了一种基于BERT的双通道情感分类模型BCBLA.该模型有BERT+CNN和BERT+BiLSTM-Attention两个通道,首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用通道1的CNN网络增强对文本局部特征提取的能力和通道2的BiLSTM-Attention模型增强对长序列文本处理以及关键情感分类特征提取的能力;最后使用Softmax激励函数对通道1和通道2的融合特征进行分类.为了验证本文提出的模型的有效性,本文在中文谭松波酒店评论和英文Yelp Dataset Challenge两种数据集进行实验,设置了与当前流行的情感分类模型对比、减少通道后的模型对比和更换预训练模型后的对比等3种实验对比方式,最终实验结果表明,本文BCBLA模型在中文和英文两种数据集上测试结果中值分别取得了92.86%和95.55%的最佳效果.     

基于BERT和LDA模型的酒店评论文本挖掘

通过主题模型对酒店评论文本进行文本挖掘,有利于引导酒店管理者和客户对评论信息做出合适的鉴别和判断。提出一种基于预训练的BERT语言模型与LDA主题聚类相结合的方法;利用中文维基百科语料库训练BERT模型并从中获取文本向量,基于深度学习算法对评论文本进行情感分类;通过LDA模型对分类后的文本进行主题聚类,分别获取不同情感极性文本的特征主题词,进而挖掘出酒店客户最为关注的问题,并对酒店管理者提出具有参考价值的建议。实验结果表明,通过BERT模型获取的文本向量在情感分类任务中表现较好,且BERT-LDA文本挖掘方法能使酒店评论文本的主题更具表达性。     

一种基于BERT和池化操作的文本分类模型

使用预训练语言模型的微调方法在以文本分类为代表的许多自然语言处理任务中取得了良好的效果,尤其以基于Transformer框架的BERT模型为典型代表。然而,BERT直接使用［CLS］对应的向量作为文本表征,没有从全局和局部考虑文本的特征,从而限制了模型的分类性能。因此,本文提出一种引入池化操作的文本分类模型,使用平均池化、最大池化以及K-MaxPooling等池化方法从BERT输出矩阵中提取文本的表征向量。实验结果表明,与原始的BERT模型相比,本文提出的引入池化操作的文本分类模型具有更好的性能,在实验的所有文本分类任务中,其准确率和F1-Score值均优于BERT模型。     

基于BERT变种模型的情感分析实现

随着舆论数据的快速增长,情感分析技术在舆论检测中发挥越来越重要的作用。由于文本数据本身的稀疏性和高维性,加上中文语义的复杂性,情感分析面临着巨大挑战。本文提出了基于BERT变种的深度学习模型。首先利用BERT模型将文本编码为词向量,采用权重矩阵对词向量加权,增强语句中情感特征,然后利用BiLSTM提取词向量中上下文特征,利用注意力机制对隐特征向量进行特征加权。经过处理后,利用卷积神经网络提取出文本中重要的局部特征,最后输出到全连接层进行文本的分类。实验表明,相比BERT模型,BiLSTM以及其它文本分类模型,该模型在外卖评论数据集中的精确率明显提高。     

融合多层注意力的方面级情感分析模型

方面情感分析旨在分析给定文本中特定方面的情感极性。针对目前的研究方法存在对方面情感注意力引入不足问题,提出了一种融合BERT和多层注意力的方面级情感分类模型（BERT and Multi-Layer Attention,BMLA）。模型首先提取BERT内部多层方面情感注意力信息,将编码后的方面信息与BERT隐藏层表征向量融合设计了多层方面注意力,然后将多层方面注意力与编码输出文本进行级联,进而增强了句子与方面词之间的长依赖关系。在SemEval2014 Task4和AI Challenger 2018数据集上的实验表明,强化目标方面权重并在上下文进行交互对方面情感分类是有效的。     

基于池化和特征组合增强BERT的答案选择模型

当前主流模型无法充分地表示问答对的语义,未充分考虑问答对主题信息间的联系并且激活函数存在软饱和的问题,而这些会影响模型的整体性能。针对这些问题,提出了一种基于池化和特征组合增强BERT的答案选择模型。首先,在预训练模型BERT的基础上增加对抗样本并引入池化操作来表示问答对的语义;其次,引入主题信息特征组合来加强问答对主题信息间的联系;最后,改进隐藏层的激活函数,并用拼接向量通过隐藏层和分类器完成答案选择任务。在SemEval-2016CQA和SemEval-2017CQA数据集上进行的验证结果表明,所提模型与tBERT模型相比,准确率分别提高了3.1个百分点和2.2个百分点;F1值分别提高了2.0个百分点和3.1个百分点。可见,所提模型在答案选择任务上的综合效果得到了有效提升,准确率和F1值均优于对比模型。     

基于BERT的BiGRU-Attention-CNN混合模型的中文情感分析

在词嵌入层面上,中文情感分析一般是采用one-hot编码或Word2Vec方法生成词向量表征,不能很好解决一词多义的问题;在特征提取的层面上,传统深度学习模型缺少对重要特征的重点关注。针对该问题,提出一种基于BERT的BiGRU-Attention-CNN混合神经网络模型的中文情感分析方法。BERT模型能产生丰富的动态词向量,结合BiGRU对上下文的长期依赖能力和CNN的特征提取能力,并融入Attention机制分配不同的权重值重点关注。在酒店评论、外卖评论、网购评论、微博评论四种公开中文数据集进行情感分类实验,实验结果表明,该模型相较于其它几种常见的模型,情感分类准确率有明显的提高。     

基于BERT和超图对偶注意力网络的文本情感分析

针对网络短文本存在大量的噪声和缺乏上下文信息的问题,提出一种基于BERT和超图对偶注意力机制的文本情感分析模型。首先利用BERT预训练模型强大的表征学习能力,对情感文本进行动态特征提取;同时挖掘文本的上下文顺序信息、主题信息和语义依存信息将其建模成超图,通过对偶图注意力机制来对以上关联信息进行聚合;最终将BERT和超图对偶注意力网络两个模块提取出的特征进行拼接,经过softmax层得到对文本情感倾向的预测结果。该模型在电商评论二分类数据集和微博文本六分类数据集上的准确率分别达到95.49%和79.83%,相较于基准模型分别提高2.27%～3.45%和6.97%～11.69%;同时还设计了消融实验验证模型各部分对分类结果的增益。实验结果表明,该模型能够显著提高针对中文网络短文本情感分析的准确率。