基于知识蒸馏模型的文本情感分析

为了解决预训练语言模型训练时间过长、参数多且难以部署,以及非预训练语言模型分类效果较差的问题,提出了基于知识蒸馏模型的文本情感分析。以预训练深度学习模型(Bidirectional Encoder Representations from Transformers, BERT)作为教师模型,选择双向长短期记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)作为学生模型;在知识蒸馏过程中,将教师模型的Softmax层的输出作为“知识”蒸馏给学生模型,并将蒸馏后的模型应用到公共事件网络舆情文本情感分析中。实验结果表明,该模型参数仅为BERT模型的1/13,使BiLSTM模型的准确率提升了2.2百分点,优于其他同类别轻量级模型,提高了文本情感分析效率。     

融合BERT的多层次语义协同模型情感分析研究

由于基于变换器的双向编码器表征技术（Bidirectional Encoder Representations from Transformers,BERT）的提出,改变了传统神经网络解决句子级文本情感分析问题的方法。目前的深度学习模型BERT本身学习模式为无监督学习,其需要依赖后续任务补全推理和决策环节,故存在缺乏目标领域知识的问题。提出一种多层协同卷积神经网络模型（Multi-level Convolutional Neural Network,MCNN）,该模型能学习到不同层次的情感特征来补充领域知识,并且使用BERT预训练模型提供词向量,通过BERT学习能力的动态调整将句子真实的情感倾向嵌入模型,最后将不同层次模型输出的特征信息同双向长短期记忆网络输出信息进行特征融合后计算出最终的文本情感性向。实验结果表明即使在不同语种的语料中,该模型对比传统神经网络和近期提出的基于BERT深度学习的模型,情感极性分类的能力有明显提升。     

基于交互式学习与多头注意力机制的金融文本情感分类

针对现有的金融文本情感分类模型在对文本表示进行建模时忽略了上下文语义和情感倾向之间交互关系的问题,本文提出了基于交互式学习与多头注意力机制的金融文本情感分类模型（Interactive learning and multi-head attention mechanism,ILMA）。该模型首先利用BERT模型来获得上下文和情感倾向信息的词嵌入表示;然后分别使用两个双向GRU(BiGRU)神经网络来学习上下文语义和情感倾向信息的随机依赖性;之后利用交互式学习机制和多头注意力机制来学习文本语境语义与情感倾向信息之间的交互表示;最后将生成的上下文语义和情感倾向信息的表示序列进行连接后,作为softmax分类器的输入进行分类。在四个公开的金融数据集上进行了实验,将ILMA模型与其他方法进行比较,结果表明ILMA模型的分类准确性相对于其他模型有了显著提升。     

基于BERT和混合神经网络的诈骗电话文本识别

如今,电话诈骗案件层出不穷,严重危害到了人们的财产安全和社会的和谐安定。针对社会中的一些诈骗电话问题,提出了一种基于词嵌入和混合神经网络的文本分类方法,实现对诈骗电话文本的分类。首先构造了诈骗电话文本数据集,内容涵盖了金融、教育、邮递、银行等多类诈骗事件。为了优化文本的输入词向量,词嵌入部分采用基于Transformer的BERT(Bidirectional Encoder Representation from Transformers)模型来表示诈骗文本,同时采用基于双向长短时记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)以及多尺度卷积神经网络(Convolutional Neural Network, CNN)的混合神经网络(BiLCNN)对文本的词嵌入表示进行特征提取,充分提取出文本的时序特征和局部相关特征,最后将特征融合在一起通过Softmax进行分类。通过实验比较了Word2vec、ELMo(Embedding from Language Model)和BERT三种词嵌入模型,表明BERT作为输入向量的优越性,同时在诈骗...     

基于BERT和双通道注意力的文本情感分类模型

对于句子级文本情感分析问题,目前的深度学习方法未能充分运用情感词、否定词、程度副词等情感语言资源。提出一种基于变换器的双向编码器表征技术(Bidirectional encoder representations from transformers,BERT)和双通道注意力的新模型。基于双向门控循环单元（BiGRU）神经网络的通道负责提取语义特征,而基于全连接神经网络的通道负责提取情感特征;同时,在两个通道中均引入注意力机制以更好地提取关键信息,并且均采用预训练模型BERT提供词向量,通过BERT依据上下文语境对词向量的动态调整,将真实情感语义嵌入到模型;最后,通过对双通道的语义特征与情感特征进行融合,获取最终语义表达。实验结果表明,相比其他词向量工具,BERT的特征提取能力更强,而情感信息通道和注意力机制增强了模型捕捉情感语义的能力,明显提升了情感分类性能,且在收敛速度和稳定性上更优。     

结合BERT和BiSRU-AT的中文文本情感分类

针对传统语言模型的词向量表示无法解决多义词表征的问题,以及现有情感分析模型不能充分捕获长距离语义信息的问题,提出了一种结合BERT和BiSRU-AT的文本情感分类模型BERT- BiSRU-AT。首先用预训练模型BERT获取融合文本语境的词向量表征;然后利用双向简单循环单元（BiSRU）二次提取语义特征和上下文信息;再利用注意力机制对BiSRU层的输出分配权重以突出重点信息;最后使用Softmax激励函数得出句子级别的情感概率分布。实验采用中文版本的推特数据集和酒店评论数据集。实验结果表明,结合BERT和BiSRU-AT的文本情感分析模型能够获得更高的准确率,双向简单循环模型和注意力机制的引入能有效提高模型的整体性能,有较大的实用价值。     

基于BERT和超图对偶注意力网络的文本情感分析

针对网络短文本存在大量的噪声和缺乏上下文信息的问题,提出一种基于BERT和超图对偶注意力机制的文本情感分析模型。首先利用BERT预训练模型强大的表征学习能力,对情感文本进行动态特征提取;同时挖掘文本的上下文顺序信息、主题信息和语义依存信息将其建模成超图,通过对偶图注意力机制来对以上关联信息进行聚合;最终将BERT和超图对偶注意力网络两个模块提取出的特征进行拼接,经过softmax层得到对文本情感倾向的预测结果。该模型在电商评论二分类数据集和微博文本六分类数据集上的准确率分别达到95.49%和79.83%,相较于基准模型分别提高2.27%～3.45%和6.97%～11.69%;同时还设计了消融实验验证模型各部分对分类结果的增益。实验结果表明,该模型能够显著提高针对中文网络短文本情感分析的准确率。     

基于BERT及双向GRU模型的慕课用户评论情感倾向性分析

以实现慕课网用户评论的情感倾向性分析为目的,本文提出一种基于BERT和双向GRU模型的用户评论情感倾向性分类方法。首先使用BERT模型提取课程评论文本的特征表示,其次将获取的词语特征输入BiGRU网络实现用户评论的情感特征的提取,最后用Softmax逻辑回归的方式进行情感倾向性分类。实验结果表明基于BERT和双向GRU模型的评论情感倾向性分类模型的F1值达到92.5%,提高了用户情感倾向性分析的准确率,从而验证了方法的有效性。     

结合上下文和依存句法信息的中文短文本情感分析

依存句法分析旨在从语言学的角度分析句子的句法结构。现有的研究表明,将这种类似于图结构的数据与图卷积神经网络(Graph Convolutional Network, GCN)进行结合,有助于模型更好地理解文本语义。然而,这些工作在将依存句法信息处理为邻接矩阵时,均忽略了句法依赖标签类型,同时也未考虑与依赖标签相关的单词语义,导致模型无法捕捉到文本中的深层情感特征。针对以上问题,提出了一种结合上下文和依存句法信息的中文短文本情感分析模型(Context and Dependency Syntactic Information, CDSI)。该模型不仅利用双向长短期记忆网络(Bidirectional Long Short-Term Memory, BiLSTM)提取文本的上下文语义,而且引入了一种基于依存关系感知的嵌入表示方法,以针对句法结构挖掘不同依赖路径对情感分类任务的贡献权重,然后利用GCN针对上下文和依存句法信息同时建模,以加强文本表示中的情感特征。基于SWB,NLPCC2014和SMP2020-EWEC数据集进行验证,实验表明CDSI模型能够有效融合语句中的语义以及句法结构信息...     

基于BERT和LDA模型的酒店评论文本挖掘

通过主题模型对酒店评论文本进行文本挖掘,有利于引导酒店管理者和客户对评论信息做出合适的鉴别和判断。提出一种基于预训练的BERT语言模型与LDA主题聚类相结合的方法;利用中文维基百科语料库训练BERT模型并从中获取文本向量,基于深度学习算法对评论文本进行情感分类;通过LDA模型对分类后的文本进行主题聚类,分别获取不同情感极性文本的特征主题词,进而挖掘出酒店客户最为关注的问题,并对酒店管理者提出具有参考价值的建议。实验结果表明,通过BERT模型获取的文本向量在情感分类任务中表现较好,且BERT-LDA文本挖掘方法能使酒店评论文本的主题更具表达性。     

基于BERT-TextCNN的中文短文本情感分析

外卖商家和平台留住客户的重点就是要依据客户的需求制定个性化的服务。因此,本文提出一种基于BERT(Bidirectional Encoder Representation from Transformers)网络与文本卷积神经网络（Convolutional Neural Networks,TextCNN）相结合的BERT-TextCNN网络模型。该模型从外卖中文短文本评论中得到更多的情感信息。最后,在外卖中文评论数据集上进行实验,对比BERT、TextCNN、BERT-TextCNN模型的准确性、稳定性和耗时程度。实验结果证明：BERT-TextCNN的准确率有提升,该方法能更准确地进行中文文本情感分析。     

结合注意力机制的BERT-BiGRU-CRF中文电子病历命名实体识别

为了改善中文电子病历命名实体识别模型的性能，本文提出了基于BERT、双向门控循环单元(Bidirectional Gate Recurrent Unit, BiGRU)与条件随机场CRF相结合的中文电子病历命名实体识别模型，并在此基础上引入了注意力机制.利用BERT(Bidirectional Encoder Representation from Transformers)预训练模型得到结合语境信息的动态字向量，通过双向门控循环单元(Bidirectional Gate Recurrent Unit, BiGRU)提取全局语义特征，利用注意力机制获得增强语义特征，最后通过CRF(Conditional Random Field)解码输出概率最大的全局最优标签序列.利用含有解剖部位、手术、疾病和诊断、药物、实验室检验、影像检查6类实体的CCKS19中文电子病历数据集训练模型.对比实验表明了本文提出的命名实体识别模型的有效性，本文模型在CCKS19数据集上获得了84.11%的F1值.     

基于注意力机制的双BERT有向情感文本分类研究

在计算社会科学中,理解政治新闻文本中不同政治实体间的情感关系是文本分类领域一项新的研究内容。传统的情感分析方法没有考虑实体之间情感表达的方向,不适用于政治新闻文本领域。针对这一问题,本文提出了一种基于注意力机制的双变换神经网络的双向编码表示(bi-directional encoder representations from transformers, BERT)有向情感文本分类模型。该模型由输入模块、情感分析模块、政治实体方向模块和分类模块四部分组成。情感分析模块和政治实体方向模块具有相同结构,都先采用BERT预训练模型对输入信息进行词嵌入,再采用三层神经网络分别提取实体之间的情感信息和情感方向信息,最后使用注意力机制将两种信息融合,实现对政治新闻文本的分类。在相关数据集上进行实验,结果表明该模型优于现有模型。     

基于ERNIE和CNN的在线评论情感分析模型

针对用户提交的商品评论内容与情感标记存在不一致的现象,提出了一种基于知识增强的语义表示（ERNIE）与卷积神经网络（CNN）的在线评论情感分析模型ECN,对评论文本进行情感倾向划分。首先,利用ERNIE预训练模型生成基于上下文信息的文本向量表示;然后,通过多通道CNN模型对文本向量进行特征提取;最后,利用Softmax进行文本情感分类。在两个数据集上的实验结果表明,ECN模型的情感分类准确率、召回率及F1值均达到91%以上。与CNN、双向长短时记忆（BiLSTM）网络、ERNIE相比,ECN模型的情感分类效果更好。采用ECN模型对商品评论文本自动划分情感类别,能够更客观地反映消费者的情感倾向,对商家及其他消费者更具有指导意义。     

结合金融领域情感词典和注意力机制的细粒度情感分析

针对在金融领域实体级情感分析任务中缺乏足够的标注语料,以及通用的情感分析模型难以有效处理金融文本等问题,该文构建一个百万级别的金融领域实体情感分析语料库,并标注5 000余个金融领域情感词作为金融领域情感词典。同时,基于该金融领域数据集,提出一种结合金融领域情感词典和注意力机制的金融文本细粒度情感分析模型(FinLexNet)。该模型使用两个LSTM网络分别提取词级别的语义信息和基于情感词典分类后的词类级别信息,能有效获取金融领域词语的特征信息。此外,为了让文本中金融领域情感词获得更多关注,提出一种基于金融领域情感词典的注意力机制来为不同实体获取重要的情感信息。最终在构建的金融领域实体级语料库上进行实验,取得了比对比模型更好的效果。     

基于激活-池化增强BERT模型的在线课程评论情感分析

分析在线课程评论中蕴含的情感对理解学习者状态变化、改进课程质量具有重要意义.依据课程评论的特征,提出一种激活-池化增强的BERT情感分析模型.构建BERT情感分析预训练模型来编码评论文本中分句内词语上下文语义和分句间逻辑关系;设计激活函数层和最大-平均池化层解决BERT模型在课程评论情感分析中存在的过拟合问题;通过新增的情感分类层对在线课程评论进行情感正负极性分类.实验结果表明,激活-池化增强的BERT模型准确率和AUC值与原始BERT模型相比分别提升了约5.5％和5.8％.     

ABAFN：面向多模态的方面级情感分析模型

随着互联网的不断发展,面向电商产品的用户评论日益增加。研究这些用户评论的情感导向,对于指导产品的更新迭代具有重要意义。以往的方面级情感分析任务通常只涉及文本模态,然而用户的评论数据一般不仅包括纯文本,还包括大量的图文数据。针对这种包括文本和图片的多模态数据,提出了一种新的方面级多模态情感分析模型ABAFN（aspect-based attention and fusion network）。模型结合预训练语言模型BERT和双向长短时记忆网络来获得文本和方面词的上下文表示,同时利用预训练残差网络ResNet提取图片特征生成视觉表示;利用注意力机制基于方面词对上下文表示和视觉表示进行加权;将两个模态加权后的表示级联融合执行情感标签分类任务。在Multi-ZOL数据集上的实验表明,ABAFN模型的性能超过了目前已知文献的结果。     

基于双向时间深度卷积网络的中文文本情感分类

普通时间卷积网络对文本进行单向特征提取不能充分捕捉文本特征,对文本的分析能力较弱。提出一种基于双向时间卷积网络(Bi-TCN)的情感分析模型。模型使用单向多层空洞因果卷积结构分别对文本进行前向和后向特征提取,将两个方向的序列特征融合后进行情感分类。研究并分析模型中卷积层数、卷积核大小和空洞因子三个参数对情感分类结果的影响。实验证明,与单向时间卷积网络情感分析模型相比,双向时间卷积网络模型在四个中文情感分析数据集上的准确率分别提高了2.5%、0.25%、2.33%和2.5%。     

基于转移变量的图文融合微博情感分析*

微博文本包含了特殊符号信息和上下文语义信息,传统的微博情感分析方法忽略了图片影响因素,使得微博的情感分类准确率不高。为此,提出了一种基于转移变量的图文融合微博情感分析方法,首先构建基于转移变量的无监督情感分析模型USAMTV来分析文本情感分布,通过引入连词情感转移变量和转发符号主题转移变量来处理句子的情感从属和主题从属,获得文本的情感分布,然后引入图片因素为情感浓度来影响文本的情感分布,最后计算微博的整体情感倾向。与JST模型和ASUM模型的对比实验结果表明,该方法有更高的准确率,能更准确的预测微博情感倾向。     

一种基于BERT的自动文本摘要模型构建方法

针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征而降低文本摘要准确度和可读性的问题,提出一种基于BERT(Bidirectional Encoder Representations from Transformers)的自动文本摘要模型构建方法。该方法引入BERT预训练语言模型用于增强词向量的语义表示,将生成的词向量输入Seq2Seq模型中进行训练并形成自动文本摘要模型,实现对文本摘要的快速生成。实验结果表明,该模型在Gigaword数据集上能有效地提高生成摘要的准确率和可读性,可用于文本摘要自动生成任务。