融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。     

基于改进BERT和多阶段TCN的短文本分类

短文本分类是自然语言处理中一项具有挑战性的任务。目前利用外部知识处理短文本稀疏性和歧义性的传统方法取得了较好的效果,基于RNN的方法在并行化方面表现不佳,导致效率较低。基于CNN的方法可以捕捉局部特征,但由于忽略上下文相关的特征以及一词多义等问题,准确率还有待提高。针对以上问题,提出基于CNN与TCN相结合,并加入权重优化与注意力机制的短文本分类模型。使用Probase作为外部知识来丰富语义表示,解决特征稀疏和语义不足的问题,通过BERT训练词向量,引入词性和词语权重对词向量优化,将优化的词向量作为输入层信息,经过CNN和TCN相结合的方法提取特征,最后结合注意力机制拼接向量,突显关键信息,获得文本特征表示。实验表明,与几种常用的基于CNN和RNN的短文本分类方法相比,该方法在短文本分类中更加准确高效。     

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F₁分值上分别提高了3.7%和5.1%。     

基于BERT-AWC的文本分类方法研究

针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题,对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征,为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征,再进一步获取到文本的局部特征,由此弥补了BERT模型无法提取词向量的缺...     

基于Transformer的微博文本情感分析算法研究

针对传统情感分析方法在复杂语境中特征表达能力有限、缺乏深层语义信息、模型分类准确率低等问题,文章提出一种基于Transformer和TextCNN融合的新机制。首先,使用jieba工具对微博文本进行分词处理,利用Word2Vec方法将文本转化为词向量,降低词向量中的噪声数据;其次,将词向量作为神经网络模型的输入,进一步对词向量特征进行筛选,提取更有价值的特征信息;最后,将不同粒度的词向量特征进行融合拼接,利用Softmax激活函数实现情感多分类,实验结果表明,文章所提出的情感分析模型正确率达到92.17%,证明了该模型的有效性。     

基于MacBERT-BiLSTM和注意力机制的短文本分类研究

针对中文短文本上下文依赖性强,特征信息难以提取的问题,提出一种融合MacBERT、双向长短期记忆神经网络(BiLSTM)、注意力(Attention)机制的短文本分类模型方法。利用预训练模型MacBERT得到动态词向量,输入BiLSTM模型中提取上下文关系特征。结合注意力机制分配不同的权重值,最后使用Softmax分类器得到分类结果。研究表明,该模型在THUCNews数据集上F₁值达到了95.63%,相较于基准模型BERT提高了2.18%,验证了其在短文本分类任务中的可行性和有效性。     

基于BERT和交互注意力的方面级情感分类模型

目前针对方面级的情感分类模型往往忽略了对方面词的单独建模,传统的注意力机制模型可能会给句子中的情感词分配较低的注意力权重。鉴于此,本文提出一种结合交互注意力网络(IAN)和双向编码器表征技术(BERT)的情感分类方法。首先将输入分为3部分：文本、方面词、文本+方面词。通过BERT得到词向量,双向门控单元(BiGRU)负责进行语义信息的提取,隐藏向量分别输入特征提取层,最后将2部分进行拼接,输入softmax层得到情感极性。通过在公开数据集上的实验证明,本文的模型效果能够比基线模型提高5%的精确度。     

熵权约束稀疏表示的短文本分类算法

针对短文本特征稀疏性问题,提出一种熵权约束稀疏表示的短文本分类方法.考虑到初始字典维数较高,首先,利用Word2vec工具将字典中的词表示成词向量形式,然后根据加权向量平均值对原始字典进行降维.其次,利用一种快速特征子集选择算法去除字典中不相关和冗余短文本,得到过滤后的字典.再次,基于稀疏表示理论在过滤后的字典上,为目标函数设计一种熵权约束的稀疏表示方法,引入拉格朗日乘数法求得目标函数的最优值,从而得到每个类的子空间.最后,在学习到的子空间下通过计算待分类短文本与每个类中短文本的距离,并根据三种分类规则对短文本进行分类.在真实数据集上的大量实验结果表明,本文提出的方法能够有效缓解短文本特征稀疏问题且优于现有短文本分类方法.     

基于全局特征图的半监督微博文本情感分类

网络社交的流行与普及,使得微博等短文本区别于以往传统文章,具有了独有的文学表达形式和情感发泄方式,导致基于短文本的机器学习情感分析工作难度逐渐增大.针对微博短文本的语言表达新特性,爬取收集大量无情感标记微博数据,建立微博短文本语料库,基于全局语料库构建词与短文本的全局关系图,使用BERT(Bidirectional E...     

基于ERNIE-BiLSTM的社交网络文本情感分析

社交网络文本情感分析任务中,因短文本信息模糊等特点,传统的词向量模型无法更好地表示词的语义特征,当前短文本情感分类任务多以二分类研究为主,将结果分类为积极情感与消极情感,未能对分类结果更细入的划分。文中提出一种舆情情感分析的ERNIE-BiLSTM方法,实现了对用户评论情感的七种情绪分类,包括恐惧、厌恶、乐观、惊喜、感恩、悲伤和愤怒。ERNIE-BiLSTM方法利用ERNIE预训练模型获取文本的语义信息,结合BiLSTM提取文本的双向特征,最后使用softmax函数获得最终的情感分类结果。实验结果表明,ERNIE-BiLSTM方法具有87.7%的精确率、86.9%的召回率和86.8%的F1得分,比其他方法得到了有效提升。     

结合双预训练语言模型的中文文本分类模型

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法。首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self＿Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果。将提出的文本分类模型与多个深度学习模型在3个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F₁值,证明了改进模型的分类有效性。     

基于多模态的图文情感分析

因特网飞速发展的今天,人们更倾向于将文字与图片相结合来发表自己的评论,而单一模态的情感分析精度较低,本文提出BiGRU-ResNet图文多模态情感分析模型,用于情感分类任务。首先,利用BERT将文本嵌入到词向量中;其次,通过BiGRU并引入注意力层对上游任务的词向量进行特征提取,图像的特征提取由ResNet来完成并保留更为有效的信息;最后,文本模态和图像模态使用注意力机制和张量运算来达到增益的目的,再将融合特征输入至分类器中,得到评论的情感分类。通过实验分析与对比表明,发现多模态模型相较于单模态模型可以提高情感分类任务的精确度。     

基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于混合神经网络的自然语言处理技术研究

针对当前电网运营数据指标查询便捷性较差的问题,提出了基于BERT的电力指标查询统计专家库模型。该模型采用BERT语言建模方法对电力指标查询统计文本进行了处理,并将其转化为由词向量、句向量及位置向量叠加形成的输入文本向量。同时引入BERT预训练过程来实现上下文依赖关系,以进行初步挖掘。利用基于Transformer模型的深度语义识别模型,通过BERT精调过程深入挖掘输入文本与语义识别结果之间的内在联系。构建了涵盖准确率、召回率的评价指标来评估算法的性能。算例分析结果表明,相比于RNN-LSTM和BiLSTM-Attention模型,所提模型的评价指标更高且计算时间较少,故在准确性与计算速度方面均存在优势;同时将该文所提BERT模型应用于实际电力指标查询文本中,结果发现工作人员对线损率指标尤为关注,应将其作为电力企业运营评估的重要工程指标。     

基于特征融合的中文新闻文本情感分类方法研究

针对现有的新闻文本情感分析任务中,单一模型提取文本特征的片面性,且无法充分提取新闻文本语义等特征问题,提出一种基于门控单元特征融合的BERT-CNN情感分析方法。该方法分别采用BERT语言预训练模型与卷积神经网络（CNN）对新闻文本的特征向量进行提取;然后采用门控循环单元对提取到的文本特征进行特征融合;再输入到Softmax层进行新闻文本分类;最后从精准率、召回率和F1-Score三个维度对比BERT、BERT-CNN、BERT-DPCNN和BERT-ERNIE的实验结果。实验结果表明,当分类场景更换为情感识别时,BERT-CNN依旧具有强大的语义捕捉能力,证明了BERT-CNN的泛化能力;另外,从原BERT的提升效果看,基于门控单元特征融合的BERT-CNN方法（提升2.07%）比词向量的方法（提升0.31%）更高。这一结果也证明了基于门控单元特征融合的BERT-CNN方法的有效性。     

基于XLNet的医学文本实体关系识别模型

目前在处理医学文本实体间关系提取任务中,使用传统的词向量表示方法无法解决医学文本中的词多义性问题,加上基于长短时记忆网络对文本语义局部特征抽取不够充分,不能充分捕捉医疗文本隐藏的内部关联信息。因此,提出一种基于XLNet-BiGRU-Attention-TextCNN的医疗文本实体关系抽取模型。利用XLNet模型将输入的医疗文本转化为向量形式,接着连接双向门控循环神经网络(BiGRU)提取文本语句的长距离依赖关系,然后使用注意力机制(Attention)为特征序列分配权重,降低噪声影响,最后利用文本卷积神经网络(TextCNN)对序列进行局部特征提取并通过softmax层输出关系抽取结果。实验结果表明,本文所提模型在精确率、召回率和F值上均优于基准模型。     

基于CNNCIFG-Attention模型的文本情感分类

神经网络在处理中文文本情感分类任务时,文本显著特征提取能力较弱,学习速率也相对缓慢.针对这一问题,文中提出一种基于注意力机制的混合网络模型.首先对文本语料进行预处理,利用传统的卷积神经网络对样本向量的局部信息进行特征提取,并将其输入耦合输入和遗忘门网络模型,用以学习前后词句之间的联系.随后,再加入注意力机制层,对深层次...     

基于改进的BERT-CNN模型的新闻文本分类研究

语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等.为了区分出在新闻文本领域处理效果最佳的文本分类模型,基于新闻文本任务数据对来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)进行微调,再将BERT作为embedding输入到其他深度学习模型中,最后对比目前几个深度学习模型的训练效果.实验结果表明,BERT-CNN模型分类效果最佳,其准确率比原BERT模型的准确率多了0.31％,且更为稳定.     

基于双层树状支持向量机的观点挖掘与倾向分析

本文通过进行大量预处理工作,将经过词袋模型和Word2Vec两种不同向量化方法处理后的文本数据分别输入到SVM和LSTM模型中,训练出可以识别文本情感倾向的模型.进而对新产生的评论进行分类.根据实际数据量的倾斜状况,基于传统机器学习算法支持向量机(SVM),本文提出双层支持向量机,采用2种不同的方法分别训练模型并预测....     

基于ALBERT-CNN的外卖评论情感分析

为了解决如何获取文本的位置信息和捕获文本中更多情感信息的问题,利用一种结合ALBERT模型和卷积神经网络CNN的外卖评论情感分析模型ALBERT-CNN的方法。首先,ALBERT对文本词向量表示,获得文本动态特征表示;其次,利用卷积神经网络CNN对特征进行训练,有效获取更丰富的局部信息;最后,对ALBERT和CNN进行融合后提取的特征通过Softmax函数对外卖评论文本进行情感分类,并使用R＿Drop对模型进行正则化。实验结果表明,与传统模型相比,使用了R＿Drop的ALBERT-CNN模型的精确度P、召回率R和F1值均有提高。