基于混合神经网络的自然语言处理技术研究

针对当前电网运营数据指标查询便捷性较差的问题,提出了基于BERT的电力指标查询统计专家库模型。该模型采用BERT语言建模方法对电力指标查询统计文本进行了处理,并将其转化为由词向量、句向量及位置向量叠加形成的输入文本向量。同时引入BERT预训练过程来实现上下文依赖关系,以进行初步挖掘。利用基于Transformer模型的深度语义识别模型,通过BERT精调过程深入挖掘输入文本与语义识别结果之间的内在联系。构建了涵盖准确率、召回率的评价指标来评估算法的性能。算例分析结果表明,相比于RNN-LSTM和BiLSTM-Attention模型,所提模型的评价指标更高且计算时间较少,故在准确性与计算速度方面均存在优势;同时将该文所提BERT模型应用于实际电力指标查询文本中,结果发现工作人员对线损率指标尤为关注,应将其作为电力企业运营评估的重要工程指标。     

基于胶囊网络的中长微博情感分析

针对通过微博文本获取用户情感倾向,以提高舆情监控效率的问题。利用深度学习的方法实现微博语料的情感分类,构建符合近年文本长度分布特点的高质量微博情感分类数据集,分析微博文本长度对情感分类的影响。由于中长语料主观性强、句子关联度弱,其检测准确率偏低。针对此问题,本文提出一种基于胶囊网络的中长微博情感分析模型。采用注意力机制,在融合局部特征与全局特征的基础上,利用胶囊向量实现深层情感特征提取,提高中长语料的检测效果。利用本文搜集的数据集进行实验,结果表明,相较于多种深度学习算法,本文模型性能更佳。在不同文本长度语料的对比实验中,伴随着文本长度的增加,分类准确率逐渐降低。相较于传统的LSTM算法,本文模型随文本长度增加效果提升,证明了该模型针对中长微博文本情感分类的可行性。     

基于语义理解注意力神经网络的多元特征融合中文文本分类

在中文文本分类任务中,针对重要特征在中文文本中位置分布分散、稀疏的问题,以及不同文本特征对文本类别识别贡献不同的问题,该文提出一种基于语义理解的注意力神经网络、长短期记忆网络(LSTM)与卷积神经网络(CNN)的多元特征融合中文文本分类模型(3CLA)。模型首先通过文本预处理将中文文本分词、向量化。然后,通过嵌入层分别经过CNN通路、LSTM通路和注意力算法模型通路以提取不同层次、具有不同特点的文本特征。最终,文本特征经融合层融合后,由softmax分类器进行分类。基于中文语料进行了文本分类实验。实验结果表明,相较于CNN结构模型与LSTM结构模型,提出的算法模型对中文文本类别的识别能力最多提升约8%。     

情绪识别技术在电力智能客服系统中的应用研究

为提升电力系统中智能客服系统的效率,降低人工成本,提出一种基于长短时记忆网络(Long Short Term Meory ,LSTM)的情绪识别方法。首先利用词嵌入(Word Embedding)方法提取出对话内容的特征表示,并根据先验知识添加情感特征,生成具有情绪语义的词向量,基于双向长短时记忆网络训练得到情绪分类模型,将问题解决的需求分为紧急、一般与非紧急三个级别,并可将分类结果用于优先级自动调度决策中,判断是否应立即接入人工服务。在真实的电力客服对话平台数 据集上对算法在准确度和响应时间两个方面进行测试,实验结果表明,算法对情绪的识别准确率达到了较高的水平,且响应时间可以满足系统实时处理的需求,有较高的实用性。     

基于双层树状支持向量机的观点挖掘与倾向分析

本文通过进行大量预处理工作,将经过词袋模型和Word2Vec两种不同向量化方法处理后的文本数据分别输入到SVM和LSTM模型中,训练出可以识别文本情感倾向的模型.进而对新产生的评论进行分类.根据实际数据量的倾斜状况,基于传统机器学习算法支持向量机(SVM),本文提出双层支持向量机,采用2种不同的方法分别训练模型并预测....     

基于Transformer的微博文本情感分析算法研究

针对传统情感分析方法在复杂语境中特征表达能力有限、缺乏深层语义信息、模型分类准确率低等问题,文章提出一种基于Transformer和TextCNN融合的新机制。首先,使用jieba工具对微博文本进行分词处理,利用Word2Vec方法将文本转化为词向量,降低词向量中的噪声数据;其次,将词向量作为神经网络模型的输入,进一步对词向量特征进行筛选,提取更有价值的特征信息;最后,将不同粒度的词向量特征进行融合拼接,利用Softmax激活函数实现情感多分类,实验结果表明,文章所提出的情感分析模型正确率达到92.17%,证明了该模型的有效性。     

基于Attention-BiLSTM的情感分类模型

本文利用BiLSTM的方法提取与特定目标文本的上下文信息相关的全局特征,同时融入注意力机制有选择性的聚焦相关程度较高的重点词语。既解决了复杂的维度信息爆炸和原始循环神经网络存在的特征梯度的消失或梯度弥散的问题,也有效的避免了一般的传统模型对重点词在上下文的语义和语法上提取信息的缺失。本文进行了对比分析实验,实验的结果表明,本文所提出的基于Attention-BiLSTM的情感分类模型准确率达到了91.8%,分类效果明显优于SVM模型,有效地提高了文本情感分类的可靠性和准确率。     

融合TextRank算法的中文短文本相似度计算

传统的VSM向量空间模型忽略了文本语义,构建的文本特征矩阵具有稀疏性。基于深度学习词向量技术,文中提出一种融合改进TextRank算法的相似度计算方法。该方法利用词向量嵌入的技术来构建文本向量空间,使得构建的向量空间模型具有了语义相关性,同时采用改进的TextRank算法提取文本关键字,增强了文本特征的表达并消除了大量冗余信息,降低了文本特征矩阵的稀疏性,使文本相似度的计算更加高效。不同模型的仿真实验结果表明,融合改进的TextRank算法与Bert词向量技术的方法具有更好的文本相似度计算性能。     

融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。     

基于改进Bert-AutoML的电力文本语义识别算法

由于电力调度过程中存在大量重复性电力文本,导致语义识别结果形式与理想形式差距较大。针对该问题,提出了基于改进Bert-AutoML的电力文本语义识别算法。采用基于词块的粒度划分方式,提取电力文本字粒度语义特征。计算语义序列与命名实体数据库中语义的相似度,获取多个对应语义序列,构建电力文本语义识别模型。使用自动机器学习法训练模型文本输入,计算输入向量和电力文本库中向量匹配度。结合字符掩码训练策略,将掩盖的内容与背景相联系,得到最终语义识别结果。实验结果表明,该算法语义识别结果呈现段落-结构形式,排列整齐且简洁,与理想识别结果一致。     

基于BERT的双通道神经网络模型文本情感分析研究

针对当前情感分析任务中使用Word2Vec、GloVe等模型生成的文本词向量,无法有效解决多义词表征、经典神经网络模型无法充分提取文本语义特征等问题,本文提出基于BERT的双通道神经网络模型文本情感分析方法。该方法采用BERT模型生成词向量,BERT模型对下游分类任务进行微调的过程中生成文本词向量的动态表征。然后,将词向量输入由CNN与BiGRU构建的双通道模型进行特征提取,并行获取文本的局部与全局语义特征,并通过注意力机制为输出特征分配相应的权重分值,突出文本的情感极性。最后将双通道输出特征融合进行情感分类。在酒店评论数据集上进行实验,结果表明本文模型与文本情感分析的基线模型相比,在准确率与F₁分值上分别提高了3.7%和5.1%。     

基于SWCNN和双向LSTM的文本情感特征分析方法

针对文本句子中语义角色重叠、高维度文本词向量训练中难以收敛等问题,将情感词标签与卷积神经网络相结合,采用结合情感词的卷积神经网络算法,将词语转为情感标签后与词向量拼接再输入卷积神经网络,将输出的特征再与双向长短期记忆神经网络所获取的特征进行融合,最后通过全连接网络输出情感分类结果。实验结果表明,在微博新冠疫情评论情绪数据集上,本研究所提出的算法模型文本情感特征识别精确度达到89.23%,比其他深度学习算法在准确率上至少提高1.95%,而且训练具有更快的收敛速度,能够为文本情感识别提供一种新的思路与方法。     

中文长短期记忆网络的情感分析

文中探讨了循环神经网络（RNN）在文本情感分析中的应用，并提出了一种新的混合模型——LSTM-CNN文本情感分析模型，它融合了长短时记忆网络（LSTM）和卷积神经网络（CNN）的优势，可以更好地处理文本数据中的上下文信息和局部特征。为了验证模型的有效性，文中使用开源爬虫工具抓取了《流浪地球2》的豆瓣评论构建数据集，然后对所提模型进行了训练和测试。结果表明，当词向量维度为100时，模型的性能达到最优，此时的精确率、召回率、F1值和准确率分别为84.2%，88.6%，86.2%和90.0%，证实了该模型在文本情感分类任务上的优越性。     

基于BERT-LSTM模型的情感分析研究

情感分类技术在舆论评价和商品评价等诸多领域均有广泛使用,对自然语言处理领域来说具有很重要的研究意义。在当前的社交网络文本中,用户不仅仅使用文字来传达情感,其文本中的表情元素也带有浓厚的情感色彩。传统情感分析模型容易忽略表情元素,从而导致模型未能正确判断文本情感。文中将BERT预训练模型和长短时记忆网络相结合,运用带表情元素的weibo＿senti＿100k数据集实现一个针对微博评论的情感二分类模型。BERT-LSTM模型利用BERT嵌入层对预处理后的句子进行分割并将其转换为动态词向量,结合LSTM模型提取文本和表情元素的特征,最后以预测评论文本的情感极性。实验验证表情元素的重要性和BERT-LSTM模型情感分类的有效性,结果表明同时考虑文字和表情元素相较于纯文字来说模型分类准确率提高20%,BERT-LSTM模型的分类准确率为98.31%、F1值为98.28%,相比传统机器学习模型和其他深度学习模型在最终结果上表现出明显优势。     

基于BERT-AWC的文本分类方法研究

针对现有文本分类算法处理中文数据时存在的分类精度低、参数量庞大、模型难训练等问题,对BERT算法进行了优化.BERT算法处理中文文本时无法提取词向量特征,为此提出了均匀词向量卷积模块AWC.通过在传统卷积神经网络中引入注意力机制来提取可靠词向量特征,再进一步获取到文本的局部特征,由此弥补了BERT模型无法提取词向量的缺...     

基于支持向量机的文本分类技术

在文本分类过程中,影响分类准确率的两个重要因素是特征权重的计算方法,以及机器学习算法的准确率。针对传统基于支持向量机的文本分类准确率不高的问题,本文提出修正权重计算公式和采用调整支持向量机核函数参数的方法,使文本的分类准确率提高了近3个百分点。实验结果表明这两种方法的结合,确实可以提高文本分类的准确率。     

基于支持向量机的Web文本分类方法

Web文本分类技术是数据挖掘中一个研究热点领域，而支持向量机又是一种高效的分类识别方法，在解决高维模式识别问题中表现出许多特有的优势。文章通过分析Web文本的特点，研究了向量空间模型（VSM）的分类方法和核函数的选取，在此基础上结合决策树方法提出了一种基于决策树支持向量机的Web文本分类模型。并给出具体的算法。通过实验测试表明，该方法训练数据规模大大减少，训练效率较高，同时具有较好的精确率（90．11％）和召回率（89．38％）。     

结合双预训练语言模型的中文文本分类模型

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法。首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self＿Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果。将提出的文本分类模型与多个深度学习模型在3个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F₁值,证明了改进模型的分类有效性。     

基于胶囊网络的跨语言方面级情感分析

跨语言情感分析的目的是利用数据资源丰富的源语言帮助资源较少的目标语言进行情感分析。针对中文文本标注语料较少和不同方面项的不同情感极性特征重叠影响文本情感分析准确率的问题,提出一种基于胶囊网络的跨语言方面级情感分类方法 BBCapNet,该方法利用BERT模型学习源语言的语义特征训练词向量作为嵌入层,然后利用BiLSTM学习上下文信息,利用胶囊网络（Capsule Network）获取文本中局部信息和整体情感极性间的关系,从而提取不同方面项的情感特征,最后使用归一化指数函数（Softmax）进行分类。通过与其他主流方法进行对比论证,论证结果表明,该方法在跨语言方面级情感分类效果上有显著提升。     

基于BERT-BiLSTM的短文本情感分析

传统的神经网络模型主要是以词向量的形式处理短文本的分类任务,造成模型过度依赖分词的精度,而短文本又具有语料短、特征发散的特点,针对这一系类问题提出一种基于BERT和BiLSTM相融合的短文本情感分类模型。首先,利用BERT模型将训练的文本转换成以字为单位的向量表示形式;随后,将生成的字向量作为双向长短期记忆网络输入,获取到相关字的上下文的语义表示;并通过加入随机Dropout机制防止模型发生过拟合;最后,将提取的特征向量输入到全连接层,经过Softmax函数计算出文本所属的情感类别。经实验表明,在处理短文本方面,基于BERT-BiLSTM的算法模型比传统的利用词向量的神经网络模型分类更加精准可靠。