基于深度学习的电信运营商网络投诉工单智能分类技术研究

本文基于自然语言处理技术和深度学习算法,挖掘运营商投诉工单中结构化和非结构化内容的语义特征规律,构建了面向运营商网络投诉派单场景的大规模多标签智能分类模型TBF。本文使用包括编码器模块和解码器模块的端到端框架构建模型。编码器模块使用嵌入层将输入数据中的原始字段转化成向量表示后,使用文本卷积神经网络和双向长短期记忆网络分别对不同数据类型字段的向量表示进行特征抽取并使用前馈神经网络进行特征融合。解码器模块是多层感知机分类器组成的分类器链结构,用来接收编码器模块的融合结果并预测输出各层级投诉类别标签,从而实现对网络投诉工单的智能分类,达到节约人力成本、提升派单质效的数智化转型目的。通过在运营商实际生产环境中的测试和应用,取得了较为满意的效果,成功助力运营商的客户满意度改善。     

基于极性转移和双向LSTM的文本情感分析

长短时记忆(long-short term memory,LSTM)是一种特殊的循环神经网络(recurrent neural network,RNN),在文本处理中它可以通过刻意的设计来避免长期依赖的问题,因此被广泛用于语言模型、机器翻译以及语音识别等领域。但是该神经网络在文本处理上只能联系历史信息处理,无法预测到即将出现的下文信息;同时,在对文本处理时,无法处理文本中的情感极性问题。因此,文中将LSTM进行前后推算,加强文本中前后句子的关联性,并引入情感极性模型以解决情感分类中的极性转移问题。     

基于AC-BiGRU网络的文本情感分析模型

本文针对一般神经网络在文本情感分析的有效性和准确度问题,提出了一种基于AC-BiGRU网络的文本情感分析模型。首先,利用卷积层从文本中提取n-gram特征,并降低文本维数。然后,通过双向门控神经网络来提取前向和后向上下文特征,通过注意机制赋予词语不同的权重,以增强对全文情感的理解。最后,使用交叉熵作为损失函数以降低随机梯度下降过程中梯度消失的风险,选择Adam优化器来优化网络的损失函数来提高反向传播算法的效率。实验表明,相比一般单一的神经网络的文本情感分析模型准确率有明显提升,较大程度上保证了所提模型的有效性。     

基于多尺度卷积和改进LSTM的航迹数据关联方法

针对雷达数据智能航迹关联准确率较低的问题,文章提出了一种融合多尺度卷积神经网络和改进长短期记忆网络的航迹关联方法。首先,利用多尺度卷积神经网络提取多个维度的空间特征,避免固定尺寸的卷积核产生视野限制,使网络能够提取更高维度的特征。然后,将特征送入改进的长短期记忆网络捕获时间维度上的特征,改进后的单元结构充分考虑相邻时刻航迹数据的关联性,有效抑制了噪声和误差产生的影响。最后,仿真实验结果表明,该方法有效提高了航迹关联准确率。     

中文长短期记忆网络的情感分析

文中探讨了循环神经网络（RNN）在文本情感分析中的应用,并提出了一种新的混合模型——LSTM-CNN文本情感分析模型,它融合了长短时记忆网络（LSTM）和卷积神经网络（CNN）的优势,可以更好地处理文本数据中的上下文信息和局部特征。为了验证模型的有效性,文中使用开源爬虫工具抓取了《流浪地球2》的豆瓣评论构建数据集,然后对所提模型进行了训练和测试。结果表明,当词向量维度为100时,模型的性能达到最优,此时的精确率、召回率、F1值和准确率分别为84.2%,88.6%,86.2%和90.0%,证实了该模型在文本情感分类任务上的优越性。     

基于嵌入注意力机制层级LSTM的音视频情感识别

对于语音的情感识别,针对单层长短期记忆(LSTM)网络在解决复杂问题时的泛化能力不足,提出一种嵌入自注意力机制的堆叠LSTM模型,并引入惩罚项来提升网络性能.对于视频序列的情感识别,引入注意力机制,根据每个视频帧所包含情感信息的多少为其分配权重后再进行分类.最后利用加权决策融合方法融合表情和语音信号,实现最终的情感识别...     

基于谱图和声学特征的旋转机械故障检测方法

为提升旋转机械故障诊断的水平和效率,提出一种基于谱图和声学特征的旋转机械故障检测方法.CNN网络中输入声发射信号谱图,得到声发射信号的全局特征;短时能量、过零率、峭度等信息输入BiLSTM网络中,提取声发射信号的声学特征,最后将CNN网络和BiLSTM网络提取到的特征融合起来,采用Softmax实现信号识别,通过实验验...     

基于NLP和深度学习方法的英文情感分析方法研究

针对现代文化研究中对精确化文本情感分析的需求,文中对自然语言处理(NLP)中的词向量生成与训练方法进行了深入研究.通过采用层次Sotfmax结构,减轻了词向量描述时随着向量维度的增长而引发的矩阵稀疏问题.在该结构的输出层引入负抽样方法,节省训练时间;同时,使用深度卷积神经网络替代该模型中原有的二叉树结构,提升模型的泛化...     

基于混合神经网络的语言文本分类方法

对数据进行分类处理是当前的研究热点,采用传统机器学习算法对英语文本进行分类有文本特征不明显、训练周期长、词序丢失等诸多缺点.针对传统机器学习算法的不足,文中对Word2vec算法和TF-IDF算法进行融合,生成改进的TF-Word算法.同时应用卷积神经网络组成混合神经网络模型实现文本分类,该方法可以有效提高传统文本分类...     

基于BERT-BiLSTM的短文本情感分析

传统的神经网络模型主要是以词向量的形式处理短文本的分类任务,造成模型过度依赖分词的精度,而短文本又具有语料短、特征发散的特点,针对这一系类问题提出一种基于BERT和BiLSTM相融合的短文本情感分类模型。首先,利用BERT模型将训练的文本转换成以字为单位的向量表示形式;随后,将生成的字向量作为双向长短期记忆网络输入,获取到相关字的上下文的语义表示;并通过加入随机Dropout机制防止模型发生过拟合;最后,将提取的特征向量输入到全连接层,经过Softmax函数计算出文本所属的情感类别。经实验表明,在处理短文本方面,基于BERT-BiLSTM的算法模型比传统的利用词向量的神经网络模型分类更加精准可靠。     

基于Bi-LSTM的医学文本分词模型

中文分词(Chinese Word Segmentation,CWS)是自然语言处理(Natural Language Processing,NLP)中一项重要的基础任务.由于不同领域中文词汇的特殊性以及缺乏相关领域的标记数据,面向特定领域的分词任务是近年来中文分词研究面临的挑战之一.因此,提出了一种基于双向长短时记忆...     

基于多通道注意力机制的文本分类模型

为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后利用CNN和BiLSTM提取文本的局部特征和上下文关联信息,接着以注意力机制对各通道的输出...     

基于语义理解注意力神经网络的多元特征融合中文文本分类

在中文文本分类任务中,针对重要特征在中文文本中位置分布分散、稀疏的问题,以及不同文本特征对文本类别识别贡献不同的问题,该文提出一种基于语义理解的注意力神经网络、长短期记忆网络(LSTM)与卷积神经网络(CNN)的多元特征融合中文文本分类模型(3CLA)。模型首先通过文本预处理将中文文本分词、向量化。然后,通过嵌入层分别经过CNN通路、LSTM通路和注意力算法模型通路以提取不同层次、具有不同特点的文本特征。最终,文本特征经融合层融合后,由softmax分类器进行分类。基于中文语料进行了文本分类实验。实验结果表明,相较于CNN结构模型与LSTM结构模型,提出的算法模型对中文文本类别的识别能力最多提升约8%。     

融合TextCNN-BiGRU的多因子权重文本情感分类算法研究

随着深度学习技术在自然语言处理领域的广泛应用,短文本情感分类技术得到显著发展。该文提出了一种融合TextCNN-BiGRU的多因子权重文本情感分类算法。算法通过引入词语情感类别分布、情感倾向以及情感强度三个关键因子改进了词语的向量表示。将基于词向量表示的短文本分别作为TextCNN和BiGRU模型的输入,提取文本关键局部特征以及文本上下文的全局特征,将两种特征进行线性融合,实现中文短文本的情感分类。在公开的两个情感分类数据集上验证了多因子权重向量表示方法和融合TextCNN-BiGRU的情感分类模型的有效性,实验结果表明,文中提出的算法较单一模型在短文本情感分类准确率上提高了2%。     

基于Bi-LSTM模型的自媒体文本情感分类方法

本文首先对自媒体文本进行去噪、分词、去停用词等预处理,提取文本特征,构建基于Bi-LSTM模型的文本情感分类器,并利用已训练好的情感分类器对实时采集的自媒体文本进行情感分类,为用户提供可视化的话题舆情监测。     

基于CNN与LSTM相结合的恶意域名检测模型

为提高恶意域名检测准确率,该文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合的域名检测模型。该模型通过提取域名字符串中不同长度字符组合的序列特征进行恶意域名检测：首先,为避免N-Gram特征稀疏分布的问题,采用CNN提取域名字符串中字符组合特征并转化为维度固定的稠密向量;其次,为充分挖掘域名字符串上下文信息,采用LSTM提取字符组合前后关联的深层次序列特征,同时引入注意力机制为填充字符所处位置的输出特征分配较小权重,降低填充字符对特征提取的干扰,增强对长距离序列特征的提取能力;最后,将CNN提取局部特征与LSTM提取序列特征的优势相结合,获得不同长度字符组合的序列特征进行域名检测。实验表明：该模型较单一采用CNN或LSTM的模型具有更高的召回率和F1分数,尤其对matsnu和suppobox两类恶意域名的检测准确率较单一采用LSTM的模型提高了24.8%和3.77%。     

基于CNN与LSTM相结合的恶意域名检测模型

为提高恶意域名检测准确率,该文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合的域名检测模型.该模型通过提取域名字符串中不同长度字符组合的序列特征进行恶意域名检测:首先,为避免N-Gram特征稀疏分布的问题,采用CNN提取域名字符串中字符组合特征并转化为维度固定的稠密向量;其次,为充分挖掘域名字符串上下文信息,采用LSTM提取字符组合前后关联的深层次序列特征,同时引入注意力机制为填充字符所处位置的输出特征分配较小权重,降低填充字符对特征提取的干扰,增强对长距离序列特征的提取能力;最后,将CNN提取局部特征与LSTM提取序列特征的优势相结合,获得不同长度字符组合的序列特征进行域名检测.实验表明:该模型较单一采用CNN或LSTM的模型具有更高的召回率和F1分数,尤其对matsnu和suppobox两类恶意域名的检测准确率较单一采用LSTM的模型提高了24.8％和3.77％.     

融合1D-CNN和LSTM的民航客运量预测模型

在民航客运领域,准确地预测航线每日的客运量对民航公司具有重要的指导意义。循环神经网络能较好地预测民航的客运量,但在准确率,尤其是时间效率方面仍需提高。因此,提出一种融合一维卷积神经网络和长短期记忆网络的客运量预测模型,利用一维卷积神经网络计算代价小和可以识别序列局部模式的特性以及长短期记忆网络可以捕获客运量序列的时间依赖特性,对客运量进行预测。实验结果表明,所提模型在RMSE和MAE评价指标上均优于门控循环单元、时间卷积网络等基准模型,且在效率方面也较具优势。     

基于联合注意力机制和一维卷积神经网络-双向长短期记忆网络模型的流量异常检测方法

针对流量数据集中类别不平衡限制了分类模型对少数类攻击流量的检测性能这一问题,该文提出一种基于联合注意力机制和1维卷积神经网络-双向长短期记忆网络(1DCNN-BiLSTM)模型的流量异常检测方法。首先在数据预处理过程中利用BorderlineSMOTE方法对流量数据不平衡训练样本预处理,使得各类流量数据均衡,有助于后续模型对各类数据的充分训练。然后设计联合注意力机制和1DCNN-BiLSTM的模型对流量数据进行训练,提取流量数据的局部和长距离序列特征并进行分类,通过注意力机制将对分类有用的特征按其重要性赋予权值,提高对少数攻击类的检出率。实验结果表明,同几种现有方法相比,该文方法对NSL-KDD和CICIDS2017数据集的检测准确率最高(可达93.17%和98.65%),对NSL-KDD数据集中的提权攻击(U2R)攻击流量的检出率至少提升13.70%,证明了该文方法提升少数类攻击流量检出率的有效性。