融合Mar-G LSTM的流程生产工艺质量预测算法

针对流程生产连续性强、时序耦合复杂等特点,传统神经网络不具备长期记忆能力,且在深层次网络训练时易出现训练参数灾难、梯度爆炸等问题,提出基于马尔可夫优化的融合门控循环单元(GRU)与长短期记忆网络(LSTM)的组合预测模型(Mar-G LSTM)。首先在循环神经网络结构中融入门控机制构建深度LSTM神经网络模型,对流程生产时序数据信息进行选择性记忆,学习时序数据序列的信息依赖,进而解决训练过程中的梯度爆炸问题;同时结合马尔可夫链对GRU-LSTM模型的预测结果进行修正优化,在降低模型的复杂度的情况下进一步提高了模型的预测精度。最后,结合某流程生产线的工艺数据进行分析验证,结果表明,Mar-G LSTM算法在预测精度上较随机森林模型、门控循环单元神经网络模型(GRU)、长短期记忆神经网络模型(LSTM)和卷积神经网络与门控循环单元网络组合模型(CNN-GRU)分别提高了37.42%、21.32%、17.91%和12.56%,所提Mar-G LSTM算法可实现流程生产质量的准确预测,为降低工艺参数调控任务的完成时间提供了思路和实现途径。     

基于Attention-BLSTM的复杂产品制造质量预测方法

复杂产品制造过程中工艺数据的高维特性以及工艺数据间的复杂关联特性，使得工艺数据中的深层次关键工艺特征难以挖掘，限制了产品质量的准确预测。鉴于此，提出一种基于注意力机制(Attention)与双向长短期记忆网络(BLSTM)的复杂产品质量预测方法。首先，设计数据预处理环节进行工艺数据清洗以及互信息特征筛选。然后，运用BLSTM网络模拟产品制造过程误差的复杂传递特性，挖掘上下游工艺参数的关联关系，输出BLSTM所有时刻提取的关联化工艺特征；同时，设计了Self-Attention网络，自学习各时刻关联化工艺特征对最终产品质量贡献的差异，对不同时刻工艺特征分配不同注意力权值，以强化关键特征。通过以上两阶段特征处理方式，实现深层次关键工艺特征的挖掘。最后，以关键特征作为输入层，通过反向传播神经网络(BPNN)实现复杂产品质量的准确预测。实验表明，相较于BPNN、长短期记忆神经网络(LSTM)、BLSTM以及XGBoost、基于粒子群优化的支持向量(PSO-SVR)、随机森林-贝叶期优化(BO-RF)等主流质量预测方法，所提方法有效提高了预测精度。     

基于深度门控循环单元神经网络的刀具磨损状态实时监测方法

为监测生产加工过程中的刀具磨损状态,提出一种基于深度门控循环单元神经网络的轻量化状态监测模型。首先,预处理阶段对加速度传感器采集的时序信号进行小波阈值去噪,并将每次刀具进给产生的冗长信号划分为多个训练样本,以滤除噪声、改善算法的鲁棒性;然后,利用卷积神经网络(CNN)从时序信号输入中自适应地提取特征,构建深度双向门控循环单元(BiGRU)神经网络学习特征向量间的时序信息,并将Attention机制的思想引入其中,自适应地感知对磨损状态分类结果有关联的网络权重,并对其进行合理分配,避免因人工提取特征带来的复杂性和局限性。实验结果表明,所提方法能够对传感器采集的原始数据实时准确地预测刀具磨损状态,在识别精度和泛化能力上均达到了较好的效果,为实际工业场景下的刀具磨损状态监测提供了新的思路。     

基于卷积GRU注意力的设备剩余寿命预测

为了直接利用神经网络从采集的全寿命振动信号中自动提取特征信息,避免对人工提取特征的依赖,提出了一种基于卷积门控循环单元（convolutional gated recurrent unit,简称ConvGRU）注意力的剩余寿命预测方法。首先,对于采集的设备振动信号预处理,输入ConvGRU注意力模型,ConvGRU通过卷积神经网络（convolutional neural networks,简称CNN）提取设备状态的空间局部特征,门控循环神经单元（gate recurrent unit,简称GRU）提取时序特征信息,从而有效提取设备状态特征;其次,利用注意力机制对特征信息分配不同的权重;然后,进行中间网络层特征输出的可视化实验,验证了本研究方法特征提取的有效性;最后,进行了2个机械设备数据集PHM2012轴承数据集和NASA发动机数据集的实验,并与已有方法进行对比。实验结果表明,笔者提出的基于ConvGRU注意力的剩余寿命预测方法预测准确性更好,并具有较好的泛化性。     

融合GRU-Attention与鲸鱼算法的流程制造工艺参数云边联动优化

为解决流程制造工艺参数优化面临的多工序耦合模型构建复杂、多目标冲突分析困难、实时和准确性难以保障等问题，提出一种融合GRU-Attention与鲸鱼算法的流程制造工艺参数云边联动优化方法。设计了适用于多工序耦合生产的训练计算云边协同架构，通过设备边缘节点与云平台的高效协同，完成了预测模型和优化模型的云端训练，边缘端数据收集、模型下载和调用计算。在此基础上，建立了基于GRU-Attention多层神经网络的生产工艺质量预测模型，将输出质量指标作为适应度，调用鲸鱼算法对生产工艺参数进行全局寻优，获得不同工序最优工艺参数组合，实现流程生产不同工序加工质量的实时预测和综合优化。最后，以某流程制丝生产线为例进行了实验验证，结果表明，所提基于深度学习的云边联动方法可实现生产质量的综合动态优化，同时可降低工艺参数调控任务的完成时间。     

基于BO-GRU神经网络的锂离子电池剩余使用寿命预测

锂离子电池剩余使用寿命预测是锂离子电池健康管理的重要内容。针对锂离子电池剩余使用寿命预测困难、传统循环神经网络预测精度低的问题,提出一种基于贝叶斯优化(BO)-门控循环单元(GRU)神经网络的锂离子电池剩余使用寿命预测方法。这一方法提取循环数与对应的容量融合作为新特征,采用滑动窗口方法分割特征数据集,搭建门控循环单元神经网络,在网络中加入随机失活,并采用贝叶斯优化对门控循环单元神经网络参数进行优化。在不同来源数据上进行试验验证,这一方法的相对误差均小于3%,能够实现对锂离子电池剩余使用寿命的准确预测。     

基于ISSA优化轴承寿命预测网络超参数的方法研究

针对滚动轴承剩余使用寿命预测(Remaining Useful Life, RUL)模型超参数较多的问题。提出基于混合正弦余弦算法和Lévy飞行的麻雀算法(Hybrid sines and cosines and Levy’s flying sparrow algorithm, ISSA)优化轴承寿命预测网络超参数的方法研究。首先利用ISSA对特征提取模型自注意力机制卷积神经网络进行寻优;其次利用时间窗口滑动方法处理提取到的特征以获取更具时序性的寿命特征矩阵,并以此作为输入数据再次利用ISSA对预测模型进行寻优;最后将数据集输入到双向简单循环单元网络中并完成寿命预测。通过实验证明,验证了所提方法的可行性。     

小样本条件下元学习门控神经网络的齿轮退化趋势预测研究

针对齿轮小样本条件下深度神经网络训练容易过拟合导致齿轮退化趋势预测不精准的难题,提出了元学习门控神经网络网络齿轮退化趋势预测模型(Meta-learning gated recurrent neural networks, MLGRU)。将齿轮原始振动信号经过征提取、特征筛选以及特征融合后的指标作为门控神经网络的输入;在元学习网络框架下搭建门控神经网络,在防止齿轮预测模型过拟合的同时通过多任务的训练方式优化元学习门控神经网络,使其在小样本条件下快速收敛;通过门控神经单元深度学习齿轮演化规律并进行退化趋势预测。试验结果表明所提元学习门控神经网络能够充分学习齿轮演化机理,实现齿轮退化趋势预测。     

基于时空注意力机制的双向门控递归单元网络的轴承剩余使用寿命预测

提出一种基于时空注意力机制(TSAM)的双向门控递归单元(Bi-GRU)网络模型对轴承的剩余使用寿命进行预测。先利用时空注意力机制对轴承振动信号中的特征进行卷积提取,再将提取到的特征输入到堆叠的双向门控递归单元网络架构中进行剩余使用寿命的预测。数据集的验证结果表明,该网络模型的性能优于其他方法,且剩余使用寿命预测值更接近真实值,平均误差只有11.5%。     

基于Attention-CGDNN模型的滚动轴承故障诊断方法

针对传统轴承故障诊断方法依赖人工进行特征提取时效率低且难以处理大规模数据等问题,将卷积长短时深度神经网络(CLDNN)引入轴承故障诊断并进行改进,提出一种基于注意力机制的卷积门控深度神经网络(Attention-CGDNN)的滚动轴承故障诊断模型,该模型将卷积神经网络、门控循环单元和全连接神经网络有效融合以实现滚动轴承信号特征提取,并加入注意力机制使网络更专注于重要特征,最后通过Softmax分类算法实现滚动轴承故障诊断。采用CWRU和XJTY-SY轴承数据集的验证结果表明,Attention-CGDNN模型具有训练参数少,训练难度小,收敛速度快和识别精度高的特点,特征提取能力更强,故障诊断性能优于传统模型。     

高噪声下改进卷积神经网络轴承故障诊断

针对强噪声背景下滚动轴承振动信号特征不平稳,导致诊断算法的泛化性变差,抗噪能力弱,难以实现有效的故障诊断的问题,提出一种改进卷积神经网络滚动轴承故障诊断方法。该方法在深度卷积神经网络的基础上,引入门控循环单元（GRU）解决神经网络中梯度爆炸问题,引入注意力机制（Attention）提高网络自适应能力,降低超参数选择的难度,采用SVM分类器代替深度卷积神经网络的分类层,提高分类的准确度。为了验证所提方法在强噪声环境下的鲁棒性和泛化性,利用西储大学轴承数据集进行验证。实验结果表明,所提算法的分类准确度的最大高于WDCNN算法24.7%,证明了所提方法在高噪声背景下具有较好的抗噪性和泛化性。     

基于GEO-GRU的电梯滑移量预测方法

电梯曳引性能是影响电梯运行安全的重要指标,而滑移量是其重要的评判标准。为实现高精度的电梯滑移量预测,文中提出了基于金鹰算法优化的门控循环单元神经网络(GEO-GRU)模型,GRU通过门控单元实现数据信息选择,利用神经元传递时序特征,实现时序预测;采用金鹰优化算法（Golden Eagle Optimizer,GEO）对GRU的初始参数进行优化,以提升模型可靠性和泛化性。实验结果表明,相比LSTM、ESN等经典预测方法,GEO-GRU方法提高了预测精度,缩小了预测误差,对于电梯滑移量的预测具有更高的可行性和有效性。     

基于FA-LN-BiGRU的机械设备剩余寿命区间预测方法

针对数据驱动融合模型存在前后模型不匹配、关键信息丢失等问题,提出了一种端对端的预测方法,即基于特征注意力机制的对数正态分布和双向门控循环单元融合（feature attention-lognorm-bidirectional gated recurrent unit, 简称FA-LN-BiGRU）的剩余寿命区间预测方法。首先,利用特征注意力机制从多维度、非线性和大规模的传感器信号中提取出关键特征向量;其次,采用BiGRU网络从前向和后向2个方向对注意力加权特征的时变特性进行建模学习,并通过最大似然估计损失函数来训练网络参数,获得网络隐含状态输出向量的概率分布;最后,计算出基于对数正态分布的概率密度函数,实现设备剩余寿命（remaining useful life,简称RUL）不确定性的衡量。分析结果表明,对于运行条件复杂和故障模式多变的多维监测数据,所提方法能够深入挖掘性能退化信息,有效提高机械设备剩余寿命点预测和区间预测的准确度和可靠性。     

基于深度特征提取与迁移学习的滚动轴承故障诊断

机械设备的安全运行是工业制造过程中的基本要求,而滚动轴承作为机械设备的重要部件,由于在复杂条件下长时间运行,容易发生不可预见的故障。故障的发生,无论大小都会造成经济损失。因此,对滚动轴承进行可靠的诊断至关重要。针对强噪声背景下卷积神经网络特征辨识度不足的问题,提出一种多尺度卷积神经网络（multiscale convolutional neural network,MSCNN）与双向门控循环单元（bidirectional gated recurrent unit,Bi GRU）相融合的深度特征提取网络,利用MSCNN和Bi GRU对带噪声的振动信号分别提取多尺度特征和时序特征,并通过注意力机制模块对融合特征赋予不同权重,实现重要特征选择。进一步,为解决变工况下源域与目标域特征分布不同的问题,在所提深度特征提取网络中引入迁移学习,通过多级距离公式度量源域与目标域特征分布差异,并将度量结果添加到损失函数中,利用损失的反向传播,实现源域与目标域特征分布对齐。最后,模型以softmax函数作为分类器进行滚动轴承故障诊断。实验对比和分析表明,所提模型具备较好的迁移能力,取得了更高的故障识别准确...     

基于CNNGRU-Attention模型的文本情感分析

针对目前文本情感分析任务中所使用的神经网络结构无法提取文本重要特征的问题,提出了一种基于注意力机制的混合网络模型来对中文文本进行处理分析。首先经过语料的预处理,将文本表达为二维的词向量矩阵,然后使用卷积神经网络(ConvolutionalNeuralNetwork,CNN)进行局部信息特征的提取,接着将其作为门控循环单元(GatedRecurrentUnit,GRU)的输入,来学习文本词语,句子之间的序列关系,然后引入注意力机制,突出重要信息对文本情感的影响力。实验结果表明,GRU网络的使用和注意力机制的引入确实有助于提高模型性能。     

基于ALSTM的光伏出力短期预测研究

光伏出力的短期预测有利于电网的调度管理,能提高电力系统的运行效率、经济性和稳定性。结合长短期记忆网络(LSTM)在处理时序数据以及注意力机制(Attention)专注输入数据关键本质特征的优势,构建了注意力机制-长短期记忆网络(ALSTM)。基于互信息熵(MIE)方法分析各气象因素与光伏出力关系的重要性,依此构建光伏出力特征输入,并将特征输入时序数据送入ALSTM进行训练。以昆士兰大学中心光伏出力数据为基础,通过与Bi LSTM以及CNN在晴天、阴雨天以及天气剧烈波动日3种情况的对比验证,所提方法预测更准确,鲁棒性更强。     

基于时频融合和注意力机制的深度学习行星齿轮箱故障诊断方法

针对行星齿轮箱振动信号频率成分复杂和时变性强的问题,提出了基于时频融合和注意力机制的深度学习行星齿轮箱故障诊断方法。首先,采用小波包分解将原始振动信号分解到频带和时间两个维度作为输入数据;然后,使用卷积神经网络融合数据的频带特征,使用双向门控循环单元融合时序特征;接着采用注意力结构对不同时间点的特征自适应地进行动态加权融合;最后通过分类器进行识别,实现行星齿轮箱的端对端故障诊断。实验表明,该方法对比现有的深度学习故障诊断模型具有更高准确率,能够对行星齿轮箱多种健康状态进行准确地诊断。     

基于深度可分离卷积神经网络轴承剩余寿命预测

为进行轴承剩余寿命(Remaining Useful Life, RUL)预测,采用小波-谱峭度分析方法,首先对轴承振动序列信号进行小波包分解,并以谱峭度作为指标,确定故障特征频带并进行信号重构,然后,根据其频谱特征判断轴承是否发生故障,最终确定轴承振动序列信号的初始故障点(Incipient Fault Point, IFP)。在此基础上,将引入注意力(Attention)机制的一维深度可分离卷积神经网络用于轴承初始故障点之后振动信号特征的提取,相比传统卷积神经网络,深度可分离卷积层可减少网络训练参数个数,加快网络训练速度。实验结果表明,注意力机制的引入使网络能够聚焦信号中关键的特征,为重要特征赋予较大权重,避免人工处理特征的不足,利于有效特征提取,最终预测结果好于SVR、CNN、RNN等常用数据驱动方法。     

基于残差自注意力机制的航空发动机RUL预测

针对传统神经网络在多维数据高分辨率特征识别和高精度信号提取方面的缺陷,开展基于残差自注意力机制的剩余使用寿命(RUL)预测算法研究。比较分析卷积神经网络(CNN)和长短期记忆神经网络(LSTM)的结构特性,揭示二者在长序列信息特征关联能力和局部特征提取能力上的局限性。研究自注意力机制,引入双层残差网络抑制误差函数反向传播中扩散性,进而构建了一种卷积记忆残差自注意力机制的深度学习方法。基于上述方法对典型航空涡扇发动机退化实验数据集进行仿真分析,结果表明:所述方法能够有效建立监测数据与发动机健康状态之间的关系,关键评价指标——剩余使用寿命预测的均方误差为225,相比传统自注意力机制均方误差降低了17.9%,验证了所述方法的可行性和有效性。     

基于DCNN网络及Self-Attention-BiGRU机制的轴承剩余寿命预测

深度神经网络在剩余寿命预测(RUL)领域得到了广泛的应用。传统的滚动轴承寿命预测模型存在预测精确度较低、鲁棒性较弱的问题。为了进一步提升预测模型的精确度以及鲁棒性,提出了一种融合深度卷积神经网络(DCNN)、双向门控循环单元(BiGRU)以及自注意力机制(Self-Attention)三种模块的滚动轴承剩余使用寿命预测模型。首先,利用DCNN网络对原始振动信号的时域特征、频域特征进行了提取;然后,使用不确定量化的方法对提取到的特征进行了评价和筛选,利用筛选过后的特征构建了新的替代特征集;最后,利用Self-Attention-BiGRU网络对轴承的剩余使用寿命进行了预测,并在IEEE PHM2012数据集上进行了验证。实验结果表明：相较于BiGRU、GRU和BiLSTM三种模型的预测结果,基于DCNN及Self-Attention-BiGRU方法的预测结果最优,两项误差值：平均绝对误差(MAE)、均方根误差(RMSE)最低,其中工况一的一号轴承RUL预测的MAE值相较于BiGRU、GRU以及BiLSTM网络分别下降了7.0%、7.4%和6.5%,RMSE值相较于其他三种模型分别下降了7...