基于并行双向时间卷积网络和双向长短期记忆网络的轴承剩余使用寿命预测方法

在基于深度学习的轴承剩余使用寿命(RUL)预测方法中,时间卷积网络(TCN)忽略了振动数据中未来时间信息的重要性,长短期记忆网络(LSTM)难以有效地学习振动数据的长时间序列特征.针对以上问题,提出一种基于并行双向时间卷积网络(Bi-TCN)和双向长短期记忆网络(Bi-LSTM)的轴承RUL预测方法.首先,对多传感器数据进行归一化处理,并将每个传感器数据进行通道合并,实现多传感器数据的高效融合;然后,采用Bi-TCN和Bi-LSTM构建并行的双分支特征学习网络,其中Bi-TCN提取数据的双向长时间序列特征, Bi-LSTM提取数据的时间相关特征;同时,设计一种特征融合注意力机制,该机制分别计算Bi-TCN和Bi-LSTM的输出权重,以实现两种网络输出特征的自适应加权融合;最后,融合特征通过全连接层并输出轴承RUL的预测结果.利用西安交通大学轴承数据集和PHM 2012轴承数据集进行RUL预测实验,实验结果表明,与其他先进的预测方法相比,所提出方法可以准确预测更多类型轴承的RUL,同时具有更低的预测误差.     

基于优化混合模型的航空发动机剩余寿命预测方法

针对航空发动机剩余使用寿命（RUL）预测方法没有同时加权不同时间步下的数据,包括原始数据和所提取的特征,导致RUL预测准确性较低的问题,提出了一种基于优化混合模型的RUL预测方法。首先,选用三种不同的路径提取特征：1）将原始数据的均值和趋势系数输入至全连接网络;2）将原始数据输入双向长短期记忆（Bi-LSTM）网络,并采用注意力机制处理得到的特征;3）使用注意力机制处理原始数据,并将加权特征输入至卷积神经网络（CNN）和Bi-LSTM网络中。然后,采用融合多路径特征预测的思想,将上述提取到的特征融合后输入至全连接网络获得RUL预测结果。最后,使用商用模块化航空推进系统仿真（C-MAPSS）数据集验证方法的有效性。实验结果显示,所提方法在4个数据集上均有较好的表现。以FD001数据集为例,所提方法的均方根误差（RMSE）比Bi-LSTM网络降低了9.01%。     

基于CNN与双向LSTM的行为识别算法

针对传统行为识别依赖手工提取特征,智能化程度不高,识别精度低的问题,提出一种基于3D骨骼数据的卷积神经网络(CNN)与双向长短期记忆网络(Bi-LSTM)的混合模型。使用3D骨骼数据作为网络输入,CNN提取每个时间步的3D输入数据间的空间特征,Bi-LSTM更深层地提取3D数据序列的时间特征。该混合模型自动提取特征完成分类,实现骨骼数据到识别结果的端对端学习。在UTKinect-Action3D标准数据集上,模型的识别率达到97.5%,在自制Kinect数据集上的准确率达到98.6%,实验结果表明,该网络有效提高了分类准确率,具备可用性和有效性。     

基于时空特征的公交站点短时客流量预测

针对以往公交客流量预测只考虑时序特征而忽略空间维度特征的缺点,提出一种结合注意力机制的图卷积长短期记忆单元预测模型(AGLSTM)来预测公交站点的客流量。该模型运用图卷积网络(GCN)对每个时刻的公交站点客流量进行空间维度的特征提取,使用长短期记忆网络(LSTM)对公交站点客流量进行时间特征的提取。为了更关注公交站点客流量有重大影响时刻的特征,该模型还引入了注意力机制模块。注意力机制可以通过计算不同时刻长短期记忆单元隐藏状态的权重,来评估各隐藏状态对输出结果的影响。通过对北京4条公交线路的真实刷卡数据进行实验分析,并与部分经典预测算法进行对比,证明了提出的考虑时空特征的组合模型能够有效地提高模型的预测精度。     

基于改进的自注意力长短期记忆网络的传感器故障预检测方法

针对传感器故障检测方法对早期微弱故障信息不敏感以及抗异常值干扰能力差的问题,提出了一种基于因果卷积改进的自注意力长短期记忆网络(CCALSTM)模型和Shapiro-Wilk检验与阈值比较法相结合的故障预检测方法.首先在长短期记忆网络(LSTM)模型中引入基于因果卷积的自注意力机制,以提取局部信息特征,减少异常值对预测精度的影响;然后将预测结果与测量值进行残差计算,并利用滑动窗口选取合适长度的残差序列;最后将残差序列通过Shapiro-Wilk检验和阈值比较法相结合的故障检测方法进行故障预检测.通过传感器原始数据进行仿真实验,并与支持向量机(SVM)、误差反向传播网络(BP)、双向长短期记忆网络(Bi-LSTM)等常见预测模型进行对比,结果表明CCALSTM模型取得了更高的预测精度结果,且具有更高的鲁棒性;同时,所提出的故障预检测方法表现出对传感器早期微弱故障敏感,能够在故障潜伏期及时检测出故障.     

PCC-BiLSTM-GRU-Attention组合模型预测方法

传统预测模型在处理多元时间序列时, 常常难以捕捉其非线性动力系统的复杂变化规律导致预测精度较低. 针对此问题, 本文将PCC-BiLSTM-GRU-Attention组合模型的预测方法进行了探讨和验证. 该方法首先使用Pearson相关系数(PCC)进行相关性检验并删除无关特征, 实现了对多元数据的降维选优. 其次使用双向长短期记忆神经网络(BiLSTM)双向提取时序特征. 最后使用GRU神经网络融合注意力机制(Attention), 进一步学习双向时序特征的变化规律, 精准捕捉关键时刻的信息. 为了验证该方法在多元时间序列中的可行性, 本文以股票价格预测作为实验场景, 并与BP模型、LSTM模型、GRU模型、BiLSTM-GRU模型、BiLSTM-GRU-Attention模型进行对比. 验证结果表明: 本文探讨的PCC-BiLSTM-GRU-Attention组合模型的预测方法相比其他模型具有较高的预测精度, 其平均绝对百分比误差(MAPE)达到了2.484%, 决定系数达到了0.966.     

基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法

短期电力负荷预测是电力系统中的重要问题之一,准确的预测结果可以提高电力市场的灵活性和资源利用效率,对电力系统高效运行具有重要意义.为了提高预测精度,针对电网负荷数据的时序性特征,提出一种基于Attention-BiLSTM-LSTM神经网络的短期电力负荷预测方法.该方法首先针对电力负荷的影响因素(温度、节假日等)提取特征,并使用双向长短期记忆(BiLSTM)神经网络层进行双向时序的特征学习;将双向时序特征作为长短期记忆(LSTM)神经网络层的输入,用LSTM神经网络建模学习时序数据的内部变化规律;使用attention机制计算LSTM隐层状态的不同权重,以对隐层状态进行选择性地关注;结合注意力权重和LSTM神经网络进行负荷预测,最后使用全连接层输出负荷预测结果.使用EUNIT电力负荷数据集进行实验,采用提前单点预测模式,该方法的平均绝对百分比误差(MAPE)达到1.66％,均方根误差(RMSE)达到814.85.通过与单LSTM网络、基于attention机制的LSTM网络(Attention-LSTM)、前馈神经网络(FFNN)、卷积神经网络联合长短期记忆神经网络(CNN-LSTM)等4种典型的负荷预测模型结果对比,验证了Attention-BiLSTM-LSTM神经网络方法更加准确有效.     

基于并联CNN-SE-Bi-LSTM的轴承剩余使用寿命预测

滚动轴承作为一种机械标准件,广泛应用于各类旋转机械设备,其健康状况对机器设备的正常运行至关重要,掌握其剩余使用寿命(RUL)可以更好地保证生产活动安全有效的进行.针对目前基于深度学习的机器RUL预测方法普遍存在:a)预测性能很大程度依赖手工特征设计;b)模型不能够充分提取数据中的有用特征;c)学习过程中没有明确考虑多传感器数据等缺点,提出了一种新的深度预测网络——并联多个带有压缩激励机制的卷积神经网络和双向长短期记忆网络集成网络(CNN-SE-Bi-LSTM),用于设备的RUL预测.在该预测网络中,不同传感器采集的监测数据直接作为预测网络的输入.然后,在改进的压缩激励卷积网络(CNN-SE-Net)提取空间特征的基础上进一步通过双向长短期记忆网络(Bi-LSTM)提取时序特征,建立起多个独立的可以自动从输入数据中学习高级表示的RU L预测模型分支.最后,将各独立分支学习到的特征通过全连接层并联获得最终的RU L预测模型.通过滚动轴承加速退化实验的数据,验证了所提网络的有效性并与现有的一些改进算法进行了对比实验.结果表明,面对原始多传感器数据,该算法能够自适应地提供准确的RU L预测结果,且预测表现优于现有一些预测方法.     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于可自动扩展的LSTM模型的航空发动机剩余寿命预测方法

对航空发动机进行实时状态监测和健康管理可以有效降低发动机故障风险,确保飞机飞行安全。准确预测航空发动机的剩余寿命是有效监测发动机运行状态的一种重要手段,其中长短期记忆（long-short term memory,LSTM）网络常被使用。但由于航空发动机复杂的机械结构与运行模式,使用传统的LSTM网络对航空发动机的剩余寿命进行单次预测后,所得预测结果的准确率不足以满足其寿命预测的精度要求。基于LSTM网络的广泛使用以及它对时间序列数据的有效预测能力,考虑到采用多级预测的方法能够有效降低预测误差,提出了一种新型的可自动扩展的长短期记忆（automatically expandable LSTM,AELSTM）预测模型。AELSTM模型依托多个子模块逐级连接的网络结构,不断地提取前一级模块的输出误差作为后一级模块的训练值,形成了误差的多级预测机制,有效降低了模型的预测误差,提升了预测结果的准确性。基于美国国家航空航天局发布的C-MAPSS数据集的四个子集对AELSTM模型的预测效果进行了测试,实验结果表明,与传统的LSTM网络相比,AELSTM模型在四个子集上的均方根误差平均减少了95.44%,同时它的预测效果也优于现有的一些先进算法。实验充分验证了AELSTM模型在提升航空发动机剩余寿命预测准确度方面的有效性及优势。     

基于特征选择和数据增强的电池荷电状态预测

现有基于神经网络的电池荷电状态(state of charge, SOC)预测研究大多把重点放在模型结构和相关参数的优化上,却忽略了训练数据的重要作用.针对该问题,文中提出了一种基于特征选择和数据增强的电池SOC预测方法.首先,方法根据原始电池充放电数据进行特征工程,并使用排列重要性(permutation importance, PI)方法选出对模型预测最有帮助的7个特征;其次,通过加入高斯噪声来扩大训练数据样本总量,达到数据增强的目的.实验使用双向长短时记忆网络(bidirectional long short-term memory, Bi-LSTM)作为预测模型,使用Panasonic 18650PF数据集作为训练数据.使用标准Bi-LSTM进行预测时,平均绝对误差(mean absolute error, MAE)和最大误差(max error,MaxE)分别为0.65%和3.92%,而在进行特征选择和数据增强后,模型预测的MAE和MaxE分别为0.47%和2.62%,表明PI特征工程与高斯数据增强方法可以进一步提升电池荷电状态预测模型的精度.     

结合Bi-LSTM-CNN的语音文本双模态情感识别模型

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法.该算法采用带有词嵌入的双向长短时记忆网络(bi-directional long short-term memory network,Bi-LSTM)和卷积神经网络(convolutional neural networ...     

基于注意力机制的CNN-LSTM的ADS-B异常数据检测

广播式自动相关监视(ADS-B)是民航新一代空中交通管理系统的重要组成部分,由于协议没有数据加密和认证,导致容易受到数据攻击.为了准确检测ADS-B数据攻击,基于ADS-B数据的时序性,提出了一种基于注意力机制的卷积神经网络-长短期记忆网络(convolutional neural networks-long short-term memory, CNN-LSTM)异常数据检测模型.首先,利用CNN提取ADS-B数据的特征,然后以时序形式将特征向量输入到LSTM中,最后使用注意力机制进行网络参数优化,实现对ADS-B数据的预测,通过计算预测误差,来进行异常检测.实验表明,该模型能够很好地检测出模拟的4种类型的异常数据,与其他机器学习方法相比,具有更高的准确率和F1分数.     

VMD和混合深度学习框架融合的短期风速预测

风速预测是影响风电场效率和稳定性的重要因素.文中基于风速的时空特征,融合变分模态分解(VMD)和混合深度学习框架进行短期风速预测,即VHSTN (VMD-based hybrid spatio-temporal network).其中,混合深度学习框架由卷积神经网络(CNN)、长短时记忆网络(LSTM)以及自注意力机制(SAM)组成.该算法对原始数据清洗后,采用VMD将多站点风速的时空数据分解为固有模态函数(intrinsic mode functions, IMF)分量,去除风速数据的不稳定性;然后针对各IMF分量,应用底部的CNN抽取空域特征;再用顶层LSTM提取时域特征,之后用SAM通过自适应加权加强对隐藏特征的提取并得到各分量的预测结果;最后合并获得最终预测风速.在数据集WIND上进行实验,并和相关典型算法对比,实验结果表明了该算法的有效性和优越性.     

基于深度学习的网络流量异常识别与检测

针对传统的工控网络流量数据在复杂网络环境下特征维度高,特征处理复杂度高,模型检测效率低等问题,本文使用了一种基于随机森林(random forest, RF)和长短期记忆网络(long short-term memory, LSTM)结合的流量异常识别与检测方法.首先使用随机森林算法计算流量特征的重要度评分,筛选出重要特征,剔除冗余特征,然后使用LSTM进行异常流量的识别与检测.为了评估模型的有效性与优越性,本文使用准确率、精确率、召回率和F1-score进行模型评价,并与传统的机器学习方法 Naive Bayes、QDA、KNN算法进行对比.实验结果表明,在公开数据集CIC-IDS-2017中,异常流量识别的总体准确率达99%.与传统的机器学习算法相比,该方法有效地提高了复杂网络环境下异常检测的准确性和效率,在工业控制网络安全和异常检测方面具有实际应用价值.     

多特征融合的行为识别模型

目的 视频行为识别和理解是智能监控、人机交互和虚拟现实等诸多应用中的一项基础技术,由于视频时空结构的复杂性,以及视频内容的多样性,当前行为识别仍面临如何高效提取视频的时域表示、如何高效提取视频特征并在时间轴上建模的难点问题。针对这些难点,提出了一种多特征融合的行为识别模型。方法 首先,提取视频中高频信息和低频信息,采用本文提出的两帧融合算法和三帧融合算法压缩原始数据,保留原始视频绝大多数信息,增强原始数据集,更好地表达原始行为信息。其次,设计双路特征提取网络,一路将融合数据正向输入网络提取细节特征,另一路将融合数据逆向输入网络提取整体特征,接着将两路特征加权融合,每一路特征提取网络均使用通用视频描述符——3D ConvNets （3D convolutional neural networks）结构。然后,采用BiConvLSTM （bidirectional convolutional long short-term memory network）网络对融合特征进一步提取局部信息并在时间轴上建模,解决视频序列中某些行为间隔相对较长的问题。最后,利用Softmax最大化似然函数分类行为动作。结果 为了验证本文算法的有效性,在公开的行为识别数据集UCF101和HMDB51上,采用5折交叉验证的方式进行整体测试与分析,然后针对每类行为动作进行比较统计。结果表明,本文算法在两个验证集上的平均准确率分别为96.47%和80.03%。结论 通过与目前主流行为识别模型比较,本文提出的多特征模型获得了最高的识别精度,具有通用、紧凑、简单和高效的特点。     

基于Conv1d-LSTM模型的能源分配预测

能源分配问题往往与其所在区域环境有关,能源分配的预测可以通过当地环境因素数据来推测之后对该区域的能源分配数值,最大程度上分配好能源. LSTM网络预测短期效果良好,但预测较长时期的数据会导致误差积累,速度慢且准确性差; Informer是近期新提出的能源预测算法模型,速度快但在该任务上预测能力不够.本文提出Conv1d-LSTM模型,预测结果优于上述两个模型,具有更低的平均绝对误差和均方根误差.     

基于CNN-LSTM-CS工业管道腐蚀率预测模型

针对传统工业管道腐蚀率预测模型存在特征提取依赖人工经验和泛化能力不足的问题, 本文将卷积神经网络(convolutional neural network, CNN)和长短期记忆网络(long short-term memory, LSTM)相结合, 提出了基于布谷鸟优化算法(cuckoo search, CS)的CNN-LSTM-CS网络模型, 实现对工业管道腐蚀率预测. 首先, 对采集的管道腐蚀数据集进行归一化预处理; 然后, 利用CNN网络提取影响管道腐蚀率因素的深层次特征信息, 并通过训练LSTM网络构建CNN-LSTM预测模型; 最后, 采用CS算法对预测模型进行参数优化, 减少预测误差, 实现腐蚀率的精准预测. 实验结果表明, 对比几种典型的腐蚀率预测方法, 本文提出的方法具有更高的预测精度, 为工业管道腐蚀率检测提供新的思路.     

融合时空特征的光伏气象因子预测模型

光伏发电极易受到天气的影响而具有波动性和不确定性,因此对气象因子的准确预测对光伏电站的运维具有重要意义。提出了一种基于深度学习的时空特征融合模型,实现对光伏气象因子的精准预测。在时间维度上,设计了一种改进的长短期记忆模块,融合注意力机制和遗传算法,得到最优注意力参数以提高预测精度;在空间维度上,将光伏电站所在区域按照经纬度划分,利用张量分解对区域内气象因子进行预测。在中国东南部某光伏系统的真实数据集上,对该模型的有效性进行了评估。结果表明,该模型在时间维度和空间维度均具有较高预测精度,同时对稀疏数据有较强的鲁棒性。