基于CS-LSTM-attention的轴承故障诊断

作为旋转机械设备的常用部件，轴承容易受到损伤而影响整个机械设备的运行，因此对其进行故障监测和诊断十分重要。轴承振动信号是一种时间序列数据，基于卷积神经网络的故障诊断模型对时序特征的提取具有局限性。针对上述问题，文中提出了一种基于卷积神经网络(CNN)、改进长短时记忆神经网络(LSTM)和注意力机制(Attention)的轴承故障诊断模型。首先，利用卷积神经网络初步提取经小波变换处理后的时频数据的特征，对数据等段均分后输入LSTM，进一步提取时序特征，再加入Attention模块对不同时刻的特征进行权重参数学习，最后结合全连接层与激活函数完成故障诊断。     

基于多变量LSTM的工业传感器时序数据预测

传感器时序数据预测作为工业自动化和智能化的关键过程,对于自动化生产监督、风险预防和技术改进等具有重要意义.考虑到传统基于统计学的时序分析方法通用性弱、普通循环神经网络模型存在长期依赖的不足,针对工业设备温度、压力和电流强度等时序数据预测问题,提出了一种基于多变量分析的长短时记忆神经网络时序预测方法,该方法利用数据的远距离信息和多变量相关性,有效地提高了工业传感器时序数据预测的准确性.实验选取瑞典某公司的机械装载传感器数据用于训练和测试,通过与单变量长短时记忆模型以及其它主流时序预测算法比较,证明了该方法具备较好的预测性能和通用性.     

基于深度学习的全球电离层TEC预测

电离层总电子含量（total electron content,TEC）是卫星时代以来最重要的电离层参数,具有重要的理论意义和应用价值. 文中提出了一种基于深度学习方法的全球电离层TEC预测模型,采用编码器-解码器结构配合卷积优化的长短时记忆（long short-term memory, LSTM）网络来实现全球TEC的空间和时间预测. 模型空间经纬度分辨率为5°×2.5°,时间精度为1 h. 地磁活动平静时的预测结果表明,模型提前1天预测的TEC全局均方根误差（root mean-square error, RMSE）小于1.5 TECU,提前7天以内预测的RMSE小于2 TECU. 在弱磁暴时期,模型预测的RMSE为2.5 TECU左右. 不同地磁活动指数以及不同纬度情况下的对比结果发现,随着预测时间以及地磁活动剧烈程度的增加,模型预测的RMSE会逐渐变大,中高纬度地区模型的预测精度优于低纬赤道地区.     

基于深度神经网络的微表情识别

微表情是一种极为短暂的面部表情,当人们想要掩饰内心的真实情感时,就会不自觉的流露出来。由于微表情的持续时间短,动作幅度小等特点,检测和识别微表情就变得尤为困难。为了解决传统图像识别的方法的识别率低和预处理复杂等缺点,本文提出了采用深度神经网络的方法来对微表情进行识别。该深度神经网络由卷积神经网络(CNN)和长短时记忆型(LSTM)递归神经网络组合而成,CNN层负责提取微表情的静态图像特征,LSTM层将提取到的卷积特征进行整合,而得到这些特征在时域上的信息,进而对这些信息进行分类训练。在CASM2数据集下,该方法对5类表情的识别率比传统方法高。     

基于注意力机制和EMD-GRU模型的电力负荷预测

为提高非平稳性电力负荷的预测精度以及充分挖掘历史负荷数据的时序特征,本文提出了基于注意力(Attention)机制和经验模态分解(EMD)以及门控循环神经网络(GRU)组合的负荷预测方法.首先使用EMD对原始负荷数据进行EMD分解,继而得到有限个具有本征模态函数(IMF)的分量;然后考虑到各分量间的相关性,使用多层GRU网络对IMF分量进行多输入多输出预测,同时引入注意力机制,深入挖掘历史负荷数据的时序相关性特征;最后对多层神经网络输出的有限个分量预测结果进行重构得到最终的负荷预测值.算例分析采用贵州电网某地实际负荷数据,经过与不同模型进行预测误差分析和对比,本文所提方法能够有效提高预测精度.     

基于深度学习的海上目标一维序列信号目标检测方法

当前海面目标检测方法多基于统计理论,检测性能受背景统计特性假设的影响,本文从信号预测和特征分类两个角度,分别采用长短时记忆网络(LSTM)和卷积神经网络(CNN)对信号时间序列幅度信息进行处理,用于海上目标一维序列雷达信号检测,该方法不需事先假设背景统计特性,泛化能力更强。基于LSTM序列预测的目标检测方法通过用海杂波信号幅度时间序列对网络进行训练,再用训练后的网络对后续序列进行预测,并与后续实测信号进行比较,实现目标检测。基于CNN序列分类的目标检测方法中采用截取的海杂波信号和目标信号幅度序列作为数据集样本,对一维卷积核CNN进行训练,使其具有识别目标杂波信号特征能力,从而实现目标检测。最后,采用IPIX和CSIR实测海杂波数据对两种方法进行验证,结果表明两种方法均可实现一维序列信号中海面目标的检测,但LSTM预测方法对于长序列检测的实时性有待于进一步提高;CNN分类方法可实现实时检测,但仅利用信号幅度信息,检测性能仍需进一步提升。      

基于多尺度模型融合和VMD-TCN-RF混合网络的短期电力负荷预测方法

为了充分挖掘不同尺度影响因子对短期电力负荷的影响,以及解决预测精度受数据非平稳特性影响的问题,提出了一种基于多尺度模型融合和VMD-TCN-RF混合网络的短期电力负荷预测方法。该方法先采用变分模态分解(Variational Mode Decomposition, VMD)将历史负荷分解为若干平稳性好的本征模态函数(Intrinsic Mode Function, IMF)分量,再把VMD分解得到的各个历史负荷的IMF分量和气象数据分别送入时间卷积网络(Temporal Convolutional Network, TCN)进行特征提取;将所有TCN网络提取的特征融合为一个新的特征向量;最后将融合得到的特征向量与经过One-Hot编码的日期因素特征向量拼接,把拼接得到的向量送入随机森林网络进行预测。通过公开的电力负荷数据集对本方法进行验证,结果表明所提方法与现有模型相比具有更高的预测精度。     

基于双路径循环神经网络的单通道语音增强

近年来,随着神经网络的应用,语音增强效果显著提升。但对关联性较强的长序列语音数据,单一的网络结构受到自身性能的限制可能无法继续提升增强效果。为了进一步提升神经网络对语音增强的效果,本文将一种被称为双路径循环神经网络（dual-path recurrent neural network,DPRNN）的复合网络结构应用在语音增强任务中。该复合网络结构由卷积神经网络（convolution neural network,CNN）和长短时记忆神经网络(Long short-term memory,LSTM)组成,网络的核心是两个LSTM组成的双路径循环神经网络块（DPRNN Block）。DPRNN将长序列语音数据分割为重叠帧数据块,利用DPRNN Block对这些数据块执行块内计算和块间计算,以此实现数据的局部和全局建模。实验结果表明,相比于单一网络结构,DPRNN在训练噪声和非训练噪声条件下均取得最好结果。      

数据驱动的双通道CNN-LSTM调制分类算法

为同时利用卷积神经网络(Convolutional Neural Network, CNN)的空间特征提取能力和长短时记忆(Long Short-Term Memory, LSTM)网络的时序特征提取能力，提出了一种由双通道一维CNN与LSTM相互串联的调制分类算法。算法采用数据驱动的方式，直接将信号送入至2路CNN提取其在不同维度的空间特征信息；把2个通道的特征融合信息输入至LSTM学习其时序上的特征；与全连接网络连接实现对5种目标信号的调制分类。实验结果表明，CNN与LSTM相互串联能够学习到更加丰富的特征信息，更有利于分类；与传统方法相比，提出的方法无需人工提取信号特征，减少了预处理步骤并有效提升了识别性能。     

电力市场下负荷分析与预测优化方法的研究

在电力市场环境下,负荷的分类和预测至关重要。为了提高预测的速度与精度,提出了运用粒子群与误差反向传播(BP)神经网络相结合的预测方法 (POS-BP法)和模型。并根据某市电业局电力负荷数据建立了模型,运用PSO-BP算法对次日负荷进行了预测。从预测结果看该方法收敛速度快、预测精度显著提高。应用于电力市场分析及预测有很好的效果和前景。     

基于贝叶斯优化的CNN-GRU短期电力负荷预测

为了提高短期电力负荷预测精度,针对负荷数据时序性与非线性的特点,提出一种基于贝叶斯优化的CNNGRU短期电力负荷预测模型。首先,将电力负荷数据按时间滑动窗口构造连续特征作为输入,采用CNN对负荷数据进行特征提取,将特征以时序序列方式作为GRU网络输入;然后通过GRU网络进行短期负荷预测,构建CNN-GRU预测模型。针对CNN-GRU模型易陷入局部最优以及超参数寻找难的问题,利用贝叶斯优化寻找最优超参数组合,对模型进行超参数优化,构建贝叶斯优化的CNN-GRU短期电力负荷预测模型。实验结果表明,贝叶斯优化的CNN-GRU模型的MAE值比传统的CNN-GRU网络模型降低58%,精度提升1.23%,说明所提模型能够有效提高负荷预测精度,可作为短期电力负荷预测工具。     

基于多尺度卷积特征融合的癫痫脑电信号识别

脑电信号(electroencephalography,EEG)已成为医生诊断神经系统疾病最 广泛使用的工具,实现癫痫EEG的自动识别对 于癫痫患者的临床诊断和治疗具有重要意义。为了提高癫痫EEG的识别精度,提出了一 种基于多尺 度卷积特征融合的癫痫EEG自动识别模型。首先采用多尺度卷积特征融合方法提取多粒 度数据特征, 实现卷积神经网络(convolutional neural network,CNN)中不同层次的信息互补;然后经过长短期记忆网络(long short-term memory network,LSTM)提取时间 特征,利用 softmax分类器给出最终的识别结果。为了评估提出方法的识别性能,在波恩大学癫痫病研 究中心数据集 中进行实验,并与CNN-LSTM模型、单一的LSTM等模型的识别性能进行了比较,实验结果表 明,提出 方法的识别精度明显高于其余方法, 平均可达到99.19%。该模型能够 有效识别癫痫EEG类别,具有较高的识别性能和临床应用潜力。     

基于信噪比分类网络的调制信号分类识别算法

针对传统降噪算法损伤高信噪比(SNR)信号而造成信号识别准确率下降的问题,该文提出基于卷积神经网络的信噪比分类算法,该算法利用卷积神经网络对信号进行特征提取,用固定K均值(FK-means)算法对提取的特征进行聚类处理,准确分类高低信噪比信号。低信噪比信号采用改进的中值滤波算法降噪,改进的中值滤波算法在传统中值滤波的基础上增加了前后采样窗口的关联性机制,来改善传统中值滤波算法处理连续噪声效果不佳的问题。为充分提取信号的空间特征和时间特征,该文提出卷积神经网络和长短时记忆网络并联的卷积长短时(P-CL)网络,利用卷积神经网络和长短时记忆网络分别提取信号的空间特征与时间特征,并进行特征融合与分类。实验表明,该文提出的调制信号分类模型识别准确率为91%,相比于卷积长短时(CNN-LSTM)网络提高了6%。     

基于RDSNet的毫米波雷达人体跌倒检测方法

随着人口老龄化的到来,跌倒检测逐渐成为研究热点。针对基于毫米波雷达的人体跌倒检测应用,该文提出了一种融合卷积神经网络和长短时记忆网络的距离多普勒热图序列检测网络(RDSNet)模型。首先通过卷积神经网络对距离多普勒热图进行特征提取得到特征向量,然后将动态序列对应的特征向量序列依次输入长短时记忆网络,进而学习得到热图序列的时间相关性信息,最后通过分类器网络得到检测结果。利用毫米波雷达采集了不同对象的多种人体动作,构建了距离多普勒热图数据集。对比试验表明,所提出的RDSNet网络模型检测准确率可达到96.67%,计算时延小于50 ms,而且具有良好的泛化能力,可为跌倒检测和人体姿态识别提供新的技术思路。      

基于卷积长短时记忆深度神经网络的带内全双工非线性数字自干扰消除

带内全双工(IBFD)技术能够有效提高无线通信系统的频谱效率,近年来引起了广泛关注。然而,同时发送和接收引起的线性和非线性自干扰给IBFD带来了巨大挑战。传统的非线性自干扰消除主要是基于多项式模型和深度神经网络(DNN)来实现。多项式模型方法存在模型失配导致自干扰效果恶化的风险,而DNN方法无法针对高维数据特有的空频相关性、时间相关性等特点进行处理。该文基于卷积长短时记忆深度神经网络(CLDNN),通过在输入层中引入3维张量以及在卷积层设置复数卷积层结构,分别设计了两种重建自干扰信号的网络结构——2维CLDNN(2D-CLDNN)和复值CLDNN(CV-CLDNN),充分利用卷积神经网络局部感知和权值共享的优势,在高维特征中学习到更抽象的低维特征,从而提高自干扰消除的效果。实际场景中获得数据的评估结果显示,当功率放大器记忆长度M和自干扰信道多径长度L满足M+L=13时,通过总共60次训练轮数,该文提出的结构比传统DNN方法在非线性自干扰消除方面可以实现至少26%的改进,训练轮数也有明显减少。     

基于回归卷积神经网络和负荷混沌模型的窃电预测方法

精确地计算台区线损、提取用户用电特征实现窃电预测,是精准营销策略制定的关键。然而,台区可再生能源发电的随机性、电动汽车充放电无序性、环境变化等因素使用户用电行为极易突变,导致台区用户用电数据呈现混沌随机特性,无法有效检测用户窃电行为。对此,建立了台区用户用电的时序相关混沌模型,并提取窃电负荷样本与正常样本的特征,使用回归卷积神经网络对窃电样本和正常样本训练学习,获得增强特征分类学习器,以此实现对窃电用户用电预测。通过对某实际电力公司用电数据的测试分析表明,所提方法的计算结果具有较高的精确度。     

小波去噪和神经网络在电力负荷预测中的应用研究

为了降低历史负荷数据噪声对负荷预测的影响,提高电力负荷的预测精度,提出了一种基于小波去噪和BP神经网络的电力负荷预测方法。首先,对所得电力负荷数据进行了小波变换去噪处理,有效去除了噪声,然后利用BP神经网络在非线性处理中的优异特性,对小波去噪后的电力负荷进行了BP神经网络建模训练及仿真。实验结果表明:相比于其他电力负荷模型,该方法可以有效提高电力负荷的预测精度,是一种有效的电力负荷预测方法。     

基于视觉注意力模型的电表铭牌识别研究

为实现电力设备铭牌中文字信息的自动识别,提升设备管理的效率,提出一种面向场景文字（scene text）的文本内容识别方法。该方法依赖于从卷积特征中训练得到的基于长短时记忆网络（long short-term memory,LSTM）的视觉注意力模型。一组特征向量由与图像不同区域对应的卷积层提取,从而将图像空间信息编码到特征中。通过这一方式,模型可以选择关注图像的不同部分,并结合卷积特征与注意力权重识别文字。进一步地 ,引入语言模型并修改集束搜索（beam search）策略可以显著改善识别效果。在真实数据集上的结果验证了该方法的有效性。     

基于长短时神经网络的目标意图识别

来袭目标意图识别是战场态势认知的重要部分。为充分利用探测到的空中来袭目标运动状态信息的时间相关性来提高意图识别精确度,本文提出一种基于长短时记忆神经网络(LSTM)的敌方空中目标作战意图识别方法。该方法首先利用仿真推演平台根据4种常见意图想定推演来袭目标数据,对生成数据进行清洗以及滑窗处理从而得到有效样本集,利用长短时记忆神经网络对生成样本集进行学习形成敌方空中目标作战意图识别模型。实验结果表明,利用长短时记忆神经网络来学习4种常见意图数据的运动及时间相关特征信息,预测准确率最终可达92%,取得了比传统分类器更好的效果。     

基于LSTM的航班过点时间预测

为了提高空管流量管理效率,在飞行计划阶段,精确推测航空器预计过点时间,提出了基于长短时记忆网络(Long Short-Term Memory,LSTM)的航班过点时间预测方法。通过关联航班飞行计划与实际雷达数据,根据计划数据航路点与实际过点时间信息构建了预测模型。将模型预测结果与真实航班过点时间进行对比,将预测过点时间与实际过点时间的绝对值误差作为评价标准,结果表明,基于LSTM的航班过点时间预测模型误差更小,以国内航班CCA4439为例,LSTM模型精度更高,可以将航班的过点时间误差控制在30s以内。