基于TG–LSTM神经网络的非完整时间序列预测

针对传统模型对含数据缺失的非完整时间序列预测精度不高的问题,利用长短期记忆(LSTM)神经网络强大的时序建模能力,提出一种带时间门的长短期记忆(TG–LSTM)神经网络.首先,提出一种能同时对输入值在线估计和输出值实时预测的TG–LSTM单元结构;其次,基于TG–LSTM结构设计一种网络的前向传播算法,实现输入填补和输出预测同步进行;然后,建立TG–LSTM神经网络的学习算法来对输入填补和输出预测任务整体训练;最后,通过在Mackey-glass基准数据集,月平均气温数据集和污水处理出水氨氮预测中的实验结果表明:与传统方法相比,TG–LSTM神经网络模型能以更高精度对非完整时间序列进行填补和预测.     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于多因素线索长短期记忆模型的血压分析预测

高血压是危害健康的重要因素，为了预防血压突然升高造成严重后果，在传统长短期记忆（LSTM）网络基础上，提出一种多因素线索LSTM模型，适用于血压的短期预测和长期预测，能够对血压的不良变化提前作出预警。模型中用到的多因素线索包括时序数据线索和上下文信息线索（包括个人基本信息和环境信息）两大类，使得血压预测不仅提取血压数据本身的特征，还提取与血压相关联的时序数据变化特征和其他关联属性的数据特征。模型首次将环境因素加入血压预测，并采用多任务学习方式，能够更好地捕捉数据之间隐藏的关联性，提高模型泛化能力。实验结果表明，所提模型相较于传统LSTM模型和添加了上下文信息层的LSTM（LSTM-CL）模型在舒张压的预测误差与预测偏差方面分别降低2.5%，3.8%和1.9%，3.2%，在收缩压的预测误差和预测偏差分别降低0.2%，0.1%和0.6%，0.3%。     

基于多尺度特征和注意力的金融时序预测方法

金融时间序列预测是经济领域中一个非常重要的实际问题,然而,由于金融市场的噪声和波动性,当前存在方法的预测精度尚不能令人满意。为了提高金融时间序列的预测精度,提出了一种融合扩张卷积神经网络（dilated convolutional neural network,DCNN）、长短时记忆神经网络（long short term memory,LSTM）和注意力机制（attention mechanism,AT）的混合预测模型DCNN_LSTM_AT。该模型由两个部分组成：第一部分包含扩张卷积神经网络和基于LSTM的编码器,其功能在于提取原始序列数据中不同时间尺度的有效信息;第二部分由带注意力机制的LSTM解码器构成,其功能在于对第一部分提取的信息进行过滤并利用过滤后的信息进行预测。最后将所提模型在3支股指数据集和3支个股数据集上进行实验,并与其他常见的基准模型进行了对比,实验结果表明该模型相比于其他模型具有更好的预测精度和稳定性。     

基于集合经验模态分解和长短期记忆网络的催化裂化装置氮氧化物排放预测

氮氧化物（NOx）是催化裂化（FCC）装置再生烟气中的主要污染物之一,准确预测NOx的排放浓度可有效避免炼化企业污染事件的发生。鉴于污染物排放数据具有非平稳、非线性和长记忆等特性,为了提高污染物排放浓度预测精度,提出一种基于集合经验模态分解（EEMD）和长短期记忆网络（LSTM）的耦合模型。将NOx排放浓度数据经过EEMD为若干个固有模态函数（IMF）和一个残差序列;根据IMF子序列与原始数据之间的相关性分析,剔除极弱相关的信号分量,有效减小原信号数据中的噪声;将IMF序列集分为高、低频两部分,分别进入不同深度的LSTM网络;最终,将子序列的预测结果反变换得到NOx排放浓度。实验表明,在催化裂化装置NOx排放预测中,对比LSTM的表现,EEMD-LSTM耦合模型在均方误差（MSE）、平均绝对误差（MAE）分别减小了46.7%、45.9%;在决定系数R²上增大了43%,实现了更高的预测精度。     

基于集合经验模态分解和长短期记忆网络的催化裂化装置氮氧化物排放预测

氮氧化物（NOx）是催化裂化（FCC）装置再生烟气中的主要污染物之一,准确预测NOx的排放浓度可有效避免炼化企业污染事件的发生。鉴于污染物排放数据具有非平稳、非线性和长记忆等特性,为了提高污染物排放浓度预测精度,提出一种基于集合经验模态分解（EEMD）和长短期记忆网络（LSTM）的耦合模型。将NOx排放浓度数据经过EEMD为若干个固有模态函数（IMF）和一个残差序列;根据IMF子序列与原始数据之间的相关性分析,剔除极弱相关的信号分量,有效减小原信号数据中的噪声;将IMF序列集分为高、低频两部分,分别进入不同深度的LSTM网络;最终,将子序列的预测结果反变换得到NOx排放浓度。实验表明,在催化裂化装置NOx排放预测中,对比LSTM的表现,EEMD-LSTM耦合模型在均方误差（MSE）、平均绝对误差（MAE）分别减小了46.7%、45.9%;在决定系数R²上增大了43%,实现了更高的预测精度。     

基于GRU-LSTM组合模型的云计算资源负载预测研究

日益增多的应用部署在云端使得云数据中心的功耗波动剧烈,从而导致云数据中心资源利用率不平衡,高效的负载预测是解决该问题的关键技术。针对目前负载预测模型预测精度低、预测时间长的问题,建立一种基于门控循环单元（GRU）与长短期记忆（LSTM）网络的组合预测模型GRU-LSTM。该模型的网络结构包括3层,第一层采用GRU,利用GRU参数少、易收敛的特点减少模型训练时间,第二、第三层采用LSTM,结合LSTM参数多的优势提高模型的预测精度。在此基础上,对数据集作缺失值处理和标准化处理,使用随机森林算法对原始序列进行特征选择后得到一组新的序列值,将该序列值作为GRU-LSTM组合预测模型的输入,以对云计算资源进行高效预测。在集群公开数据集Cluster-trace-v2018上进行实验,结果表明,与传统的单一预测模型ARIMA、LSTM、GRU以及现有的组合预测模型ARIMA-LSTM、Refined LSTM等相比,GRU-LSTM模型预测结果的均方误差减少6~9,预测时间平均缩短约10%。     

日交通流预测的编码器-解码器深度学习模型研究

精准的日交通流预测是智能交通领域的重要研究内容之一。目前已有的日交通流预测模型大多在短期预测模型的基础上通过多步预测或者多目标预测的方式改进而来。这两种改进方案中,前者对误差的传播更为敏感,而后者则忽视了预测结果的时序关系,导致预测模型精度偏低。提出了一种用于日交通流预测的编码器-解码器深度学习模型,首先将长短时记忆网络（long short-term memory,LSTM）作为编码器-解码器模型的基本单元以提高模型捕捉长期依赖关系的能力,其次引入注意力机制调节编码向量的权重以进一步提高模型的预测精度。新的模型是一种典型的序列到序列预测模型,与传统的序列到点的模型相比更加契合日交通流预测的需求。为验证模型的有效性,取美国5号州际公路西雅图段的实际交通流数据进行实验,实验结果表明,提出的预测模型在平均车流密度大于40辆/km的时间段中,其预测结果的平均绝对百分比误差（mean absolute percentage error,MAPE）与LSTM、门控循环单元（gated recurrent unit,GRU）、反向传播（back propagation,BP）神经网络、卷积神经网络...     

互信息深度稀疏自编码融合DLSTM预测网络

针对工业系统变量之间存在动态和相互关联特性导致关键变量预测精度降低问题,提出一种互信息深度堆叠稀疏自编码数据特征网络（mutual information-deep stack sparse auto-encoder,MI-DSSAE）结合深度长短期记忆（deep LSTM,DLSTM）预测模型。MI-DSSAE模型对稀疏编码器改进,采用堆叠稀疏编码器结构,引入互信息作为重构损失权重,对多个稀疏编码器隐层迁移并微调。预测部分采用深度DLSTM网络结构,用双层Bi-LSTM结构对序列数据的动态变化特性双向捕捉,将输出数据输入到普通LSTM进行记忆处理,进行全连接层加权预测关键质量变量。采用流程化工业案例脱丁烷塔的C4含量对提出的模型验证,同时对比RNN、LSTM、GRU模型以及MI-DSSAE-RNN、MI-DSSAE-LSTM、MI-DSSAE-GRU等模型,通过RMSE、R2和MAE多项回归误差指标对比分析,验证MI-DSSAE-DLSTM模型的有效性。     

基于改进门控循环神经网络的采煤机滚筒调高量预测

采煤机自适应截割技术是实现综采工作面智能化开采的关键技术。针对采煤机在复杂煤层下自动截割精度较低的问题,提出了一种基于改进门控循环神经网络（GRU）的采煤机滚筒调高量预测方法。鉴于截割轨迹纵向及横向相邻数据之间的相关性,采用定长滑动时间窗法对获取的采煤机滚筒高度数据进行预处理,将输入数据划分为连续、大小可调的子序列,同时处理横向、纵向的特征信息。为提高模型预测效率,满足循环截割的实时性要求,提出了一种用因果卷积改进的门控循环神经网络（CC-GRU）,对输入数据进行双重特征提取和双重数据过滤。CC-GRU利用因果卷积提前聚焦序列纵向的局部时间特征,以减少计算成本,提高运算速度;利用门控机制对卷积得到的特征进行序列化建模,以捕捉元素之间的长期依赖关系。实验结果表明,采用CC-GRU模型对采煤机滚筒调高量进行预测,平均绝对误差（MAE）为43.80 mm,平均绝对百分比误差（MAPE）为1.90%,均方根误差（RMSE）为50.35 mm,决定系数为0.65,预测时间仅为0.17 s;相比于长短时记忆（LSTM）神经网络、GRU、时域卷积网络（TCN）,CC-GRU模型的预测速度较快且预测精...     

基于LSTM-FC的瓦斯浓度时空分布预测

传统的工作面瓦斯预测方法仅利用瓦斯数据的时间特性,缺乏与空间相关的先验信息,因此利用瓦斯数据的时空特性,采用深度学习算法长短期记忆与全连接神经网络相结合的方法构建LSTM-FC（Long Short Time Memory-Fully Connection）瓦斯浓度时空序列的预测模型。LSTM能够解决瓦斯序列的长时间依赖性,全连接神经网络能够准确捕捉瓦斯序列的空间关联性,深入挖掘瓦斯数据之间的时空特性,通过预测不同位置的瓦斯值,构造工作面的瓦斯分布图。实验结果表明,通过使用LSTM-FC模型,预测误差有了明显减少,相比于其他神经网络预测模型,预测精度有所提高。     

EMD-LSTM模型对金融时间序列的预测

针对金融时间序列高噪声以及非线性的特点,提出一种基于经验模态分解(EMD)和长短期记忆(LSTM)网络的金融时间序列预测模型.为避免对整体序列只进行一次经验模态分解后的模型训练过程中使用测试集的信息,将时间序列数据通过一定大小的时间窗口进行多步经验模态分解,并对分解后的序列去噪重构,再将重构后的序列作为LSTM网络的输...     

基于DAM和CNN-LSTM的辅助动力装置性能参数预测模型

针对辅助动力装置(auxiliary power unit, APU)性能参数难以准确预测的问题，提出一种基于特征与时序的双阶段注意力机制(dual-stage attention mechanism,DAM)和卷积神经网络(CNN)-长短期记忆网络(LSTM)的混合模型。所提的方法在特征提取阶段加入了通道注意力机制(Channel attention mechanism ,CAM)；输出阶段加入了时序注意力机制(Temporal attention mechanism ,TAM)，加强了CNN对重要特征的提取能力和历史关键信息对预测输出的影响，并利用改进的粒子群算法对模型关键参数寻优，提高预测精度。实验结果表明，所提出的新方法在多变量输入和多步长的APU排气温度(exhaust gas temperature，EGT)预测中均取得了很好的效果，预测精度大幅提高。     

基于可自动扩展的LSTM模型的航空发动机剩余寿命预测方法

对航空发动机进行实时状态监测和健康管理可以有效降低发动机故障风险,确保飞机飞行安全。准确预测航空发动机的剩余寿命是有效监测发动机运行状态的一种重要手段,其中长短期记忆（long-short term memory,LSTM）网络常被使用。但由于航空发动机复杂的机械结构与运行模式,使用传统的LSTM网络对航空发动机的剩余寿命进行单次预测后,所得预测结果的准确率不足以满足其寿命预测的精度要求。基于LSTM网络的广泛使用以及它对时间序列数据的有效预测能力,考虑到采用多级预测的方法能够有效降低预测误差,提出了一种新型的可自动扩展的长短期记忆（automatically expandable LSTM,AELSTM）预测模型。AELSTM模型依托多个子模块逐级连接的网络结构,不断地提取前一级模块的输出误差作为后一级模块的训练值,形成了误差的多级预测机制,有效降低了模型的预测误差,提升了预测结果的准确性。基于美国国家航空航天局发布的C-MAPSS数据集的四个子集对AELSTM模型的预测效果进行了测试,实验结果表明,与传统的LSTM网络相比,AELSTM模型在四个子集上的均方根误差平均减少了95.44%,同时它的预测效果也优于现有的一些先进算法。实验充分验证了AELSTM模型在提升航空发动机剩余寿命预测准确度方面的有效性及优势。     

基于GAN-LSTM的APT攻击检测

高级持续性威胁(Advanced Persistent Threat,APT)带来的危害日趋严重。传统的APT检测方法针对的攻击模式比较单一,处理的APT攻击的时间跨度相对较短,没有完全体现出APT攻击的时间序列性,因此当攻击数据样本较少、攻击持续时间较长时准确率很低。为了解决这个问题,文中提出了基于生成式对抗网络(Generative Adversarial Netwokrs,GAN)和长短期记忆网络(Long Short-term Memory,LSTM)的APT攻击检测方法。一方面,基于GAN模拟生成攻击数据,为判别模型生成大量攻击样本,从而提升模型的准确率;另一方面,基于LSTM模型的记忆单元和门结构保证了APT攻击序列中存在相关性且时间间距较大的序列片段之间的特征记忆。利用Keras开源框架进行模型的构建与训练,以准确率、误报率、ROC曲线等技术指标,对攻击数据生成和APT攻击序列检测分别进行对比实验分析。通过生成式模型生成模拟攻击数据进而优化判别式模型,使得原有判别模型的准确率提升了2.84%,与基于循环神经网络(Recurrent Neural Network,RNN)的APT攻击序列检测方法相比,文中方法在检测准确率上提高了0.99个百分点。实验结果充分说明了基于GAN-LSTM的APT攻击检测算法可以通过引入生成式模型来提升样本容量,从而提高判别模型的准确率并减少误报率;同时,相较于其他时序结构,利用LSTM模型检测APT攻击序列有更好的准确率和更低的误报率,从而验证了所提方法的可行性和有效性。     

基于LSTM-RPA音乐流行趋势预测研究

大数据背景下的音乐历史数据蕴含丰富的时间信息和用户行为信息,通过分析音乐艺人和听众行为数据,可以较为精准地预测音乐播放量走势,进而预测音乐流行趋势。传统的时间序列预测模型可以准确预测短趋势,但在长趋势预测中受历史信息衰减的影响,难以获得较好的效果。针对LSTM在音乐长趋势预测中历史信息衰减的问题,提出改进的LSTM滚动预测模型,该模型在预测阶段将前一次输入与当前预测结果相结合,使得历史信息可以沿预测趋势方向流动,从而缓解模型在长趋势预测中的历史信息衰减。实验采用“2016中国高校计算机大赛——大数据挑战赛：阿里音乐流行趋势预测”的比赛数据集,并使用比赛主办方提供的F值进行评估。实验结果显示：在相同条件下预测艺人未来30天的每日音乐播放量,最优LSTM滚动预测模型与LSTM、BiLSTM、GRU、RNN相比F值提高13.03%、16.74%、11.91%、18.52%,平均误差减少39.02%、48.55%、36.02%、52.88%;与传统的时间序列预测模型差分整合滑动平均自回归模型相比F值提高10.67%,平均误差降低32.64%。