SDAE-LSTM模型在金融时间序列预测中的应用

针对金融时间序列预测的复杂性和长期依赖性，提出了一种基于深度学习的LSTM神经网络预测模型。利用堆叠去噪自编码从金融时间序列的基本行情数据和技术指标中提取特征，将其作为LSTM神经网络的输入对金融时间序列进行预测；通过LSTM神经网络的长期依赖特性来提高金融时间序列的预测精度。利用股价指数数据，与传统的神经网络的预测结果进行比较，结果表明基于深度学习的LSTM神经网络具有比较高的预测精度。     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

基于视敏度的Q-STAR模型参数预测

Q-STAR模型是现有的客观视频质量评价中最接近主观得分的模型,但是在解码端难以从丢包解码后的YUV视频序列中提取与编码端相一致的运动矢量信息,从而影响模型参数的预测。针对该问题,提出了基于视敏度信息的模型参数预测方法,从YUV视频序列中提取时间域和空间域视敏度特征,并结合Q-STAR模型中提取的特征进行预测。通过实验发现,使用视敏度信息代替原有的运动矢量信息进行预测,所得模型参数值与Q-STAR基本相符,并且计算更为简单。     

基于长-短时序特征融合的资源负载预测模型

高准确率的资源负载预测能够为实时任务调度提供依据,从而降低能源消耗。但是,针对资源负载的时间序列的预测模型,大多是通过提取时间序列的长时序依赖特性来进行短期或者长期预测,忽略了时间序列中的短时序依赖特性。为了更好地对资源负载进行长期预测,提出了一种基于长-短时序特征融合的边缘计算资源负载预测模型。首先,利用格拉姆角场（GAF）将时间序列转变为图像格式数据,以便利用卷积神经网络（CNN）来提取特征;然后,通过卷积神经网络提取空间特征和短期数据的特征,用长短期记忆（LSTM）网络来提取时间序列的长时序依赖特征;最后,将所提取的长、短时序依赖特征通过双通道进行融合,从而实现长期资源负载预测。实验结果表明,所提出的模型在阿里云集群跟踪数据集CPU资源负载预测中的平均绝对误差（MAE）为3.823,均方根误差（RMSE）为5.274,拟合度（R²）为0.815 8,相较于单通道的CNN和LSTM模型、双通道CNN+LSTM和ConvLSTM+LSTM模型,以及资源负载预测模型LSTM-ED和XGBoost,所提模型的预测准确率更高。     

基于注意力机制的CNN-LSTM模型及其应用

时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时间序列预测。该模型由两部分构成：基于注意力机制的CNN，在标准CNN网络上增加注意力分支，以抽取重要细粒度特征；后端为LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，该模型比差分整合移动平均自回归、支持向量回归、CNN以及LSTM模型的预测效果更好，对比目前企业将预定量作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了89.64%和61.73%。     

基于注意力机制优化EDM机场客流量预测

针对标准编码解码模型(Encoder-Decoder Model,EDM)对于时间序列数据提取能力弱的问题,提出一种融合双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi-LSTM)和注意力机制(Attention)的编码解码模型.通过Bi-LSTM对输入数据从正反两个方向进行特征提取,基于注意力机制将所得到的特征根据不同时刻分配不同权重,根据解码阶段的不同时刻生成相应背景变量,进而实现对机场客流量的预测.选取上海虹桥机场为例用该算法进行实验仿真,实验结果表明,本文所提方法与RNN、LSTM相比,平均标准误差降低了57.9％以上,为机场客流量预测提供了一种新的思路.     

基于HP-LSTM模型的股指价格预测方法

股指价格时间序列受到长期和短期不同因素的影响,且具有非平稳、非线性等特点,传统计量模型的预测精度较低。为提高预测精度,一些研究将人工神经网络模型用于金融时间序列预测,取得了比传统计量模型更好的效果。提出了一种融合了HP滤波（Hodrick-Prescott Filter）和LSTM神经网络模型的股指价格预测模型,模型使用HP滤波将股指价格时间序列分解为长期趋势和短期波动,利用LSTM神经网络模型分别学习长期趋势和短期波动序列的特征,并分别进行长期趋势和短期波动预测,将预测结果融合得出股指价格预测结果。实验结果表明,提出的HP-LSTM混合模型不仅可以有效捕捉到股指价格时间序列的长期趋势和短期波动的变化规律,提高了股指价格预测精度,并且长期趋势和短期波动都具有相应的经济含义,提高了模型的可解释性。     

基于ARIMA和LSTM混合模型的时间序列预测

由于现实中的时间序列通常同时具有线性和非线性特征,传统ARIMA模型在时间序列建模中常表现出一定局限性.对此,提出基于ARIMA和LSTM混合模型进行时间序列预测.应用线性ARIMA模型进行时间序列预测,用支持向量回归(SVR)模型对误差序列进行预测,采用深度LSTM模型对ARIMA模型和SVR模型的预测结果组合,并将...     

基于深度卷积长短时神经网络的视频帧预测

针对视频帧预测中难以准确预测空间结构信息细节的问题，通过对卷积长短时记忆（LSTM）神经网络的改进，提出了一种深度卷积长短时神经网络的方法。首先，将输入序列图像输入到两个不同通道的深度卷积LSTM网络组成的编码网络中，由编码网络学习输入序列图像的位置信息变化特征和空间结构信息变化特征；然后，将学习到的变化特征输入到与编码网络通道数对应的解码网络中，由解码网络输出预测的下一张图；最后，将这张图输入回解码网络中，预测接下来的一张图，循环预先设定的次后输出全部的预测图。与卷积LSTM神经网络相比，在Moving-MNIST数据集上的实验中，相同训练步数下所提方法不仅保留了位置信息预测准确的特点，而且空间结构信息细节表征能力更强。同时，将卷积门控循环单元（GRU）神经网络的卷积层加深后，该方法在空间结构信息细节表征上也取得了提升，检验了该方法思想的通用性。     

基于CNN-LSTM的QAR数据特征提取与预测

针对传统数据驱动的故障诊断方法难以从QAR数据中提取有效特征的问题,提出一种融合卷积神经网络（convolutional neural network,CNN）与长短时记忆网络（long short-term memory,LSTM）的双通道融合模型CNN-LSTM。CNN与LSTM分别作为两个通道,通过注意力机制（attention）融合,从而使模型能同时表达数据在空间维度和时间维度上的特征,并以时间序列预测的方式验证融合模型特征提取的有效性。实验结果表明,双通道融合模型与单一的CNN、LSTM相比,能够更有效地提取数据特征,模型单步预测与多步预测误差平均降低35.3%。为基于QAR数据的故障诊断提供一种新的研究思路。     

基于多尺度时间特征LSTM的短期负荷预测

为了提高样本数据单一情况下的负荷预测精度,提出了基于多尺度时间特征的长短时记忆网络LSTM模型。首先,采用小波分解将历史数据分解为稳定分量、趋势负荷、以及峰-谷周期和持续时间等周期序列,突出不同时间尺度特征;其次,利用LSTM网络实现时间序列特性的进一步提取和数据拟合;最后,模型直接输出多个时刻的预测值。实验表明,相比较于自组织映射、高斯过程回归、标准LSTM模型,所提基于多尺度时间特征的长短时记忆网络模型具有更高的预测精度,同时具有一定的抗噪性能。     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

二次分解组合CNN-LSTM的短期负荷预测

短期电力负荷随机性强、波动性大。为提高负荷预测精度,文章提出一种基于二次分解的卷积神经网络（CNN）与长短期记忆（LSTM）神经网络组合的预测模型。其首先采用自适应噪声完备集合经验模态分解（CEEMDAN）方法将原始负荷序列分解为若干固有模态分量和残差;然后,引入样本熵与K均值（SEK-means, SK）,将分解得到的子序列重构为3个序列,并运用变分模态分解方法将重构分量中的强非平稳序列进行二次分解,建立CNN-LSTM模型,对分解得到的各个子序列分别进行预测;最后,将预测的结果叠加,以实现对负荷的有效预测。运用实际负荷数据从确定系数、平均绝对误差、均方根误差和平均绝对百分比误差这4种评价指标角度进行验证,结果表明,该模型与XGBoost、LSTM、CEEMDAN-LSTM和CEEMDANCNN-LSTM模型相比较,具有更高的拟合度和预测精度。     

基于多维度跨尺度LSTM模型的时序预测

针对当前LSTM模型在对金融时间序列数据预测时普遍存在的滞后性问题，提出一种基于LSTM模型的金融数据跨尺度预测方法。通过在训练模型中加入最值选择机制，结合短周期数据转换为长周期数据方法，达到跨尺度预测效果，该跨尺度预测方法降低了金融时间序列数据预测的滞后性。通过结合经济学技术性指标的多维度数据，提高模型的预测精度。依据K线图思路，对金融时序数据进行处理，将K线图所反映的信息通过数值的角度回馈模型，通过这种改进型方法，提高模型的预测精度。通过实验验证，该方法相较传统方法预测精度更高，滞后性更低。     

结合视觉注意机制与递归神经网络的图像检索

目的 图像检索是计算机视觉的一项重要任务。图像检索的关键是图像的内容描述,复杂图像的内容描述很具有挑战性。传统的方法用固定长度的向量描述图像内容,为此提出一种变长序列描述模型,目的是丰富特征编码的信息表达能力,提高检索精度。方法 本文提出序列描述模型,用可变长度特征序列描述图像。序列描述模型首先用CNN(convolutional neural network)提取底层特征,然后用中间层LSTM(long short-term memory)产生局部特征的相关性表示,最后用视觉注意LSTM(attention LSTM)产生一组向量描述一幅图像。通过匈牙利算法计算图像之间的相似性完成图像检索任务。模型采用标签级别的triplet loss函数进行端对端的训练。结果 在MIRFLICKR-25K和NUS-WIDE数据集上进行图像检索实验,并和相关算法进行比较。相对于其他方法,本文模型检索精度提高了512个百分点。相对于定长的图像描述方式,本文模型在多标签数据集上能够显著改善检索效果。结论 本文提出了新的图像序列描述模型,可以显著改善检索效果,适用于多标签图像的检索任务。     

一种基于集成学习的多元时间序列预测方法

多元时间序列包含丰富的变量,且变量间存在着相关性,相互影响,可能会降低某一变量的预测精度.为此,本文提出了一种基于RNN和CNN的混合模型.模型利用互信息法进行特征选择,通过融合CNN的抽象特征提取以及GRU的时序信息提取来预测未来7个单位时刻的数据.实验表明,模型的预测效果优于LSTM等模型.此外,为了检验所构建的模型的泛用性,在PM2.5数据集和SML2010数据集上进行了对比测试,同样证明了模型的优越性.     

一种基于序列到序列时空注意力学习的交通流预测模型

城市交通流预测是研究交通时空序列数据的动态演化并预测未来交通情况的关键技术,对于智能交通预警及管理决策来讲至关重要.但是有效的交通流建模非常具有挑战性,因为它受到很多复杂因素的影响,例如交通网络的时空依赖性和序列突变性等问题.一些研究工作将卷积神经网络(convolutional neural networks, CNN)或循环神经网络(recurrent neural networks, RNN)用于交通流量预测建模.但是,直接使用经典的深度学习模型难以有效捕获与交通流相关的多通道多变量序列数据中的隐含时空依赖性特征.针对上述问题,提出了一种新的序列到序列时空注意力深度学习框架(spatial-temporal attention traffic forecasting, STATF)来处理城市交通流建模任务,它是一种基于卷积LSTM编码层和LSTM解码层,并辅助注意力机制的端到端深度学习模型,可以自适应地学习与城市交通流相关的多通道多变量时空序列数据中的时空依赖性和非线性相关性特征.基于3个真实的交通流数据集实验结果表明：不管是单步预测还是多步预测条件下,STATF模型都具有更优的预测性能.     

基于LSTM-ARIMA组合模型的区域短期用电量预测

用电数据具有不平稳、非线性的特点,为了提升对用电数据的拟合精度,增强预测能力,基于序列预测与残差修正的思想提出通过长短期记忆神经网络(Long Short-Term Memory Neural Network,LSTM)对用电量序列进行预测,真实值与预测值所构成的差值即残差用差分自回归移动平均模型(Autoregres...     

特征分离编码的景区短期客流量预测模型

为增强景区科学管理、缓解交通压力、减少安全隐患、提升游客体验，提出基于特征分离编码和注意力机制的网络模型(feature separation encoding and attention mechanism network, FSEAMNet)预测景区短期客流量。该模型包含序列到序列(sequence-to-sequence, Seq2Seq)结构，将不同分布规律的特征进行分离并独立编码，融合成最终的编码向量序列。在每个解码时刻，注意力机制将编码向量序列重新组合成一个上下文向量，解码器从上下文向量解码出未来的游客数量。通过真实的景区数据库数据构建训练集、测试集。实验结果表明，与其它模型相较，FSEANet的预测误差最多可下降82.80%,该模型在工程应用案例分析中对未来一周客流量预测的每日相对误差均在10%以下。所提模型能对实际景区未来短期客流量实现较准确的预测。