基于多尺度特征和注意力的金融时序预测方法

金融时间序列预测是经济领域中一个非常重要的实际问题,然而,由于金融市场的噪声和波动性,当前存在方法的预测精度尚不能令人满意。为了提高金融时间序列的预测精度,提出了一种融合扩张卷积神经网络（dilated convolutional neural network,DCNN）、长短时记忆神经网络（long short term memory,LSTM）和注意力机制（attention mechanism,AT）的混合预测模型DCNN_LSTM_AT。该模型由两个部分组成：第一部分包含扩张卷积神经网络和基于LSTM的编码器,其功能在于提取原始序列数据中不同时间尺度的有效信息;第二部分由带注意力机制的LSTM解码器构成,其功能在于对第一部分提取的信息进行过滤并利用过滤后的信息进行预测。最后将所提模型在3支股指数据集和3支个股数据集上进行实验,并与其他常见的基准模型进行了对比,实验结果表明该模型相比于其他模型具有更好的预测精度和稳定性。     

基于TG–LSTM神经网络的非完整时间序列预测

针对传统模型对含数据缺失的非完整时间序列预测精度不高的问题,利用长短期记忆(LSTM)神经网络强大的时序建模能力,提出一种带时间门的长短期记忆(TG–LSTM)神经网络.首先,提出一种能同时对输入值在线估计和输出值实时预测的TG–LSTM单元结构;其次,基于TG–LSTM结构设计一种网络的前向传播算法,实现输入填补和输出预测同步进行;然后,建立TG–LSTM神经网络的学习算法来对输入填补和输出预测任务整体训练;最后,通过在Mackey-glass基准数据集,月平均气温数据集和污水处理出水氨氮预测中的实验结果表明:与传统方法相比,TG–LSTM神经网络模型能以更高精度对非完整时间序列进行填补和预测.     

基于HP-LSTM模型的股指价格预测方法

股指价格时间序列受到长期和短期不同因素的影响,且具有非平稳、非线性等特点,传统计量模型的预测精度较低。为提高预测精度,一些研究将人工神经网络模型用于金融时间序列预测,取得了比传统计量模型更好的效果。提出了一种融合了HP滤波（Hodrick-Prescott Filter）和LSTM神经网络模型的股指价格预测模型,模型使用HP滤波将股指价格时间序列分解为长期趋势和短期波动,利用LSTM神经网络模型分别学习长期趋势和短期波动序列的特征,并分别进行长期趋势和短期波动预测,将预测结果融合得出股指价格预测结果。实验结果表明,提出的HP-LSTM混合模型不仅可以有效捕捉到股指价格时间序列的长期趋势和短期波动的变化规律,提高了股指价格预测精度,并且长期趋势和短期波动都具有相应的经济含义,提高了模型的可解释性。     

数据预处理对LSTM网络大气污染预测精度分析

大气污染物浓度数据具有时序性和非线性的特点,针对时间序列数据中的异常值和缺失值问题,进行异常值和缺失值预处理对长短时记忆神经网络(LSTM)预测精度的影响分析.利用箱线图法判别数据序列中的异常值,以均值替换法、回归插补法和多重插补法进行缺失值的预处理,分别利用原始数据序列和不同预处理方法得到的数据序列,对多变量输入LSTM神经网络的大气污染物预测精度进行对比分析.实验结果表明,三种预处理方法均可明显改善LSTM模型的预测精度,多重插补法精度最高.     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于多维度跨尺度LSTM模型的时序预测

针对当前LSTM模型在对金融时间序列数据预测时普遍存在的滞后性问题，提出一种基于LSTM模型的金融数据跨尺度预测方法。通过在训练模型中加入最值选择机制，结合短周期数据转换为长周期数据方法，达到跨尺度预测效果，该跨尺度预测方法降低了金融时间序列数据预测的滞后性。通过结合经济学技术性指标的多维度数据，提高模型的预测精度。依据K线图思路，对金融时序数据进行处理，将K线图所反映的信息通过数值的角度回馈模型，通过这种改进型方法，提高模型的预测精度。通过实验验证，该方法相较传统方法预测精度更高，滞后性更低。     

基于EMD-LSTM的风机故障停机发生时间预测

针对风电机组故障停机发生时间预测问题,提出了一种基于EMD-LSTM的预测方法。以风电机组故障停机发生时间为基础,构成故障间隔时间序列;采用EMD将该时间序列分解有限个本征模函数,利用LSTM神经网络对各分量序列构建预测模型;将风电场的实际数据代入模型进行训练,仿真结果表明基于EMD-LSTM的风电机组故障停机发生时间预测方法,较LSTM和以及EMD-BP和EMD-RNN等方法具有更高的预测精度,利于提前预知风电机组未来故障的发生时间,为事先做好故障处理预案提供决策依据。     

基于LSTM-FC的瓦斯浓度时空分布预测

传统的工作面瓦斯预测方法仅利用瓦斯数据的时间特性,缺乏与空间相关的先验信息,因此利用瓦斯数据的时空特性,采用深度学习算法长短期记忆与全连接神经网络相结合的方法构建LSTM-FC（Long Short Time Memory-Fully Connection）瓦斯浓度时空序列的预测模型。LSTM能够解决瓦斯序列的长时间依赖性,全连接神经网络能够准确捕捉瓦斯序列的空间关联性,深入挖掘瓦斯数据之间的时空特性,通过预测不同位置的瓦斯值,构造工作面的瓦斯分布图。实验结果表明,通过使用LSTM-FC模型,预测误差有了明显减少,相比于其他神经网络预测模型,预测精度有所提高。     

基于长短时记忆网络的人体姿态检测方法

针对在循环神经网络（RNN）网络结构下较为遥远的历史信号无法传递至当前时刻的问题,长短时记忆（LSTM）网络作为RNN的一种变体被提出,在继承RNN对时间序列优秀的记忆能力的前提下,LSTM克服了这种时间序列的长期依赖问题,并在自然语言处理与语音识别领域有较好的表现。对于人体行为动作中也存在作为时间序列的长期依赖问题与使用传统滑窗算法采集数据时造成的无法实时检测的问题,将LSTM扩展应用到人体姿态检测,提出了基于LSTM的人体姿态检测方法。通过目前智能手机中一般都带有的加速度传感器、陀螺仪、气压计和方向传感器实时采集的时序数据,制作了包含3336条带有人工标注数据的人体姿态数据集,对行走、奔跑、上楼梯、下楼梯和平静五种日常持续性行为姿态与跌倒、起立、坐下和跳跃这四个突发行为姿态进行预测分类。对比LSTM网络与该研究领域内常用的浅层学习算法、深度学习全连接神经网络与卷积神经网络,实验结果表明,所提方法使用端对端的深度学习的方法相比基于所制作数据集的人体姿态检测算法模型的正确率提高了4.49个百分点,验证了该网络结构的泛化能力且更适合姿态检测。     

基于LSTM网络的汽轮机转子热应力预测方法

在电厂灵活运行期间，转子内部因温度梯度较大而产生热应力，导致转子疲劳损伤。而传统有限元分析热应力的方法无法满足实时监测的需求。研究了一种基于数据驱动的LSTM神经网络模型。模型具有从历史序列数据中学习深度信息的能力。通过多组超参数对比实验，发现在神经元数量6,单元节点28,学习率0.005,Dropout比例0.5时网络预测效果较好；在冷态启动过程下使用LSTM神经网络模型的热应力预测数据与有限元样本数据相比，RMSE为7.8740MPa,最大热应力误差9.7480MPa。结果表明，上述模型相比传统有限元计算时间大大缩短，在保证较高精度同时，也能够满足未来实时在线监测的需要。     

LSTM模型在电力系统负荷预测中的应用

为解决数据随时间变化的电力系统短期负荷预测问题,本文阐述、采用和总结线性回归,普通BP神经网络,GRU神经网络,LSTM神经网络在电力系统短期负荷预测中应用的理论基础和方法,分别针对神经网络的多种预测方法进行归纳总结.LSTM即长短期记忆网络,拥有门机制,可以选择性的遗忘和记忆过去的信息,特别能记忆一个序列时间段的信息...     

Generative adversarial network (GAN) and enhanced root mean square error (ERMSE): deep learning for stock price movement prediction

The prediction of stock price movement direction is significant in financial circles and academic. Stock price contains complex, incomplete, and fuzzy information which makes it an extremely difficult task to predict its development trend. Predicting and analysing financial data is a nonlinear, time-dependent problem. With rapid development in machine learning and deep learning, this task can be performed more effectively by a purposely designed network. This paper aims to improve prediction accuracy and minimizing forecasting error loss through deep learning architecture by using Generative Adversarial Networks. It was proposed a generic model consisting of Phase-space Reconstruction (PSR) method for reconstructing price series and Generative Adversarial Network (GAN) which is a combination of two neural networks which are Long Short-Term Memory (LSTM) as Generative model and Convolutional Neural Network (CNN) as Discriminative model for adversarial training to forecast the stock market. LSTM will generate new instances based on historical basic indicators information and then CNN will estimate whether the data is predicted by LSTM or is real. It was found that the Generative Adversarial Network (GAN) has performed well on the enhanced root mean square error to LSTM, as it was 4.35% more accurate in predicting the direction and reduced processing time and RMSE by 78 s and 0.029, respectively. This study provides a better result in the accuracy of the stock index. It seems that the proposed system concentrates on minimizing the root mean square error and processing time and improving the direction prediction accuracy, and provides a better result in the accuracy of the stock index.

     

Forecasting building energy consumption: Adaptive long-short term memory neural networks driven by genetic algorithm

The real-world building can be regarded as a comprehensive energy engineering system; its actual energy consumption depends on complex affecting factors, including various weather data and time signature. Accurate energy consumption forecasting and effective energy system management play an essential part in improving building energy efficiency. The multi-source weather profile and energy consumption data could enable integrating data-driven models and evolutionary algorithms to achieve higher forecasting accuracy and robustness. The proposed building energy consumption forecasting system consists of three layers: data acquisition and storage layer, data pre-processing layer and data analytics layer. The core part of the data analytics layer is a hybrid genetic algorithm (GA) and long-short term memory (LSTM) neural network model for accurate and robust energy prediction. LSTM neural network is adopted to capture the interrelationship between energy consumption data and time. GA is adopted to select the optimal architecture for LSTM neural networks to improve its forecasting accuracy and robustness. The hyper-parameters for determining LSTM architecture include the number of LSTM layers, number of neurons in each LSTM layer, dropping rate of each LSTM layer and network learning rate. Meanwhile, the effects of historical weather profile and time horizon of past information are also investigated. Two real-life educational buildings are adopted to test the performance of the proposed building energy consumption forecasting system. Experiments reveal that the proposed adaptive LSTM neural network performs better than the existing feedforward neural network and LSTM-based prediction models in accuracy and robustness. It also outperforms those LSTM networks whose hyper-parameters are determined by grid search, Bayesian optimisation and PSO. Such accurate energy consumption prediction can play an essential role in various areas, including daily building energy management, decision making of facility managers, building information model designs, net-zero energy operation, climate change mitigation and circular economy.     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

联合RMSE损失LSTM-CNN模型的股价预测

由于金融市场的复杂性和多变性,当前模型尚不能完全覆盖股票走势影响因素的方方面面,在预测精度方面还存在改进空间.基于此,提出了一种联合RMSE损失LSTM-CNN(long short-term memory-convolutional neural networks)的方法.该方法创新性地通过联合两个模型的RMSE损失...     

基于ATLG混合模型的股票价格预测

股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(LSTM)、门控递归单元(GRU)、自注意力机制构建而成,用于对股票价格的预测.实验结果表明:(1)与LSTM、GRU、RNN-LSTM、RNN-GRU等模型相比, ATLG模型的准确率更高;(2)引入自注意力机制使模型更能聚焦于重要时间点的股票特征信息;(3)通过对比,双层神经网络起到的效果更为明显.(4)通过MACD (moving average convergence and divergence)指标进行回测检验,获得了53%的收益,高于同期沪深300的收益.结果证明了该模型在股票价格预测中的有效性和实用性.