日交通流预测的编码器-解码器深度学习模型研究

精准的日交通流预测是智能交通领域的重要研究内容之一。目前已有的日交通流预测模型大多在短期预测模型的基础上通过多步预测或者多目标预测的方式改进而来。这两种改进方案中,前者对误差的传播更为敏感,而后者则忽视了预测结果的时序关系,导致预测模型精度偏低。提出了一种用于日交通流预测的编码器-解码器深度学习模型,首先将长短时记忆网络（long short-term memory,LSTM）作为编码器-解码器模型的基本单元以提高模型捕捉长期依赖关系的能力,其次引入注意力机制调节编码向量的权重以进一步提高模型的预测精度。新的模型是一种典型的序列到序列预测模型,与传统的序列到点的模型相比更加契合日交通流预测的需求。为验证模型的有效性,取美国5号州际公路西雅图段的实际交通流数据进行实验,实验结果表明,提出的预测模型在平均车流密度大于40辆/km的时间段中,其预测结果的平均绝对百分比误差（mean absolute percentage error,MAPE）与LSTM、门控循环单元（gated recurrent unit,GRU）、反向传播（back propagation,BP）神经网络、卷积神经网络...     

基于双向长短期记忆循环神经网络的网络流量预测

针对长短期记忆循环神经网络在对时间序列进行学习时存在早期特征记忆效果差、难以充分挖掘整个网络流量特征等问题,提出一种基于双向长短期记忆循环神经网络的网络流量预测方法,以提高网络流量预测的准确性。对网络流量序列进行双向学习,避免单向学习导致较早学习部分特征提取和记忆效果差的问题。同时双向学习可以充分挖掘网络流量天与天之间双向的特征,完整地学习到网络流量的整体特征。仿真实验结果表明,改进后的方法相比原方法具有更好的预测效果。     

基于神经网络集成学习算法的金融时间序列预测

本文在传统神经网络(NN)、循环神经网络(RNN)、长短时记忆网络(LSTM)与门控循环单元(GRU)等神经网络时间预测模型基础上, 进一步构建集成学习(EL)时间序列预测模型, 研究神经网络类模型、集成学习模型和传统时间序列模型在股票指数预测上的表现. 本文以16只A股和国际股票市场指数为样本, 比较模型在不同预测期间和不同国家和地区股票市场上的表现.本文主要结论如下: 第一, 神经网络类时间序列预测模型和神经网络集成学习时间序列预测模型在表现上显著稳健优于传统金融时间序列预测模型, 预测性能提高大约35%; 第二, 神经网络类模型和神经网络集成学习模型在中国和美国股票市场上的表现优于其他发达国家和地区的股票市场.     

基于ATLG混合模型的股票价格预测

股市是金融市场的重要组成部分,对股票价格预测有着重要的意义.同时,深度学习具有强大的数据处理能力,可以解决金融时间序列的复杂性所带来的问题.对此,本文提出一种结合自注意力机制的混合神经网络模型(ATLG).该模型由长短期记忆网络(LSTM)、门控递归单元(GRU)、自注意力机制构建而成,用于对股票价格的预测.实验结果表明:(1)与LSTM、GRU、RNN-LSTM、RNN-GRU等模型相比, ATLG模型的准确率更高;(2)引入自注意力机制使模型更能聚焦于重要时间点的股票特征信息;(3)通过对比,双层神经网络起到的效果更为明显.(4)通过MACD (moving average convergence and divergence)指标进行回测检验,获得了53%的收益,高于同期沪深300的收益.结果证明了该模型在股票价格预测中的有效性和实用性.     

基于长短期神经网络的遥测参数趋势预测

时间序列分析的主要目的是根据已有的历史数据对未来进行预测。传统的时间序列预测主要依靠基于模型的方法，比如季节性差分整合移动平均自回归模型（SARIMA）和指数平滑法（EXP）等。此类方法的参数选择严重依赖于专家经验，适用性并不广泛。针对周期性遥测参数，采用长短期记忆网络（LSTM），学习长时序依赖关系并给出多步预测值。试验通过将预测问题转化为监督学习问题建立半实时仿真环境，并重点研究了观测窗口、预测窗口、网络结构等对性能指标的影响。对比LSTM、SARIMA、EXP，结果表明LSTM具备优异的线性拟合能力和良好的非线性关系映射能力。LSTM预测方法摆脱了传统方法受制于专家经验和模型精度低等问题，为开展实时遥测参数预测奠定了基础。     

基于多元时间序列分析的控制系统执行器故障诊断方法研究

为提高控制系统执行器故障实时诊断的准确率,该文提出一种基于多元时间序列分析的控制系统执行器在线故障诊断方法。首先分析了控制系统执行器故障机理,确定了表征执行器故障的关键信号;其次采用执行器历史数据,建立了时间卷积网络(TCN)在线预测模型,对执行器多通道信号进行在线预测;随后通过长短期记忆网络(LSTM)对多通道残差信号建立了故障分类模型;最后以燃气轮机控制系统执行器半物理试验平台中的电液执行器为例进行了多次重复试验验证。结果表明,基于TCN网络的在线预测模型相比传统循环神经网络(RNN)预测误差较小;基于LSTM网络的故障分类模型准确率较高;通过LSTM网络对多通道残差信号进行故障分类,比对原始故障数据分类故障准确率更高。     

改进PSO-LSTM的水文时间序列预测

为更准确地预测中小河流水文时间序列变化,建立改进粒子群优化算法(PSO)与长短期记忆神经网络(LSTM)结合的预测模型.提出利用非线性惯性权重变化,加入自适应变异等操作的方法,改善PSO的寻优能力;实现LSTM与注意力机制(attention mechanism)的结合,建立PSO-LSTM组合模型,改变传统LSTM在...     

最小窥视孔长短时记忆模型

由于循环神经网络拥有复杂的模型结构,使训练模型达到最优变得困难。因此,提出一种最小窥视孔长短时记忆模型,它只有一个唯一门来更新信息,拥有两个网络层,通过减少一定的模型参数降低模型训练的难度,提高模型性能。实验结果表明,在不同数据集上,该模型性能高于长短期记忆模型,部分高于门循环单元模型,在参数个数、运行时间方面,其远小于长短期记忆模型以及门循环单元模型。     

LSTM模型在电力系统负荷预测中的应用

为解决数据随时间变化的电力系统短期负荷预测问题,本文阐述、采用和总结线性回归,普通BP神经网络,GRU神经网络,LSTM神经网络在电力系统短期负荷预测中应用的理论基础和方法,分别针对神经网络的多种预测方法进行归纳总结.LSTM即长短期记忆网络,拥有门机制,可以选择性的遗忘和记忆过去的信息,特别能记忆一个序列时间段的信息...     

基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

基于CNN-LSTM的短期风电功率预测

短期风电功率预测对电力系统的安全稳定运行和能源的优化配置具有重要意义。鉴于卷积神经网络(CNN)高效的数据特征提取能力,以及长短期记忆网络(LSTM)描述时间序列长期依赖关系的能力。为了提高短期风电功率预测的精度,设计了一种基于CNN和LSTM的风电功率预测模型。该模型利用卷积神经网络对风电功率、风速、风向数据进行多层卷积和池化堆叠计算,提取风电功率相关数据的特征图谱。为了描述风电功率序列的时序依从关系,将图谱特征信息作为长短期记忆网络的输入信息,计算得到风电功率的预测结果。采用西班牙某风电场的实测数据进行模型预测精度验证。结果表明,该模型较LSTM、Elman模型具有更好的预测性能。     

基于卷积长短时记忆神经网络的城市轨道交通短时客流预测

我国城市轨道交通正处在快速发展阶段,城轨交通短时客流预测对保障运营安全、优化线网结构,进而构建智慧城市具有重要意义.城轨短时客流除了具有周期性、随机性等时间特征之外,跨时段的断面客流具有相似性,并且相邻站点客流之间存在空间联系.对此,充分考虑以上城轨短时客流的时空特征,基于卷积长短时记忆神经网络(ConvLSTM)与自适应k-means聚类算法,提出城轨短时客流预测的深度学习模型k-ConvLSTM,并通过实验对模型关键参数进行寻优;同时,基于深圳市地铁IC卡的真实客流数据对模型的有效性进行检验.结果表明,k-ConvLSTM在均方根误差、绝对误差均值、绝对误差百分比方面,均优于仅考虑时空特征的深度学习模型-----卷积网络(CNN)与长短时记忆网络(LSTM)的并行混合模型和ConvLSTM内嵌式网络模型,仅考虑时间特征的深度学习模型-----LSTM网络和双向长短时记忆网络(Bi-LSTM),以及浅层机器学习模型-----BP神经网络和支持向量回归模型(SVR).     

Using long short-term memory recurrent neural network in land cover classification on Landsat and Cropland data layer time series

Land cover maps are significant in assisting agricultural decision making. However, the existing workflow of producing land cover maps is very complicated and the result accuracy is ambiguous. This work builds a long short-term memory (LSTM) recurrent neural network (RNN) model to take advantage of the temporal pattern of crops across image time series to improve the accuracy and reduce the complexity. An end-to-end framework is proposed to train and test the model. Landsat scenes are used as Earth observations, and some field-measured data together with CDL (Cropland Data Layer) datasets are used as reference data. The network is thoroughly trained using state-of-the-art techniques of deep learning. Finally, we tested the network on multiple Landsat scenes to produce five-class and all-class land cover maps. The maps are visualized and compared with ground truth, CDL, and the results of SegNet CNN (convolutional neural network). The results show a satisfactory overall accuracy (> 97% for five-class and > 88% for all-class) and validate the feasibility of the proposed method. This study paves a promising way for using LSTM RNN in the classification of remote sensing image time series.     

结合模糊控制的时序数据预测循环神经网络

时序数据处理任务中,循环神经网络模型以及相关衍生模型有较好的性能,如长短期记忆模型(LSTM),门限循环单元(GRU)等.模型的记忆层能够保存每个时间步的信息,但是无法高效处理某些领域的时序数据中的非等时间间隔和不规律的数据波动,如金融数据.本文提出了一种基于模糊控制的新型门限循环单元(GRU-Fuzzy)来解决这些问...     

Forecasting building energy consumption: Adaptive long-short term memory neural networks driven by genetic algorithm

The real-world building can be regarded as a comprehensive energy engineering system; its actual energy consumption depends on complex affecting factors, including various weather data and time signature. Accurate energy consumption forecasting and effective energy system management play an essential part in improving building energy efficiency. The multi-source weather profile and energy consumption data could enable integrating data-driven models and evolutionary algorithms to achieve higher forecasting accuracy and robustness. The proposed building energy consumption forecasting system consists of three layers: data acquisition and storage layer, data pre-processing layer and data analytics layer. The core part of the data analytics layer is a hybrid genetic algorithm (GA) and long-short term memory (LSTM) neural network model for accurate and robust energy prediction. LSTM neural network is adopted to capture the interrelationship between energy consumption data and time. GA is adopted to select the optimal architecture for LSTM neural networks to improve its forecasting accuracy and robustness. The hyper-parameters for determining LSTM architecture include the number of LSTM layers, number of neurons in each LSTM layer, dropping rate of each LSTM layer and network learning rate. Meanwhile, the effects of historical weather profile and time horizon of past information are also investigated. Two real-life educational buildings are adopted to test the performance of the proposed building energy consumption forecasting system. Experiments reveal that the proposed adaptive LSTM neural network performs better than the existing feedforward neural network and LSTM-based prediction models in accuracy and robustness. It also outperforms those LSTM networks whose hyper-parameters are determined by grid search, Bayesian optimisation and PSO. Such accurate energy consumption prediction can play an essential role in various areas, including daily building energy management, decision making of facility managers, building information model designs, net-zero energy operation, climate change mitigation and circular economy.     

基于CNN-LSTM及深度学习的风电场时空组合预测模型

为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN)、互信息(mutual information, MI)法、长短时记忆网络(LSTM)、注意力机制(AT)和粒子群优化(PSO)的短期风电场预测模型(MI-CNN-ALSTM-PSO)。CNN用于提取不同站点的空间特征,LSTM则用于获取多个站点的风电数据的时间依赖信息,据此设计CNN-LSTM时空预测模型,并结合深度学习算法,如MI特征选择、 AT注意力机制、 PSO参数优化,对模型进一步改进。通过两个海岛风电场的实验数据分析可知,所提模型具有最优的统计误差,CNN-LSTM模型可以高效提取风电场时空信息并进行时间序列预测,而结合深度学习算法(MI、 AT和PSO)后的组合模型能进一步提高风电功率预测精度和稳定性。     

基于LSTM的疏浚管道流速预测模型

疏浚管道输送系统是绞吸挖泥船的重要组成部分,在施工过程中对流速的控制至关重要。该文以现有疏浚管道输送实验台为对象,提出了一种疏浚管道输送系统的流速预测模型。首先针对反向传播神经网络(BP)无法处理序列间的关联信息以及传统循环神经网络(RNN)无法记忆久远关键信息的缺陷,提出了基于长短期记忆循环神经网络(LSTM)的流速预测模型;然后使用LSTM模型对疏浚管道输送实验台和绞吸挖泥船的数据集进行网络训练,并对管道流速进行预测。通过将流速的预测值与真实值进行对比,验证了该文提出的LSTM模型具有很强的适用性和很高的准确性。     

PCC-BiLSTM-GRU-Attention组合模型预测方法

传统预测模型在处理多元时间序列时, 常常难以捕捉其非线性动力系统的复杂变化规律导致预测精度较低. 针对此问题, 本文将PCC-BiLSTM-GRU-Attention组合模型的预测方法进行了探讨和验证. 该方法首先使用Pearson相关系数(PCC)进行相关性检验并删除无关特征, 实现了对多元数据的降维选优. 其次使用双向长短期记忆神经网络(BiLSTM)双向提取时序特征. 最后使用GRU神经网络融合注意力机制(Attention), 进一步学习双向时序特征的变化规律, 精准捕捉关键时刻的信息. 为了验证该方法在多元时间序列中的可行性, 本文以股票价格预测作为实验场景, 并与BP模型、LSTM模型、GRU模型、BiLSTM-GRU模型、BiLSTM-GRU-Attention模型进行对比. 验证结果表明: 本文探讨的PCC-BiLSTM-GRU-Attention组合模型的预测方法相比其他模型具有较高的预测精度, 其平均绝对百分比误差(MAPE)达到了2.484%, 决定系数达到了0.966.     

基于极性转移和LSTM的树结构网络与句子分类

长短期记忆网络(long short term memory,LSTM)是一种能长久储存序列信息的循环神经网络,在语言模型、语音识别、机器翻译等领域都得到了广泛的应用。先研究了前人如何将LSTM中的记忆模块拓展到语法树得到LSTM树结构网络模型,以获取和储存句子深层次的语义结构信息;然后针对句子词语间的极性转移在LSTM树结构网络模型中添加了极性转移信息提出了极性转移LSTM树结构网络模型,更好获取情感信息来进行句子分类。实验表明在Stanford sentiment tree-bank数据集上,提出的极性转移LSTM树结构网络模型的句子分类效果优于LSTM、递归神经网络等模型。     

基于LSTM网络的大雾临近预报模型及应用

长短期记忆网络（LSTM）是一种时间递归神经网络,适合于预测时间序列延续性相对较长的事件.本文基于LSTM网络构建了一个全新的大雾临近预报框架,首先将地面气象要素观测资料转化成时间序列数据,并基于此序列进行建模.为了验证提出的模型的准确性,将安徽省81个国家站近2年地面气象要素数据转换为序列数据,基于该数据集对未来1–4小时进行逐小时大雾预报实验,实验结果显示本文提出的模型其TS-Score分别为61%、55%、36%和31%,明显优于卷积神经网络（CNN）以及传统机器学习算法如支持向量机（SVM）和K-近邻算法（KNN）的预测结果,是大雾临近预报的一种有效预报方法.