基于多层融合神经网络模型的短期电力负荷预测方法

针对传统的短期电力负荷预测模型存在的预测精度不高和滞后性的问题,本文提出一种基于卷积神经网络、长短时记忆网络和注意力机制下的混合神经网络模型来进行预测。利用卷积层对多维的电力数据影响特征进行提取,过滤筛选其非重要影响因子,完成电力数据相关特征的映射变换,再通过长短时记忆网络层的循环,对时序性电力数据特征选择性提取,最后利用注意力机制添加重要特征的权重,经Adam算法优化后输出电力负荷预测的结果。依靠GPU强大的算力支撑来解决预测数据时的实时性问题,凭借多融合神经网络的手段来提高其预测精度。经由算例验证,所提出模型真实可靠,预测质量显著优于其他传统模型。     

基于时间图注意力的交通流量预测模型

交通状况预测是智能交通系统的一个重要组成部分,而车流量是交通状况最直接的体现,因而对交通流量进行预测具有重要的应用价值。一方面,城市中的道路本身带有空间拓扑性质,另一方面车流量随时间动态变化。因此交通流量预测问题的关键在于对数据中存在的时间和空间依赖进行建模。针对这一特性,使用神经网络模型和注意力机制来探索交通流量数据中的时空依赖关系,提出基于时间图注意力的交通流量预测模型。空间依赖方面,使用图卷积网络与注意力结合的学习算法对不同影响程度节点分配不同的权重,加入节点自适应学习,有效提取空间特征;时间依赖方面,使用时序卷积网络对时间特征进行提取,通过扩张卷积扩大感受域从而捕获较长时间序列数据的特征。由图注意力网络和时间卷积网络构成一个时空网络层,最终连接到输出层输出预测结果。该模型使用图卷积神经网络和注意力机制结合的方式提取空间特征,充分考虑了道路间的空间关系,利用时序卷积网络捕获时间特征。在两个真实的数据集上进行实验后发现,在未来15 min、30 min、60 min的时间段内该模型都有良好表现,结果优于现有基准模型。     

基于长-短时序特征融合的资源负载预测模型

高准确率的资源负载预测能够为实时任务调度提供依据,从而降低能源消耗。但是,针对资源负载的时间序列的预测模型,大多是通过提取时间序列的长时序依赖特性来进行短期或者长期预测,忽略了时间序列中的短时序依赖特性。为了更好地对资源负载进行长期预测,提出了一种基于长-短时序特征融合的边缘计算资源负载预测模型。首先,利用格拉姆角场（GAF）将时间序列转变为图像格式数据,以便利用卷积神经网络（CNN）来提取特征;然后,通过卷积神经网络提取空间特征和短期数据的特征,用长短期记忆（LSTM）网络来提取时间序列的长时序依赖特征;最后,将所提取的长、短时序依赖特征通过双通道进行融合,从而实现长期资源负载预测。实验结果表明,所提出的模型在阿里云集群跟踪数据集CPU资源负载预测中的平均绝对误差（MAE）为3.823,均方根误差（RMSE）为5.274,拟合度（R²）为0.815 8,相较于单通道的CNN和LSTM模型、双通道CNN+LSTM和ConvLSTM+LSTM模型,以及资源负载预测模型LSTM-ED和XGBoost,所提模型的预测准确率更高。     

基于时域图卷积神经网络的交通流预测模型

针对当前大多数模型对交通流数据空间信息挖掘不充分、无法捕获长序列单元间的信息等问题,提出一种基于时域图卷积神经网络的交通流预测模型。通过阈值权重法重构邻接矩阵,将多层近邻机制嵌入图卷积网络进一步挖掘空间信息;引入时域卷积网络,借助膨胀因果卷积扩大感知野并结合残差网络提取时间信息;运用Dense网络输出结果。利用加州性能评估系统中两个数据集进行评估,其结果表明,该模型性能优于常用的基准模型以及最近提出的多时空图卷积网络模型。     

基于时域卷积网络的多尺度双线性天气预测模型

针对时域卷积网络(TCN)提取能力受卷积层感受野限制,难以对天气数据中的季节 性信息和长时信息进行有效提取与分析的问题,提出了一个新的基于 TCN 的多尺度双线性天气 预测模型。该模型由 TCN 层和双线性汇合层 2 部分组成,时域卷积层包含双路 TCN,每个 TCN 利用历史观测数据独立提取特征,除卷积核尺度之外,其他网络参数均保持一致。多尺度的 网络组合可以更深入挖掘数据中潜在关联信息;时域卷积层的输出作为双线性汇合层的输入 进行双线性融合,规范化后得到最终输出,即对未来天气的预测值,进一步提升模型的特征 表示能力。在公开的天气预测数据集上与 5 个基准方法进行对比,实验结果表明所提方法的预 测结果准确率更高;此外,对比 TCN,多尺度双线性天气预测模型面对长时数据信息时表现更 加稳定。     

基于注意力机制的CNN-BiGRU短期光伏发电功率预测

精确的光伏发电短期预测在微电网智能能源管理系统中起着至关重要的作用;文章提出一种基于注意力机制的CNN-BiGRU短期光伏发电功率预测模型;其核心思想是通过CNN提取光伏数据的空间特征,把CNN提取的这些空间特征送入到BiGRU神经网络中,利用BiGRU模型捕捉光伏时序数据集的双向信息流,学习光伏特征的动态变化规律,引入Attention机制为CNN-BiGRU的隐藏层输出赋予权重,减少因时序过长造成的信息丢失,并且突出强相关特征的影响,减少弱相关特征的影响。在美国俄勒冈州本德市公开数据集上做了验证,并与BP神经网络、GRU、BiGRU、基于Attention机制的BiLSTM以及基于Attention机制的BiGRU进行对比,实验结果表明所提模型在预测精度上更有优越性。     

一种TCN的改进模型及其在短期光伏功率区间预测的应用

为了提高光伏功率预测的精度,提出了一种基于时序卷积网络(temporal convolutional network, TCN)的新型短期光伏功率区间预测模型。首先,采用深度残差收缩网络(deep residual shrinkage network, DRSN)的软阈值和注意力机制来改进TCN的残差模块以增强其对有用特征提取能力,并削弱冗余特征的不利影响;然后,利用樽海鞘群算法(slap swarm algorithm, SSA)对TCN的卷积层的卷积核大小和TCN层数等超参数进行自动寻优,以克服原TCN感受野不足的问题;接着,采用核密度估计(kernel density estimation, KDE)方法对所建改进TCN短期光伏功率预测模型的点预测结果进行误差分析,获得模型预测输出的区间。最后,通过对比仿真实验得到的结果表明,提出的SSA-DRSN-TCN模型的RMSE平均值为0.27,优于LSTM、GRU、CNN-LSTM和TCN等模型;而且,KDE方法能够在80%、90%和95%的置信度下准确描述光伏功率波动区间,验证了所提模型在提高光伏功率预测性能上的有效性。     

改进Informer网络的风电功率短期预测

准确预测风电功率对于提高电力系统的效率和安全性具有重要意义, 而风能的间歇性和随机性特点导致风电功率难以准确预测. 因此, 提出一种改进Informer的风电功率预测模型PCI-Informer (PATCH-CNN-IRFFN-Informer). 将序列数据划分为子序列级补丁, 并进行特征提取和整合, 提高模型对序列数据的处理能力和效果; 采用多尺度因果卷积自注意力机制, 实现多尺度局部特征融合, 提高模型对局部信息的理解和建模能力; 引入反向残差前馈网络 (IRFFN), 增强模型对局部结构信息的提取和保留能力. 某风电场数据实验结果表明, 与主流预测模型相比, PCI-Informer模型在不同预测步长下均取得了更好的预测效果, 在MAE指标上相比Informer模型平均降低了11.1%, 有效提高了短期风电功率的预测精度.     

基于自注意力的协同演进推荐

为解决时序模型不能有效获取用户和项目交互序列的语义关系,以及因参数共享而导致的信息丢失问题,提出基于自注意力的协同演进推荐模型(BSFRNN).将循环神经网络提取的序列特征和自注意力机制提取的语义特征进行融合表征用户以及项目的短期特征,将矩阵分解描述的长期特征和短期时序特征进行融合,将融合的特征向量通过多层感知机进行预测并完成推荐.该算法在公开数据集的评估结果表明,所提BSFRNN能够有效提高推荐的准确性.     

融合注意力机制的学生退课行为预测

近年来,大规模在线开放课程(MOOCs)发展迅速,吸引了学界的广泛关注.用户退课率极高这一问题的长期存在,使得退课行为预测成为了一个重要的研究课题.目前的退课行为预测模型过于依赖传统的机器学习算法.此外,很多研究忽视了MOOCs用户灵活修课的特点,采用时序无关的方法进行预测.针对目前该领域存在的问题,论文提出了一种融合注意力机制的时序预测模型.该模型首先利用长短期记忆网络从原始的时序数据中学习新的时序隐态表示,再使用多个一维卷积神经网络提取隐态中各类特征的时序模式,最后融合注意力机制,使模型能够通过注意力分布值强化有效特征.实验结果表明,该方法的预测能力优于其他方法.     

基于图卷积网络的短时交通速度预测

交通预测是构建智能交通系统的重要技术,实时准确的交通预测有利于规划路线,提高出行效率。为提高交通速度预测精度,提出一种基于图卷积网络的短时交通速度预测模型。首先对交通速度数据进行时空特征分析,然后结合数据空间特性构造可学习的邻接矩阵来建立图卷积网络,同时考虑到交通数据的时间特性,因此在图卷积的基础上又添加了长短期记忆网络和注意力机制来共同构建预测模型。实验结果表明由于同时考虑了交通速度数据的时空特性,本文模型均方根误差、平均绝对误差和平均绝对百分比误差均小于传统模型和单个模型,验证了提出的模型预测精确度更高。     

面向交通流量预测的多头注意力时空卷积图网络模型

为了充分获取交通流量数据中隐藏的复杂动态时空相关性,提高交通流量预测精度,提出一种多头注意力时空卷积图网络模型MASCGN。首先,采用多头注意力机制为路网中的交通传感器节点自动分配注意力权重,实现对不同邻居节点的权值自适应匹配,充分获取空间相关性;其次,采用带有门控和注意力机制的时空卷积网络充分提取时间序列相关性,并使用残差块结构实现时空卷积层之间的连接,使得模型更具有泛化能力;最后,分别提取周相关、日相关、邻近时间的序列数据,输入三个并行的时空组件以挖掘周、日、邻近三个时间窗口间的时间周期相关性,并通过全连接层获取最终的交通流量预测结果。利用高速公路交通数据集PEMSO4、PEMSO8进行了15 min、30 min、45 min和60 min的交通流量预测实验。实验结果表明MASCGN模型与现有基线模型相比,在未来短期和长期的交通流量预测任务上都具有更优的建模能力。     

A spatio-temporal decomposition based deep neural network for time series forecasting

Spatio-temporal problems arise in a broad range of applications, such as climate science and transportation systems. These problems are challenging because of unique spatial, short-term and long-term patterns, as well as the curse of dimensionality. In this paper, we propose a deep learning framework for spatio-temporal forecasting problems. We explicitly design the neural network architecture for capturing various types of spatial and temporal patterns, and the model is robust to missing data. In a preprocessing step, a time series decomposition method is applied to separately feed short-term, long-term and spatial patterns into different components of the neural network. A fuzzy clustering method finds clusters of neighboring time series residuals, as these contain short-term spatial patterns. The first component of the neural network consists of multi-kernel convolutional layers which are designed to extract short-term features from clusters of time series data. Each convolutional kernel receives a single cluster of input time series. The output of convolutional layers is concatenated by trends and followed by convolutional-LSTM layers to capture long-term spatial patterns. To have a robust forecasting model when faced with missing data, a pretrained denoising autoencoder reconstructs the model’s output in a fine-tuning step. In experimental results, we evaluate the performance of the proposed model for the traffic flow prediction. The results show that the proposed model outperforms baseline and state-of-the-art neural network models.     

基于多尺度跳跃深度长短期记忆网络的短期多变量负荷预测

近年来,以循环神经网络（RNN）为主体构建的预测模型在短期电力负荷预测中取得了优越的性能。然而,由于RNN不能有效捕捉存在于短期电力负荷数据的多尺度时序特征,因而难以进一步提升负荷预测精度。为了捕获短期电力负荷数据中的多尺度时序特征,提出了一种基于多尺度跳跃深度长短期记忆（MSD-LSTM）网络的短期电力负荷预测模型。具体来说,以长短期记忆（LSTM）网络为主体构建预测模型能够较好地捕获长短期时序依赖,从而缓解时序过长时重要信息容易丢失的问题。进一步地,采用多层LSTM架构并且对各层设置不同的跳跃连接数,使得MSD-LSTM的每一层能够捕获不同时间尺度的特征。最后,引入全连接层把各层提取到的多尺度时序特征进行融合,再利用该融合特征进行短期电力负荷预测。实验结果表明,与单层LSTM和多层LSTM相比,MSD-LSTM的均方误差总体下降了10%。可见MSD-LSTM能够更好地提取短期负荷数据中的多尺度时序特征,从而提高短期电力负荷预测的精度。     

基于模糊信息粒化与混合神经网络的混沌时间序列预测

为了提高对混沌时间序列预测的精准度,提出了一种基于模糊信息粒化和注意力机制的混合神经网络预测模型。首先对数据进行归一化处理,利用模糊信息粒化对数据的复杂度进行简化;然后将经过相空间重构后的样本输入卷积神经网络(CNN)提取空间特征;再利用长短期记忆神经网络(LSTM)进一步提取时间特征;最后将融合特征传递给注意力机制提取关键特征,得出预测结果。选取Logistic、洛伦兹和太阳黑子混沌时间序列进行实验,并与CNN-LSTM-Att模型、CNN-LSTM模型、FIG-CNN模型、FIG-LSTM模型、CNN模型、LSTM模型、支持向量机(SVM)及误差逆传播(BP)模型进行对比分析。结果表明,所提的预测模型预测精度更高,误差更小。     

面向降雨预报的雷达回波预测序列外推方法

雷达回波外推方法广泛应用于降雨预报中。针对雷达回波中的预测精度不够高的问题,提出了一种基于循环神经网络的深度学习模型DIPredRNN。该模型通过引入空间和通道的双注意力机制,将长时间的时间信息和通道信息结合起来,提高了时间记忆的长期依赖;通过引入隐藏状态和输入的交互框架,保留了更多的特征,提高了时间记忆的短期依赖。该模型在HKO-7数据集和四川数据集上同经典模型以及诸多先进模型进行实验对比,该模型从外推图像、MSE、SSIM、CSI-30～50 dbz多个指标对比中都取得最佳效果。实验证明了DIPredRNN提高了雷达回波预测效果,拥有先进的性能。     

一种基于深度学习的时间序列预测方法

时间序列是一种广泛存在于现实各领域之中的海量高维数据,时间序列预测是该领域的一个研究重点.传统的时间序列预测方法仅仅从时间的维度对时间序列进行分析,忽略了外界影响因素对时间序列可能产生的影响.针对传统时间序列预测方法存在的问题,提出一种基于深度学习的时间序列预测模型DAFDCRNN (dual-stage attention and full dimension convolution based recurrent neural network).该模型引入目标注意力机制来学习输入特征与被预测特征之间的相关性,引入全维度卷积机制来学习输入特征之间的相关性,并引入时间注意力(temporal attention)机制来学习时间序列的长期时间依赖性.在实验部分首先确定模型的超参数,然后对模型部件的有效性进行验证,最后通过对比实验验证了所提出的DAFDC-RNN模型在大特征量数据集上具有最佳的预测效果.     

基于时频域信息融合和多尺度对抗的轨迹预测

目前已有许多工作将Transformer运用到时间序列预测相关任务. 然而, 相比其他时间序列, 运动轨迹数据存在运动学的不确定性, 没有明显的周期特性. 为了降低噪声干扰, 增强趋势建模, 本文在Transformer架构的基础上, 提出一种基于时频域信息融合和多尺度对抗训练的目标轨迹预测方法. 将小波分解嵌入网络模型, 实现时频域自适应滤波; 并与时域注意力进行融合, 能够更有效地对观测轨迹的长期趋势特性进行编码. 并设计了一个全卷积判别器, 通过对抗训练学习序列的多尺度短期微运动表示, 进一步提高预测精度. 本文建立了一个包括2维船舶轨迹和3维飞行器轨迹的轨迹预测数据集DT作为基准, 并在此与Transformer、LogTrans、Informer等模型进行对比实验. 实验结果表明本文的方法在中长期轨迹预测任务上优于其他模型.