基于改进差分进化和回声状态网络的时间序列预测研究

针对回声状态网络无法根据不同的时间序列有效地选择储备池参数的问题, 本文提出一种新型预测模型, 利用改进的差分进化算法来优化回声状态网络. 其中差分进化算法的缩放因子F、交叉概率CR和变异策略自适应调整, 以提高算法的寻优性能. 为验证本文方法的有效性, 对Lorenz时间序列、大连月平均气温 ? 降雨量数据集进行仿真实验. 由实验结果可知, 本文提出的模型可以提高时间序列的预测精度, 且具有良好的泛化能力及实际应用价值.     

基于注意力机制回声状态神经网络的混沌系统预测

混沌系统在电路、保密通讯、加密解密等方面具有重要的研究意义.由于其对初值非常敏感,传统的统计学时间序列预测方法在处理混沌时间序列预测问题是具有挑战的.回声状态网络是一种特殊的循环神经网络,在复杂动态系统动力学与控制方面具有优势.经典的回声状态网络将每个样本置于同一地位,然而实际问题中不同的样本的重要性往往是有差异的.本文提出注意力机制回声状态神经网络模型,将回声状态网络与注意力机制相结合体现样本之间的差异性以及样本之间的相互作用对预测的影响.对混沌系统的预测结果表明注意力机制回声状态神经网络具有更好的预测性能.     

基于层次化可塑性回声状态网络的混沌时间序列预测

为了提高回声状态网络对于混沌时间序列特征提取与预测的能力,提出一种层次化可塑性回声状态网络模型.该模型将多个储备池顺序连接,通过逐层特征变换的方式增强对非线性多尺度动态特征的提取能力.同时,引入神经科学中的内在可塑性机制模拟真实生物神经元的放电率分布,以最大化神经元的信息传递为目标对储备池进行预训练.层次化可塑性回声状态网络不仅能够增加模型的容量,降低随机投影所带来的不稳定性,而且也为理解储备池的表示、处理、记忆及储存操作提供一种新的思路.仿真实验结果表明,相比于其他7种改进的回声状态网络模型,所提出的模型在人造数据和真实数据所构成的混沌时间序列预测任务中均能取得最优的预测精度.     

多稀疏回声状态网络预测模型

针对单回声状态网络难以充分描述数据信息的问题,提出多稀疏回声状态网络预测模型.通过对相关回声状态网络的组合权值及由相关样本得到的基函数的权值同时进行学习,获得优化的多个稀疏回声状态网络组合模型.所提模型不同于双稀疏相关向量机等多核学习模型,它不需要选择特定的核函数及相应的核参数.因此,该模型不但能更好的描述数据信息,避免了双稀疏相关向量机及其他多核学习中核函数及其参数不易选择的问题.同时,所提模型不需要采用交叉验证的方式确定回声状态网络的谱半径和稀疏度,只需确定相应的区间.本文通过两组标杆数据和一组实际数据仿真实验,与传统回声状态网络方法相比,验证了所提模型具有更好的预测性能.     

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

一种基于L1范数正则化的回声状态网络

针对回声状态网络存在的病态解以及模型规模控制问题,本文提出一种基于L1范数正则化的改进回声状态网络.该方法通过在目标函数中添加L1范数惩罚项,提高模型求解的数值稳定性,同时借助于L1范数正则化的特征选择能力,控制网络的复杂程度,防止出现过拟合.对于L1范数正则化的求解,采用最小角回归算法计算正则化路径,通过贝叶斯信息准则进行模型选择,避免估计正则化参数.将模型应用于人造数据和实际数据的时间序列预测中,仿真结果证明了本文方法的有效性和实用性.     

延迟深度回声状态网络及其在时间序列预测中的应用

为提高回声状态网络对于时间序列预测问题的处理能力, 本文提出了一种延迟深度回声状态网络构造方法.该方法将多个子神经元池顺序连接, 每两个相邻的子神经元池之间嵌入了一个滞后环节.由于滞后环节的存在，该网络可将长时记忆任务转化为一系列短时记忆任务, 从而简化长时依赖问题的求解, 同时降低神经元池的构建难度.实验表明, 该网络具有强大的短时记忆容量, 对初始参数有较好的鲁棒性, 对时间序列预测问题的处理能力也比常规回声状态网络有显著提高.     

基于ESN的锂电池SOC评估方法与仿真研究

以新能源车载锂电池为研究对象,建立基于回声状态网络（ESN）预测锂电池的荷电状态（SOC）评估模型。采用交叉验证方法优选回声状态网络参数,以此解决网络模型的参数选择困难。通过带遗忘因子的递归最小二乘法训练建立的回声状态网络模型,实时更新输出权值矩阵以此提高网络的适应性和精度。通过模型仿真分析验证了预测算法的可行性,进一步对比分析了所建立的ESN预测模型与BP神经网络算法、径向基（RBF）网络算法在UDDS、US06和NYCC工况条件下的锂电池SOC评估预测效果,结果表明所建立的回声状态网络模型方法用于锂电池SOC评估预测的性能和效果优于BP算法和RBF算法,具有较好的应用前景,可以为锂电池SOC长期长效预测评估提供参考。     

基于Kalman滤波的储备池多元时间序列在线预报器

针对多元非线性时间序列, 结合回声状态网络和Kalman滤波提出一种新的在线自适应预报方法. 该方法将Kalman滤波应用于回声状态网络储备池高维状态空间中, 直接对网络的输出权值进行在线更新, 省去了传统递归网络扩展Kalman滤波中Jacobian矩阵的计算, 在提高预测精度的同时令算法的适用范围得到扩展. 在回声状态网络稳定时给出所提算法的收敛性证明. 仿真实例验证了所提方法的有效性.     

改进回声状态网络的热点话题预测模型

为了提高网络热点话题的预测精度,针对传统回声状态网络存在的不足,提出一种改进回声状态网络的网络热点话题预测模型。首先将一维的网络热点话题时间序列重构成多维时间序列,然后采用改进回声状态网络对多维时间序列进行学习,建立网络热点话题预测模型,最后对模型性能进行仿真测试。结果表明,改进回声状态网络可对网络热点话题的变化趋势进行准确刻画,网络热点话题的预测精度得以提高,而具有更好的应用价值。     

基于延迟回声状态网的光伏电池板温度预测方法

光伏电池温度变化影响光伏系统输出的稳定性, 精准地预测光伏电池板温度的变化趋势, 对光伏系统智能运行具有重要意义. 为了更好地预测温度的变化趋势, 本文考虑了光伏电池板温度的迟滞效应, 将先前的温度输出作为延迟项引入回声状态网中, 提出了一种基于延迟回声状态网的光伏电池板温度预测模型. 给出一个延迟回声状态网具有回声状态特性的判定条件, 使得预测模型能够稳定地预测光伏电池板温度. 同时, 建立了一套光伏多传感器监测系统, 利用该监测系统采集的数据, 训练和验证模型的准确性. 与回声状态网(Echo state network, ESN), Leaky ESN (Leaky-integrator ESN)和VML ESN (ESN with variable memory length)相比, 仿真结果表明, 本文所提出的延迟回声状态网具有更好的预测性能, 平均绝对百分比误差甚至达到3.45%.     

一种错误率可控的混沌时间序列区间预测算法

针对高风险背景下的混沌时间序列区间预测问题,首次将回声状态网络与一致性预测框架相结合,提出基于两者的混沌时间序列区间预测算法.该算法将回声状态网络的拟合能力与一致性预测区间的可靠性相结合,使得最终的预测区间包含被预测值的频率或概率可以被显著性水平参数所控制,即预测区间具有极高的可信度.同时,由于使用岭回归学习回声状态网络的输出权重,使得算法在学习阶段对样本的留一交叉估计可以被快速地计算,极大地缩短了一致性预测的学习时间.理论分析表明,所提出算法的时间复杂度等价于原始回声状态网络算法的时间复杂度,即算法具有较快的计算速度.实验表明,所提出算法能够较精确地控制预测的错误率,对噪声具有鲁棒性,且预测区间比基于高斯过程的预测区间更加准确地刻画了被预测值的波动范围.     

回声状态网络LM算法及混沌时间序列预测

回声状态网络（ESN）学习算法中可能存在解的奇异问题,在时间序列预测时易导致病态解问题,且伴随着具有较大幅值的输出权值,尤其是当训练样本个数小于输出权值维数时,ESN的解必为奇异的.鉴于此,考虑使用LM（Levenberg Marquardt）算法代替常用的线性回归方法,自适应选择LM参数,从而有效地控制输出权值的幅值,提高ESN的预测性能.通过Lorenz混沌时间序列进行预测研究,对大连月平均气温实际数据进行仿真研究,取得了较好的预测效果.     

基于数据的改进回声状态网络在高炉煤气发生量预测中的应用

以钢铁企业高炉煤气系统这一复杂生产过程为背景, 针对高炉煤气发生量的预测问题, 提出一种基于数据的网络模型预测方法. 鉴于生产数据含噪高的特点, 采用经验模态分解将历史数据分解为若干独立的固有模态函数, 将小尺度函数经低通滤波器自适应去噪后, 再对数据重构以建立预测模型. 在建模过程中提出一种改进的回声状态网络, 通过奇异值分解求取网络输出权值, 克服了线性回归算法出现的病态问题, 提高了模型的预测精度. 现场实际数据预测结果表明所提出方法的有效性, 为制定煤气管网平衡调度方案提供科学的决策支持.     

基于PCA与改进BP神经网络相结合的电网中长期负荷预测

本文在标准反向传播神经网络的基础上,提出一种结合主成分分析法和改进的误差反向传播神经网络的方法来对电网中长期的电力负荷进行预测。首先利用主成分分析法对电力负荷的影响因素进行特征提取,有效地降低数据样本的维度,消除数据的冗余和线性信息,保留主要成分作为模型的输入数据。然后在标准的神经网络的反向传播环节中引入动量项和陡度因子。两种方法的结合有效地解决了网络收敛速度慢和容易陷入局部最小值的问题。将此方法应用于济源市的中长期电力负荷预测,实验结果表明,基于主成分分析法与改进的反向传播神经网络相结合的方法比常用的标准的反向传播神经网络、基于多变量的时间序列网络及时间序列网络具有更高的计算效率和预测精度,证明提出的预测模型在电力负荷预测中是有效的。     

基于小世界回声状态网的时间序列预测

为了提高时间序列的预测精度, 提出了利用改进的小世界网络优化泄露积分型回声状态网(Leaky-integrator echo state network, Leaky ESN)的时间序列预测方法. 首先提出一个改进型小世界网络, 其加边概率是节点间距离的负指数函数. 然后, 利用加边概率直接表示Leaky ESN储备池两个神经节点的连接权值, 取值范围为[0,1], 表征了节点间的连接程度. 利用这个新型小世界网络改进Leaky ESN的储备池神经节点的连接方式, 有目的地实现了稀疏连接, 减小了Leaky ESN储备池随机稀疏连接的盲目性, 提高了储备池的适应性.最后, 利用改进的Leaky ESN预测典型的非线性时间序列, 并利用Matlab仿真软件验证了本文提出方法的有效性. 与Leaky ESN相比, 本文提出的方法具有更高的预测精度和更短的训练时间.     

基于循环神经网络和卡尔曼滤波器的多变量混沌时间序列预测

混沌时间序列的鞍点远多于极值点,且容易出现多重共线性问题。对此,提出基于循环深度神经网络和卡尔曼滤波器的时间序列预测算法。利用循环深度神经网络预测高维时间序列,使用实时递归学习算法搜索最小化预测误差的最优网络参数,采用Levenberg-Marquardt算法对神经网络进行迭代训练。在线更新循环神经网络的过程中,利用卡尔曼滤波器对循环神经网络的输出权重进行调节,解决多重共线性的问题。实验结果表明,该算法实现了较低的预测误差,并且缓解了高维时间序列的多重共线性问题。