多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

基于贝叶斯回归的多核回声状态网络研究

在利用单储备池模型对多变量预测研究时,多个变量只能通过单个储备池进行特征映射,无法分别刻画各个变量的动力学特性.针对以上问题,提出一种多储备池回声状态网络.混沌系统中各个变量分别通过各个储备池扩展成高维的特征向量,采用Bayesian线性回归的方法,对多核回声状态网络输出权值进行训练,形成一种新的预报器,即多核贝叶斯状态回声机(MrBESN).实际数据的仿真结果验证了所提方法的有效性.     

基于VMD循环随机跳跃状态网络的时间序列长期预测

由于混沌系统的演化规律复杂,直接对混沌时间序列进行长期预测通常难以达到较好的效果.针对此问题,利用变分模态分解方法将混沌时间序列转化为一系列特征子序列,利用排列熵评估选取子序列个数的合理性,保证特征子序列包含了原序列长期演化趋势.此外,提出一种改进的确定性循环跳跃状态网络作为子序列的预测模型,该网络模型中的储备池采用单向环状连接和双向随机跳跃的拓扑结构,能够避免储备池确定连接结构造成的预测精度较低和随机连接造成网络的不稳定性问题.通过所提出模型对时间序列进行长期预测,采用多种评估手段对预测结果进行分析, 表明所提出模型对于长期预测具有较大的优势.     

基于深度学习的仿生集群运动智能控制

宽度学习系统(BLS)是一种基于RVFLN的高效增量学习系统,具有快速且精度高的特点.为了实现BLS对时间序列的精确预测,结合回声状态网络(ESN)的储备池结构,提出一种基于池计算的宽度学习系统(RCBLS).该系统通过在强化层引入简单环型储备池连接,以并行的储备池代替原系统中的前馈连接,使RCBLS具有一定的回声状态特性且方便设计.同时,应用增量学习保证了系统的实时性能.基于MSO时间序列预测问题,针对不同规模数据样本分别研究不同储备池结构RCBLS的性能.结果表明:多储备池结构的RCBLS大大提高了模型的泛化能力和稳定性.     

延迟深度回声状态网络及其在时间序列预测中的应用

为提高回声状态网络对于时间序列预测问题的处理能力, 本文提出了一种延迟深度回声状态网络构造方法.该方法将多个子神经元池顺序连接, 每两个相邻的子神经元池之间嵌入了一个滞后环节.由于滞后环节的存在，该网络可将长时记忆任务转化为一系列短时记忆任务, 从而简化长时依赖问题的求解, 同时降低神经元池的构建难度.实验表明, 该网络具有强大的短时记忆容量, 对初始参数有较好的鲁棒性, 对时间序列预测问题的处理能力也比常规回声状态网络有显著提高.     

多元混沌时间序列的因子回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时存在的病态解问题, 本文建立了因子回声状态网络模型, 通过因子分析(Factor analysis, FA)方法提取高维储备池状态矩阵的公因子, 去除冗余和噪声成分. 利用降维后的因子变量与期望输出之间的线性回归关系, 求解网络未知参数. 基于Lorenz序列和大连月平均气温--降雨量的仿真实验验证了本文所提模型的有效性.     

遗传算法优化回声状态网络的网络流量预测

网络流量预测是网络拥塞控制与网络管理的一个重要问题.网络流量时间序列具有时变、非线性特征,导致传统时间序列预测方法预测精度比较低,无法建立精确的预测模型.回声状态网络(echo state network,ESN)在非线性混沌系统预测与建模方面有着良好的性能,非常适合网络流量的预测.为了提高网络流量的预测精度,提出一种基于遗传算法(genetic algorithm,GA)优化回声状态网络的网络流量非线性预测方法.首先利用回声状态网络对网络流量进行预测;然后利用遗传算法对回声状态网络预测模型中的储备池参数进行优化,提高预测模型的预测精度.通过中国联合网络通信公司辽宁分公司采集的实际网络流量数据进行了仿真验证.与差分自回归滑动平均模型(auto regressive integrated moving average,ARIMA)、Elman神经网络以及最小二乘支持向量机(least square support vector machine,LSSVM)这3种常见预测模型进行了对比,仿真结果表明提出的方法具有更高的预测精度与更小的预测误差,更能刻画网络流量复杂的变化特点.     

基于改进差分进化和回声状态网络的时间序列预测研究

针对回声状态网络无法根据不同的时间序列有效地选择储备池参数的问题, 本文提出一种新型预测模型, 利用改进的差分进化算法来优化回声状态网络. 其中差分进化算法的缩放因子F、交叉概率CR和变异策略自适应调整, 以提高算法的寻优性能. 为验证本文方法的有效性, 对Lorenz时间序列、大连月平均气温 ? 降雨量数据集进行仿真实验. 由实验结果可知, 本文提出的模型可以提高时间序列的预测精度, 且具有良好的泛化能力及实际应用价值.     

基于弹性小世界回声状态网络的非线性时间序列预测

非线性时间序列预测在物理、医学和经济等领域具有广泛的需求.为提高非线性时间序列的预测精度,提出一种基于弹性小世界回声状态网络的非线性时间序列预测方法.采用小世界网络作为储备池,提高模型适应性;构建l1范数和l2范数联合的弹性惩罚模型,提高模型求解的数值稳定性和精确性.对非线性时间序列进行仿真实验,该方法相比常规方法具有更好的稳定性和更高的预测精度.     

基于回声状态网络的多变量预测模型的研究

考虑单变量在混沌时间序列预测中的不足,文章利用多变量模型进行混沌时间序列的预测。针对多变量预测过程中的维数过高问题,文章结合主元分析理论(PCA)和回声状态网络(ESN),构建了基于PCA和ESN的多变量混沌时间序列预测模型,将PCA降维后的时间序列数据输入ESN网络进行预测分析。论文对由Lorenz动态方程生成的三变量混沌时间序列进行了仿真实验,结果表明该模型有效地提高了预测的精度和预测的效率,是一种有效的混沌时间序列预测方法。     

ESN 岭回归学习算法及混沌时间序列预测

ESN（回声状态网络）是一种新型的递归神经网络．可有效处理非线性系统辨识以及混沌时间序列预测问题．针对ESN学习算法中可能存在的解的奇异问题，利用岭回归方法代替原有的线性回归算法．通过贝叶斯或Bootstrap方法确定岭回归方法中的正则项系数．从而有效地控制输出权值的幅值，改善ESN的预测性能．该方法在月太阳黑子预测问题中显示出较好的结果．     

多元混沌时间序列的相关状态机预测模型研究

针对多元混沌时间序列预测存在的过拟合问题及高维输入变量冗余问题,提出一种新型的多变量稀疏化预测模型——多元相关状态机.该模型采用主成分分析方法对相空间重构后的高维输入变量进行低维表示,将动态储备池作为相关向量机的核函数,充分映射多元混沌时间序列的动力学特性,使得模型具有丰富的动态机制和良好的稀疏性能,有效避免过拟合问题,提高预测精度.基于两组多元混沌时间序列的仿真实验验证了模型的有效性.     

基于注意力机制回声状态神经网络的混沌系统预测

混沌系统在电路、保密通讯、加密解密等方面具有重要的研究意义.由于其对初值非常敏感,传统的统计学时间序列预测方法在处理混沌时间序列预测问题是具有挑战的.回声状态网络是一种特殊的循环神经网络,在复杂动态系统动力学与控制方面具有优势.经典的回声状态网络将每个样本置于同一地位,然而实际问题中不同的样本的重要性往往是有差异的.本文提出注意力机制回声状态神经网络模型,将回声状态网络与注意力机制相结合体现样本之间的差异性以及样本之间的相互作用对预测的影响.对混沌系统的预测结果表明注意力机制回声状态神经网络具有更好的预测性能.     

MULTI-LAYER CORRECTIVE CASCADE ARCHITECTURE FOR ON-LINE PREDICTIVE ECHO STATE NETWORKS

An architecture for on-line learning of time series prediction is presented which uses a series of echo state networks (ESNs). Each ESN learns to predict an error correction term for the previous ESN. This technique is demonstrated to improve prediction accuracy for on-line learning of the Mackey-Glass chaotic oscillator. The results are compared to other architectural configurations to show that the improved performance emerges from sequential ESN error correction. A new recurrent network structure is shown to be a useful simplification of the usual ESN reservoir.     

基于储备池主成分分析的多元时间序列预测研究

提出一种基于回声状态网络储备池的非线性ＰＣＡ 方法,并将其应用于多元时间序列的预测中．由于多维输入变量间的相关性会影响建模效果,通过储备池将输入在原空间的非线性特征转化成高维空间的线性特征．在其中运用线性ＰＣＡ 技术寻找输入在储备池空间的最大方差方向,提取有效的多元变量综合信息．经储备池主成分分析处理后的输入与预测点呈动态线性映射,可使用线性方法建模．仿真结果表明了该方法的有效性．     

改进回声状态网络的热点话题预测模型

为了提高网络热点话题的预测精度,针对传统回声状态网络存在的不足,提出一种改进回声状态网络的网络热点话题预测模型。首先将一维的网络热点话题时间序列重构成多维时间序列,然后采用改进回声状态网络对多维时间序列进行学习,建立网络热点话题预测模型,最后对模型性能进行仿真测试。结果表明,改进回声状态网络可对网络热点话题的变化趋势进行准确刻画,网络热点话题的预测精度得以提高,而具有更好的应用价值。     

一种错误率可控的混沌时间序列区间预测算法

针对高风险背景下的混沌时间序列区间预测问题,首次将回声状态网络与一致性预测框架相结合,提出基于两者的混沌时间序列区间预测算法.该算法将回声状态网络的拟合能力与一致性预测区间的可靠性相结合,使得最终的预测区间包含被预测值的频率或概率可以被显著性水平参数所控制,即预测区间具有极高的可信度.同时,由于使用岭回归学习回声状态网络的输出权重,使得算法在学习阶段对样本的留一交叉估计可以被快速地计算,极大地缩短了一致性预测的学习时间.理论分析表明,所提出算法的时间复杂度等价于原始回声状态网络算法的时间复杂度,即算法具有较快的计算速度.实验表明,所提出算法能够较精确地控制预测的错误率,对噪声具有鲁棒性,且预测区间比基于高斯过程的预测区间更加准确地刻画了被预测值的波动范围.