基于改进差分进化和回声状态网络的时间序列预测研究

针对回声状态网络无法根据不同的时间序列有效地选择储备池参数的问题, 本文提出一种新型预测模型, 利用改进的差分进化算法来优化回声状态网络. 其中差分进化算法的缩放因子F、交叉概率CR和变异策略自适应调整, 以提高算法的寻优性能. 为验证本文方法的有效性, 对Lorenz时间序列、大连月平均气温 − 降雨量数据集进行仿真实验. 由实验结果可知, 本文提出的模型可以提高时间序列的预测精度, 且具有良好的泛化能力及实际应用价值.     

回声状态网络LM算法及混沌时间序列预测

回声状态网络（ESN）学习算法中可能存在解的奇异问题,在时间序列预测时易导致病态解问题,且伴随着具有较大幅值的输出权值,尤其是当训练样本个数小于输出权值维数时,ESN的解必为奇异的.鉴于此,考虑使用LM（Levenberg Marquardt）算法代替常用的线性回归方法,自适应选择LM参数,从而有效地控制输出权值的幅值,提高ESN的预测性能.通过Lorenz混沌时间序列进行预测研究,对大连月平均气温实际数据进行仿真研究,取得了较好的预测效果.     

多元混沌时间序列的因子回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时存在的病态解问题, 本文建立了因子回声状态网络模型, 通过因子分析(Factor analysis, FA)方法提取高维储备池状态矩阵的公因子, 去除冗余和噪声成分. 利用降维后的因子变量与期望输出之间的线性回归关系, 求解网络未知参数. 基于Lorenz序列和大连月平均气温--降雨量的仿真实验验证了本文所提模型的有效性.     

延迟深度回声状态网络及其在时间序列预测中的应用

为提高回声状态网络对于时间序列预测问题的处理能力, 本文提出了一种延迟深度回声状态网络构造方法.该方法将多个子神经元池顺序连接, 每两个相邻的子神经元池之间嵌入了一个滞后环节.由于滞后环节的存在,该网络可将长时记忆任务转化为一系列短时记忆任务, 从而简化长时依赖问题的求解, 同时降低神经元池的构建难度.实验表明, 该网络具有强大的短时记忆容量, 对初始参数有较好的鲁棒性, 对时间序列预测问题的处理能力也比常规回声状态网络有显著提高.     

基于小世界回声状态网的时间序列预测

为了提高时间序列的预测精度, 提出了利用改进的小世界网络优化泄露积分型回声状态网(Leaky-integrator echo state network, Leaky ESN)的时间序列预测方法. 首先提出一个改进型小世界网络, 其加边概率是节点间距离的负指数函数. 然后, 利用加边概率直接表示Leaky ESN储备池两个神经节点的连接权值, 取值范围为[0,1], 表征了节点间的连接程度. 利用这个新型小世界网络改进Leaky ESN的储备池神经节点的连接方式, 有目的地实现了稀疏连接, 减小了Leaky ESN储备池随机稀疏连接的盲目性, 提高了储备池的适应性.最后, 利用改进的Leaky ESN预测典型的非线性时间序列, 并利用Matlab仿真软件验证了本文提出方法的有效性. 与Leaky ESN相比, 本文提出的方法具有更高的预测精度和更短的训练时间.     

基于层次化可塑性回声状态网络的混沌时间序列预测

为了提高回声状态网络对于混沌时间序列特征提取与预测的能力,提出一种层次化可塑性回声状态网络模型.该模型将多个储备池顺序连接,通过逐层特征变换的方式增强对非线性多尺度动态特征的提取能力.同时,引入神经科学中的内在可塑性机制模拟真实生物神经元的放电率分布,以最大化神经元的信息传递为目标对储备池进行预训练.层次化可塑性回声状态网络不仅能够增加模型的容量,降低随机投影所带来的不稳定性,而且也为理解储备池的表示、处理、记忆及储存操作提供一种新的思路.仿真实验结果表明,相比于其他7种改进的回声状态网络模型,所提出的模型在人造数据和真实数据所构成的混沌时间序列预测任务中均能取得最优的预测精度.     

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

基于改进回声状态网络的网络热点话题预测

网络热点话题具有时变性和非线性,灰色、负面热点话题对社会稳定产生不利影响。为了提高网络热点话题的预测精度,提出一种基于改进回声状态网络的热点话题预测模型(MESN)。首先构建网络热点话题的学习样本,然后采用回声状态网络建立网络热点话题预测模型,并利用改进粒子群优化算法对回声状态网络参数进行优化,建立最优网络热点话题预测模型,最后应用具体网络热点话题数据进行仿真实验。结果表明,该模型不仅提高了网络热点话题预测精度,而且加快了网络热点话题的建模速度,可以满足网络热点话题在线预测。     

改进回声状态网络的热点话题预测模型

为了提高网络热点话题的预测精度,针对传统回声状态网络存在的不足,提出一种改进回声状态网络的网络热点话题预测模型。首先将一维的网络热点话题时间序列重构成多维时间序列,然后采用改进回声状态网络对多维时间序列进行学习,建立网络热点话题预测模型,最后对模型性能进行仿真测试。结果表明,改进回声状态网络可对网络热点话题的变化趋势进行准确刻画,网络热点话题的预测精度得以提高,而具有更好的应用价值。     

基于EPNET模型和多期预测的时间序列预测

文中主要研究了基于EPNET(Evolutionary Programming Net)的时间序列预测问题。EPNET是一种进化人工神经网络模型,它能够同时代化网络权值和网络结构。该模型没有采用遗传算法中的交叉算子,而是采用了五个变异算子来获得比较理想的进化效果。在此基础上,提出了基于该模型的时间序列预测算法,介绍了该算法实现时的有关问题。     

遗传算法优化回声状态网络的网络流量预测

网络流量预测是网络拥塞控制与网络管理的一个重要问题. 网络流量时间序列具有时变、非线性特征,导致传统时间序列预测方法预测精度比较低,无法建立精确的预测模型.回声状态网络(echo state network, ESN)在非线性混沌系统预测与建模方面有着良好的性能,非常适合网络流量的预测.为了提高网络流量的预测精度,提出一种基于遗传算法(genetic algorithm, GA)优化回声状态网络的网络流量非线性预测方法.首先利用回声状态网络对网络流量进行预测;然后利用遗传算法对回声状态网络预测模型中的储备池参数进行优化,提高预测模型的预测精度.通过中国联合网络通信公司辽宁分公司采集的实际网络流量数据进行了仿真验证.与差分自回归滑动平均模型(auto regressive integrated moving average, ARIMA)、Elman神经网络以及最小二乘支持向量机(least square support vector machine, LSSVM)这3种常见预测模型进行了对比,仿真结果表明提出的方法具有更高的预测精度与更小的预测误差,更能刻画网络流量复杂的变化特点.     

基于罚函数内点法的泄露积分型回声状态网的参数优化

为了提升泄露积分型回声状态网（Leaky integrator echo state network,Leaky-ESN）的性能,提出利用罚函数内点法优化Leaky-ESN的全局参数,如泄漏率、内部连接权矩阵谱半径、输入比例因子等,这克服了通过反复试验法选取参数值而降低了Leaky-ESN模型的优越性和性能.Leaky-ESN的全局参数必须保障回声状态网满足回声状态特性,因此它们之间存在不等式约束条件.有学者提出利用随机梯度下降法来优化内部连接权矩阵谱半径、输入比例因子、泄露率三个全局参数,一定程度上提高了Leaky-ESN的逼近精度.然而,随机梯度下降法是解决无约束优化问题的基本算法,在利用随机梯度下降法优化参数时,没有考虑参数必须满足回声特性的约束条件（不等式约束条件）,致使得到的参数值不是最优解.由于罚函数内点法可以求解具有不等式约束的最优化问题,应用范围广,收敛速度较快,具有很强的全局寻优能力.因此,本文提出利用罚函数内点法优化Leaky-ESN的全局参数,并以时间序列预测为例,检验优化后的Leaky-ESN的预测性能,仿真结果表明了本文提出方法的有效性.     

基于ESN和改进RBFNN的城市燃气负荷预测

城市燃气负荷预测是城市燃气管网系统运行调度中的重要内容.针对燃气负荷数据的周期性和非线性特点,以及单一模型存在的局限性,本文提出一种ESN和改进RBF神经网络的组合预测模型.首先用核Fisher线性判别对原始数据进行降维,其次用ESN模型进行初步预测,然后将ESN的预测结果作为RBF神经网络的输入来构建组合模型,并将差分进化算法和梯度下降算法结合,对RBF神经网络的结构和参数同时进行训练和优化,以增强算法的局部搜索能力,加快收敛速度.实验结果表明,本文模型比原组合模型的预测精度更高.     

基于改进遗传算法优化BP神经网络的销售预测模型

随着经济的快速发展,众多企业步入科学化管理的时代.销售预测是企业经营活动中必不可少的一个环节,预测的准确性直接关系到销售经营的成败.因此提出基于传统BP神经网络与时间序列预测模型为一体的改良BP神经网络预测模型,通过该模型的预测,可以更可靠地预测企业在未来单位时间内的销售额.改良神经网络参考了同步时间序列的预测做出了自我校准,并利用遗传算法达到通过校准得到自我优化的目的,简化网络结构,提高预测的准确度.     

基于CNN和MC的水文时间序列预测组合模型

对于水位精准的预测是预防洪涝灾害的有效措施。在深度学习不断发展的背景下,提出基于卷积神经网络和马尔科夫链的水文时间序列预测组合模型,该模型解决了现有算法未考虑站点之间空间的相关性、多维输入的时候会提高特征提取中数据重建的复杂度,以及单一模型只考虑水位时间序列线性部分而未考虑非线性部分所导致的预测精度低的问题。该组合模型首先运用卷积神经网络训练水位时间序列和降雨量时间序列对未来水位进行预测,并结合原始时间序列计算得到残差序列,再将使用马尔科夫链训练残差序列得到的残差预测结果和卷积神经网络预测的值相加得到最终的结果。实验表明,该方法与现有算法相比,在预报准确率上能够取得更好的效果。     

马尔科夫模型改进的时间序列预测算法研究

时间序列的传统预测方法能够很好地拟合和预测平稳时间序列,对于非线性非平稳的时间序列数据预测效果不好。为解决该问题,文本提出一种改进的预测算法。通过小波分解和单边重构,原始时间序列被分解为一列低频数据和两列高频数据。低频数据采用传统的时间序列方法 GARCH模型预测,高频数据使用改进方法预测。通过马尔科夫模型预测出状态区间,结合指数平滑法,预测出高频结果。与低频数据结果叠加得到最终预测结果。经误差比较,改进算法预测精度有较大提升。     

改进果蝇算法优化CIAO-LSTM网络的时序预测模型

为了提高时间序列的预测精度,提出了一种基于改进果蝇算法优化直连长短期记忆网络的时间序列预测方法。将长短期记忆网络的多个时间步输入与输出进行全连接(CIAO-LSTM,直连长短期记忆网络),增强了对目标系统中线性成分的表征。提出了一种改进的果蝇优化算法(IFOA),通过动态改变果蝇的搜索半径和对适应度函数增加逃脱系数,提高了果蝇优化算法的全局寻优能力和局部收敛速度。使用IFOA优化CIAO-LSTM网络参数并构建预测模型(IFOA_CIAO-LSTM)。实验结果表明,优化后的时序预测方法相比传统的长短期记忆网络泛化能力更强、预测精度更高,对于波动较大的数据可以实现更好的拟合。