ESN 岭回归学习算法及混沌时间序列预测

ESN（回声状态网络）是一种新型的递归神经网络．可有效处理非线性系统辨识以及混沌时间序列预测问题．针对ESN学习算法中可能存在的解的奇异问题，利用岭回归方法代替原有的线性回归算法．通过贝叶斯或Bootstrap方法确定岭回归方法中的正则项系数．从而有效地控制输出权值的幅值，改善ESN的预测性能．该方法在月太阳黑子预测问题中显示出较好的结果．     

基于自组织模糊神经网络的出水总磷预测

针对污水处理过程出水总磷预测问题,本文提出一种基于改进Levenberg--Marquardt(improved Levenberg--Marquardt,ILM)学习算法和奇异值分解(singular value decomposition,SVD)的适于在线建模的自组织模糊神经网络(fuzzy neural network,FNN)预测方法.ILM-SVDFNN采用改进LM学习算法对隶属函数中心、宽度和输出权值进行训练.在参数自适应学习的同时,采用单边Jacobi变换实现规则层输出阵的奇异值分解,根据奇异值定义增长和修剪指标实现规则层神经元在线动态调整.此外,证明了所提方法在网络结构固定和调整阶段的收敛性.最后,利用典型非线性系统辨识、Mackey-Glass时间序列预测和实际污水处理过程出水总磷预测实验进行验证.仿真结果显示所设计的自组织模糊神经网络结构紧凑且预测精度较高,较好地满足了污水处理厂对出水总磷检测精度和实时性的要求.     

基于Adaboost算法的回声状态网络预报器

把单个回声状态网络(echo state network,ESN)的预测模型作改进,对整体ESN预测精度的提高是有限的.针对以上问题,本文考虑整体ESN.首先利用Adaboost算法提升单个ESN的泛化性能及预测精度,并且根据Adaboost算法的结果,建立一种ESN预报器(Adaboost ESN,ABESN).这个ESN预报器根据拟合误差不断修正训练样本的权重,拟合误差越大,训练样本权重值就越大;因此,它在下一次迭代时,就会侧重在难以学习的样本.把单个ESN的预测模型经过加权,然后按照加法组合在一起,形成最终的ESN预测模型.将该预测模型应用于太阳黑子、Mackey-Glass时间序列的预测研究,仿真结果表明所提出的预测模型在实际时间序列预测领域的有效性.     

基于蚁群算法优化回声状态网络的研究

针对输出权值采用最小二乘法的回声状态网络(ESN),在随机选取输入权值和隐层神经元阈值时,存在收敛速度慢、预测精度不稳定等问题,提出了基于蚁群算法优化回声状态网络(ACO-ESN)的算法。该算法将优化回声状态网络的初始输入权值、隐层神经元阈值问题转化为蚁群算法中蚂蚁寻找最佳路径的问题,输出权值采用最小二乘法计算,通过蚁群算法的更新、变异、遗传等操作训练回声状态网络,选择出使回声状态网络预测误差最小的输入权值和阈值,从而提高其预测性能。将ACO-ESN与ELM、I-ELM、OS-ELM、B-ELM等神经网络的仿真结果进行对比,结果验证经过蚁群算法优化的回声状态网络加快了其收敛速度,改善了其预测性能,并增强了隐层神经元的敏感度。     

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

改进回溯搜索优化回声状态网络时间序列预测

回声状态网络(Echo State Network, ESN)网络结构简单且耦合"时间参数",在时间序列预测研究中具有重要的理论和应用价值.本文提出使用自适应回溯搜索算法(Adaptive Backtracking Search optimization Algorithm,ABSA)优化ESN输出连接权值矩阵,克服标准线性回归方法造成的网络过拟合问题. ABSA使用自适应变异因子策略替换标准BSA中随机给定变异因子的策略,实现BSA在收敛精度和收敛速率之间的平衡.实验表明,采用ABSA优化的ESN能够比未优化的ESN和采用其他进化算法优化的ESN获得更好的预测精度.     

基于灵敏度分析的模块化回声状态网络修剪算法

针对回声状态网络（Echo state network,ESN）的结构设计问题,提出基于灵敏度分析的模块化回声状态网络修剪算法（Pruning algorithm for modular echo state network,PMESN）.该网络由相互独立的子储备池模块构成.首先利用矩阵的奇异值分解（Singular value decomposition,SVD）构造子储备池模块的权值矩阵,并利用分块对角阵原理生成储备池.然后利用子储备池模块输出和相应的输出层权值向量,定义学习残差对于子储备池模块的灵敏度以及网络规模适应度.利用灵敏度大小判断子储备池模块的贡献度,并根据网络规模适应度确定子储备池模块的个数,删除灵敏度低的子模块.在网络的修剪过程中,不需要缩放权值就可以保证网络的回声状态特性.实验结果说明,所提出的算法有效解决了ESN的网络结构设计问题,基本能够确定与样本数据相匹配的网络规模,具有较好的泛化能力和鲁棒性.     

基于ESN的锂电池SOC评估方法与仿真研究

以新能源车载锂电池为研究对象,建立基于回声状态网络（ESN）预测锂电池的荷电状态（SOC）评估模型。采用交叉验证方法优选回声状态网络参数,以此解决网络模型的参数选择困难。通过带遗忘因子的递归最小二乘法训练建立的回声状态网络模型,实时更新输出权值矩阵以此提高网络的适应性和精度。通过模型仿真分析验证了预测算法的可行性,进一步对比分析了所建立的ESN预测模型与BP神经网络算法、径向基（RBF）网络算法在UDDS、US06和NYCC工况条件下的锂电池SOC评估预测效果,结果表明所建立的回声状态网络模型方法用于锂电池SOC评估预测的性能和效果优于BP算法和RBF算法,具有较好的应用前景,可以为锂电池SOC长期长效预测评估提供参考。     

基于变分推理回声状态网络集成模型的工业数据区间预测

针对含噪声工业时间序列数据的区间预测问题,本文提出了一种使用变分推理来数值求解回声状态网络(echo state network,ESN)集成模型参数的区间预测方法.在模型构建上,将ESN集成模型中各个ESN单元输出权值向量的先验分布方差设置为相互独立形式,相比较非独立形式更有利于模型稳定性;在模型参数求解上,本文提出用变分推理来近似推导出集成模型中所有不确定参数的联合后验概率分布,以分布中的参数均值作为模型参数值,相对于已有ESN集成模型使用最大化边缘似然度的参数估计方法效果更好.为验证提出方法的有效性,测试了人工数据集和钢铁企业真实煤气数据集.实验结果表明本文方法参数估计更为准确,在预测精度,区间质量和模型稳定性以及耗时方面表现优秀.     

基于VAE-ELM的时间序列预测及应用

针对传统自适应集成极限学习机预测算法中集成权值更新不充分,受人为因素影响较大所导致的集成模型预测精度较低的问题,提出一种基于方差自适应集成极限学习机(Variance Adaptive Ensemble of Extreme Learning Machine,VAE-ELM)的时间序列预测算法。该算法以最小化预测误差为目标,根据各个弱学习机的预测误差,通过反复迭代自适应地对其集成权值进行多次更新,按照最终的集成权值向量集成各个弱学习机得到最终输出。时间序列的仿真结果及液压泵状态参数预测实例表明,与E-ELM和AE-ELM算法相比,该算法鲁棒性强,预测精度更高。     

基于Kalman滤波的储备池多元时间序列在线预报器

针对多元非线性时间序列, 结合回声状态网络和Kalman滤波提出一种新的在线自适应预报方法. 该方法将Kalman滤波应用于回声状态网络储备池高维状态空间中, 直接对网络的输出权值进行在线更新, 省去了传统递归网络扩展Kalman滤波中Jacobian矩阵的计算, 在提高预测精度的同时令算法的适用范围得到扩展. 在回声状态网络稳定时给出所提算法的收敛性证明. 仿真实例验证了所提方法的有效性.     

基于改进回声状态神经网络的个股股价预测

当今社会股价预测是研究的热门问题,人们越来越关注对股价预测模型的建立,提高股价预测的精度对股票投资者有实际的应用价值.目前股价的预测方法层出不穷,其中较为典型的有传统的技术分析和ARMA模型等.为了提升预测的精度,同时考虑到股市的非线性,本文提出一种改进的回声状态神经网络的个股股价预测模型,针对回声状态神经网络(ESN)泛化能力不强的特点,应用改进的粒子群算法(GTPSO)对回声状态神经网络(ESN)的输出连接权进行搜索,最终得到最优解,即ESN的最优输出连接权,GTPSO算法概括来说就是在传统粒子群算法(PSO)的基础上引入禁忌搜索算法(TS)中禁忌的思想和遗传算法(GA)中变异的思想,从而降低PSO在学习过程中陷入局部最小值的状况,同时提高PSO搜寻全局的能力.将预测模型用于个股每日收盘价预测中,使用每10天的收盘价预测第11天的收盘价.通过实验验证了模型的正确性,实验证实,该模型拥有较好的预测效果.     

考虑气象因素的短期电力负荷预测研究

针对如何提高短期电力负荷预测精度的问题,提出基于核主成分分析法(Kernel principal component analysis,KPCA)和改进的回声状态网络(Echo state network,ESN)算法相结合的方法对短期电力负荷进行预测研究。通过卡尔曼滤波(Kalman filtering,KF)方法训练回声状态网络的输出权值,引入修正因子对卡尔曼滤波的协方差矩阵进行修正,从而实现回声状态网络结构参数的调整,获得理想的网络结构模型。采用Lyapunov理论验证了改进回声状态网络算法的收敛性。采用核主成分分析法对气象因素进行降维处理,获得能够体现数据信息的主元信息。通过UCI(University of California Irvine)数据集仿真对比,验证了该算法相比于ESN、SVM(Support vector machine)、BP(Back propagation)、GA(Genetic algorithm)等算法具有更高的预测精度。在考虑气象因素的前提下,对短期负荷预测进行仿真实验,实验结果显示在正常天气和存在气象突变的情况下,改进的回声状态网络算法较GA-ESN和GA-BP算法有更高的预测精度,验证了该方法的实用性。     

基于KF与ESN的糖厂澄清工段在线预测

糖厂澄清工段是甘蔗制糖的重要工艺环节之一,是一个复杂的物理、化学过程,具有非线性、大时滞、时变等特点.而且不同的榨季、甘蔗的品种、新技术的应用等情况,都可能导致过去良好的控制模型往往不能及时适应新情况的发生.基于大量离线、在线数据,结合回声状态网络(ESN)和Kalman滤波(KF)的特点,设计了应用于糖厂澄清工段的在线自适应预测方法.该方法将Kalman滤波应用于ESN的高维状态空间中,可以直接对网络的输出权值进行更新.将仿真结果与基于EKF的RBF网络相比较,说明了基于KF与ESN的糖厂澄清工段在线预测模型的优越性.     

基于延迟回声状态网的光伏电池板温度预测方法

光伏电池温度变化影响光伏系统输出的稳定性, 精准地预测光伏电池板温度的变化趋势, 对光伏系统智能运行具有重要意义. 为了更好地预测温度的变化趋势, 本文考虑了光伏电池板温度的迟滞效应, 将先前的温度输出作为延迟项引入回声状态网中, 提出了一种基于延迟回声状态网的光伏电池板温度预测模型. 给出一个延迟回声状态网具有回声状态特性的判定条件, 使得预测模型能够稳定地预测光伏电池板温度. 同时, 建立了一套光伏多传感器监测系统, 利用该监测系统采集的数据, 训练和验证模型的准确性. 与回声状态网(Echo state network, ESN), Leaky ESN (Leaky-integrator ESN)和VML ESN (ESN with variable memory length)相比, 仿真结果表明, 本文所提出的延迟回声状态网具有更好的预测性能, 平均绝对百分比误差甚至达到3.45%.     

一种深度回声状态网络的输入尺度自适应算法

深度回声状态网络是回声状态网络与深度学习思想的结合,合理选取不同谱半径的内部状态矩阵和弱积分参数能有效增强深度回声状态网络的多尺度时域特性。利用数据可视化分析输出矩阵在不同网络层中的分布关系,发现高层网络中部分神经元处于饱和工作状态且该状态抑制了网络动态预测能力。提出一种深度回声状态网络的输入矩阵自适应算法,在对网络内部状态的均值和方差进行递推估计的基础上判断神经元饱和状态,通过自适应调整各层输入权重的值来增强神经元动态性。数值计算结果表明,基于输入尺度自适应算法的深度回声状态网络相对同等规模的单层回声状态网络对于动态系统的预测精度有成倍提升。     

Stock Price Forecasting: An Echo State Network Approach

Forecasting stock prices using deep learning models suffers from problems such as low accuracy, slow convergence, and complex network structures. This study developed an echo state network (ESN) model to mitigate such problems. We compared our ESN with a long short-term memory (LSTM) network by forecasting the stock data of Kweichow Moutai, a leading enterprise in China’s liquor industry. By analyzing data for 120, 240, and 300 days, we generated forecast data for the next 40, 80, and 100 days, respectively, using both ESN and LSTM. In terms of accuracy, ESN had the unique advantage of capturing nonlinear data. Mean absolute error (MAE) was used to present the accuracy results. The MAEs of the data forecast by ESN were 0.024, 0.024, and 0.025, which were, respectively, 0.065, 0.007, and 0.009 less than those of LSTM. In terms of convergence, ESN has a reservoir state-space structure, which makes it perform faster than other models. Root-mean-square error (RMSE) was used to present the convergence time. In our experiment, the RMSEs of ESN were 0.22, 0.27, and 0.26, which were, respectively, 0.08, 0.01, and 0.12 less than those of LSTM. In terms of network structure, ESN consists only of input, reservoir, and output spaces, making it a much simpler model than the others. The proposed ESN was found to be an effective model that, compared to others, converges faster, forecasts more accurately, and builds time-series analyses more easily.     

改进果蝇算法优化回声状态网络的旅游需求预测研究

首先对标准果蝇优化算法FOA进行改进,自适应调整果蝇种群数量和搜索步长,同时优化初始迭代位置,改善算法局部搜索能力和搜索效率。接着将改进的FOA算法AFOA与回声状态网络ESN相结合,构建一个两阶段组合预测模型(AFOA-ESN),通过AFOA优化ESN获取其关键参数,将优化后的参数输入ESN,形成最终的组合预测模型。最后利用该模型进行旅游需求预测。实验结果表明,AFOA-ESN模型较自回归移动平均模型、支持向量机模型、BP神经网络、标准ESN网络以及其他预测模型具有更高的预测精度。