多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

基于Kalman滤波的储备池多元时间序列在线预报器

针对多元非线性时间序列, 结合回声状态网络和Kalman滤波提出一种新的在线自适应预报方法. 该方法将Kalman滤波应用于回声状态网络储备池高维状态空间中, 直接对网络的输出权值进行在线更新, 省去了传统递归网络扩展Kalman滤波中Jacobian矩阵的计算, 在提高预测精度的同时令算法的适用范围得到扩展. 在回声状态网络稳定时给出所提算法的收敛性证明. 仿真实例验证了所提方法的有效性.     

基于灵敏度分析的模块化回声状态网络修剪算法

针对回声状态网络（Echo state network,ESN）的结构设计问题,提出基于灵敏度分析的模块化回声状态网络修剪算法（Pruning algorithm for modular echo state network,PMESN）.该网络由相互独立的子储备池模块构成.首先利用矩阵的奇异值分解（Singular value decomposition,SVD）构造子储备池模块的权值矩阵,并利用分块对角阵原理生成储备池.然后利用子储备池模块输出和相应的输出层权值向量,定义学习残差对于子储备池模块的灵敏度以及网络规模适应度.利用灵敏度大小判断子储备池模块的贡献度,并根据网络规模适应度确定子储备池模块的个数,删除灵敏度低的子模块.在网络的修剪过程中,不需要缩放权值就可以保证网络的回声状态特性.实验结果说明,所提出的算法有效解决了ESN的网络结构设计问题,基本能够确定与样本数据相匹配的网络规模,具有较好的泛化能力和鲁棒性.     

基于贝叶斯回归的多核回声状态网络研究

在利用单储备池模型对多变量预测研究时,多个变量只能通过单个储备池进行特征映射,无法分别刻画各个变量的动力学特性.针对以上问题,提出一种多储备池回声状态网络.混沌系统中各个变量分别通过各个储备池扩展成高维的特征向量,采用Bayesian线性回归的方法,对多核回声状态网络输出权值进行训练,形成一种新的预报器,即多核贝叶斯状态回声机(MrBESN).实际数据的仿真结果验证了所提方法的有效性.     

污水处理过程出水水质稀疏鲁棒建模

污水处理过程中, 出水水质参数是衡量污水处理性能的最重要指标, 需要进行严格监测, 但现有传感技术难以对其进行实时准确地在线测量. 因此, 提出一种新型的基于随机权神经网络(Random vector functional-link networks, RVFLNs)与Schweppe型广义M估计(Generalized M-estimation, GM-estimation)的稀疏鲁棒建模方法, 用于水质指标的在线鲁棒预测. 首先, 针对常规RVFLNs隐含层矩阵存在多重共线性而导致最小二乘估计失效的问题, 利用稀疏偏最小二乘(Sparse partial least squares, SPLS)代替RVFLNs输出权值求解的最小二乘估计, 从而提出SPLS-RVFLNs. 该算法不仅可有效解决传统RVFLNs的多重共线性问题, 还可以进行建模变量选择, 提高模型的可解释性和最终的预测精度. 同时, 考虑到SPLS-RVFLNs在求解输出权值时会同时受到隐含层矩阵和输出层矩阵两个方向离群点的影响, 进一步采用Schweppe型广义M估计对SPLS-RVFLNs进行鲁棒改进, 从而提出GM-SPLS-RVFLNs, 可显著提高模型的稀疏鲁棒性能. 最后, 将提出的GM-SPLS-RVFLNs用于污水处理过程出水水质指标预测建模, 数据实验结果表明所提方法不仅解决了常规RVFLNs多重共线性和鲁棒性差的问题, 而且具有很好的预测精度和泛化性能.     

基于自组织模糊神经网络的出水总磷预测

针对污水处理过程出水总磷预测问题,本文提出一种基于改进Levenberg--Marquardt(improved Levenberg--Marquardt,ILM)学习算法和奇异值分解(singular value decomposition,SVD)的适于在线建模的自组织模糊神经网络(fuzzy neural network,FNN)预测方法.ILM-SVDFNN采用改进LM学习算法对隶属函数中心、宽度和输出权值进行训练.在参数自适应学习的同时,采用单边Jacobi变换实现规则层输出阵的奇异值分解,根据奇异值定义增长和修剪指标实现规则层神经元在线动态调整.此外,证明了所提方法在网络结构固定和调整阶段的收敛性.最后,利用典型非线性系统辨识、Mackey-Glass时间序列预测和实际污水处理过程出水总磷预测实验进行验证.仿真结果显示所设计的自组织模糊神经网络结构紧凑且预测精度较高,较好地满足了污水处理厂对出水总磷检测精度和实时性的要求.     

奇异值分解下在线鲁棒正则化随机网络

在线鲁棒随机权神经网络(OR-RVFLN)具有较好的逼近性、较快的收敛速度、较高的鲁棒性能以及较小的存储空间.但是, OR-RVFLN算法计算过程中会产生矩阵的不适定问题,使得隐含层输出矩阵的精度较低.针对这个问题,本文提出了奇异值分解下在线鲁棒正则化随机网络(SVD-OR-RRVFLN).该算法在OR-RVFLN算法的基础上,将正则化项引入到权值的估计中,并且对隐含层输出矩阵进行奇异值分解;同时采用核密度估计(KDE)法,对整个SVD-OR-RRVFLN网络的权值矩阵进行更新,并分析了所提算法的必要性和收敛性.最后,将所提的方法应用于Benchmark数据集和磨矿粒度的指标预测中,实验结果证实了该算法不仅可以有效地提高模型的预测精度和鲁棒性能,而且具有更快的训练速度.     

基于稀疏表示剪枝集成建模的烧结终点位置智能预测

烧结终点位置(BTP)是烧结过程至关重要的参数,直接决定着最终烧结矿的质量.由于BTP难以直接在线检测,因此,通过智能学习建模来实现BTP的在线预测并在此基础上进行操作参数调节对提高烧结矿质量具有重要意义.针对这一实际工程问题,首先提出一种基于遗传优化的Wrapper特征选择方法,可选取使后续预测建模性能最优的特征组合;在此基础上,为了解决单一学习器容易过拟合的问题,提出了基于随机权神经网络(RVFLNs)的稀疏表示剪枝(SRP)集成建模算法,即SRP-ERVFLNs算法.所提算法采用建模速度快、泛化性能好的RVFLNs作为个体基学习器,采用对基学习器基函数与隐层节点数等参数进行扰动的方式来增加集成学习子模型间的差异性;同时,为了进一步提高集成模型的泛化性能与计算效率,引入稀疏表示剪枝算法,实现对集成模型的高效剪枝;最后,将所提算法用于烧结过程BTP的预测建模.工业数据实验表明,所提方法相比于其他方法具有更好的预测精度、泛化性能和计算效率.     

集成自编码与PCA的高炉多元铁水质量随机权神经网络建模

针对随机权神经网络（Random vector functional-link networks，RVFLNs）建模存在的过拟合和泛化能力差的问题，集成自编码（Autoencoder）和主成分分析（Principal component analysis，PCA）技术，提出一种新型的改进RVFLNs算法，即AE-P-RVFLNs算法，用于建立高炉多元铁水质量在线估计的NARX（Nonlinear autoregressive exogenous）模型.首先，为了尽可能挖掘实际复杂工业数据中的有用信息和充分揭示输入数据之间的内在关系，采用Autoencoder前馈随机网络技术训练建模输入数据，并将训练得到的输出权值作为后续RVFLNs的输入权值；然后，引入PCA技术对RVFLNs的高维隐层输出矩阵进行降维，避免隐层输出矩阵多重共线性问题，从而解决由于隐层节点过多导致模型过拟合的问题；最后，基于所提AE-P-RVFLNs算法建立某大型高炉多元铁水质量在线估计的NARX模型.工业实验和比较分析表明:采用本文算法建立的多元铁水质量在线估计模型可有效提高运算效率和估计精度，尤其是避免常规RVFLNs建模存在的过拟合问题.     

求解非线性回归问题的Newton算法

针对大规模非线性回归问题,提出基于静态储备池的Newton算法.利用储备池搭建高维特征空间,将原始问题转化成与储备池维数相关的线性支持向量回归问题,并应用Newton算法求解.鲁棒损失函数的应用可抑制异常点对预测结果的干扰.通过与SVR(Support Vector Regression)及储备池Tikhonov正则化方法比较,验证了所提方法的快速性、较高的预测精度和较好的鲁棒性.     

单隐层神经网络输入权值的新算法

针对传统极端学习机输入权值与隐层阈值随机设定的问题,提出了输出值反向分配算法。算法在传统极端学习机的基础上,通过优化方法得到最优输出值分配系数,并利用最小二乘法确定网络输入参数。将该算法应用到常用数据集进行实验,并与其他极端学习机改进算法进行比较,显示该算法有良好的学习以及泛化能力,能够得到简单的网络结构,证明了算法的有效性。     

基于增量式学习的正则化回声状态网络

针对回声状态网络(ESN)的结构设计问题,提出增量式正则化回声状态网络(IRESN).该网络由相互独立的子储备池模块构成,首先,子储备池根据奇异值分解方法生成,且可以保证每个子储备池权值矩阵的奇异值都小于1;其次,利用问题复杂度或者残差,将网络中逐一添加子储备池,直至满足预设的终止条件,在生成IRESN的过程中,回声状...     

多元混沌时间序列的因子回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时存在的病态解问题, 本文建立了因子回声状态网络模型, 通过因子分析(Factor analysis, FA)方法提取高维储备池状态矩阵的公因子, 去除冗余和噪声成分. 利用降维后的因子变量与期望输出之间的线性回归关系, 求解网络未知参数. 基于Lorenz序列和大连月平均气温--降雨量的仿真实验验证了本文所提模型的有效性.     

一种错误率可控的混沌时间序列区间预测算法

针对高风险背景下的混沌时间序列区间预测问题,首次将回声状态网络与一致性预测框架相结合,提出基于两者的混沌时间序列区间预测算法.该算法将回声状态网络的拟合能力与一致性预测区间的可靠性相结合,使得最终的预测区间包含被预测值的频率或概率可以被显著性水平参数所控制,即预测区间具有极高的可信度.同时,由于使用岭回归学习回声状态网络的输出权重,使得算法在学习阶段对样本的留一交叉估计可以被快速地计算,极大地缩短了一致性预测的学习时间.理论分析表明,所提出算法的时间复杂度等价于原始回声状态网络算法的时间复杂度,即算法具有较快的计算速度.实验表明,所提出算法能够较精确地控制预测的错误率,对噪声具有鲁棒性,且预测区间比基于高斯过程的预测区间更加准确地刻画了被预测值的波动范围.     

采用资格迹的神经网络学习控制算法

强化学习是解决自适应问题的重要方法,被广泛地应用于连续状态下的学习控制,然而存在效率不高和收敛速度较慢的问题.在运用反向传播(back propagation,BP)神经网络基础上,结合资格迹方法提出一种算法,实现了强化学习过程的多步更新.解决了输出层的局部梯度向隐层节点的反向传播问题,从而实现了神经网络隐层权值的快速更新,并提供一个算法描述.提出了一种改进的残差法,在神经网络的训练过程中将各层权值进行线性优化加权,既获得了梯度下降法的学习速度又获得了残差梯度法的收敛性能,将其应用于神经网络隐层的权值更新,改善了值函数的收敛性能.通过一个倒立摆平衡系统仿真实验,对算法进行了验证和分析.结果显示,经过较短时间的学习,本方法能成功地控制倒立摆,显著提高了学习效率.     

回响状态网络输出连接权重的一个稳定训练方法

鉴于在回响状态网络(ESN)的应用中常使用Wiener-Hopf方程学习输出连接权重,但该方法难以保证自治ESN的稳定性,首先分析了导致该稳定性丧失的原因,提出并证明了自治ESN具备Lyapunov稳定性的一个充分条件;然后将输出连接权重学习问题转化为一个非线性约束的最优化问题,并采用粒子群优化算法求解.仿真结果表明,所提方法既能确保ESN获取高精度的预测输出,又能保ESN的Lyapunov稳定性.     

Heuristic Dynamic Programming Using Echo State Network For Multivariable Tracking Control Of Wastewater Treatment Process

This paper proposes a heuristic dynamic programming (HDP) scheme to simultaneously control the dissolved oxygen concentration and the nitrate level in wastewater treatment processes (WWTP). Unlike traditional HDP schemes, the optimal control values are calculated in an analytical way by the proposed HDP controller. It can reduce the learning burden of the HDP controller to a great extent. The system model and the evaluation index J are approximated by two echo state networks (ESNs). Gradient‐based learning algorithms are employed to train both ESNs online, and the convergence of the training algorithm is investigated based on Lyapunov theory. The performance of the proposed ESN‐based HDP (E‐HDP) controller is tested and evaluated on a WWTP benchmark. Experimental results demonstrate that the proposed approach can achieve effective performance.     

一种回声状态网络的权值初始化方法

为了避免奇异解,提高网络性能,给出一种回声状态网络的权值初始化方法(WIESN).利用柯西不等式和线性代数确定优化的初始权值的范围与输入维数、储备池维数、输入变量和储备池状态相关,从而确保神经元的输出位于sigmoid函数的激活区域.实验结果表明,权值初始化方法的精度和训练时间要优于随机初始化方法,且相比于训练时间,权值初始化的时间是可以忽略不计的.