基于增量式学习的正则化回声状态网络

针对回声状态网络(ESN)的结构设计问题,提出增量式正则化回声状态网络(IRESN).该网络由相互独立的子储备池模块构成,首先,子储备池根据奇异值分解方法生成,且可以保证每个子储备池权值矩阵的奇异值都小于1;其次,利用问题复杂度或者残差,将网络中逐一添加子储备池,直至满足预设的终止条件,在生成IRESN的过程中,回声状...     

L1/2正则化Logistic回归

提出一种L1/2正则化Logistic回归模型,并针对此模型构造有效的求解算法.文中模型基于L1/2正则化理论建立,有效改善传统模型存在的变量选择与计算过拟合问题.文中算法基于"坐标下降"思想构造,快速有效.在一系列人工和实际数据集上的实验表明,文中算法在分类问题中具有良好的变量选择能力和预测能力,优于传统Logistic回归和L1正则化Logistic回归.     

多元混沌时间序列的因子回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时存在的病态解问题, 本文建立了因子回声状态网络模型, 通过因子分析(Factor analysis, FA)方法提取高维储备池状态矩阵的公因子, 去除冗余和噪声成分. 利用降维后的因子变量与期望输出之间的线性回归关系, 求解网络未知参数. 基于Lorenz序列和大连月平均气温--降雨量的仿真实验验证了本文所提模型的有效性.     

改进回声状态网络的热点话题预测模型

为了提高网络热点话题的预测精度,针对传统回声状态网络存在的不足,提出一种改进回声状态网络的网络热点话题预测模型。首先将一维的网络热点话题时间序列重构成多维时间序列,然后采用改进回声状态网络对多维时间序列进行学习,建立网络热点话题预测模型,最后对模型性能进行仿真测试。结果表明,改进回声状态网络可对网络热点话题的变化趋势进行准确刻画,网络热点话题的预测精度得以提高,而具有更好的应用价值。     

基于回声状态网络的回转窑工况识别方法

回转窑烧成带图像蕴含了丰富的温度场和熟料烧结信息,是回转窑烧结工况识别的重要依据.现有的基于静态图像的识别方法易受各种噪声影响,工况识别准确率较低.而视频图像序列蕴含了更多的烧结工况,具有区分性和不变性时空特征,在反映烧结工况变化方面信息更全面,更鲁棒.鉴于循环神经网络(RNN)和回声状态网络(ESN)适合处理时间序列...     

基于L1/2正则化的三维人体姿态重构

针对从给定2D特征点的单目图像中重构对象的3D形状问题,本文在形状空间模型的基础上,结合L_1/2正则化和谱范数的性质提出一种基于L_1/2正则化的凸松弛方法,将形状空间模型的非凸求解问题通过凸松弛方法转化为凸规划问题;在采用ADMM算法对凸规划问题进行优化求解过程中,提出谱范数近端梯度算法保证解的正交性与稀疏性.利用所提的优化方法,基于形状空间模型和3D可变形状模型在卡内基梅隆大学运动捕获数据库上进行3D人体姿态重构,定性和定量对比实验结果表明本文方法均优于现有的优化方法,验证了所提方法的有效性.     

基于回声状态网络的多变量预测模型的研究

考虑单变量在混沌时间序列预测中的不足,文章利用多变量模型进行混沌时间序列的预测。针对多变量预测过程中的维数过高问题,文章结合主元分析理论(PCA)和回声状态网络(ESN),构建了基于PCA和ESN的多变量混沌时间序列预测模型,将PCA降维后的时间序列数据输入ESN网络进行预测分析。论文对由Lorenz动态方程生成的三变量混沌时间序列进行了仿真实验,结果表明该模型有效地提高了预测的精度和预测的效率,是一种有效的混沌时间序列预测方法。     

基于改进差分进化和回声状态网络的时间序列预测研究

针对回声状态网络无法根据不同的时间序列有效地选择储备池参数的问题, 本文提出一种新型预测模型, 利用改进的差分进化算法来优化回声状态网络. 其中差分进化算法的缩放因子F、交叉概率CR和变异策略自适应调整, 以提高算法的寻优性能. 为验证本文方法的有效性, 对Lorenz时间序列、大连月平均气温 − 降雨量数据集进行仿真实验. 由实验结果可知, 本文提出的模型可以提高时间序列的预测精度, 且具有良好的泛化能力及实际应用价值.     

多元时间序列的子空间回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时储备池学习算法可能存在的病态解问题,该文提出了一种基于快速子空间分解方法的回声状态网络预测模型.所提模型利用Krylov子空间分解方法提取储备池状态矩阵的子空间,子空间代替原状态矩阵进行输出权值求解,可以消除储备池状态矩阵的冗余信息,有效地解决伪逆算法存在的病态解问题,并且降低计算复杂度,提高泛化性能和预测精度.基于两组多元混沌时间序列的仿真结果验证了该文所提模型的有效性和实用性.     

Echo State Network With Probabilistic Regularization for Time Series Prediction

Recent decades have witnessed a trend that the echo state network (ESN) is widely utilized in field of time series prediction due to its powerful computational abilities. However, most of the existing research on ESN is conducted under the assumption that data is free of noise or polluted by the Gaussian noise, which lacks robustness or even fails to solve real-world tasks. This work handles this issue by proposing a probabilistic regularized ESN (PRESN) with robustness guaranteed. Specifically, we design a novel objective function for minimizing both the mean and variance of modeling error, and then a scheme is derived for getting output weights of the PRESN. Furthermore, generalization performance, robustness, and unbiased estimation abilities of the PRESN are revealed by theoretical analyses. Finally, experiments on a benchmark dataset and two real-world datasets are conducted to verify the performance of the proposed PRESN. The source code is publicly available at https://github.com/LongJin-lab/probabilistic-regularized-echo-state-network.

     

基于小世界回声状态网的时间序列预测

为了提高时间序列的预测精度, 提出了利用改进的小世界网络优化泄露积分型回声状态网(Leaky-integrator echo state network, Leaky ESN)的时间序列预测方法. 首先提出一个改进型小世界网络, 其加边概率是节点间距离的负指数函数. 然后, 利用加边概率直接表示Leaky ESN储备池两个神经节点的连接权值, 取值范围为[0,1], 表征了节点间的连接程度. 利用这个新型小世界网络改进Leaky ESN的储备池神经节点的连接方式, 有目的地实现了稀疏连接, 减小了Leaky ESN储备池随机稀疏连接的盲目性, 提高了储备池的适应性.最后, 利用改进的Leaky ESN预测典型的非线性时间序列, 并利用Matlab仿真软件验证了本文提出方法的有效性. 与Leaky ESN相比, 本文提出的方法具有更高的预测精度和更短的训练时间.     

基于罚函数内点法的泄露积分型回声状态网的参数优化

为了提升泄露积分型回声状态网（Leaky integrator echo state network,Leaky-ESN）的性能,提出利用罚函数内点法优化Leaky-ESN的全局参数,如泄漏率、内部连接权矩阵谱半径、输入比例因子等,这克服了通过反复试验法选取参数值而降低了Leaky-ESN模型的优越性和性能.Leaky-ESN的全局参数必须保障回声状态网满足回声状态特性,因此它们之间存在不等式约束条件.有学者提出利用随机梯度下降法来优化内部连接权矩阵谱半径、输入比例因子、泄露率三个全局参数,一定程度上提高了Leaky-ESN的逼近精度.然而,随机梯度下降法是解决无约束优化问题的基本算法,在利用随机梯度下降法优化参数时,没有考虑参数必须满足回声特性的约束条件（不等式约束条件）,致使得到的参数值不是最优解.由于罚函数内点法可以求解具有不等式约束的最优化问题,应用范围广,收敛速度较快,具有很强的全局寻优能力.因此,本文提出利用罚函数内点法优化Leaky-ESN的全局参数,并以时间序列预测为例,检验优化后的Leaky-ESN的预测性能,仿真结果表明了本文提出方法的有效性.     

ESN网络在机器人轨迹跟踪控制中的应用

为了研究具有模型不确定性的机器人操作手的轨迹跟踪控制,采用一种新的递归神经网络——回声状态网络(ESN)设计了动态控制器.采用PID控制器补偿ESN网络的逆建模误差,并在网络训练过程中加入白噪声项,以保证动态系统的稳定性.最后针对两关节机械手的轨迹跟踪控制问题进行了数值仿真,仿真结果表明了该方法的有效性.     

改进回溯搜索优化回声状态网络时间序列预测

回声状态网络(Echo State Network, ESN)网络结构简单且耦合"时间参数",在时间序列预测研究中具有重要的理论和应用价值.本文提出使用自适应回溯搜索算法(Adaptive Backtracking Search optimization Algorithm,ABSA)优化ESN输出连接权值矩阵,克服标准线性回归方法造成的网络过拟合问题. ABSA使用自适应变异因子策略替换标准BSA中随机给定变异因子的策略,实现BSA在收敛精度和收敛速率之间的平衡.实验表明,采用ABSA优化的ESN能够比未优化的ESN和采用其他进化算法优化的ESN获得更好的预测精度.     

遗传算法优化回声状态网络的网络流量预测

网络流量预测是网络拥塞控制与网络管理的一个重要问题. 网络流量时间序列具有时变、非线性特征,导致传统时间序列预测方法预测精度比较低,无法建立精确的预测模型.回声状态网络(echo state network, ESN)在非线性混沌系统预测与建模方面有着良好的性能,非常适合网络流量的预测.为了提高网络流量的预测精度,提出一种基于遗传算法(genetic algorithm, GA)优化回声状态网络的网络流量非线性预测方法.首先利用回声状态网络对网络流量进行预测;然后利用遗传算法对回声状态网络预测模型中的储备池参数进行优化,提高预测模型的预测精度.通过中国联合网络通信公司辽宁分公司采集的实际网络流量数据进行了仿真验证.与差分自回归滑动平均模型(auto regressive integrated moving average, ARIMA)、Elman神经网络以及最小二乘支持向量机(least square support vector machine, LSSVM)这3种常见预测模型进行了对比,仿真结果表明提出的方法具有更高的预测精度与更小的预测误差,更能刻画网络流量复杂的变化特点.     

基于延迟回声状态网的光伏电池板温度预测方法

光伏电池温度变化影响光伏系统输出的稳定性, 精准地预测光伏电池板温度的变化趋势, 对光伏系统智能运行具有重要意义. 为了更好地预测温度的变化趋势, 本文考虑了光伏电池板温度的迟滞效应, 将先前的温度输出作为延迟项引入回声状态网中, 提出了一种基于延迟回声状态网的光伏电池板温度预测模型. 给出一个延迟回声状态网具有回声状态特性的判定条件, 使得预测模型能够稳定地预测光伏电池板温度. 同时, 建立了一套光伏多传感器监测系统, 利用该监测系统采集的数据, 训练和验证模型的准确性. 与回声状态网(Echo state network, ESN), Leaky ESN (Leaky-integrator ESN)和VML ESN (ESN with variable memory length)相比, 仿真结果表明, 本文所提出的延迟回声状态网具有更好的预测性能, 平均绝对百分比误差甚至达到3.45%.     

基于数据的改进回声状态网络在高炉煤气发生量预测中的应用

以钢铁企业高炉煤气系统这一复杂生产过程为背景, 针对高炉煤气发生量的预测问题, 提出一种基于数据的网络模型预测方法. 鉴于生产数据含噪高的特点, 采用经验模态分解将历史数据分解为若干独立的固有模态函数, 将小尺度函数经低通滤波器自适应去噪后, 再对数据重构以建立预测模型. 在建模过程中提出一种改进的回声状态网络, 通过奇异值分解求取网络输出权值, 克服了线性回归算法出现的病态问题, 提高了模型的预测精度. 现场实际数据预测结果表明所提出方法的有效性, 为制定煤气管网平衡调度方案提供科学的决策支持.     

一种深度回声状态网络的输入尺度自适应算法

深度回声状态网络是回声状态网络与深度学习思想的结合,合理选取不同谱半径的内部状态矩阵和弱积分参数能有效增强深度回声状态网络的多尺度时域特性。利用数据可视化分析输出矩阵在不同网络层中的分布关系,发现高层网络中部分神经元处于饱和工作状态且该状态抑制了网络动态预测能力。提出一种深度回声状态网络的输入矩阵自适应算法,在对网络内部状态的均值和方差进行递推估计的基础上判断神经元饱和状态,通过自适应调整各层输入权重的值来增强神经元动态性。数值计算结果表明,基于输入尺度自适应算法的深度回声状态网络相对同等规模的单层回声状态网络对于动态系统的预测精度有成倍提升。