基于回声状态网络的电子节气门复合智能控制

针对强非线性复杂时变的电子节气门,研究了一种基于回声状态网络的复合智能控制器,并给出了该复合智能控制器的结构和实现方法.该复合智能控制器由前馈控制器和反馈控制器两个部分组成.前馈控制器为一个基于回声状态网络的逆模型控制器,用于抵消电子节气门的非线性特征;反馈控制器是PID控制器,用于补偿逆模型的建模误差,提高系统的鲁棒性.仿真实验表明,该控制器的实际效果良好.     

基于Kalman滤波的储备池多元时间序列在线预报器

针对多元非线性时间序列, 结合回声状态网络和Kalman滤波提出一种新的在线自适应预报方法. 该方法将Kalman滤波应用于回声状态网络储备池高维状态空间中, 直接对网络的输出权值进行在线更新, 省去了传统递归网络扩展Kalman滤波中Jacobian矩阵的计算, 在提高预测精度的同时令算法的适用范围得到扩展. 在回声状态网络稳定时给出所提算法的收敛性证明. 仿真实例验证了所提方法的有效性.     

遗传算法优化回声状态网络的网络流量预测

网络流量预测是网络拥塞控制与网络管理的一个重要问题. 网络流量时间序列具有时变、非线性特征,导致传统时间序列预测方法预测精度比较低,无法建立精确的预测模型.回声状态网络(echo state network, ESN)在非线性混沌系统预测与建模方面有着良好的性能,非常适合网络流量的预测.为了提高网络流量的预测精度,提出一种基于遗传算法(genetic algorithm, GA)优化回声状态网络的网络流量非线性预测方法.首先利用回声状态网络对网络流量进行预测;然后利用遗传算法对回声状态网络预测模型中的储备池参数进行优化,提高预测模型的预测精度.通过中国联合网络通信公司辽宁分公司采集的实际网络流量数据进行了仿真验证.与差分自回归滑动平均模型(auto regressive integrated moving average, ARIMA)、Elman神经网络以及最小二乘支持向量机(least square support vector machine, LSSVM)这3种常见预测模型进行了对比,仿真结果表明提出的方法具有更高的预测精度与更小的预测误差,更能刻画网络流量复杂的变化特点.     

多稀疏回声状态网络预测模型

针对单回声状态网络难以充分描述数据信息的问题,提出多稀疏回声状态网络预测模型.通过对相关回声状态网络的组合权值及由相关样本得到的基函数的权值同时进行学习,获得优化的多个稀疏回声状态网络组合模型.所提模型不同于双稀疏相关向量机等多核学习模型,它不需要选择特定的核函数及相应的核参数.因此,该模型不但能更好的描述数据信息,避免了双稀疏相关向量机及其他多核学习中核函数及其参数不易选择的问题.同时,所提模型不需要采用交叉验证的方式确定回声状态网络的谱半径和稀疏度,只需确定相应的区间.本文通过两组标杆数据和一组实际数据仿真实验,与传统回声状态网络方法相比,验证了所提模型具有更好的预测性能.     

基于改进回声状态网络的网络热点话题预测

网络热点话题具有时变性和非线性,灰色、负面热点话题对社会稳定产生不利影响。为了提高网络热点话题的预测精度,提出一种基于改进回声状态网络的热点话题预测模型(MESN)。首先构建网络热点话题的学习样本,然后采用回声状态网络建立网络热点话题预测模型,并利用改进粒子群优化算法对回声状态网络参数进行优化,建立最优网络热点话题预测模型,最后应用具体网络热点话题数据进行仿真实验。结果表明,该模型不仅提高了网络热点话题预测精度,而且加快了网络热点话题的建模速度,可以满足网络热点话题在线预测。     

基于蚁群算法优化回声状态网络的研究

针对输出权值采用最小二乘法的回声状态网络(ESN),在随机选取输入权值和隐层神经元阈值时,存在收敛速度慢、预测精度不稳定等问题,提出了基于蚁群算法优化回声状态网络(ACO-ESN)的算法。该算法将优化回声状态网络的初始输入权值、隐层神经元阈值问题转化为蚁群算法中蚂蚁寻找最佳路径的问题,输出权值采用最小二乘法计算,通过蚁群算法的更新、变异、遗传等操作训练回声状态网络,选择出使回声状态网络预测误差最小的输入权值和阈值,从而提高其预测性能。将ACO-ESN与ELM、I-ELM、OS-ELM、B-ELM等神经网络的仿真结果进行对比,结果验证经过蚁群算法优化的回声状态网络加快了其收敛速度,改善了其预测性能,并增强了隐层神经元的敏感度。     

基于改进的DeepESN软测量建模方法及应用

针对硫回收装置中硫化氢和二氧化硫浓度的实时监控预测问题,提出一种基于改进的深度回声状态网络(DeepESN)软测量建模方法,给出了其离线学习算法.改进的DeepESN网络能够通过多层回声状态网络的结构,可以对具有强非线性特性的化工过程进行有效的深度学习和预测.离线学习算法在求输出权值时加入了岭回归算法,有效地提高了网络学习的稳定性.将该方法在同等条件下与现有的软测量建模方法进行了比较,基于改进的DeepESN软测量建模方法具有更好的学习能力、更高的学习效率和预测精度.     

一种深度回声状态网络的输入尺度自适应算法

深度回声状态网络是回声状态网络与深度学习思想的结合,合理选取不同谱半径的内部状态矩阵和弱积分参数能有效增强深度回声状态网络的多尺度时域特性。利用数据可视化分析输出矩阵在不同网络层中的分布关系,发现高层网络中部分神经元处于饱和工作状态且该状态抑制了网络动态预测能力。提出一种深度回声状态网络的输入矩阵自适应算法,在对网络内部状态的均值和方差进行递推估计的基础上判断神经元饱和状态,通过自适应调整各层输入权重的值来增强神经元动态性。数值计算结果表明,基于输入尺度自适应算法的深度回声状态网络相对同等规模的单层回声状态网络对于动态系统的预测精度有成倍提升。     

基于注意力机制回声状态神经网络的混沌系统预测

混沌系统在电路、保密通讯、加密解密等方面具有重要的研究意义.由于其对初值非常敏感,传统的统计学时间序列预测方法在处理混沌时间序列预测问题是具有挑战的.回声状态网络是一种特殊的循环神经网络,在复杂动态系统动力学与控制方面具有优势.经典的回声状态网络将每个样本置于同一地位,然而实际问题中不同的样本的重要性往往是有差异的.本文提出注意力机制回声状态神经网络模型,将回声状态网络与注意力机制相结合体现样本之间的差异性以及样本之间的相互作用对预测的影响.对混沌系统的预测结果表明注意力机制回声状态神经网络具有更好的预测性能.     

多元混沌时间序列的因子回声状态网络预测模型

针对采用回声状态网络预测多元混沌时间序列时存在的病态解问题, 本文建立了因子回声状态网络模型, 通过因子分析(Factor analysis, FA)方法提取高维储备池状态矩阵的公因子, 去除冗余和噪声成分. 利用降维后的因子变量与期望输出之间的线性回归关系, 求解网络未知参数. 基于Lorenz序列和大连月平均气温--降雨量的仿真实验验证了本文所提模型的有效性.     

Stock Price Forecasting: An Echo State Network Approach

Forecasting stock prices using deep learning models suffers from problems such as low accuracy, slow convergence, and complex network structures. This study developed an echo state network (ESN) model to mitigate such problems. We compared our ESN with a long short-term memory (LSTM) network by forecasting the stock data of Kweichow Moutai, a leading enterprise in China’s liquor industry. By analyzing data for 120, 240, and 300 days, we generated forecast data for the next 40, 80, and 100 days, respectively, using both ESN and LSTM. In terms of accuracy, ESN had the unique advantage of capturing nonlinear data. Mean absolute error (MAE) was used to present the accuracy results. The MAEs of the data forecast by ESN were 0.024, 0.024, and 0.025, which were, respectively, 0.065, 0.007, and 0.009 less than those of LSTM. In terms of convergence, ESN has a reservoir state-space structure, which makes it perform faster than other models. Root-mean-square error (RMSE) was used to present the convergence time. In our experiment, the RMSEs of ESN were 0.22, 0.27, and 0.26, which were, respectively, 0.08, 0.01, and 0.12 less than those of LSTM. In terms of network structure, ESN consists only of input, reservoir, and output spaces, making it a much simpler model than the others. The proposed ESN was found to be an effective model that, compared to others, converges faster, forecasts more accurately, and builds time-series analyses more easily.     

A reservoir radial-basis function neural network in prediction tasks

A reservoir radial-basis function neural network, which is based on the ideas of reservoir computing and neural networks and designated for solving extrapolation tasks of nonlinear non-stationary stochastic and chaotic time series under conditions of a short learning sample, is proposed in the paper. The network is built with the help of a radial-basis function neural network with an input layer, which is organized in a special manner and a kernel membership function. The proposed system provides high approximation quality in terms of a mean squared error and a high convergence speed using the second-order learning procedure. A software product that implements the proposed neural network has been developed. A number of experiments have been held in order to research the system’s properties. Experimental results prove the fact that the developed architecture can be used in Data Mining tasks and the fact that the proposed neural network has a higher accuracy compared to traditional forecasting neural systems.     

基于L-M算法的反向传播网络的湿度传感器输出误差补偿研究

针对湿度传感器的输出非线性问题,提出了基于L-M算法建立BP神经网络进行补偿校正,实现电阻型湿度传感器的输入与输出非线性补偿,并与共轭梯度算法、拟牛顿算法所建立的神经网路模型进行对比,重点比较了模型迭代性能、标准偏差;最后发现当神经网络用L-M算法进行训练模拟时在迭代性能、标准偏差等方面具有更优异的表现,更适合湿度传感器的非线性特性的补偿校正。     

变结构神经网络自适应鲁棒控制

针对一类不确定非线性系统, 提出一种变结构神经网络自适应鲁棒控制(Variable structure neural network adaptive robust control, VSNNARC)方法. 其中变结构神经网络用于在线辨识系统未知非线性函数, 该网络利用节点激活与催眠技术进行动态调节, 减小网络规模与计算量; 自适应鲁棒控制用于网络权值学习与系统建模误差及外部扰动补偿. 采用Lyapunov稳定性分析法, 给出网络权值自适应律的形式以及鲁棒控制项的设计方法. 该方法不仅能保证系统的稳定性, 也能保证系统具有很好的瞬态性能. 将该方法应用到转台伺服系统的位置跟踪控制中, 实际运行结果表明, 该方法使系统具有很强的鲁棒性及良好的跟踪效果.     

基于非线性Volterra信道的复数神经多项式盲均衡算法

针对传统常模算法收敛速度慢、均方误差大以及传统神经网络参数多、复杂度高的问题,提出了基于非线性Volterra信道的复数神经多项式盲均衡算法(Fuzzy neural network-complex valued neural polynomial-constant modulus algorithm,FNN -CNP-CMA）。该算法包含单层神经网络和非线性处理器的复数神经多项式,模块结构简单、复杂度低。由模糊神经网络(Fuzzy neural network, FNN）设计的模糊规则控制器能有效提高步长的控制精度。仿真实验结果表明,该算法系统结构简单、复杂度低、收敛速度快且稳态误差小,较好地解决了收敛速度与均方误差之间存在的矛盾。     

An approach to reservoir computing design and training

Reservoir computing is a framework for computation like a recurrent neural network that allows for the black box modeling of dynamical systems. In contrast to other recurrent neural network approaches, reservoir computing does not train the input and internal weights of the network, only the readout is trained. However it is necessary to adjust parameters to create a “good” reservoir for a given application. In this study we introduce a method, called RCDESIGN (reservoir computing and design training). RCDESIGN combines an evolutionary algorithm with reservoir computing and simultaneously looks for the best values of parameters, topology and weight matrices without rescaling the reservoir matrix by the spectral radius. The idea of adjust the spectral radius within the unit circle in the complex plane comes from the linear system theory. However, this argument does not necessarily apply to nonlinear systems, which is the case of reservoir computing. The results obtained with the proposed method are compared with results obtained by a genetic algorithm search for global parameters generation of reservoir computing. Four time series were used to validate RCDESIGN.     

椭球定界算法在混合建模中的应用研究

并行结构混合建模主要由机理模型与误差补偿模型组成.一般地,误差补偿模型不宜过于复杂,且模型应具有校正功能,以免精度随时间不断下降.针对这个问题,本文选择单层神经网络作为误差补偿模型,并将椭球定界算法应用于单层神经网络的参数更新,不仅能够保证建模误差稳定有界,同时能够提高网络的收敛速度.将提出的方法应用于氧化铝生产过程,改进了原有的苛性碱和氧化铝组 分浓度软测量方法.实验研究结果表明,椭球定界算法的应用提高了模型的精度和网络的收敛速度.除此之外,在存在噪声干扰下,改进 的方法比原有方法更稳定,进一步证明了方法的有效性和优越性.     

基于优化卷积神经网络结构的人体行为识别

为了提高卷积神经网络对非线性特征以及复杂图像隐含的抽象特征提取能力,提出优化卷积神经网络结构的人体行为识别方法.通过优化卷积神经网络模型,构建嵌套Maxout多层感知器层的网络结构,增强卷积神经网络的卷积层对前景目标特征提取能力.通过嵌套Maxout多层感知器层网络结构可以线性地组合特征图并选择最有效特征信息,获取的特...     

超声波热量表流量计量中温度补偿算法研究

针对超声波热量表采用时差法测量流量时,因受温度影响而存在的非线性问题,提出了分别基于曲面拟合和BP神经网络的温度补偿算法。两种算法通过建立温度与流量之间的非线性映射关系,达到补偿流量测量的目的。建模与仿真可知, BP神经网络补偿算法表现出更好的数据融合及预测能力。验证实验表明,相对于现有查表修正算法和曲面拟合补偿算法,BP神经网络补偿算法补偿效果更佳,补偿后流量测量误差在±2.2%以内,绝对误差方差最大值为0.68,补偿效果显著,具有较高的工程应用价值。