多输出神经元模型的MFNN带正则化因子RLS算法

在神经网络的学习中,将递推最小二乘算法（RLS）与正则化因子相结合,一方面,可以提高网络的泛化能力,另一方面,对学习样本的噪声具有鲁棒性。但是,当网络规模较大时,该算法每迭代一步计算复杂度和存储量要求很大。本文将带正则化因子的RLS算法应用于多输出神经元模型的多层前向神经网络,通过仿真实验,结果表明,本方法可以大大简化网络结构,减小每迭代一步计算的复杂度和存储量。     

多层前向神经网络的RLS训练算法及其在辨识中的应用

本文提出了一种基于递推最小二乘法（ＲＬＳ）的多层前向神经网络的快速学习算法，并用其对非线性过程进行辨识，仿真及对实际例子的辨识结果表明本文提出的方法是有效的。     

BP神经网络模型预测控制算法的仿真研究

为克服被控对象参数变化导致控制精度降低的问题,研究了一种BP神经网络模型预测控制算法。借助最小二乘递推算法在线预测系统模型参数,利用BP神经网络在线预测PID参数以控制被控对象。该算法基于模型预测,首先在线性系统中验证其控制效果,然后将非线性问题作线性处理,采用BP神经网络模型预测PID控制器予以实现控制非线性系统。仿真曲线显示BP神经网络PID控制器用于线性系统可达到高精度控制要求;对于非线性系统有自适应及逼近任意函数的能力。仿真研究表明,该算法与传统BP神经网络PID控制器相比,其自适应能力更强,稳定性更好,控制精度更高。     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足,提出一种多层前向神经网络的快速学习算法,它不仅符合生物神经网络的基本特征,而且算法简单,学习收敛速度快,具有线性、非线性逼近精度高等特性.以二杆机械手逆运动学建模作为应用实例,仿真结果表明该方法是有效的,其算法与收敛速度更优于BP网络.     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足，提出一种多层前向神经网络的快速学习算法，它不仅符合生物神经网络的基本特征，而且算法简单，学习收敛速度快，具有线性，非线性逼近精度高等特性，以二杆机构手逆运动学建模作为应用实例，仿真结果表明该方法是有效的，其算法与收敛速度更优于BP网络。     

一种改进BP神经网络的算法

传统的神经网络BP算法存在收敛速度慢、存在局部极小点等问题,这种算法收敛慢的主要原因是它利用的是性能函数的一阶信息,递推最小二乘算法利用了二阶信息,但是需要计算输入信号的自相关矩阵的逆,计算量大,不易实现。本文提出一种梯度递推BP算法,它基于最小二乘准则,利用改进的梯度来实现BP算法,这种算法不用计算输入信号的自相关矩阵,并通过仿真证明了该算法的有效性。     

多层前向神经网络的新型二阶学习算法

提出了多层前向神经网络的新型二阶递推学习算法。该算法不仅能使用网络各层误差而且使二阶导数信息因子反向传播。证明了新算法等价于Ｎｅｗｔｏｎ迭代法并且有二阶收敛速度。它实现了Ｎｅｗｔｏｎ搜索方向和Ｈｅｓｓｉａｎ阵逆的递推运算,其计算量几乎与普通递推最小二乘法相当。由算法性能分析证明新算法优于Ｋａｒａｙｉａｎｎｉｓ等人的二阶学习算法。     

一种混合结构前向神经网络的快速学习算法

本文构造了一种新的基于线性模型、多层前向网络的混合结构神经网络模型,并提出了相应的非迭代快速学习算法.该学习算法能够根据拟合精度要求,运用线性最小二乘法确定相应的最佳网络权值和线性部分的参数,并自动确定最佳的隐层节点数.与BP网络的比较结果表明,本文提出的混合结构前向神经网络的快速学习算法无论在拟合精度、学习速度、泛化能力、还是隐节点数均显著好于BP算法.     

多层前向神经网络建模及其在火电厂系统辨识中的应用

本文采用前向反馈型神经网络，建立了一个火力发电厂双输入双输出系统的辨识模型。利用MATLAB5．3神经网络工具箱编程，以湖南湘潭电厂一台30万千瓦机组的输入输出参数的实测数据作为学习样本训练网络模型，并在训练好的模型基础上给出了系统多步步长的预测结果及调门开度的单位阶跃响应曲线。结果表明这种方法收敛速度快、误差小、精度高，是一种比较理想的系统辨识方法。     

基于RBF神经网络与RLS算法的均衡器

将径向基函数神经网络与横向均衡器相结合,采用递推最小二乘算法更新权值。将最小二乘误差作为代价函数以及与误差相关的变步长,使输出误差较传统的神经网络均衡器进一步减小,收敛速度得到提高。仿真结果表明,该均衡器对线性信道和非线性信道都表现出较好的性能,在较严重的非线性情况下其优越性更明显。     

多层前向小世界神经网络及其函数逼近

借鉴复杂网络的研究成果, 探讨一种在结构上处于规则和随机连接型神经网络之间的网络模型—-多层前向小世界神经网络. 首先对多层前向规则神经网络中的连接依重连概率p进行重连, 构建新的网络模型, 对其特征参数的分析表明, 当0 < p < 1时, 该网络在聚类系数上不同于Watts-Strogatz 模型; 其次用六元组模型对网络进行描述; 最后, 将不同p值下的小世界神经网络用于函数逼近, 仿真结果表明, 当p = 0:1时, 网络具有最优的逼近性能, 收敛性能对比试验也表明, 此时网络在收敛性能、逼近速度等指标上要优于同规模的规则网络和随机网络.     

灰色神经网络模型及其应用

灰色建模要求的样本点少,不必有较好的分布规律,而且计算量少,操作简便。而BP网络学习样本时,会反馈校正输出的误差,具有并行计算、分布式信息存储、强容错力、自适应学习功能等优点。本文将灰色预测建模和神经网络技术融合起来,建立灰色神经网络模型(GNNM)。提出计算残差序列和新的预测值的公式。用于发酵动力学预测,结果表明,灰色神经网络模型在预测精度方面优于常规灰色模型。该模型的算法概念明确,计算简便,有较高的拟合和预测精度,拓宽了灰色模型的应用范围。     

A hybrid particle swarm optimization and its application in neural networks

In this paper, a novel particle swarm optimization model for radial basis function neural networks (RBFNN) using hybrid algorithms to solve classification problems is proposed. In the model, linearly decreased inertia weight of each particle (ALPSO) can be automatically calculated according to fitness value. The proposed ALPSO algorithm was compared with various well-known PSO algorithms on benchmark test functions with and without rotation. Besides, a modified fisher ratio class separability measure (MFRCSM) was used to select the initial hidden centers of radial basis function neural networks, and then orthogonal least square algorithm (OLSA) combined with the proposed ALPSO was employed to further optimize the structure of the RBFNN including the weights and controlling parameters. The proposed optimization model integrating MFRCSM, OLSA and ALPSO (MOA-RBFNN) is validated by testing various benchmark classification problems. The experimental results show that the proposed optimization method outperforms the conventional methods and approaches proposed in recent literature.     

Discrete-time delayed standard neural network model and its application

The research on the theory and application of artificial neural networks has achieved a great success over the past two decades. Recently, increasing attention has been paid to recurrent neural networks, which are rich in dynamics, highly parallelizable, and easily implementable with VLSI. Due to these attractive features, RNNs have widely been applied to system identification, control, optimization and associative memories[1]. Stability analysis, which is critical to any applications of R…     

基于多层卷积神经网络特征和双向长短时记忆单元的行为识别

鲁棒的视频行为识别由于其复杂性成为了一项极具挑战的任务. 如何有效提取鲁棒的时空特征成为解决问题的关键. 在本文中, 提出使用双向长短时记忆单元(Bi--LSTM)作为主要框架去捕获视频序列的双向时空特征. 首先, 为了增强特征表达, 使用多层的卷积神经网络特征代替传统的手工特征. 多层卷积特征融合了低层形状信息和高层语义信息, 能够捕获丰富的空间信息. 然后, 将提取到的卷积特征输入Bi--LSTM, Bi--LSTM包含两个不同方向的LSTM层. 前向层从前向后捕获视频演变, 后向层反方向建模视频演变. 最后两个方向的演变表达融合到Softmax中, 得到最后的分类结果. 在UCF101和HMDB51数据集上的实验结果显示本文的方法在行为识别上可以取得较好的性能.     

带有稳定学习的递归神经网络动态偏最小二乘建模

针对目前非线性动态偏最小二乘(PLS)建模方法在拟合较强非线性化工过程时存在的问题, 提出一种基于稳定学习的递归神经网络动态PLS建模方法. 该算法将递归神经网络与Hammerstein模型相结合, 对外部PLS提取的特征向量进行内部建模, 具有逼近较强非线性化工过程的能力, 改善了模型的适用范围. 此外, 采用带有稳定学习的参数更新算法对模型参数进行在线修正, 改善了模型的预测精度和自适应能力. 将此方法应用于氧化铝生产过程铝酸钠溶液组分浓度建模实验, 仿真结果表明, 本方法是可行有效的.     

基于递归神经网络模型预测控制的模型平稳切换

不同生产条件下的控制系统可视多模型控制系统,但多模型控制在模型切换时会引起系统的瞬态响应。采用递归神经网络建立系统的多个模型,基于模型预测控制进行控制模型切换,克服了模型切换时引起的系统瞬态响应,实现系统的平稳切换。并通过仿真表明这种切换策略明显改善了模型切换过程的动态性能。     

基于快速回归算法的RBF神经网络及其应用

针对径向基神经网络(RBFNN)中存在的径向基函数中心的数F1及其位置难以确定的问题,提出了一种新型的基于快速回归算法(FRA)的RBFNN.采用快速回归算法,不但能够确定RBF的中心和中心个数,而且能够求出隐含层到输出层的权重.通过一元函数拟合和Mackey-Glass混沌时间序列预测的仿真,验证了该网络的有效性与实用性.     

基于序列输入的神经网络模型算法及应用

为提高神经网络的逼近能力,提出一种基于序列输入的神经网络模型及算法。模型隐层为序列神经元,输出层为普通神经元。输入为多维离散序列,输出为普通实值向量。先将各维离散输入序列值按序逐点加权映射,再将这些映射结果加权聚合之后映射为隐层序列神经元的输出,最后计算网络输出。采用Levenberg-Marquardt算法设计了该模型学习算法。仿真结果表明,当输入节点和序列长度比较接近时,模型的逼近能力明显优于普通神经网络。