一种新的RBF网络两级学习设计方法

为了简化径向基网络结构,构造出良好泛化性能力的网络,提出了一种径向基(RBF)网络的两级学习新设计方法.在下级将正交最小二乘法(OLS)与A-最优设计方法(A-opt)相结合(OLS+A-opt),引入一种基于A-最优设计准则的混合代价函数,同时优化网络模型的逼近性能及模型的充分性,自动构建结构节俭的RBF网络模型;而方法中的关键学习参数A-最优代价系数通过上级粒子群优化方法(PSO)优化获取最佳值.仿真结果表明该方法所设计的RBF网络不仅具有较好的泛化性能,而且也具有良好的模型鲁棒性及充分性,是一种有效的RBF网络设计方法.     

粗糙集意义下的一种RBF 神经网络设计方法

提出一种集成粗糙集理论的RBF网络设计方法.由布尔逻辑推理方法进行属性离散化,得到初始决策模式集,通过差异度对初始决策模式的相似度进行衡量并实现聚类,以聚类决策模式构造RBF网络.为加快训练速度,分别对隐层参数和输出权值采用BP算法和线性最小二乘滤波法进行训练.实验结果表明,该方法设计的RBF网络结构简洁,泛化性能良好,混合学习算法的收敛速度优于单纯的BP算法.     

改进的径向基函数神经网络预测模型

在提高网络传输性能的研究中,径向基函数神经网络(RBF网络)的基函数个数、中心及宽度的确定一直是难解决的问题,为提高RBF网络泛化能力是当前一个重要的研究问题.分析了传统RBF网络工作原理及不足,提出了改进.采用梯度下降法训练径向基函数中心和宽度,提高网络泛化性能.改进最优停止训练算法,使算法效率提高,且避免过拟合现象,最终使RBF网络获得更优的泛化能力.用改进的RBF网络对iris及wine数据集建立预测模型,进行仿真.结果表明,梯度下降方法训练出更优的基函数参数,改进的最优停止训练方法缩短了训练时间、提高预测精度,网络泛化能力有明显提高.     

基于模糊协同进化免疫的RBF网络学习算法研究

提出一种模糊协同进化算法与免疫算法相结合的方法,将该方法用于优化RBF网络隐节点参数,以改进RBF网络的性能,通过仿真实验证明,该方法比传统的学习算法在网络的逼近精度和泛化能力方面得到较好的协调统一。     

一种优化的RBF神经网络在调制识别中的应用

提出了一种基于径向基函数 (RBF) 神经网络的通信信号调制识别方法, 该方法采用模糊 C-均值 (FCM) 聚类算法对数据进行聚类, 并获取基函数的参数, 采用梯度下降法训练网络权值. 利用最优停止法对网络进行了优化, 避免了过学习现象, 提高了 RBF 网络的训练速度和泛化能力, 以实际信号数据对该网络进行性能检验, 实验结果表明了该 RBF 网络具有较高的识别精度.     

基于神经元特性的径向基函数神经网络自组织设计方法

针对径向基神经函数(RBF)网络隐层结构难以确定的问题, 本文介绍了一种基于神经元特性的RBF神经网 络自组织设计方法, 该方法将神经元的激活活性、显著性、相关性相结合设计RBF(ASC–RBF)神经网络. 首先利用 神经元的激活活性, 实现隐含层神经元的自适应增加, 结合神经元的显著性以及神经元之间的相关性, 实现神经元 的自适应替换和合并, 完成网络自组织设计并提高网络的紧凑性, 然后利用二阶梯度算法对网络参数进行修正学 习, 保证了RBF网络的精度; 另外, 针对网络结构自组织机制给出了稳定性分析; 最后通过两个基准非线性系统建模 仿真实验以及实际污水处理过程水质参数预测实验验证, 证明该算法的有效性. 对比实验结果表明, ASC–RBF神经 网络与现有的自组织网络相比, 在保证泛化性能的同时, 该网络的训练速度更快, 而且有更紧凑的网络结构.     

基于交叉验证的改进RBF分类器设计

本文提出了一种利用k均值聚类算法确定RBF神经网络径向基函数数目、函数中心及宽度,输出层权值由线性方程组确定,而网络参数的优化采用梯度下降法的网络设计方法.为了解决学习样本数据的有限性、RBF网络泛化能力较差和容易出现过拟合等问题,在网络训练中采用了基于交叉验证的归一化网络训练方法.通过仿真实验表明该方法训练所得的网络泛化能力及分类的准确率明显提高,并有效避免了过拟合问题.     

基于LM算法的在线自适应RBF网结构优化算法

针对LM算法不能在线训练RBF网络以及RBF网络结构设计算法中存在的问题,提出一种基于LM算法的在线自适应RBF网络结构优化算法.该算法引入滑动窗口和在线优化网络结构的思想,滑动窗口的引入既使得LM算法能够在线训练RBF网络,又使得网络对学习参数的变化具有更好的鲁棒性,并且易于收敛.在线优化网络结构使得网络在学习过程中能够根据训练样本的训练误差和隐节点的相关信息,在线自适应调整网络结构,跟踪非线性时变系统的变化,使网络维持最为紧凑的结构,以保证网络的泛化性能.最后通过仿真实验验证了所提出算法的性能.     

基于HGA优化RBF网络的污水总氮软测量

污水处理系统是一个包含海量信息的非线性复杂系统.目的是对某污水处理厂生物脱氮系统的出水总氮(TN)进行软测量建模.先用主元分析方法实现输入变量的降维和去相关,简化径向基函数(RBF)网络的输入.再应用递阶遗传算法(HGA)确定合理的RBF网络隐层节点数、基函数宽度和中心.能够同时优化网络参数和拓扑结构,在全局范围内寻找RBF参数的最优解,实现了RBF网络的自适应优化.应用该模型对出水总氮软测量进行仿真,结果表明了该网络模型的可靠和有效,说明该软测量模型具有工业应用价值和意义.     

基于卡尔曼滤波算法和双径向转移函数的RBF型神经网络

RBF径向基函数神经网络具有训练简洁、学习效率快、不易陷入局部极小等优点,广泛应用于信号处理与模式识别.虽然常用的RBF网络比较容易构建,但因其结构通常固定或者复杂度较高,从而导致学习时间过长或网络资源的浪费.针对上述原因,提出利用扩展卡尔曼滤波器作为RBF的学习算法,并在隐层中使用双径向函数.通过对逼近基准的结果分析,清楚地表明该算法比其他分类网络模型具有更强的泛化性.     

Combined genetic algorithm optimization and regularized orthogonalleast squares learning for radial basis function networks

Presents a two-level learning method for radial basis function (RBF) networks. A regularized orthogonal least squares (ROLS) algorithm is employed at the lower level to construct RBF networks while the two key learning parameters, the regularization parameter and the RBF width, are optimized using a genetic algorithm (GA) at the upper level. Nonlinear time series modeling and prediction is used as an example to demonstrate the effectiveness of this hierarchical learning approach.     

Sparse kernel regression modeling using combined locally regularized orthogonal least squares and D-optimality experimental design

The note proposes an efficient nonlinear identification algorithm by combining a locally regularized orthogonal least squares (LROLS) model selection with a D-optimality experimental design. The proposed algorithm aims to achieve maximized model robustness and sparsity via two effective and complementary approaches. The LROLS method alone is capable of producing a very parsimonious model with excellent generalization performance. The D-optimality design criterion further enhances the model efficiency and robustness. An added advantage is that the user only needs to specify a weighting for the D-optimality cost in the combined model selecting criterion and the entire model construction procedure becomes automatic. The value of this weighting does not influence the model selection procedure critically and it can be chosen with ease from a wide range of values.     

基于信息强度的RBF神经网络结构设计研究

在系统研究前馈神经网络的基础上,针对径向基函数(Radial basis function, RBF) 网络的结构设计问题,提出一种弹性RBF神经网络结构优化设计方法. 利用隐含层神经元的输出信息(Output-information, OI)以及隐含层神经元与输出层神经元间的交互信息(Multi-information, MI)分析网络的连接强度, 以此判断增加或删除RBF神经网络隐含层神经元, 同时调整神经网络的拓扑结构,有效地解决了RBF神经网络结构设计问题; 利用梯度下降的参数修正算法保证了最终RBF网络的精度, 实现了神经网络的结构和参数自校正. 通过对典型非线性函数的逼近与污水处理过程关键水质参数建模, 结果证明了该弹性RBF具有良好的动态特征响应能力和逼近能力, 尤其是在训练速度、泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation net works, MRAN)、增长修剪RBF 神经网络(Generalized growing and pruning RBF, GGAP-RBF)和自组织RBF神经网络(Self-organizing RBF, SORBF)有较大的提高.     

RBF网的动态设计方法

提出一种RBF网的动态设计算法(DYNRBF方法), 该算法有效地融合了ROLS算法和RAN网络的优点, 不仅能动态调节RBF网的隐节点数, 还能使网络的数据中心自适应变化. 该方法所设计的RBF网不仅具有较好的泛化能力, 当训练样本集变化时也具有好的鲁棒性.     

基于RBF 神经网络的单元机组负荷系统建模研究

采用径向基函数(RBF)神经网络进行多变量系统的建模研究。将正规化正交最小二乘(ROLS)算法扩展到多输入多输出系统，建立多变量系统的RBF神经网络模型。对电厂单元机组负荷系统进行建模仿真研究的结果表明，用该方法建立的多变量热工系统的非线性模型是有效的，具有较高的辨识精度和较好的泛化能力。     

Radial Basis Function network learning using localized generalization error bound

Training a classifier with good generalization capability is a major issue for pattern classification problems. A novel training objective function for Radial Basis Function (RBF) network using a localized generalization error model (L-GEM) is proposed in this paper. The localized generalization error model provides a generalization error bound for unseen samples located within a neighborhood that contains all training samples. The assumption of the same width for all dimensions of a hidden neuron in L-GEM is relaxed in this work. The parameters of RBF network are selected via minimization of the proposed objective function to minimize its localized generalization error bound. The characteristics of the proposed objective function are compared with those for regularization methods. For weight selection, RBF networks trained by minimizing the proposed objective function consistently outperform RBF networks trained by minimizing the training error, Tikhonov Regularization, Weight Decay or Locality Regularization. The proposed objective function is also applied to select center, width and weight in RBF network simultaneously. RBF networks trained by minimizing the proposed objective function yield better testing accuracies when compared to those that minimizes training error only.     

基于径向基神经网络和正则化极限学习机的多标签学习模型*

相比径向基(RBF)神经网络,极限学习机(ELM)训练速度更快,泛化能力更强.同时,近邻传播聚类算法(AP)可以自动确定聚类个数.因此,文中提出融合AP聚类、多标签RBF(ML-RBF)和正则化ELM(RELM)的多标签学习模型(ML-AP-RBF-RELM).首先,在该模型中输入层使用ML-RBF进行映射,且通过AP聚类算法自动确定每一类标签的聚类个数,计算隐层节点个数.然后,利用每类标签的聚类个数通过K均值聚类确定隐层节点RBF函数的中心.最后,通过RELM快速求解隐层到输出层的连接权值.实验表明,ML-AP-RBF-RELM效果较好.     

A fast and accurate online self-organizing scheme for parsimonious fuzzy neural networks

In this paper, we present a fast and accurate online self-organizing scheme for parsimonious fuzzy neural networks (FAOS-PFNN), where a novel structure learning algorithm incorporating a pruning strategy into new growth criteria is developed. The proposed growing procedure without pruning not only speeds up the online learning process but also facilitates a more parsimonious fuzzy neural network while achieving comparable performance and accuracy by virtue of the growing and pruning strategy. The FAOS-PFNN starts with no hidden neurons and parsimoniously generates new hidden units according to the proposed growth criteria as learning proceeds. In the parameter learning phase, all the free parameters of hidden units, regardless of whether they are newly created or originally existing, are updated by the extended Kalman filter (EKF) method. The effectiveness and superiority of the FAOS-PFNN paradigm is compared with other popular approaches like resource allocation network (RAN), RAN via the extended Kalman filter (RANEKF), minimal resource allocation network (MRAN), adaptive-network-based fuzzy inference system (ANFIS), orthogonal least squares (OLS), RBF-AFS, dynamic fuzzy neural networks (DFNN), generalized DFNN (GDFNN), generalized GAP-RBF (GGAP-RBF), online sequential extreme learning machine (OS-ELM) and self-organizing fuzzy neural network (SOFNN) on various benchmark problems in the areas of function approximation, nonlinear dynamic system identification, chaotic time-series prediction and real-world regression problems. Simulation results demonstrate that the proposed FAOS-PFNN algorithm can achieve faster learning speed and more compact network structure with comparably high accuracy of approximation and generalization.