RBF神经网络的结构动态优化设计

针对径向基函数(Radial basis function, RBF)神经网络的结构设计问题, 提出一种结构动态优化设计方法. 利用敏感度法(Sensitivity analysis, SA)分析隐含层神经元的输出加权值对神经网络输出的影响, 以此判断增加或删除RBF神经网络隐含层中的神经元, 解决了RBF神经网络结构过大或过小的问题, 并给出了神经网络结构动态变化过程中收敛性证明; 利用梯度下降的参数修正算法保证了最终RBF网络的精度, 实现了神经网络的结构和参数自校正. 通过对非线性函数的逼近与污水处理过程中关键参数的建模结果, 证明了该动态RBF具有良好的自适应能力和逼近能力, 尤其是在泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation networks, MRAN)与增长和修剪RBF 神经网络(Generalized growing and pruning radial basis function, GGAP-RBF) 有较大提高.     

基于在线减法聚类的RBF神经网络结构设计

以设计最小径向基函数（RBF）神经网络结构为着眼点,提出一种在线RBF网络结构设计算法.该算法将在线减法聚类能实时跟踪工况的特性与RBF网络参数学习过程相结合,使得网络既能在线适应实时对象的变化又能维持紧凑的结构,有效地解决了RBF神经网络结构自组织问题.该算法只调整欧氏距离距实时工况最近的核函数,大大提高了网络的学习速度.通过对典型非线性函数逼近和混沌时间序列预测的仿真,表明所提出的算法具有良好的动态特性响应能力和逼近能力.     

基于信息强度的RBF神经网络结构设计研究

在系统研究前馈神经网络的基础上,针对径向基函数(Radial basis function, RBF) 网络的结构设计问题,提出一种弹性RBF神经网络结构优化设计方法. 利用隐含层神经元的输出信息(Output-information, OI)以及隐含层神经元与输出层神经元间的交互信息(Multi-information, MI)分析网络的连接强度, 以此判断增加或删除RBF神经网络隐含层神经元, 同时调整神经网络的拓扑结构,有效地解决了RBF神经网络结构设计问题; 利用梯度下降的参数修正算法保证了最终RBF网络的精度, 实现了神经网络的结构和参数自校正. 通过对典型非线性函数的逼近与污水处理过程关键水质参数建模, 结果证明了该弹性RBF具有良好的动态特征响应能力和逼近能力, 尤其是在训练速度、泛化能力、最终网络结构等方面较之最小资源神经网络(Minimal resource allocation net works, MRAN)、增长修剪RBF 神经网络(Generalized growing and pruning RBF, GGAP-RBF)和自组织RBF神经网络(Self-organizing RBF, SORBF)有较大的提高.     

基于快速密度聚类的RBF神经网络设计

针对径向基函数（radial basis function,RBF）神经网络隐含层结构难以确定的问题,提出一种基于快速密度聚类的网络结构设计算法。该算法将快速密度聚类算法良好的聚类特性用于RBF神经网络结构设计中,通过寻找密度最大的点并将其作为隐含层神经元,进而确定隐含层神经元个数和初始参数;同时,引入高斯函数的特性,保证了每个隐含层神经元的活性;最后,用一种改进的二阶算法对神经网络进行训练,提高了神经网络的收敛速度和泛化能力。利用典型非线性函数逼近和非线性动态系统辨识实验进行仿真验证,结果表明,基于快速密度聚类设计的RBF神经网络具有紧凑的网络结构、快速的学习能力和良好的泛化能力。     

基于LM算法的在线自适应RBF网结构优化算法

针对LM算法不能在线训练RBF网络以及RBF网络结构设计算法中存在的问题,提出一种基于LM算法的在线自适应RBF网络结构优化算法.该算法引入滑动窗口和在线优化网络结构的思想,滑动窗口的引入既使得LM算法能够在线训练RBF网络,又使得网络对学习参数的变化具有更好的鲁棒性,并且易于收敛.在线优化网络结构使得网络在学习过程中能够根据训练样本的训练误差和隐节点的相关信息,在线自适应调整网络结构,跟踪非线性时变系统的变化,使网络维持最为紧凑的结构,以保证网络的泛化性能.最后通过仿真实验验证了所提出算法的性能.     

一种多层前馈神经网络的快速修剪算法

针对目前神经网络在应用中难于确定隐层神经元数的问题,提出了一种神经网络结构的快速修剪算法.该算法在最优脑外科算法（OBS）的基础上,通过直接剔除冗余的隐层神经元实现神经网络结构自组织设计.实验结果表明,快速修剪算法与常规的最优脑外科算法相比,具有更简单的网络结构和更快的学习速度.     

基于互信息的RBF神经网络结构优化设计

以设计最小RBF网络结构为着眼点,提出了一种基于互信息的RBF神经网络结构优化算法.该算法用k近邻统计法估计隐节点输出矩阵与输出节点输出矩阵之间的互信息,获得每个隐节点与输出节点之间的相关性度量,删除相关性最小的隐节点,进而达到优化网络结构的目的.该算法具有自恢复机制,在简化网络结构的同时能有效保证网络的信息处理能力.在人工数据集和真实基准数据集上的仿真实验验证了该算法的有效性与稳定性.     

基于互信息的分步式输入变量选择多元序列预测研究

针对多元序列分析中存在的输入变量选择问题,提出一种基于k-!近邻互信息估计的分步式变量选择算法. 该算法通过两步过程分别实现相关变量的选择与弱相关变量的剔除. 同时将分步变量选择算法应用于径向基函数(Radial basis function, RBF) 神经网络结构的优化中.在K均值聚类的基础上,通过分析隐含层神经元的输出权值与神经网络输出的相关性, 对隐含层节点进行选择,改进网络的结构与性能. Friedman数据的仿真实验验证了分步变量选择算法的有效性; Gas furnace多元时间序列以及Boston housing数据的仿真结果表明, 优化后的RBF网络能够在保证模型精度的基础上有效控制网络规模.     

前馈神经网络结构动态增长-修剪方法

针对前馈神经网络隐含层神经元不能在线调整的问题,提出了一种自适应增长修剪算法(AGP),利用增长和修剪相结合对神经网络隐含层神经元进行调整,实现神经网络结构的自组织,从而提高神经网络的性能.同时,将该算法应用于污水处理生化需氧量(BOD)软测量,仿真实验结果表明,与其他自组织神经网络相比,AGP具有较好的泛化能力及较高的拟合精度,能够实现出水BOD的预测.     

机械手的在线鲁棒自适应神经网络跟踪控制

考虑了一类具有外界干扰和不确定性的机械手臂轨迹跟踪鲁棒控制问题. 控制器由自适应RBF(radial basis function)神经网络控制器和PD控制器组成. 采用基于神经元灵敏度和获胜神经元概念的GP–RBF算法, 在线确定神经网络的初始结构和参数. 当误差满足一定要求时, 根据Lyapunov稳定性理论的自适应律进一步调整网络权值, 以保证机械手位置误差和速度跟踪误差渐近收敛于零. 所设计的控制器可保证闭环系统的稳定性和鲁棒性. 仿真结果证明了本文方法的有效性.     

基于ART 的RBF 网络结构设计

针对径向基函数(RBF)网络隐层结构难以确定的问题,基于自适应共振理论(ART)网络良好的在线分类特性,提出一种RBF网络结构设计算法。该算法将ART网络的聚类特性用于RBF网络结构设计中,通过对输入向量与已存模式的相似度比较将输入向量进行分类,确定隐含层节点个数和初始参数,使网络具有精简的结构。对典型非线性函数逼近的仿真结果表明,所提出的结构具有快速的学习能力和良好的逼近能力。     

基于相对贡献指标的自组织RBF神经网络的设计

针对RBF（radial basis function）神经网络的结构和参数设计问题,本文提出了一种基于相对贡献指标的自组织RBF神经网络的设计方法。首先,提出一种基于相对贡献指标（relative contribution,RC）的网络结构设计方法,利用隐含层输出对网络输出的相对贡献来判断是否增加或删减RBF网络相应的隐含层节点,并且对神经网络结构调整过程的收敛性进行证明。其次,采用改进的LM（Levenberg-Marquardt algorithm）算法对调整后的网络参数进行更新,使网络具有较少的训练时间和较快的收敛速度。最后,对提出的设计方法进行非线性函数仿真和污水处理出水参数氨氮建模,仿真结果表明,RBF神经网络能够根据研究对象自适应地动态调整RBF结构和参数,具有较好的逼近能力和更高的预测精度。     

Research on an online self-organizing radial basis function neural network

A new growing and pruning algorithm is proposed for radial basis function (RBF) neural network structure design in this paper, which is named as self-organizing RBF (SORBF). The structure of the RBF neural network is introduced in this paper first, and then the growing and pruning algorithm is used to design the structure of the RBF neural network automatically. The growing and pruning approach is based on the radius of the receptive field of the RBF nodes. Meanwhile, the parameters adjusting algorithms are proposed for the whole RBF neural network. The performance of the proposed method is evaluated through functions approximation and dynamic system identification. Then, the method is used to capture the biochemical oxygen demand (BOD) concentration in a wastewater treatment system. Experimental results show that the proposed method is efficient for network structure optimization, and it achieves better performance than some of the existing algorithms.     

一种结构自适应的径向基函数神经网络

提出了一种新的结构自适应的径向基函数(RBF)神经网络模型。在该模型中,自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心及其对应的权值向量传递给RBF神经网络,分别作为径向基函数的中心和相应的权值向量;RBF神经网络作为基础网络,采用高斯函数实现输入层到隐层的非线性映射,输出层则采用有监督学习算法训练网络的权值,从而实现输入层到输出层的非线性映射。通过对字母数据集进行仿真,表明该网络具有较好的性能。     

RBF neural network center selection based on Fisher ratio class separability measure

For classification applications, the role of hidden layer neurons of a radial basis function (RBF) neural network can be interpreted as a function which maps input patterns from a nonlinear separable space to a linear separable space. In the new space, the responses of the hidden layer neurons form new feature vectors. The discriminative power is then determined by RBF centers. In the present study, we propose to choose RBF centers based on Fisher ratio class separability measure with the objective of achieving maximum discriminative power. We implement this idea using a multistep procedure that combines Fisher ratio, an orthogonal transform, and a forward selection search method. Our motivation of employing the orthogonal transform is to decouple the correlations among the responses of the hidden layer neurons so that the class separability provided by individual RBF neurons can be evaluated independently. The strengths of our method are double fold. First, our method selects a parsimonious network architecture. Second, this method selects centers that provide large class separation.     

基于径向基函数神经网络的柔印专色配色系统

针对目前人工配色受配色者的生理、心理等主观因素影响,使产品质量难以保证这一问题,提出了基于径向基函数（RBF）神经网络的计算机柔印配色方法。该方法通过印刷实验获得样本数据,利用K均值聚类算法确定隐含层节点中心、采用伪逆法计算输出权值等参数,完成配色模型的建立。该配色模型可以快速完成柔印配色,并且具有较高的配色精度。     

A fuzzy hybrid learning algorithm for radial basis function neural network with application in human face recognition

This paper presents a fuzzy hybrid learning algorithm (FHLA) for the radial basis function neural network (RBFNN). The method determines the number of hidden neurons in the RBFNN structure by using cluster validity indices with majority rule while the characteristics of the hidden neurons are initialized based on advanced fuzzy clustering. The FHLA combines the gradient method and the linear least-squared method for adjusting the RBF parameters and the neural network connection weights. The RBFNN with the proposed FHLA is used as a classifier in a face recognition system. The inputs to the RBFNN are the feature vectors obtained by combining shape information and principal component analysis. The designed RBFNN with the proposed FHLA, while providing a faster convergence in the training phase, requires a hidden layer with fewer neurons and less sensitivity to the training and testing patterns. The efficiency of the proposed method is demonstrated on the ORL and Yale face databases, and comparison with other algorithms indicates that the FHLA yields excellent recognition rate in human face recognition.     

基于半监督学习的动态神经网络结构设计

针对神经网络初始结构的设定依赖于工作者的经验、自适应能力较差等问题,提出一种基于半监督学习(SSL)算法的动态神经网络结构设计方法。该方法采用半监督学习方法利用已标记样例和无标记样例对神经网络进行训练,得到一个性能较为完善的初始网络结构,之后采用全局敏感度分析法(GSA)对网络隐层神经元输出权值进行分析,判断隐层神经元对网络输出的影响程度,即其敏感度值大小,适时地删减敏感度值很小的神经元或增加敏感度值较大的神经元,实现动态神经网络结构的优化设计,并给出了网络结构变化过程中收敛性的证明。理论分析和Matlab仿真实验表明,基于SSL算法的神经网络隐层神经元会随训练时间而改变,实现了网络结构动态设计。在液压厚度自动控制(AGC)系统应用中,大约在160 s时系统输出达到稳定,输出误差大约为0.03 mm,与监督学习(SL)方法和无监督学习(USL)方法相比,输出误差分别减小了0.03 mm和0.02 mm,这表明基于SSL算法的动态网络在实际应用中能有效提高系统输出的准确性。     

基于改进遗传算法的RBF神经网络结构优化研究

针对RBF神经网络隐含层节点数过多导致网络结构复杂的问题,提出了一种基于改进遗传算法(IGA)的RBF神经网络优化算法。利用IGA优化基于正交最小二乘法的RBF神经网络结构,通过对隐含层输出矩阵的列向量进行全局寻优,从而设计出结构更优的基于IGA的RBF神经网络(IGA-RBF)。将IGA-RBF神经网络的学习算法应用于电子元器件贮存环境温湿度预测模型,与基于正交最小二乘法的RBF神经网络进行比较的结果表明:IGA-RBF神经网络设计出来的网络训练步数减少了44步,隐含层节点数减少了34个,且预测模型得到的温湿度误差较小,拟合精度大于0.95,具有更高的预测精度。