一种基于神经网络集成的规则学习算法

将神经网络集成与规则学习相结合,提出了一种基于神经网络集成的规则学习算法．该算法以神经网络集成作为规则学习的前端,利用其产生出规则学习所用的数据集,在此基础上进行规则学习．在UCl机器学习数据库上的实验结果表明,该算法可以产生泛化能力非常强的规则．     

A Modified Backpropagation Training Algorithm for Feedforward Neural Networks*

In this paper, a new efficient learning procedure for training single hidden layer feedforward network is proposed. This procedure trains the output layer and the hidden layer separately. A new optimization criterion for the hidden layer is proposed. Existing methods to find fictitious teacher signal for the output of each hidden neuron, modified standard backpropagation algorithm and the new optimization criterion are combined to train the feedforward neural networks. The effectiveness of the proposed procedure is shown by the simulation results. *The work of P. Thangavel is partially supported by UGC, Government of India sponsored project.     

一种新的双权值前向神经网络学习算法

提出了一种新的基于遗传算法和误差反向传播的双权值神经网络学习算法,同时确定核心权值、方向权值以及幂参数、学习率等参数,通过适当地调节这些参数,可以实现尽可能多种不同超曲面的特性以及起到加快收敛的效果。并通过对实际的模式分类问题的仿真,将文中的方法与带动量项BP算法、CSFN等算法进行了比较,验证了其有效性。实验结果表明所提出的方法具有分类准确率高、收敛速度快的优点。     

Chaos and Neural Network Learning. Some Observations

In this paper, we investigate the impact of chaos on the learning process of the XOR-boolean function by backpropagation neural networks. It has been shown previously that such networks exhibit chaotic behavior but it has never been studied whether chaos enhances or prohibits learning. We show that chaos (when learning the XOR-boolean function) does indeed allow learning but our findings do not indicate any positive role of chaos for learning. In particular, we found that the temperature parameter in the backpropagation algorithm causes the parameter regime, as represented by means of a bifurcation diagram, to shift to the right. We furthermore found that as less chaos appears during the learning process, the faster, on the average, a neural network learned the XOR-function.     

实数编码遗传算法的前向神经网络优化设计

提出一种综合控制策略的实数编码遗传算法,用该算法实现对前向网络结构及权值的同时优化设计。用非线性函数的逼近问题作仿真实验。结果表明,该算法能快速有效地确定网络结构及权值。     

基于Kalman滤波的神经网络学习算法及其应用

针对传统神经网络学习算法速度慢、容易陷入局部最优解的缺点,将卡尔曼滤波应用于人工神经网络的训练算法中。同时,在卡尔曼滤波计算中,将奇异值分解应用于卡尔曼滤波的递推公式中,提高了协方差阵计算的数值稳定性。最后,本文通过将神经网络的卡尔曼滤波算法应用于电力系统短期负荷预测中,验证了该方法不仅具有理论意义,同时也有实用价值。     

基于遗传算法的前馈神经网络结构优化

为防止交叉后优秀基因段的丢失,在随机非一致线性交叉的基础上,设计了一种与个体适应度相关的线性交叉方案。构造了一种使交叉率与变异率随进化过程自适应调整的方法,有效抑制了遗传算法的早熟收敛。然后,针对函数逼近问题用改进后的遗传算法去优化前馈神经网络的结构,降低了神经网络训练陷入局部最优的可能性,提高了网络的泛化能力。     

一种新的前向神经网络自适应学习算法

针对时变和／或非线性输入的前向神经网络提出了一种感知自适应算法。其本质是迫使输出的实际值和期望值之间的误差满足一个渐近稳定的差分方程，而不是用后向传播方法使误差函数极小化。通过适当排列扩张输入可以避免算法的奇异性。     

基于李雅普诺夫函数的BP神经网络算法的收敛性分析

针对前馈神经网络应时变输入的自学习机制，采用李雅普诺夫函数来分析权值的收敛性，从而揭示BP神经网络算法朝最小误差方向调整权值的内在因素，并在分析单参数BP算法收敛性基础上，提出单参数变调整法则的离散型BP神经网络算法．     

具有学习功能的多值模糊神经网络控制系统

对于具有非线性、大时滞、不确定性等特性的难以用精确数学模型描述的多变量复杂系统,靠传统控制理论难以获得理想的控制效果。基于模糊神经网络控制技术不依赖于被控对象精确的数学模型,且能根据被控对象参数的变化自适应调节控制规则和隶属函数参数的特性,进行了采用模糊神经网络控制器实现其控制的应用研究。采用典型的前向型模糊神经网络模型,给出了具有学习功能的多值模糊神经网络控制系统的一种设计方法。仿真实验证明,该系统能够获得较理想的控制效果。     

基于快速算法的模糊神经网络自适应控制

针对过程控制中被控对象常具有非线性、不确定性及参数时变等复杂因素,而难以建立精确的数学模型的情况,提出了一种基于快速学习算法的模糊神经网络自适应预测控制方案。该方案用神经网络作辨识器,模糊神经网络作控制器来实现非线性系统的自适应预测控制。为了克服传统的梯度下降法收敛速度慢、容易陷入局部极小值的缺点,该方案采用递推最小二乘法训练模糊神经网络。仿真结果表明,该方案可以实现模糊控制和神经网络的优势互补,对不确定非线性系统具有很好的控制效果。     

模糊神经网络快速学习算法的研究

在分析模糊模型及相应模糊神经网络的基础上，提出一种快速学习算法－－择近学习算法，它公需对每个训练数据学习一次，就可得了较好的结果，因此，其效率非常高。在算法中还引进了置信度的概念，以提高学习结果的可靠性，择近学习算法特别适用于捕获表达各种变量之间的结果信息。仿真结果证实了算法的有效性。     

Weight Initialization for Simultaneous Recurrent Neural Network Trained with a Fixed-point Learning Algorithm

This letter presents a study of the Simultaneous Recurrent Neural network, an adaptive algorithm, as a nonlinear dynamic system for static optimization. Empirical findings, which were recently reported in the literature, suggest that the Simultaneous Recurrent Neural network offers superior performance for large-scale instances of combinatorial optimization problems in terms of desirable convergence characteristics improved solution quality and computational complexity measures. A theoretical study that encompasses exploration of initialization properties of the Simultaneous Recurrent Neural network dynamics to facilitate application of a fixed-point training algorithm is carried out. Specifically, initialization of the weight matrix entries to induce one or more stable equilibrium points in the state space of the nonlinear network dynamics is investigated and applicable theoretical bounds are derived. A simulation study to confirm the theoretical bounds on initial values of weights is realized. Theoretical findings and correlating simulation study performed suggest that the Simultaneous Recurrent Neural network dynamics possesses desirable stability characteristics as an adaptive recurrent neural network for addressing static optimization problems. This revised version was published online in June 2006 with corrections to the Cover Date.     

遗忘神经网络模型及其BP算法

为解决跨时间数据训练神经网络时的数据选择问题,提出在神经网络的训练模型中引入遗忘系数,从而建立了一种改进的前馈神经网络模型——遗忘神经网络模型。介绍了该模型的基本原理,并给出了其BP算法。     

基于强化学习神经网络的车速跟踪控制

提出一种用于汽车排放试验中驾驶机器人对车速跟踪控制的新方法.该控制方法基于神经网络并结合强化学习的自适应能力,通过神经网络的在线学习对车速进行跟踪控制.利用试验汽车所获得的数据,首先开发出用于车速控制的神经网络模型.然后基于强化学习神经网络结构设计神经网络控制器以取得车速跟踪的自适应控制.在仿真研究中,使用神经网络车速控制模型替代实际汽车来训练初始控制器,并用开发与训练好的自学习神经网络控制器用于汽车车速跟踪控制.结果表明,所开发的神经网络控制器具有良好的车速跟踪性能,控制效果明显.     

前馈神经网络的新学习算法研究及其应用

为了提高多层前馈神经网络的权的学习效率。通过引入变尺度法,提出一种新的学习算法。理论上新算法不仅具有变尺度优化方法的一切优点,而且也能起到Kick—Out学习算法中动量项及修正项的相同作用,同时又克服了动量系数及修正项系数难以适当选择的困难。仿真试验证明了新学习算法用于非线性动态系统建模时的有效性。     

基于前馈神经网络的增量学习研究

增量学习是一种在巩固原有学习成果和不需要用到原有数据的情况下快速有效地获取新知识的学习模式.本文阐述了基于前馈神经网络的增量学习原理,在此基础上对主要的增量学习算法进行了详细的介绍和分析,最后对增量学习研究进行了总结和展望.     

基于混沌神经网络的图像复原算法

文章提出了一种基于混沌神经网络的图像复原新算法。在对退化图像进行复原的过程中,针对Hopfield算法易于陷入局部极小的缺点,在Hopfield神经网络中引入暂态混沌和时变增益,充分利用混沌理论的全局搜索性能进行＂粗＂搜索,当搜索到全局最优解附近时,再利用Hopfield算法进行局部搜索。通过对图像复原后的效果进行比较,证明基于混沌神经网络方法得到的图像复原的信噪比更高,目视效果更加。     

基于改进型遗传算法的前馈神经网络优化设计

阐明了遗传算法和神经网络结合的可行性,提出了一种改进的面向神经网络权值学习的遗传算法。通过对XOR问题的实验,显示出其快速学习网络权值的能力,且能摆脱局部极值的困扰和初始权值的限制,从各方面都表现出优于标准遗传算法和BP算法的性能。     

A Fast Heuristic Global Learning Algorithm for Multilayer Neural Networks

This paper presents a novel Heuristic Global Learning (HER-GBL) algorithm for multilayer neural networks. The algorithm is based upon the least squares method to maintain the fast convergence speed, and the penalized optimization to solve the problem of local minima. The penalty term, defined as a Gaussian-type function of the weight, is to provide an uphill force to escape from local minima. As a result, the training performance is dramatically improved. The proposed HER-GBL algorithm yields excellent results in terms of convergence speed, avoidance of local minima and quality of solution.