智能油漆配色系统的改进BP算法

BP算法具有数学意义明确、学习规则简单等优点,是前向多次神经网络的典型学习算法。但是,BP算法在学习过程中容易陷入局部最小问题。针对这一问题,提出一种修正Sigmoid函数的改进BP算法。实验证明,改进BP算法可以有效克服局部最小,显著提高收敛速度。     

BP算法分析与改进

在人工神经网络中,BP神经网络是一种应用广泛的多层前馈神经网络。分析了BP算法的基本原理,指出了BP算法具有收敛速度慢、易陷入局部极小点等缺陷以及这些缺陷产生的根源。针对这些缺陷,通过在标准BP算法中引入变步长法、加动量项法、遗传算法、模拟退火算法等几种方法来优化BP算法。实验结果表明,这些方法有效地提高了BP算法的收敛性,避免陷入局部最小点。     

BP算法分析与改进

在人工神经网络中，BP神经网络是一种应用广泛的多层前馈神经网络。分析了BP算法的基本原理，指出了BP算法具有收敛速度慢、易陷入局部极小点等缺陷以及这些缺陷产生的根源。针对这些缺陷，通过在标准BP算法中引入变步长法、加动量项法、遗传算法、模拟退火算法等几种方法来优化BP算法。实验结果表明，这些方法有效地提高了BP算法的收敛性，避免陷入局部最小点。     

基于Metropolis准则的BP神经网络学习算法研究

本文针对BP神经网络训练学习过程中，连接权在调整时容易陷入局部极小使得进一步调整失去作用的问题，提出了一种有助于提高BP神经网络逼近精度的方法——基于M!缸。酬逸准则的神经网络学习算法。该算法整体采用传统的BP算法，但在一定条件下依据概率进行连接权的调整，使权值以一定的概率跳跃，跳出局部极小区，最终达到全局极小。仿真结果表明了这一算法的有效性。     

BP神经网络的改进算法及其应用

BP（Back-propagation neural network）神经网络是目前应用最为广泛和成功的多层前馈神经网络之一,分析了BP算法的基本原理,指出了BP算法具有收敛速度慢、易陷入局部极小点等缺陷以及这些缺陷产生的根源,并针对这些缺陷,通过在标准BP算法中引入变步长法、加动量项法等几种方法来优化BP算法。仿真实验结果表明,这些方法有效地提高了BP算法的收敛速度,避免陷入局部最小点。同时．将改进得BP神经网络算法应用于脱机手写体汉字识别系统的实现。使系统较好地回避了汉字结构复杂、变形难以预测等问题,提高了识剐率。     

BP神经网络的改进算法及其应用

BP(Back-propagation neural network)神经网络是目前应用最为广泛和成功的多层前馈神经网络之一,分析了BP算法的基本原理,指出了BP算法具有收敛速度慢、易陷入局部极小点等缺陷以及这些缺陷产生的根源,并针对这些缺陷,通过在标准BP算法中引入变步长法、加动量项法等几种方法来优化BP算法。仿真实验结果表明,这些方法有效地提高了BP算法的收敛速度,避免陷入局部最小点。同时,将改进得BP神经网络算法应用于脱机手写体汉字识别系统的实现,使系统较好地回避了汉字结构复杂、变形难以预测等问题,提高了识别率。     

BP算法的改进及其在Matlab上的实现

针对BP算法这种当前前馈神经网络训练中应用最多的算法,在介绍BP神经网络的基础上,对标准的BP网络训练算法存在的收敛速度慢、易陷入局部极值的严重缺点,提出了几种学习算法上的改进;进而介绍了改进蹬算法在Matlab神经网络工具箱中的函数实现。最后应用实例利用Matlab神经网络工具箱对标准BP算法及改进的算法进行语言编程、仿真。仿真结果显示,改进后的算法在极值、收敛速度上得到了很大的改善。     

基于粒子群优化与BP算法的协同神经网络学习方法

针对标准BP算法易陷入局部极值及收敛速度慢等问题,提出一种基于粒子群优化与BP算法的协同神经网络学习方法。该方法在网络的学习过程中,同时利用PSO优化算法与BP算法进行最优网络权值的协同搜索,从而充分利用粒子群算法的全局搜索性及BP算法的反向传播特点。将该算法应用于4个复杂函数的拟合仿真,并与标准BP算法以及传统的粒子群优化BP神经网络算法进行比较。实验结果表明所提的协同算法的性能优于传统的BP网络优化算法。     

基于改进BP网络算法的故障诊断分析

介绍BP神经网络结构和学习方法,针对误差反向传播神经网络模型学习收敛速度慢、容易陷入局部极小点等缺点,本文对BP网络模型进行了改进。对原始数据采用非线性的归一化函数,提出一种更加有效的学习率改进算法,提高了网络的收敛速度,采用了一种新的权值及阈值初始化方法,以避免训练时误差陷入局部极小解,并对改进BP算法与传统的BP算法进行比较,验证了该算法的优越性。     

基于粒子群与BP混合算法的神经网络学习方法

针对标准BP算法收敛速度慢及易陷入局部极值等问题,提出一种基于粒子群优化与BP混合算法的神经网络学习方法。该方法在网络的训练过程中,同时利用粒子群算法与BP算法进行最优网络权值的搜索,从而既充分利用了粒子群算法的全局搜索性又较好地保持了BP算法本身的反向传播特点。将该混合学习算法应用于复杂函数的拟合仿真,并与标准BP算法以及传统的粒子群优化BP神经网络学习算法进行比较。实验结果表明所提的混合学习算法具有较高的收敛精度,且收敛速度更快。     

前向神经网络参数估计中的进化规划

人工神经网络在很多领域有着成功的应用。神经网络参数估计有许多训练算法,BP算法是前向多层神经网络的典型算法,但BP算法有时会陷入局部最小解。进化规划是一种随机优化技术,它可以发现全局最优解。文章介绍了进化规划在前向多层神经网络参数估计中的应用,结合具体例子给出了算法实现的具体操作步骤和实验结果。实验数据表明采用进化规划得到的网络参数是最优的,神经网络的性能优于基于BP算法的神经网络性能。     

Application of temporal difference learning rules in short‐term traffic flow prediction

Studying dynamic behaviours of a transportation system requires the use of the system mathematical models as well as prediction of traffic flow in the system. Therefore, traffic flow prediction plays an important role in today's intelligent transportation systems. This article introduces a new approach to short‐term daily traffic flow prediction based on artificial neural networks. Among the family of neural networks, multi‐layer perceptron (MLP), radial basis function (RBF) neural network and wavenets have been selected as the three best candidates for performing traffic flow prediction. Moreover, back‐propagation (BP) has been adapted as the most efficient learning scheme in all the cases. It is shown that the coefficients produced by temporal signals improve the performance of the BP learning (BPL) algorithm. Temporal signals provide researchers with a new model of temporal difference BP learning algorithm (TDBPL). The capability and performance of TDBPL algorithm are examined by means of simulation in order to prove that the wavelet theory, with its multi‐resolution ability in comparison to RBF neural networks, is a suitable algorithm in traffic flow forecasting. It is also concluded that despite MLP applications, RBF neural networks do not provide negative forecasts. In addition, the local minimum problems are inevitable in MLP algorithms, while RBF neural networks and wavenet networks do not encounter them.     

基于交叉覆盖算法的入侵检测

文章提出了一种应用人工神经网络进行入侵检测分类器设计的新方法,即采用多层前向网络的交叉覆盖算法进行入侵检测分类器的设计。该算法克服了传统BP算法的收敛速度慢,易陷入局部最小点的问题。实验结果表明,该分类器用于入侵检测,效果良好,学习速度快,分类准确率高,为实现入侵检测分类器提供了一条准确高效的途径。     

基于MBP-RO混合学习策略的货币识别研究

神经网络模式识别方法是模式识别领域的一个新的研究方向,而BP算法是神经网络众多算法中应用最为广泛的一种.针对BP算法易于陷入局部极小值且收敛速度慢的缺陷,在BP神经网络训练过程中采用混合学习策略,并对建立的货币识别模型进行Matlab仿真.实验结果表明:MBP-RO模型使神经网络缩短了训练时间,获得了更高的识别速度和更好的识别效果,该模型在货币识别中具有一定的优势.     

A new learning algorithm with reference-following variables

A learning algorithm is presented for the learning of neural networks, in which the learning trajectory is convergence without any over-learning by changing of topological construction of the algorithm near any local minimum points of learning error. Became the topological construction is not convergent for some functions by usual BP method near some local minimum points, there is an over-learning phenomenon. To avoid the over-learning phenomenon, reference-foUowing variables are used to change the topological construction of this algorithm. The theoretical analysis and the simulation results indicate that the proposed method is simple and useful.     

一种新的神经网络学习算法

通过对人类学习机理和机制的研究,以及对现有ＢＰ神经网络学习算法及其改进的深入分析,本文提出了一种新的学习算法。该学习算法使神经网络学习由纯数学推导向智能化（启发式）学习发展,获取解决问题的最佳结构中神经元数及神经元间的联接数随问题的变化而动态变化,克服了目前神经网络学习算法普遍存在的学习时间长、局部极小小等问题。     

基于MPSO的BP网络及其在入侵检测中的应用

提出一种基于变异粒子群优化(MPSO)的BP网络学习算法,该算法用PSO算法替代了传统BP算法,且在学习过程中,引入变异操作,克服传统BP算法易陷入局部极小和PSO算法早熟的不足。并把该算法应用于入侵检测中,通过KDD99 CUP数据集分别对基于不同算法的BP神经网络进行了仿真实验比较,结果表明,该算法的收敛速度快,迭代次数较少,而且测试平均准确率高达96.5%。     

On Adaptive Learning Rate That Guarantees Convergence in Feedforward Networks

This paper investigates new learning algorithms (LF I and LF II) based on Lyapunov function for the training of feedforward neural networks. It is observed that such algorithms have interesting parallel with the popular backpropagation (BP) algorithm where the fixed learning rate is replaced by an adaptive learning rate computed using convergence theorem based on Lyapunov stability theory. LF II, a modified version of LF I, has been introduced with an aim to avoid local minima. This modification also helps in improving the convergence speed in some cases. Conditions for achieving global minimum for these kind of algorithms have been studied in detail. The performances of the proposed algorithms are compared with BP algorithm and extended Kalman filtering (EKF) on three bench-mark function approximation problems: XOR, 3-bit parity, and 8-3 encoder. The comparisons are made in terms of number of learning iterations and computational time required for convergence. It is found that the proposed algorithms (LF I and II) are much faster in convergence than other two algorithms to attain same accuracy. Finally, the comparison is made on a complex two-dimensional (2-D) Gabor function and effect of adaptive learning rate for faster convergence is verified. In a nutshell, the investigations made in this paper help us better understand the learning procedure of feedforward neural networks in terms of adaptive learning rate, convergence speed, and local minima.     

小波及混沌学习神经网络在短期电力负荷预测中的应用

该文提出了采用小波和神经网络混合模型进行电力系统短期负荷预测方法。首先基于小波多分辨率分析方法将负荷序列分解成具有不同频率特征的序列。然后,根据分解后的各个分量的特点构造不同的神经网络模型对各分量分别进行预测。神经网络算法采用混沌学习算法,与传统BP算法相比,该算法利用混沌轨道的游动性使系统能够跳出局域极值的束缚而寻求全局最优点,这样克服了BP学习算法所存在的本质问题,可以加快网络学习速度和提高学习精度。最后对各分量预测信号进行重构得到最终预测结果。在构建网络模型时,该文考虑了气候因素的影响,并把它作为网络的一组输入点。实验结果表明基于这一方法的负荷预测系统具有较好的精度及稳定性。