一种基于放大误差信号的自适应BP算法

针对标准BP算法受饱和区域影响而导致收敛速度慢的问题,提出一种基于放大误差信号的自适应BP算法,该算法通过修改激励函数的导数,使权值的修正过程不会因饱和区域而趋于停滞,并分析了改进算法的收敛性。仿真结果表明,改进的BP算法加快了收敛速度,并在一定程度上提高了全局收敛能力。     

一种改进的BP算法及其MatLab仿真

基于最优化理论,提出了基于新拟牛顿方程的改进拟牛顿算法训练BP神经网络.改进算法使用了一组新型的Hesse矩阵校正方程,使得改进拟牛顿算法具有全局收敛性和局部超线性收敛性.该文将改进的拟牛顿算法与BP神经网络权值的训练结合,得到一种新的BP神经网络权值的训练算法.与传统的神经网络权值学习的拟牛顿算法比较而言,采用改进算法的神经网络的收敛速度明显加快.改进算法能有效解决BP神经网络收敛速度慢的缺陷,显著提高了BP神经网络的学习训练收敛速度和学习精度.     

一种快速收敛的改进BP算法的研究

在分析普通BP算法的基础上提出了一种改进的BP算法(MBP),用以克服普通BP算法收敛速度慢、易陷入局部最小点的缺点.算法的核心是改变Sigmoid函数的微分表达式,加入幂因子S和R,用以提高网络输出误差项在整个目标函数中的相对影响.收敛性分析表明,MBP算法保持了普通BP算法的梯度下降特性,但具有更快收敛速度和更好的收敛精度,并且可跳出局部最小点.通过对一个非线性系统的模型辨识仿真实验,直观上证明了该算法的有效性和可行性.     

一种改进的BP神经网络手写体数字识别方法

本文介绍了利用BP神经网络来识别手写体数字的原理,分析了传统BP算法收敛速度较慢的原因,提出了一种提高网络收敛速度的改进算法。实验数据表明,该改进算法比传统的算法在网络收敛速度上提高了九倍左右。     

一种自适应遗传BP神经网络模型研究及应用

如何更有效地提高神经网络的收敛速度和收敛质量。基于遗传算法的全局搜索和BP神经网络局部精确搜索的特性，提出一种自适应遗传BP神经网络模型，该模型的主要算法是先采用一种自适应遗传算法优化BP网络初始权重。而后再进行BP网络的训练过程。最后并研究如何利用该模型进行三级跳远成绩预测。实验结果表明该方法优于传统BP算法。有利于提高网络的收敛性以及学习能力，可在一定程度上提高三级跳远成绩预测的准确率，具有一定的实用价值。     

一种基于BP神经网络的数字识别新方法

针对标准BP神经网络收敛速度慢、易陷入局部极小点的缺点,提出了一种新的BP神经网络改进算法。该算法通过变步长法和牛顿法来改进BP算法,加快了网络的收敛速度,且收敛速度快于其他的改进算法。在此基础上将BP神经网络应用于数字识别中,为其网络建立识别模型。利用仿真实验观察BP网络的泛化能力以及识别准确性,比较BP算法及其改进方案,提出改进方案中分别需要注意的地方。     

PSO优化BP神经网络的混沌时间序列预测

针对于BP神经网络预测模型,收敛速度慢,精度较低,容易陷入局部极小值等缺点,提出了一种改进粒子群优化BP神经网络预测模型的算法。在该算法中,粒子群采用改进自适应惯性权重和改进自适应加速因子优化BP神经网络预测模型的初始权值和阈值,然后训练BP神经网络预测模型并预测。将该算法应用到几个典型的混沌时间序列预测。实验结果表明,该算法明显提高BP神经网络预测模型的收敛速度和预测模型的精度,减少陷入局部极小的可能。     

改进的人工蜂群算法在神经网络中的应用

人工蜂群算法是模拟蜜蜂采蜜行为而提出的一种新的启发式仿生算法,属于典型的群体智能算法。提出了一种改进的人工蜂群算法,并利用改进后的人工蜂群算法来优化传统BP算法（神经网络算法中的误差方向传播算法）中网络参数的权值。实验结果证明该优化算法提高了BP神经网络收敛解的精度,加快了BP神经网络收敛速度。     

基于改进BP网络算法的故障诊断分析

介绍BP神经网络结构和学习方法,针对误差反向传播神经网络模型学习收敛速度慢、容易陷入局部极小点等缺点,本文对BP网络模型进行了改进。对原始数据采用非线性的归一化函数,提出一种更加有效的学习率改进算法,提高了网络的收敛速度,采用了一种新的权值及阈值初始化方法,以避免训练时误差陷入局部极小解,并对改进BP算法与传统的BP算法进行比较,验证了该算法的优越性。     

一种基于NFCS形态的模糊神经网络的学习算法

神经网络与模糊逻辑协同系统（NFCS）是神经网络与模型系统深度融合的一种形态，传统的BP算法也可作为NFCS的学习算法，但收敛性能不佳，针对NFCS形态的模糊神经网络提出了BP算法的一种新的改进算法（NFCS－BP），即在误差传播时不仅改变网络的连接权值，同时也改变模糊逻辑神经元模型的补偿参数，首先介绍了NFCS的协同机制和典型结构，然后详细推导了改进算法的迭代公式，实践证明，与传统BP算法相比，该算法具有收敛性能好，函数逼近精度高的优点。     

Magnified gradient function with deterministic weight modification in adaptive learning

This work presents two novel approaches, backpropagation (BP) with magnified gradient function (MGFPROP) and deterministic weight modification (DWM), to speed up the convergence rate and improve the global convergence capability of the standard BP learning algorithm. The purpose of MGFPROP is to increase the convergence rate by magnifying the gradient function of the activation function, while the main objective of DWM is to reduce the system error by changing the weights of a multilayered feedforward neural network in a deterministic way. Simulation results show that the performance of the above two approaches is better than BP and other modified BP algorithms for a number of learning problems. Moreover, the integration of the above two approaches forming a new algorithm called MDPROP, can further improve the performance of MGFPROP and DWM. From our simulation results, the MDPROP algorithm always outperforms BP and other modified BP algorithms in terms of convergence rate and global convergence capability.     

基于注意力模型的混合学习算法

为了解决传统BP(back-propagation)算法收敛速度慢,训练得到的网络性能较差的问题,在借鉴生理学中"选择性注意力模型"的基础上,将遗传算法与误差放大的BP学习算法进行了有机的融合,提出了基于注意力模型的快速混合学习算法.该算法的核心在于将单独的BP训练过程划分为许多小的切片,并对每个切片进行误差放大的训练和竞争淘汰机制的选择.通过发现收敛速率较快的个体和过滤陷入局部极值的个体,来保证网络训练的成功率和实现快速向全局最优区域逼近的目的.仿真结果表明,该算法有效地解决了传统BP算法中由于初始权值的随机性造成的训练失败问题,并能有效解决饱和区域引起的后期训练缓慢问题,在不增加网络隐层节点数的情况下,显著地提高了网络的收敛精度和泛化能力.这将使神经网络在众多实际的分类问题上具有更广泛的应用前景.     

改进BP算法在预测安全库存中的应用

针对标准BP算法收敛速度慢、容易陷入极小值的缺陷,利用附加动量项和变步长思想相结合的改进算法,建立三层BP网络模型对安全库存量进行预测,并与标准BP算法的预测结果进行比较,提高了网络收敛速度和预测准确度.     

基于数值优化的改进BP算法在旋转机械故障诊断中的应用

机械设备的安全运行对企业的现代化生产至关重要,因而对故障机械的诊断近年来受到了普遍关注,而神经网络具有分辨原因及故障类型的能力,在故障诊断领域中得到了广泛应用.本文针对传统BP算法存在的收敛速度慢以及容易陷入局部最小点等问题,给出了两种基于数值优化方法的改进BP算法,应用改进的BP算法对旋转机械故障进行诊断研究,结果表明,加快了网络的收敛速度.证明该算法比BP算法精度更高且收敛速度更快.     

基于进化神经网络的BLDCM调速控制

针对标准BP算法存在全局搜索能力弱和易陷入局部极小点等缺点,将遗传算法与BP神经网络相结合,构造了一种新的进化神经网络GA-BP算法,并将该算法应用于无刷直流电机调速系统的控制,仿真结果表明,与传统的PI控制系统相比,该算法得出的电机控制曲线几乎无超调,与基于BP算法的速度控制系统相比较,具有收敛速度快、不易陷入局部极小的优点。     

Forecasting foreign exchange rates with an improved back-propagation learning algorithm with adaptive smoothing momentum terms

The slow convergence of back-propagation neural network (BPNN) has become a challenge in data-mining and knowledge discovery applications due to the drawbacks of the gradient descent (GD) optimization method, which is widely adopted in BPNN learning. To solve this problem, some standard optimization techniques such as conjugate-gradient and Newton method have been proposed to improve the convergence rate of BP learning algorithm. This paper presents a heuristic method that adds an adaptive smoothing momentum term to original BP learning algorithm to speedup the convergence. In this improved BP learning algorithm, adaptive smoothing technique is used to adjust the momentums of weight updating formula automatically in terms of “3 σ limits theory.” Using the adaptive smoothing momentum terms, the improved BP learning algorithm can make the network training and convergence process faster, and the network’s generalization performance stronger than the standard BP learning algorithm can do. In order to verify the effectiveness of the proposed BP learning algorithm, three typical foreign exchange rates, British pound (GBP), Euro (EUR), and Japanese yen (JPY), are chosen as the forecasting targets for illustration purpose. Experimental results from homogeneous algorithm comparisons reveal that the proposed BP learning algorithm outperforms the other comparable BP algorithms in performance and convergence rate. Furthermore, empirical results from heterogeneous model comparisons also show the effectiveness of the proposed BP learning algorithm.     

基于回归神经网络自适应快速BP算法

动态递归网络Elman网络结构简单，运算量少，适合于实时系统辨识。以Elman网络结构推导了在线学习算法。针对于传统BP算法会产生局部收敛和收敛速度慢等缺点，提出了一种改进的自适应BP算法，运用到回归神经网络，提高了在线学习的速度与收敛速度，仿真实验表明了此算法的有效性和快速性。     

基于人工蜂群的 BP 神经网络算法

传统BP神经网络存在容易陷入局部极小点、收敛速度慢等缺点。人工蜂群算法是基于蜜蜂群体的觅食行为而提出的一种新的启发式仿生算法,属于典型的群体智能算法。它为全局优化算法,该算法简单、实现方便、鲁棒性强。针对BP神经网络算法的不足,提出利用人工蜂群算法交叉优化BP网络参数的权值和阈值,实验证明该优化算法确实提高了解的精度,加快了网络收敛速度。