BP算法局部极小问题改进的研究进展

BP算法的最大缺陷之一,是易于陷入局部极小点。本文针对BP算法所存在的这类问题,分析其产生的原因,并对多种改进方案按照改进原理进行了详细的分类综述,指出了未来该领域研究的方向。     

BP网络局部极小产生的原因分析及避免方法

在详细地讨论了BP算法陷入局部极小原因的基础上，对BP算法避免陷入局部极小提出了3种基本的方法。第一种是预先给定权初值。第二种是合理地设置网络隐含单元数目。第三种是采用感知器分解预置初值的方法避免BP算法陷入局部极小。     

一种克服遗传算法收敛于局部极小的方法

本文针对遗传算法可能收敛于局部极上而最终得不到全局最优解的问题，提出了一种改进方法，并用实例验证了该方法的有效性。     

神经网络中克服局部最小的BP—EP混合算法

人工神经网络在很多领域有着成功的应用,神经网络有许多学习算法,BP算法是前向多层神经网络的典型算法,但BP算法有时会陷入局部最小解,进化规划（EP）是一种随机优化技术,它可以发现全局成解,当网络学习过程陷入局部最小时,利用EP确定BP算法中的学习速率,使学习过程逸出局部最小,结合具体例子给出了算法实现的具体操作步骤和实验结果。     

BP算法改进的研究

BP算法是神经网络中最常用的算法之一.分析传统的BP算法思想,发现它存在着诸如易于陷入局部极小、收敛速度慢等问题.针对BP算法的这些问题,分3个着手点,即:相关参数、激励函数和误差函数,归纳一些行之有效的改进方法,论述这些方法的主要思想,并分析它们的改进效果.     

一种改进的神经网络BP算法程序设计

本文对ＢＰ网络算法进行了改进，并结合该算法进行了程序设计。实际应用结果表明，所设计的程序具有较好的性能。     

一种改进型快速BP训练算法

本文以自适应步长调整代替ＤＦＰ优化方法中的一维搜索，并将它应用于前馈神经网络训练中。同时对步长的衰减因子和增长因子进行动态自适应调整，提高了ＢＰ训练算法的收敛速度和摆脱局部极小的能力，实验结果证明了该算法的有效性。     

一种改进的复数BP神经网络算法研究

论文提出了复数BP神经网络的一种新结构和算法。算法的主要思想是将复值输人信号的实部和虚部分离,分别训练,使其达到稳定状态。其结构简单,易于实现,只需少量样本点却有很高收敛速度和精度。通过实验和仿真说明论文算法的有效性。     

BP神经网络的一种稳健改进算法

本文借鉴统计中的稳健估计方法的思想，对ＢＰ网络构造了新的误差平方和函数，在新的误差平方和函数下的ＢＰ算法，使ＢＰ网络能较好地用于观测值存在“异常点”的情况。     

一种基于并行策略的BP改进算法

介绍了BP神经网络的基本结构及原理,分析了其收敛慢的原因。为加快其收敛速度,结合带动量梯度下降法提出一种新的算法(PBBP),用多个学习速率不同但结构相同的网络进行并行训练,在每次迭代后都根据误差找出处于最佳状态的网络,并使其它网络的训练参数作适当变化再进行下一次迭代,直到整个网络的误差减小到允许范围内或达到训练次数要求,加快了其收敛速度,能够很好地脱离平坦区。通过在Matlab里编程进行仿真实验证明,该算法是可行的。     

BP模型中的激励函数和改进的网络训练法

本文研究了ＢＰ算法激励函数ｆ对收敛速度的影响，得出了陡峭函数收敛快的结论。其次，给出一个逐步增加训练数据以避免局部极小的方法。     

一种模糊规则动态调整BP算法中参数的方法

文中首先对标准的ＢＰ算法进行了分析。然后在此基础上提出了通过模糊规则推理动态调整学习率和动量因子的改进的方法，并通过模糊推理系统实现了ＢＰ算法的模糊控制。最后通过实例将该算法与标准ＢＰ算法和Ｖｏｇｌ改进的算法进行了比较，实验结果表明通过模糊推理来改善神经网络的ＢＰ算法性能是一种很有前途的方法。     

基于粒子群优化的BP网络学习算法

本文提出一种新颖的基于粒子群优化的BP网络学习算法，该算法是一种全局随机优化算法。用Iris分类问题，将所提出的算法与BP算法作了对比实验。实验结果表明：所提出的算法性能优于BP算法，而且具有良好的收敛性。     

BP算法分析与改进

在人工神经网络中,BP神经网络是一种应用广泛的多层前馈神经网络。分析了BP算法的基本原理,指出了BP算法具有收敛速度慢、易陷入局部极小点等缺陷以及这些缺陷产生的根源。针对这些缺陷,通过在标准BP算法中引入变步长法、加动量项法、遗传算法、模拟退火算法等几种方法来优化BP算法。实验结果表明,这些方法有效地提高了BP算法的收敛性,避免陷入局部最小点。     

基于同伦方程的交叉熵BP算法

提出一种建构在同伦方程基础上的交叉熵BP算法,在原有的交叉熵函数基础上,通过同伦方程的参数逐步调节权值,使收敛达到最佳效果.同时其激活函数采用广泛意义的函数,有利于拓展函数使用空间,并结合动量项使收敛效果更佳.实验结果表明,改进后的算法与原始的加动量项算法相比有较好的收敛速度,陷入极小点的几率也大为降低.     

神经网络结构分析与BP算法修正

对神经网络拓扑结构进行了分析，采用通过减少网络节点漳的连接权值进而减少网络节点来实现网络结构优化的策略，由此提出了ＢＰ算法的修正公式和确定网络优化结构的方法，并对线性稳态系统物和线性动态系统两个实例进行了应用验证，取得了较好的结果，理论分析和应用实践证明提出的网络结构优化方法的可行性。     

广义神经网络系统与广义BP算法

本文在传统的神经网络理论基础上,将传统的神经元拓广为广义神经元,描述了以广义神经元为基础的广义神经网络系统的组成原理,提出了适应于广义神经网络系统的一种广义BP算法。并给出了该算法的数学推导,最后简要地介绍了广义神经网络系统原理在汉字识别中的应用。