Neighborhood based modified backpropagation algorithm using adaptive learning parameters for training feedforward neural networks

The major drawbacks of backpropagation algorithm are local minima and slow convergence. This paper presents an efficient technique ANMBP for training single hidden layer neural network to improve convergence speed and to escape from local minima. The algorithm is based on modified backpropagation algorithm in neighborhood based neural network by replacing fixed learning parameters with adaptive learning parameters. The developed learning algorithm is applied to several problems. In all the problems, the proposed algorithm outperform well.     

带两类正态变异的PSO 算法

针对基本粒子群优化算法(PSO)容易陷入局部最优点和收敛速度较慢的缺点,提出在PSO更新过程中加入两类基于正态分布投点的变异操作。一类变异用来增强局部搜索能力,另一类变异用来提高发现全局最优点的能力,避免所有粒子陷入到一个局部最优点的邻域内。数值结果表明,所提出算法的全局搜索能力有显著提高,并且收敛速度更快。     

智能油漆配色系统的改进BP算法

BP算法具有数学意义明确、学习规则简单等优点,是前向多次神经网络的典型学习算法。但是,BP算法在学习过程中容易陷入局部最小问题。针对这一问题,提出一种修正Sigmoid函数的改进BP算法。实验证明,改进BP算法可以有效克服局部最小,显著提高收敛速度。     

Fast Convergent Generalized Back-Propagation Algorithm with Constant Learning Rate

The conventional back-propagation algorithm is basically a gradient-descent method, it has the problems of local minima and slow convergence. A new generalized back-propagation algorithm which can effectively speed up the convergence rate and reduce the chance of being trapped in local minima is introduced. The new back-propagation algorithm is to change the derivative of the activation function so as to magnify the backward propagated error signal, thus the convergence rate can be accelerated and the local minimum can be escaped. In this letter, we also investigate the convergence of the generalized back-propagation algorithm with constant learning rate. The weight sequences in generalized back-propagation algorithm can be approximated by a certain ordinary differential equation (ODE). When the learning rate tends to zero, the interpolated weight sequences of generalized back-propagation converge weakly to the solution of associated ODE.     

基于小波变换的双并联神经网络在混合气体浓度预测中的应用

BP神经网络在混合气体浓度预测中得到广泛应用。针对BP神经网络收敛速度慢的特点,提出了一种新的基于小波变换的并列隐层双并联神经网络结构,这种网络首先对输入数据进行二维离散小波变换,然后用双并联神经网络对变换后两组数据进行训练,确定神经网络的权值和阈值。实验结果证明,相对传统的BP及双并联神经网络,基于小波变换的双并联神经网络的收敛速度加快2～3倍;对混合气体浓度的预测精度也有明显提高。     

一种基于模拟退火的自适应算法

针对常规BP算法收敛速度慢和易陷入局部极小的问题,文章提出了一种新的BP算法———SASSFBP算法。该算法根据训练中最近两个梯度的符号及其相对大小来动态地改变权步因子,提高了神经网络的收敛速度,并同时结合模拟退火算法来避免陷入局部极小。仿真实验结果表明:SASSFBP算法在收敛速度与运算精度,以及避免陷入局部极小的能力等方面均明显优于常规的BP算法。     

基于PSO-BP神经网络的股市预测模型

为解决股市短期预测中BP神经网络法对初始权值敏感、易陷入局部极小值和收敛速度慢等问题,基于全局随机优化思想的粒子群优化(PSO)算法,对BP神经网络的初始权值进行了优化,建立了PSO-BP神经网络股市预测模型.并通过实例分析与传统BP神经网络预测法进行对比,结果表明该方法收敛速度明显提高,有效降低了训练误差,避免了陷入局部极小值,达到了较高的预测精度,在股市短期预测中具一定的实用价值.     

基于高斯扰动的粒子群优化算法

针对标准粒子群优化(PSO)算法易陷入局部最优、进化后期收敛速度慢和收敛精度低的缺点,提出一种基于高斯扰动的粒子群优化算法。该算法采用对粒子个体最优位置加入高斯扰动策略,有效地防止算法陷入局部最优,加快收敛并提高收敛精度。在固定评估次数的情况下,对8个常用的经典基准测试函数在30维上进行了仿真。实验结果表明,所提算法在收敛速度和寻优精度上优于一些知名的粒子群优化算法。     

基于混合反馈机制的扩展蚁群算法

由于传统蚁群算法基于正反馈机制的单一搜索方式,导致其存在收敛速度慢、易陷入局部极值的缺点.针对该问题提出一种基于混合反馈机制的扩展蚁群算法(MF-ACO),该算法在传统蚁群算法的基础上定义一种具有较强全局搜索能力的扩展型蚂蚁,帮助算法跳出局部极值;参考蚁群劳动分工行为,设计基于刺激-响应分工模型的负反馈平衡机制,动态平衡算法的收敛能力和全局搜索能力;最后依据分工模型对蚂蚁个体的信息素更新策略进行改进,进一步加快算法收敛速度.以多个TSP实例作为测试对象进行仿真实验,实验结果验证了所提算法的优越性,并将该算法用于机器人路径规划问题,在实际应用中进一步验证了所提算法的有效性.     

基于人工免疫网络的正交小波盲均衡算法

传统的常数模盲均衡算法存在收敛速度慢、均方误差大、易陷入局部极小值点等缺点。为此,提出一种基于人工免疫系统的正交小波盲均衡算法。该算法将均衡器系数向量作为抗体,经过抗体克隆、变异和抑制等操作,搜索到适应度值最高的抗体,即均衡器的最优系数,使权向量跳出局部最优点,接近全局最优点,并利用正交小波变换改善常数模盲均衡算法的收敛性,降低均方误差。仿真实验结果表明,该算法收敛速度快、均方误差小,能得到全局最优解。     

一种改进的BP神经网络算法与应用

针对传统BP算法存在的收敛速度过慢、易陷入局部极小、缺乏统一的理论指导网络结构设计的缺点,分析了一般的改进算法在神经网络优化过程中存在的问题,从蚁群算法和BP算法融合的角度上,并引入了放大因子,提出一种综合改进的BP算法。该算法引入放大因子改善BP算法易陷入局部极小的情况,结合蚁群算法用于指导网络结构设计,并极大地改善了收敛速度过慢的问题。最后,将改进的BP算法与传统BP算法进行应用于煤矿瓦斯预测。通过对实验结果的分析,从时间和正确率上都表明改进的BP算法要优于传统的BP算法。     

具有混沌学习率的BP算法

针对BP算法在训练过程中容易陷入局部极小值,导致收敛速率慢的问题,探讨一种利用混沌的遍历特性改进学习效率的算法,用Matlab软件对改进算法进行仿真。实验结果表明,该算法能够提高神经网络的学习效率和收敛精度,较好地避免网络陷入局部极小点。     

基于Cat混沌与高斯变异的改进灰狼优化算法

针对基本灰狼优化算法在求解复杂问题时同样存在依赖初始种群、过早收敛、易陷入局部最优等缺点,提出一种改进的灰狼优化算法应用于求解函数优化问题中。该算法首先利用混沌Cat映射产生灰狼种群的初始位置,为算法全局搜索过程的种群多样性奠定基础;同时引入粒子群算法中的个体记忆功能以便增强算法的局部搜索能力和加快其收敛速度;最后采用高斯变异扰动和优胜劣汰选择规则对当前最优解进行变异操作以避免算法陷入局部最优。对13个基准测试函数进行仿真实验,结果表明,与基本GWO算法、PSO算法、GA算法以及ACO算法相比,该算法具有更好的求解精度和更快的收敛速度。     

机械手轨迹规划的神经网络逆模控制

针对二自由度机械手动力学模型的非线性和参数的不确定性,提出了一种神经网络与逆模控制相结合的控制策略。针对传统BP算法在神经网络训练后期收敛速度慢且容易陷入局部极小的缺点,提出一种快速启发式学习算法。采用所提出的快速启发式网络学习算法训练多层前馈神经网络,建立机械手的逆动力学模型,实现对机械手的非线性控制。仿真结果表明了所提出控制策略的有效性和快速启发式网络学习算法的快速收敛性。     

混沌粒子群优化算法

将混沌融入到传统粒子群提出了混沌粒子群算法。该方法利用了混沌运动的遍历性、随机性以及对初值的敏感性等特性,根据早熟判断机制,在基本粒子群算法陷入早熟时,进行群体的混沌搜索．数值仿真结果表明该方法能跳出局部最优,进一步提高了计算精度和收敛速度,以及全局寻优能力。     

Extended Self Organizing Feature Map: A Tagged Potential Field Approach

This paper proposes an escape methodology to the local minima problem of self organizing feature maps generated in the overlapping regions which are equidistant to the corresponding winners. Two new versions of the Self Organizing Feature Map are derived equipped with such a methodology. The first approach introduces an excitation term, which increases the convergence speed and efficiency of the algorithm, while increasing the probability of escaping from local minima. In the second approach, we associate a learning set which specifies the attractive and repulsive field of output neurons. Results indicate that accuracy percentile of the new methods are higher than the original algorithm while they have the ability to escape from local minima.     

BP算法的改进及其在Matlab上的实现

针对BP算法这种当前前馈神经网络训练中应用最多的算法,在介绍BP神经网络的基础上,对标准的BP网络训练算法存在的收敛速度慢、易陷入局部极值的严重缺点,提出了几种学习算法上的改进;进而介绍了改进蹬算法在Matlab神经网络工具箱中的函数实现。最后应用实例利用Matlab神经网络工具箱对标准BP算法及改进的算法进行语言编程、仿真。仿真结果显示,改进后的算法在极值、收敛速度上得到了很大的改善。     

最优化问题全局寻优的PSO BFGS混合算法*

针对利用粒子群优化算法进行多极值函数优化时存在早熟收敛和搜索效率低的问题,提出混合的PSO-BFGS算法,并增强了混合算法的变异能力使算法能逃出局部极值点.通过对三种Benchmark函数的测试结果表明,PSO-BFGS算法不仅具有有效的全局收敛性能,而且还具有较快的收敛速度,是求解最优化问题的一种有效算法.     

遗传算法GA结合BFGS预测玻璃组成

复杂组成玻璃的定量设计过程往往涉及复杂的多目标优化问题，依照传统方法逐个实现目标性质设计，常常顾此失彼，玻璃开发周期很长，为此将多个性质加权平均后转化为一个综合指数，通过对综合指数的模拟来实现多个目标的优化，而这一过程常常需要强劲的优化算法，对于这种变量多、函数关系复杂的优化问题，传统的基于梯度的算法常常过早收敛于局部最优，适合全局搜索的遗传算法的局部精细搜索能力不强，因此将遗传算法与BFGS算法结合用于玻璃陶瓷复合材料组分设计，弥补了二者的缺点，实现了玻璃组成快速推确的程序设计，作为一种通用算法，GA-BFGS算法亦可用于其它最优化过程。     

一种快速收敛的改进BP算法的研究

在分析普通BP算法的基础上提出了一种改进的BP算法(MBP),用以克服普通BP算法收敛速度慢、易陷入局部最小点的缺点.算法的核心是改变Sigmoid函数的微分表达式,加入幂因子S和R,用以提高网络输出误差项在整个目标函数中的相对影响.收敛性分析表明,MBP算法保持了普通BP算法的梯度下降特性,但具有更快收敛速度和更好的收敛精度,并且可跳出局部最小点.通过对一个非线性系统的模型辨识仿真实验,直观上证明了该算法的有效性和可行性.