仿真分析含扰动样本对BP网络学习的影响

该文从多层前向神经元网络的BP算法出发，通过计算机仿真发现含有噪声干扰的样本对BP网络的训练会产生不良的影响：①神经元网络的学习速度不易把握；②网络的学习过程不收敛或收敛值会偏移真实的期望输出。文中从本质上对产生这些影响的原因进行了分析，并且进一步揭示了能量函数的选取是使BP算法抗噪声能力差、鲁棒性不强的主要原因。     

人工神经元网络模型在银行和社会经济效益评价中的应用

本文利用人工神经元网络的学习优点,通过调整神经元内部的权重,改进BP算法,加快收敛速度,对银行和社会经济效益进行综合评价,改变了传统信息联想记忆能力的评价方法,收到了较好的效果。本文提出的评价方法适用于银行和各经济部门。     

一种基于量子粒子群的过程神经元网络学习算法

针对过程神经元网络模型学习参数较多,正交基展开后的BP算法计算复杂、不易收敛等问题,提出了一种基于双链结构的量子粒子群学习算法.该算法用量子比特构成染色体,对于给定过程神经元网络模型,按权值参数的个数确定量子染色体的基因数并完成种群编码,通过量子旋转门和量子非门完成个体的更新与变异.算法中每条染色体携带两条基因链,提高了获得最优解的概率,扩展了对解空间的遍历,从而加速过程神经元网络的优化进程.将经过量子粒子群算法训练的过程神经元网络应用于Mackey-Glass混沌时间序列和太阳黑子预测,仿真结果表明该学习算法不仅收敛速度快,而且寻优能力强.     

基于可变学习率BP算法的空调控制系统的研究

通过分析控制器参数学习率和控制器性能之间的关系,设计一种基于可变学习速率反向传播算法VLRBP和模糊神经元网络的变频空调控制系统.该系统不仅可以通过反传误差信号训练控制器参数,而且可以根据网络的当前状态朝最优化方向调整控制器参数的学习率.实验结果表明,该控制系统不仅比传统的空调PID控制器和模糊控制器具有更好的控制性能,而且相比基于标准BP算法和动量BP算法的模糊神经网络控制系统,也具有更快的收敛速度和更好的控制精确度.     

一种新的BP算法并行策略

针对BP神经元网络训练过程中收敛速度缓慢,易陷入局部极值的缺点,提出了通过划分权值空间寻找最小极值区域,在此基础上并行化BP算法的二次并行搜索策略,并将此策略应用于医药物流系统的销售趋势预测。实验证明该算法能快速找到全局最小,并在大样本集的情况下,训练速度有显著提高。     

一种改进的BP算法及其MatLab仿真

基于最优化理论,提出了基于新拟牛顿方程的改进拟牛顿算法训练BP神经网络.改进算法使用了一组新型的Hesse矩阵校正方程,使得改进拟牛顿算法具有全局收敛性和局部超线性收敛性.该文将改进的拟牛顿算法与BP神经网络权值的训练结合,得到一种新的BP神经网络权值的训练算法.与传统的神经网络权值学习的拟牛顿算法比较而言,采用改进算法的神经网络的收敛速度明显加快.改进算法能有效解决BP神经网络收敛速度慢的缺陷,显著提高了BP神经网络的学习训练收敛速度和学习精度.     

基于粒子群与BP混合算法的神经网络学习方法

针对标准BP算法收敛速度慢及易陷入局部极值等问题,提出一种基于粒子群优化与BP混合算法的神经网络学习方法。该方法在网络的训练过程中,同时利用粒子群算法与BP算法进行最优网络权值的搜索,从而既充分利用了粒子群算法的全局搜索性又较好地保持了BP算法本身的反向传播特点。将该混合学习算法应用于复杂函数的拟合仿真,并与标准BP算法以及传统的粒子群优化BP神经网络学习算法进行比较。实验结果表明所提的混合学习算法具有较高的收敛精度,且收敛速度更快。     

改进的BP神经网络在粮情测控中的研究与应用

与未改进的BP算法相比,本文的方法协调了训练次数多而引起的学习效率和收敛速度之间的矛盾,提高了BP算法的熟练速度和收敛速度。实验结果也说明了该方法的快速性、有效性、稳定性。     

基于量子粒子群的BP网络用于入侵检测

针对遗传算法、粒子群算法等BP网络的学习算法对高维复杂问题仍易早熟收敛,且无法保证收敛到最优解。把量子粒子群算法应用于BP网络的学习中,并把改进BP网络用于入侵检测。通过KDD99CUP数据集分别对基于不同学习算法的BP网络进行了实验比较,结果表明:该算法的收敛速度较快,可在一定程度上提高入侵检测系统的准确率和降低的误报率。     

一种放大误差信号的BP算法

针对BP神经网络学习算法收敛速度慢、易陷入假饱和状态的问题,提出了一种快速收敛的BP算法。该算法通过修改激励函数的导数,放大误差信号来提高收敛性。给出了改进算法的收敛性分析并在实验仿真中将改进算法同时与标准BP算法和NG等人的改进算法进行比较。仿真结果表明,该算法在收敛速度方面大大优于另外两种算法,有效地提高了BP算法的全局收敛能力。     

Magnified gradient function with deterministic weight modification in adaptive learning

This work presents two novel approaches, backpropagation (BP) with magnified gradient function (MGFPROP) and deterministic weight modification (DWM), to speed up the convergence rate and improve the global convergence capability of the standard BP learning algorithm. The purpose of MGFPROP is to increase the convergence rate by magnifying the gradient function of the activation function, while the main objective of DWM is to reduce the system error by changing the weights of a multilayered feedforward neural network in a deterministic way. Simulation results show that the performance of the above two approaches is better than BP and other modified BP algorithms for a number of learning problems. Moreover, the integration of the above two approaches forming a new algorithm called MDPROP, can further improve the performance of MGFPROP and DWM. From our simulation results, the MDPROP algorithm always outperforms BP and other modified BP algorithms in terms of convergence rate and global convergence capability.     

基于PSO算法和BP神经网络的PID控制研究

针对PID控制中的参数整定的难点及基本BP算法收敛速度慢、易陷入局部极值的问题,提出利用PSO算法的全局寻优能力和较强的收敛性来改进BP网络的权值调整新方法,从而对PID控制的比例、积分、微分进行优化控制。该方法是在基本BP算法的误差反向传播的基础上,使粒子位置的更新对应BP网络的权值和阈值的调整,既充分利用了PSO算法的全局寻优性又较好地保持了BP算法本身的反向传播特点。仿真结果表明基于PSO算法的BP神经网络的PID优化控制具有较好的性能和自学习、自适应性。     

一种基于并行策略的BP改进算法

介绍了BP神经网络的基本结构及原理,分析了其收敛慢的原因。为加快其收敛速度,结合带动量梯度下降法提出一种新的算法(PBBP),用多个学习速率不同但结构相同的网络进行并行训练,在每次迭代后都根据误差找出处于最佳状态的网络,并使其它网络的训练参数作适当变化再进行下一次迭代,直到整个网络的误差减小到允许范围内或达到训练次数要求,加快了其收敛速度,能够很好地脱离平坦区。通过在Matlab里编程进行仿真实验证明,该算法是可行的。     

模拟退火算法改进BP算法的区域物流中心选址

合理的区域物流中心选址是加速区域物流网络升级优化,促进经济持续、健康、稳定发展的基础。文中运用模拟退火算法改进BP学习算法构成一种新的优化算法,通过学习和迭代求出问题的解。首先,运用精确的数学模型描述BP学习算法,并通过图形阐明模拟退火算法改进BP算法的流程;然后,针对改进后的算法规划了6个选址步骤;最后,通过具体选址实例,验证改进算法和步骤的有效性。文中研究的算法在收敛稳定性、收敛速度、初值敏感性等方面具有良好的效果,表现出高效、实用、简洁的特性。     

一种前馈神经网的快速算法

前馈神经网已经被大量用于非线性信号处理． 经典反向传播算法是一种标准的前馈网络学习算法,但是,对许多应用,反向传播算法的收 敛速度却很慢．本文根据对网络的非线性单元进行线性化而提出一种新的算法,该算法在非 线性信号处理中在精度和收敛速度方面都优于传统的反向传播算法．     

Forecasting foreign exchange rates with an improved back-propagation learning algorithm with adaptive smoothing momentum terms

The slow convergence of back-propagation neural network (BPNN) has become a challenge in data-mining and knowledge discovery applications due to the drawbacks of the gradient descent (GD) optimization method, which is widely adopted in BPNN learning. To solve this problem, some standard optimization techniques such as conjugate-gradient and Newton method have been proposed to improve the convergence rate of BP learning algorithm. This paper presents a heuristic method that adds an adaptive smoothing momentum term to original BP learning algorithm to speedup the convergence. In this improved BP learning algorithm, adaptive smoothing technique is used to adjust the momentums of weight updating formula automatically in terms of “3 σ limits theory.” Using the adaptive smoothing momentum terms, the improved BP learning algorithm can make the network training and convergence process faster, and the network’s generalization performance stronger than the standard BP learning algorithm can do. In order to verify the effectiveness of the proposed BP learning algorithm, three typical foreign exchange rates, British pound (GBP), Euro (EUR), and Japanese yen (JPY), are chosen as the forecasting targets for illustration purpose. Experimental results from homogeneous algorithm comparisons reveal that the proposed BP learning algorithm outperforms the other comparable BP algorithms in performance and convergence rate. Furthermore, empirical results from heterogeneous model comparisons also show the effectiveness of the proposed BP learning algorithm.     

一种回归神经网络的快速在线学习算法

针对回归神经网络BP学习算法收敛慢的缺陷,提出了一种新的快速在线递推学 习算法.本算法在目标函数中引入了遗忘因子,并借助于非线性系统的最大似然估计原理成 功地解决了动态非线性系统回归神经网络模型权系数学习的实时性和快速性问题.仿真结果 表明,该算法比传统的回归BP学习算法具有更快的收敛速度.     

一种基于模拟退火的自适应算法

针对常规BP算法收敛速度慢和易陷入局部极小的问题,文章提出了一种新的BP算法———SASSFBP算法。该算法根据训练中最近两个梯度的符号及其相对大小来动态地改变权步因子,提高了神经网络的收敛速度,并同时结合模拟退火算法来避免陷入局部极小。仿真实验结果表明:SASSFBP算法在收敛速度与运算精度,以及避免陷入局部极小的能力等方面均明显优于常规的BP算法。     

A fast learning algorithm of neural network with tunable activation function

This paper presents a modified structure of a neural network with tunable activation function and provides a new learning algorithm for the neural network training. Simulation results of XOR problem, Feigenbaum function, and Henon map show that the new algorithm has better performance than BP (back propagation) algorithm in terms of shorter convergence time and higher convergence accuracy. Further modifications of the structure of the neural network with the faster learning algorithm demonstrate simpler structure with even faster convergence speed and better convergence accuracy.