| 改进的DFP神经网络学习算法 |
| |
| 引用本文： | 张池平,唐蕾,苏小红,马培军.改进的DFP神经网络学习算法[J].计算机仿真,2008,25(4):172-175. |
| |
| 作者姓名： | 张池平 唐蕾 苏小红 马培军 |
| |
| 作者单位： | 1. 哈尔滨工业大学数学系,黑龙江,哈尔滨,150001
2. 哈尔滨工业大学计算机学院,黑龙江,哈尔滨,150001 |
| |
| 摘 要： | 传统BP神经网络学习算法有学习速度慢、精度不高、易于陷入局部极小值、不稳定等问题,DFP神经网络学习算法是最优化理论中一类典型的拟牛顿法,具有超线性收敛速度和全局收敛性.但普通DFP算法有数值不稳定的缺陷,在处理大规模网络的学习问题时容易失效;在算法进入到饱和区域、接近最小值的时候,普通DFP算法会产生溢出错误.通过放大权值更新向量和权值导数更新向量,改进拟Hesse逆矩阵的求解,并结合线性搜索和L-M算法,改善了方法的稳定性,解决了算法失效的问题,同时保证了高效的学习速度和较高的学习精度.与目前应用最广泛的BP学习算法L-M 算法相比,改进的DFP算法具有与其相同的学习速度,计算量小,学习精度高,更适用于大残量问题.
|
| 关 键 词： | 神经网络 拟牛顿法 海森矩阵 线性搜索 |
| 文章编号： | 1006-9348(2008)04-0172-03 |
| 修稿时间： | 2007年4月26日 |
An Advanced NN Learning Algorithm Based on DFP Method |
| |
| ZHANG Chi-ping,TANG Lei,SU Xiao-hong,MA Pei-ju.An Advanced NN Learning Algorithm Based on DFP Method[J].Computer Simulation,2008,25(4):172-175. |
| |
| Authors: | ZHANG Chi-ping TANG Lei SU Xiao-hong MA Pei-ju |
| |
| Affiliation: | ZHANG Chi-ping1,TANG Lei1,SU Xiao-hong2,MA Pei-jun2 (1.Department of Mathematics,Harbin Institute of Technology,Harbin Heilongjiang 150001,China,2.School of Computer Science , Technology,China) |
| |
| Abstract: | Traditional learning algorithm of BP NN has problems of low convergent learning speed,low accuracy,local minimum slumping,and instability.This paper puts forward an advanced NN learning algorithm based on DFP method which is a classical Quasi-Newton Algorithm.It is super-linear convergent and global convergent in the optimization theory.But normal DFP method is unstable and easy to be invalidated when coming to large NN.When it comes to the Flat-Spots,normal DFP method would be ended in overflow error.This ... |
| |
| Keywords: | Neural networks Quasi-Newton algorithm Hesse matrix Linear searching |
| 本文献已被 CNKI 维普 万方数据 等数据库收录！ |
|
