前馈神经网络的一种新的学习算法

本文将变尺度法引入到神经网络的学习中。在修改权值时，引入串行修正权值的思想。基于以上两点提出的算法具有收敛速度快、实习精度高等特点。     

基于信赖域的微波重建算法

微波成像问题属于非线性和非适应性问题,目前很多重建算法得到的图像质量并不是最优,为了得到更好的图像,文章提出了信赖域的重建算法(TRR),该算法将断层成像问题转化为具有约束的最小二乘问题,逐步将非适应性的最小二乘问题转化为线性互补问题求解。模拟结果表明,应用该算法可以得到比L-M算法更好的重建图像。     

一种新的信赖域粒子群算法

针对信赖域方法求解多峰值优化不能收敛到全局最优的问题,本文提出了一种新的信赖域粒子群算法。该算法将信赖域方法和粒子群算法进行有机结合,利用了粒子群搜索性能良好和信赖域方法总体收敛性良好的优点。新算法能够克服信赖域方法的缺点,同时又能有效求解一类欺骗性问题。数值实验说明了算法的有效性和鲁棒性。     

多层前向神经网络的新型二阶学习算法

提出了多层前向神经网络的新型二阶递推学习算法。该算法不仅能使用网络各层误差而且使二阶导数信息因子反向传播。证明了新算法等价于Ｎｅｗｔｏｎ迭代法并且有二阶收敛速度。它实现了Ｎｅｗｔｏｎ搜索方向和Ｈｅｓｓｉａｎ阵逆的递推运算,其计算量几乎与普通递推最小二乘法相当。由算法性能分析证明新算法优于Ｋａｒａｙｉａｎｎｉｓ等人的二阶学习算法。     

前馈神经网络的新学习算法研究及其应用

为了提高多层前馈神经网络的权的学习效率。通过引入变尺度法,提出一种新的学习算法。理论上新算法不仅具有变尺度优化方法的一切优点,而且也能起到Kick—Out学习算法中动量项及修正项的相同作用,同时又克服了动量系数及修正项系数难以适当选择的困难。仿真试验证明了新学习算法用于非线性动态系统建模时的有效性。     

前向代数神经网络的函数逼近理论及学习算法

文中对ＭＰ神经元模型进行了推广,定义了多项代数神经元、多项式代数神经网络,将多项式代数融入代数神经网络,分析了前向多项式代数神经网络函数逼近能力及理论依据,设计出了一类双输入单输出的前向４层多层式代数神经网络模型,由该模型构成的网络能够逼近于给定的二元多项式到预定的精度。给出了在Ｐ－ａｄｉｃ意义下的多项式代数神经网络函数逼近整体学习算法,在学习的过程中,不存在局部极小,通过实例表明,该算法有效,最     

一种新的前向神经网络自适应学习算法

针对时变和／或非线性输入的前向神经网络提出了一种感知自适应算法。其本质是迫使输出的实际值和期望值之间的误差满足一个渐近稳定的差分方程，而不是用后向传播方法使误差函数极小化。通过适当排列扩张输入可以避免算法的奇异性。     

一种非线性互补问题的信赖域算法收敛性

针对非线性互补问题求解困难,利用信赖域算法,并结合极大熵函数法给出该类问题的一种新的有效算法．该算法首先利用极大熵函数将非线性互补问题转化为一个无约束最优化问题,然后应用信赖域算法来优化该问题,并在一定条件下证明该算法具有全局收敛性。数值算例表明算法的有效性。     

多层神经网络学习算法的研究

本文对多层神经网络的反向传播算法作了简要的分析和讨论,据此提出了一种新的学习算法用以消除多层网络的“迟钝状态”。实验结果表明,这种新算法能够加速学习收敛速度并避免陷入局部极小。     

一种混合结构前向神经网络的快速学习算法

本文构造了一种新的基于线性模型、多层前向网络的混合结构神经网络模型,并提出了相应的非迭代快速学习算法.该学习算法能够根据拟合精度要求,运用线性最小二乘法确定相应的最佳网络权值和线性部分的参数,并自动确定最佳的隐层节点数.与BP网络的比较结果表明,本文提出的混合结构前向神经网络的快速学习算法无论在拟合精度、学习速度、泛化能力、还是隐节点数均显著好于BP算法.     

前馈网络的一种超线性收敛BP学习算法

分析传统BP算法存在的缺点,并针对这些缺点提出一种改进的BP学习算法.证明该算法在一定 条件下是超线性收敛的,并且该算法能够克服传统BP算法的某些弊端,算法的计算复杂度与简 单BP算法是同阶的.实验结果说明这种改进的BP算法是高效的、可行的.     

多层前馈式神经网络的HJPS训练算法

根据优化理论中的Hooke-Jeeves模式搜索(pattern search)法提出了多层前馈式神经网络快速训练算法HJPS.该算法由“探测搜索”和“模式移动”两个步骤交替进行.其基本思想是探测搜索依次沿各个坐标轴进行,用以确定新的基点和有利于网络误差函数值下降的方向.模式移动沿相邻两个基点的连线方向前进,从而进一步减小误差函数值,达到更快收敛.实验结果表明,同BP算法以及其他几种快速算法相比,HJPS算法在收敛速度和运算时间上都有非常显著的提高.同时HJPS算法的泛化能力很强.     

基于U－D分解推广卡尔曼滤波的神经网络学习算法

本文针对前馈神经网络ＢＰ算法所存在的收敛速度慢区常遇局部极小值等缺陷，提出一种基于Ｕ－Ｄ分解的渐消记忆推广卡尔曼滤波学习新算法．与ＢＰ和ＥＫＦ学习算法相比，新算法不仅大大加快了学习收敛速度、数值稳定性好，而且需较少的学习次数和隐节点数即可达到更好的学习效果，对初始权值，初始方差阵等参数的选取不敏感，便于工程应用．非线性系统建模与辨识的仿真计算表明，该算法是提高网络学习速度、改善学习效果的一种非常有效的方法．     

Fast Learning Algorithms for Feedforward Neural Networks

In order to improve the training speed of multilayer feedforward neural networks (MLFNN), we propose and explore two new fast backpropagation (BP) algorithms obtained: (1) by changing the error functions, in case using the exponent attenuation (or bell impulse) function and the Fourier kernel function as alternative functions; and (2) by introducing the hybrid conjugate-gradient algorithm of global optimization for dynamic learning rate to overcome the conventional BP learning problems of getting stuck into local minima or slow convergence. Our experimental results demonstrate the effectiveness of the modified error functions since the training speed is faster than that of existing fast methods. In addition, our hybrid algorithm has a higher recognition rate than the Polak-Ribieve conjugate gradient and conventional BP algorithms, and has less training time, less complication and stronger robustness than the Fletcher-Reeves conjugate-gradient and conventional BP algorithms for real speech data.     

一种多层前馈网参数可分离学习算法

目前大部分神经网络学习算法都是对网络所有的参数同时进行学习.当网络规模较大时,这种做法常常很耗时.由于许多网络,例如感知器、径向基函数网络、概率广义回归网络以及模糊神经网络,都是一种多层前馈型网络,它们的输入输出映射都可以表示为一组可变基的线性组合.网络的参数也表现为二类:可变基中的参数是非线性的,组合系数是线性的.为此,提出了一个将这二类参数进行分离学习的算法.仿真结果表明,这个学习算法加快了学习过程,提高了网络的逼近性能.     

一种前向神经网络快速学习算法及其在系统辨识中的应用

提出一种基于最小二乘的前向神经网络快速学习算法.与现有同类算法相比,该算法无需任何矩阵求逆,计算量小,较适于需快速学习的系统辨识和其他应用.文中推导了算法,并给出一种更为简便的局部化算法.系统辨识的仿真实例表明了算法的优良性能.     

前馈神经网络的一种快速学习算法

提出的算法是利用凸函数共轭性质中的Young不等式构造优化目标函数,这个优化目标函数对于权值和隐层输出来说为凸函数,不存在局部最小。首先把隐层输出作为变量进行优化更新,然后快速计算出隐层前后的权值。数值实验表明：此算法简单,收敛速度快,泛化能力强,并大大降低了学习误差。     

基于前馈神经网络的增量学习研究

增量学习是一种在巩固原有学习成果和不需要用到原有数据的情况下快速有效地获取新知识的学习模式.本文阐述了基于前馈神经网络的增量学习原理,在此基础上对主要的增量学习算法进行了详细的介绍和分析,最后对增量学习研究进行了总结和展望.