多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足,提出一种多层前向神经网络的快速学习算法,它不仅符合生物神经网络的基本特征,而且算法简单,学习收敛速度快,具有线性、非线性逼近精度高等特性.以二杆机械手逆运动学建模作为应用实例,仿真结果表明该方法是有效的,其算法与收敛速度更优于BP网络.     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足，提出一种多层前向神经网络的快速学习算法，它不仅符合生物神经网络的基本特征，而且算法简单，学习收敛速度快，具有线性，非线性逼近精度高等特性，以二杆机构手逆运动学建模作为应用实例，仿真结果表明该方法是有效的，其算法与收敛速度更优于BP网络。     

多层前向神经网络的新型二阶学习算法

提出了多层前向神经网络的新型二阶递推学习算法。该算法不仅能使用网络各层误差而且使二阶导数信息因子反向传播。证明了新算法等价于Ｎｅｗｔｏｎ迭代法并且有二阶收敛速度。它实现了Ｎｅｗｔｏｎ搜索方向和Ｈｅｓｓｉａｎ阵逆的递推运算,其计算量几乎与普通递推最小二乘法相当。由算法性能分析证明新算法优于Ｋａｒａｙｉａｎｎｉｓ等人的二阶学习算法。     

多层动态前向网络在油田系统预测中的应用

针对油田系统常规的建模和动态预测方法的局限性,采用多层动态前向网络作为油田系统的辨识模型,研究了多层动态前向网络预测模型与预测技术.分析了递推预报误差学习算法的不足之处,提出了改进方案,提高算法的性能,从而更新了油田系统建模和预测方法.新方案在油田开发动态指标预测应用中,取得了很好的效果,表明本文方法的有效性.     

多层前向人工神经网络图像分类算法

传统人工神经网络的输入均为向量形式,而图像由矩阵形式表示,因此,在用人工神经网络进行图像处理时,图像将以向量形式输入至神经网络,这破坏了图像的结构信息,从而影响了图像处理的效果。为了提高网络对图像的处理能力,文中借鉴了深度学习的思想与方法,引进了具有矩阵输入的多层前向神经网络。同时,采用传统的反向传播训练算法(BP)训练该网络,给出了训练过程与训练算法,并在USPS手写数字数据集上进行了数值实验。实验结果表明,相对于单隐层矩阵输入前向神经网络(2D-BP),所提多层网络具有较好的分类效果。此外,对于彩色图片分类问题,利用所提出的2D-BP网络,给出了一个有效的可行方法。     

多层前向网络的逼近与泛化机制

对多层前向网络的实际逼近过程进行了系统的分析，对前向网络泛化问题的数学和逻辑根源进行了阐述。研究表明，多层前向网络的实际逼近过程所基于的数学空间和Ｋｏｌｍｏｇｏｒｏｖ等人关于理想网络映射能力的数学证明所基于的数学空间是不同的，它们是两类性质不同的逼近问题，具有完全不同的逼近机制。前向网络适合于描述人数的感受。     

多层前向神经网络结构的研究进展*

本文综述了的牢来多层前向神经网络结构的研究进展，总结了多怪前向网络结构调整的各种方法，并对各种方法进行了比较分析，最后提出了若干研究的问题。     

多层前向网络的交叉覆盖设计算法

文章根据多层前向权、阈值神经网络的设计原则,将设计过程分成两步进行:先用尽可能少的领域将样本中的各类分隔开来,然后再用作者提出的交叉覆盖算法进行网络设计.文章给出两个很有代表性的模拟例子,一个是平面上两根螺线的分离问题,另一个是“无穷样本学习”的例子.模拟结果证明了此方法的有效性.     

采用同伦BP算法进行多层前向网络的训练

本文把同伦论中零点路径跟踪的概念推广到多层前向网络能量函数极小点路径的跟踪，从而提出多层前向网络一种新的训练方法－同伦ＢＰ算法（包括教师同伦和输入同伦），并且分析了其收敛性性质。结合异或问题和由部分信息重建完整信号所作仿真计算，证明此方法在收速度和避免陷入局部极小的能力上均明显地优于常规ＢＰ算法，体现了人类认识事物时所遵循的由简到繁、循序渐进的原则。     

基于免疫遗传算法的多层前向神经网络设计

利用一种基于免疫功能的遗传算法,设计多层前向神经网络,用于实现多层前向神经网络结构的确定和权值空间的搜索。仿真实验结果显示该算法具有比遗传算法和动量BP算法更好的全局收敛性和快速学习网络权值的能力。     

一种多层前馈网参数可分离学习算法

目前大部分神经网络学习算法都是对网络所有的参数同时进行学习.当网络规模较大时,这种做法常常很耗时.由于许多网络,例如感知器、径向基函数网络、概率广义回归网络以及模糊神经网络,都是一种多层前馈型网络,它们的输入输出映射都可以表示为一组可变基的线性组合.网络的参数也表现为二类:可变基中的参数是非线性的,组合系数是线性的.为此,提出了一个将这二类参数进行分离学习的算法.仿真结果表明,这个学习算法加快了学习过程,提高了网络的逼近性能.     

A Fast Heuristic Global Learning Algorithm for Multilayer Neural Networks

This paper presents a novel Heuristic Global Learning (HER-GBL) algorithm for multilayer neural networks. The algorithm is based upon the least squares method to maintain the fast convergence speed, and the penalized optimization to solve the problem of local minima. The penalty term, defined as a Gaussian-type function of the weight, is to provide an uphill force to escape from local minima. As a result, the training performance is dramatically improved. The proposed HER-GBL algorithm yields excellent results in terms of convergence speed, avoidance of local minima and quality of solution.     

神经网络的新型二阶学习算法及其应用

针对BP算法和Karayiannis的二阶学习算法存在的不足,提出多层前向网络的新型二阶学习算法。该算法具有二阶收敛速度,其计算量与通常的递推量小二乘法相当。算法性能分析和仿真应用表明新算法是有效的。     

前馈神经网络的一种快速学习算法

提出的算法是利用凸函数共轭性质中的Young不等式构造优化目标函数,这个优化目标函数对于权值和隐层输出来说为凸函数,不存在局部最小。首先把隐层输出作为变量进行优化更新,然后快速计算出隐层前后的权值。数值实验表明：此算法简单,收敛速度快,泛化能力强,并大大降低了学习误差。     

多层前馈式神经网络的HJPS训练算法

根据优化理论中的Hooke-Jeeves模式搜索(pattern search)法提出了多层前馈式神经网络快速训练算法HJPS.该算法由“探测搜索”和“模式移动”两个步骤交替进行.其基本思想是探测搜索依次沿各个坐标轴进行,用以确定新的基点和有利于网络误差函数值下降的方向.模式移动沿相邻两个基点的连线方向前进,从而进一步减小误差函数值,达到更快收敛.实验结果表明,同BP算法以及其他几种快速算法相比,HJPS算法在收敛速度和运算时间上都有非常显著的提高.同时HJPS算法的泛化能力很强.     

一种前向神经网络快速学习算法及其在系统辨识中的应用

提出一种基于最小二乘的前向神经网络快速学习算法.与现有同类算法相比,该算法无需任何矩阵求逆,计算量小,较适于需快速学习的系统辨识和其他应用.文中推导了算法,并给出一种更为简便的局部化算法.系统辨识的仿真实例表明了算法的优良性能.     

前向神经网络信赖域学习算法的研究

本文介绍了引入信赖域优化理论解决神经网络中学习问题的新算法,提出了计算有效信赖域步方法,以保证信赖域算法的正确性,采用变系数方法避免了信赖域半径自适应调整过程中不稳定和低效的问题。实验表明,信赖域学习算法优于变尺度算法。     

一种新的神经网络学习算法

通过对人类学习机理和机制的研究,以及对现有ＢＰ神经网络学习算法及其改进的深入分析,本文提出了一种新的学习算法。该学习算法使神经网络学习由纯数学推导向智能化（启发式）学习发展,获取解决问题的最佳结构中神经元数及神经元间的联接数随问题的变化而动态变化,克服了目前神经网络学习算法普遍存在的学习时间长、局部极小小等问题。     

一种新型神经网络结构模型的应用研究

基于过程先验知识与神经网络结构选择相结合的思想,提出了一类新型神经网络结构,并具体研究了其学习算法.同时给出了一种新的样本抽取方法及其相应的网络训练步骤.这些思想和方法均在复杂尿素生产过程的建模和优化中得到了应用.基于所建神经网络模型知识的专家系统已在某化肥厂得到成功的应用.