用综合优化前向神经网络结构

在神经网络研究中,如何确定神经网的结构是一个重要的研究方向。提出了一种通用的确定前向神经网络结构的自适应方法,即先用动态增长法快速训练网络拓扑结构及权值至满足给定的误差为止,然后用遗传算法（GA）对训练好的网络剪枝。实验表明,算法具有较好的通用性和可扩展性,收敛速度较快,对进一步的数据挖掘具有重要的意义。     

用综合法优化前向神经网络结构

在神经网络研究中,如何确定神经网的结构是一个重要的研究方向.提出了一种通用的确定前向神经网络结构的自适应方法,即先用动态增长法快速训练网络拓扑结构及权值至满足给定的误差为止,然后用遗传算法(GA)对训练好的网络剪枝.实验表明,算法具有较好的通用性和可扩展性,收敛速度较快,对进一步的数据挖掘具有重要的意义.     

基于免疫遗传算法的多层前向神经网络设计

利用一种基于免疫功能的遗传算法,设计多层前向神经网络,用于实现多层前向神经网络结构的确定和权值空间的搜索。仿真实验结果显示该算法具有比遗传算法和动量BP算法更好的全局收敛性和快速学习网络权值的能力。     

多层前向神经网络的新型二阶学习算法

提出了多层前向神经网络的新型二阶递推学习算法。该算法不仅能使用网络各层误差而且使二阶导数信息因子反向传播。证明了新算法等价于Ｎｅｗｔｏｎ迭代法并且有二阶收敛速度。它实现了Ｎｅｗｔｏｎ搜索方向和Ｈｅｓｓｉａｎ阵逆的递推运算,其计算量几乎与普通递推最小二乘法相当。由算法性能分析证明新算法优于Ｋａｒａｙｉａｎｎｉｓ等人的二阶学习算法。     

多层前向网络的逼近与泛化机制

对多层前向网络的实际逼近过程进行了系统的分析，对前向网络泛化问题的数学和逻辑根源进行了阐述。研究表明，多层前向网络的实际逼近过程所基于的数学空间和Ｋｏｌｍｏｇｏｒｏｖ等人关于理想网络映射能力的数学证明所基于的数学空间是不同的，它们是两类性质不同的逼近问题，具有完全不同的逼近机制。前向网络适合于描述人数的感受。     

多层前向人工神经网络图像分类算法

传统人工神经网络的输入均为向量形式,而图像由矩阵形式表示,因此,在用人工神经网络进行图像处理时,图像将以向量形式输入至神经网络,这破坏了图像的结构信息,从而影响了图像处理的效果。为了提高网络对图像的处理能力,文中借鉴了深度学习的思想与方法,引进了具有矩阵输入的多层前向神经网络。同时,采用传统的反向传播训练算法(BP)训练该网络,给出了训练过程与训练算法,并在USPS手写数字数据集上进行了数值实验。实验结果表明,相对于单隐层矩阵输入前向神经网络(2D-BP),所提多层网络具有较好的分类效果。此外,对于彩色图片分类问题,利用所提出的2D-BP网络,给出了一个有效的可行方法。     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足，提出一种多层前向神经网络的快速学习算法，它不仅符合生物神经网络的基本特征，而且算法简单，学习收敛速度快，具有线性，非线性逼近精度高等特性，以二杆机构手逆运动学建模作为应用实例，仿真结果表明该方法是有效的，其算法与收敛速度更优于BP网络。     

多层前向神经网络的快速学习算法及其应用

针对目前多层前向神经网络学习算法存在的不足,提出一种多层前向神经网络的快速学习算法,它不仅符合生物神经网络的基本特征,而且算法简单,学习收敛速度快,具有线性、非线性逼近精度高等特性.以二杆机械手逆运动学建模作为应用实例,仿真结果表明该方法是有效的,其算法与收敛速度更优于BP网络.     

利用遗传算法简化神经网络结构

讨论了如何采用遗传算法从例子中建立精简的分段线性型神经网络结构。所建立的网络结构中将只出现两类结占（神经元）：一类结点是求和结点，该结点上的作用函数是线性的；另一类结点是选择结点，该结点上作用函数是诸如ＭＡＸ，ＭＩＮ等形式的选择函数。对于求和结点，使用遗伟算法过程来获得其输入权重、输偏正值等，从而得到该结点的输入－输出关系结构；对于结点，其上的作用函数是选择函数，但该选择函数的确定仍上是较困难的。     

多层前向网络的随机学习新算法及其工业应用

多层前向网络的随机学习新算法及其工业应用戴连奎马龙华李晓东（浙江大学工业控制技术研究所杭州３１００２７）关键词多层前向网络,学习算法,催化裂化装置．收稿日期１９９５－０３－３１１引言许多复杂的工业过程建模问题,如系统辨识、参数估计与函数逼近等,都可转...     

常见遗传多层前馈神经网络实数编码的不合理性分析和改进

对遗传多层前馈神经网络常见的实数编码中不适合于优化权值大小、不利于交叉算子发挥作用等问题。进行了理论分析,提出了“最小模式”等概念,并据此对编码方式做了改进,通过一个实例的仿真结果表明改进后的编码方式具有较好的寻优效果。     

多层前馈式神经网络的HJPS训练算法

根据优化理论中的Hooke-Jeeves模式搜索(pattern search)法提出了多层前馈式神经网络快速训练算法HJPS.该算法由“探测搜索”和“模式移动”两个步骤交替进行.其基本思想是探测搜索依次沿各个坐标轴进行,用以确定新的基点和有利于网络误差函数值下降的方向.模式移动沿相邻两个基点的连线方向前进,从而进一步减小误差函数值,达到更快收敛.实验结果表明,同BP算法以及其他几种快速算法相比,HJPS算法在收敛速度和运算时间上都有非常显著的提高.同时HJPS算法的泛化能力很强.     

Fast Learning Algorithms for Feedforward Neural Networks

In order to improve the training speed of multilayer feedforward neural networks (MLFNN), we propose and explore two new fast backpropagation (BP) algorithms obtained: (1) by changing the error functions, in case using the exponent attenuation (or bell impulse) function and the Fourier kernel function as alternative functions; and (2) by introducing the hybrid conjugate-gradient algorithm of global optimization for dynamic learning rate to overcome the conventional BP learning problems of getting stuck into local minima or slow convergence. Our experimental results demonstrate the effectiveness of the modified error functions since the training speed is faster than that of existing fast methods. In addition, our hybrid algorithm has a higher recognition rate than the Polak-Ribieve conjugate gradient and conventional BP algorithms, and has less training time, less complication and stronger robustness than the Fletcher-Reeves conjugate-gradient and conventional BP algorithms for real speech data.     

前向神经网络设计问题的回顾与探索

本文评述了近十几年来国内外对前向神经网络设计问题的研究情况，在分析各种已有设计方法优缺点的基础上，提出另一种新的解决前向神经网络设计问题的方法，并给出几个非常典型的设计（模拟）例子，以说明本文所提出方法的有效性和潜力。     

Approximate Feedback Linearisation Using Multilayer Neural Networks

In this paper we introduce the approximate feedback linearisation using multilayer feedforward neural networks. We propose to approximate a basis of the one-dimensional codistribution of an affine nonlinear system with the derivative of a multilayer neural network [6] and form a change of coordinates with n multilayer neural networks [5]. In this paper we will prove that the transformation can define a local diffeomorphism, with which a local stabilising feedback law can be designed for a kind of non-linearisable nonlinear systems.     

前馈神经网络的新学习算法研究及其应用

为了提高多层前馈神经网络的权的学习效率。通过引入变尺度法,提出一种新的学习算法。理论上新算法不仅具有变尺度优化方法的一切优点,而且也能起到Kick—Out学习算法中动量项及修正项的相同作用,同时又克服了动量系数及修正项系数难以适当选择的困难。仿真试验证明了新学习算法用于非线性动态系统建模时的有效性。     

Sigmoidal Function Classes for Feedforward Artificial Neural Networks

The role of activation functions in feedforward artificial neural networks has not been investigated to the desired extent. The commonly used sigmoidal functions appear as discrete points in the sigmoidal functional space. This makes comparison difficult. Moreover, these functions can be interpreted as the (suitably scaled) integral of some probability density function (generally taken to be symmetric/bell shaped). Two parameterization methods are proposed that allow us to construct classes of sigmoidal functions based on any given sigmoidal function. The suitability of the members of the proposed class is investigated. It is demonstrated that all members of the proposed class(es) satisfy the requirements to act as an activation function in feedforward artificial neural networks.     

基于遗传算法的前向神经网络结构优化

对近几年应用遗传算法（Genetic Algorithm,GA）优化设计前向神经网络结构的研究进行了评述。指出了神经网络结构优化设计的重要性和目前各种方法存在的不足。介绍了神经网络结构设计原理和应用GA优化设计神经网络应着重考虑的两个问题：即结构表达策略和适应度函数设计。分别对近来应用GA优化设计多层感知器、径向基函数神经网络和径向基概率神经网络结构的研究进行了细致介绍和分析。指出了目前研究工作的不足和未来研究工作的发展方向。     

多层前向网络的研究——遗传BP算法和结构优化策略

分析了引起BP算法局部收敛现象的原因,探讨了解决的途径.通过对遗传算法中 的基因群体的实数化,并将其与BP算法有机地集成起来,提出了遗传BP算法.此外,在借鉴 网络剪枝法思想的基础上,重新定义网络结构复杂度函数,并以遗传算法直接求解网络结构 优化问题,给出了网络结构优化策略.仿真结果和实际应用均表明了上述研究的成效.