模糊系统与前向神经网络的结合

1 引言模糊系统方法和神经网络技术是近年来计算智能领域研究热点,被广泛地应用于复杂系统、非确定性等难于建立比较准确的数学模型的问题,并在自动控制、计算机图像处理、语音识别、手写体识别等领域有重要应用。模糊系统与神经网络的结合也越来越受到人们的重视。模糊系统和神经网络的结合可以分为模糊系统与前向网络的结合和与反馈网络的结合两类。模糊系统与反馈网络的结合主要有模糊联想记忆、模糊     

多层前向神经网络的新型二阶学习算法

提出了多层前向神经网络的新型二阶递推学习算法。该算法不仅能使用网络各层误差而且使二阶导数信息因子反向传播。证明了新算法等价于Ｎｅｗｔｏｎ迭代法并且有二阶收敛速度。它实现了Ｎｅｗｔｏｎ搜索方向和Ｈｅｓｓｉａｎ阵逆的递推运算,其计算量几乎与普通递推最小二乘法相当。由算法性能分析证明新算法优于Ｋａｒａｙｉａｎｎｉｓ等人的二阶学习算法。     

利用人工鱼群算法优化前向神经网络

人工鱼群算法(AFSA)是一种最新提出的新型的寻优策略，文中尝试将人工鱼群算法用于三层前向神经网络的训练过程，建立了相应的优化模型，进行了实际的编程计算，并与加动量项的BP算法、演化算法以及模拟退火算法进行比较，结果表明AFSA具有鲁棒性强，全局收敛性好，以及对初值的不敏感性等特点。     

双并联前向过程神经网络及其应用研究

为克服多层前向过程神经网络收敛速度慢、精度低的问题,提出了一种双并联前向过程神经网络模型.在输入空间中引入一组合适的函数正交基,将输入函数和网络权函数表示为该组正交基的展开形式,并利用基函数的正交性简化网络聚合运算过程.给出了相应的学习算法,并以飞机发动机状态监控中发动机排气温度的预测为例验证了模型和算法的有效性.     

基于遗传算法的前向神经网络结构优化

对近几年应用遗传算法（Genetic Algorithm,GA）优化设计前向神经网络结构的研究进行了评述。指出了神经网络结构优化设计的重要性和目前各种方法存在的不足。介绍了神经网络结构设计原理和应用GA优化设计神经网络应着重考虑的两个问题：即结构表达策略和适应度函数设计。分别对近来应用GA优化设计多层感知器、径向基函数神经网络和径向基概率神经网络结构的研究进行了细致介绍和分析。指出了目前研究工作的不足和未来研究工作的发展方向。     

蚁群算法优化前向神经网络的一种方法

蚁群算法(ACA)是一种新型的寻优策略,此文章尝试将蚁群算法用于三层前向神经网络的学习过程,建立了相应的优化模型,进行了实际的编程计算,并与加动量项的BP算法、演化算法以及模拟退火算法进行比较,结果表明ACA具有更好的全局收敛性,鲁棒性强,以及对初值不敏感等特点。     

遗传算法及其在训练前向神经网络中的应用

本文论述了遗传算法的基本原理，操作及算式，并以一个识别部分英文字母的多层前向神经网络为例，给出了用遗传算法训练网络优化网络权值的方法和步骤，实验结果表明了这一方法的有效性。     

多元多项式函数的三层前向神经网络逼近方法

该文首先用构造性方法证明:对任意r阶多元多项式,存在确定权值和确定隐元个数的三层前向神经网络.它能以任意精度逼近该多项式.其中权值由所给多元多项式的系数和激活函数确定,而隐元个数由r与输入变量维数确定.作者给出算法和算例,说明基于文中所构造的神经网络可非常高效地逼近多元多项式函数.具体化到一元多项式的情形,文中结果比曹飞龙等所提出的网络和算法更为简单、高效;所获结果对前向神经网络逼近多元多项式函数类的网络构造以及逼近等具有重要的理论与应用意义,为神经网络逼近任意函数的网络构造的理论与方法提供了一条途径.     

基于Chebyshev神经网络的图像复原算法

退化图像的点扩散函数难以准确确定,为此,提出一种基于Chebyshev正交基函数的前向神经网络图像复原算法。该算法以一组Chebyshev正交基为隐层神经元的激励函数,采用BP算法对权值进行修正,达到收敛目标。给出2类Chebyshev神经网络的实现步骤及其相应衍生算法的图像恢复实现步骤。实验结果表明,该算法能较好地实现图像复原。     

一种新的前向神经网络自适应学习算法

针对时变和／或非线性输入的前向神经网络提出了一种感知自适应算法。其本质是迫使输出的实际值和期望值之间的误差满足一个渐近稳定的差分方程，而不是用后向传播方法使误差函数极小化。通过适当排列扩张输入可以避免算法的奇异性。     

多层前向神经网络结构的研究进展*

本文综述了的牢来多层前向神经网络结构的研究进展，总结了多怪前向网络结构调整的各种方法，并对各种方法进行了比较分析，最后提出了若干研究的问题。     

Fast Learning Algorithms for Feedforward Neural Networks

In order to improve the training speed of multilayer feedforward neural networks (MLFNN), we propose and explore two new fast backpropagation (BP) algorithms obtained: (1) by changing the error functions, in case using the exponent attenuation (or bell impulse) function and the Fourier kernel function as alternative functions; and (2) by introducing the hybrid conjugate-gradient algorithm of global optimization for dynamic learning rate to overcome the conventional BP learning problems of getting stuck into local minima or slow convergence. Our experimental results demonstrate the effectiveness of the modified error functions since the training speed is faster than that of existing fast methods. In addition, our hybrid algorithm has a higher recognition rate than the Polak-Ribieve conjugate gradient and conventional BP algorithms, and has less training time, less complication and stronger robustness than the Fletcher-Reeves conjugate-gradient and conventional BP algorithms for real speech data.     

Sigmoidal Function Classes for Feedforward Artificial Neural Networks

The role of activation functions in feedforward artificial neural networks has not been investigated to the desired extent. The commonly used sigmoidal functions appear as discrete points in the sigmoidal functional space. This makes comparison difficult. Moreover, these functions can be interpreted as the (suitably scaled) integral of some probability density function (generally taken to be symmetric/bell shaped). Two parameterization methods are proposed that allow us to construct classes of sigmoidal functions based on any given sigmoidal function. The suitability of the members of the proposed class is investigated. It is demonstrated that all members of the proposed class(es) satisfy the requirements to act as an activation function in feedforward artificial neural networks.     

基于U－D分解推广卡尔曼滤波的神经网络学习算法

本文针对前馈神经网络ＢＰ算法所存在的收敛速度慢区常遇局部极小值等缺陷，提出一种基于Ｕ－Ｄ分解的渐消记忆推广卡尔曼滤波学习新算法．与ＢＰ和ＥＫＦ学习算法相比，新算法不仅大大加快了学习收敛速度、数值稳定性好，而且需较少的学习次数和隐节点数即可达到更好的学习效果，对初始权值，初始方差阵等参数的选取不敏感，便于工程应用．非线性系统建模与辨识的仿真计算表明，该算法是提高网络学习速度、改善学习效果的一种非常有效的方法．     

用含动态隐层的前馈网辨识非线性系统

用含动态隐层的前馈网对非线性系统建立全局成立的输入输出模型,证明了这种辨识结构的可行性,网络学习算法为动态BP法.     

自适应RBF-LBF串联神经网络结构与参数优化方法

研究了前向单层径基函数(RBF)网络和前向单层线性基本函数(LBF)网络的分类机理，提出了RBF的中心和宽度应通过学习自动确定，在学习过程中根据错分样本被错分入的类别自动生成新的核函数这一观点．如果两个或两个以上核函数属于同一类，在输入空间相距较近且未被其它类别的样本分隔开来的情况下，则应考虑将之合并，或者使它们的作用区域部分重叠．从理论上阐明了采用Sigmoid活化函数的单层感知器的分类阈值为0．5，进而提出了由单层RBF网络和单层感知器组成的串联RBF—LBF神经网络．文中详细给出了确定该串联RBF—LBF神经网络结构、核函数个数、位置与宽度的优化算法．一般来说，该算法的计算复杂性比前向单隐层感知器采用的误差反传算法要小或至少相当．对几个经典的模式分类难题的处理结果表明，与一般RBF网络和前向单隐层感知器网络相比，该串联RBF—LBF网络及其自适应学习算法具有收敛速度快，分类精度高，易于得到最小结构，在学习过程中不易陷入局部极小点等优点，有利于实现实时分析．实验结果同时也验证了单层LBF网络对提高RBF—LBF网络分类正确率的重要性．     

前馈神经网络的新学习算法研究及其应用

为了提高多层前馈神经网络的权的学习效率。通过引入变尺度法,提出一种新的学习算法。理论上新算法不仅具有变尺度优化方法的一切优点,而且也能起到Kick—Out学习算法中动量项及修正项的相同作用,同时又克服了动量系数及修正项系数难以适当选择的困难。仿真试验证明了新学习算法用于非线性动态系统建模时的有效性。