基于U－D分解推广卡尔曼滤波的神经网络学习算法

本文针对前馈神经网络ＢＰ算法所存在的收敛速度慢且常遇局部极小值等缺陷，提出一种基于Ｕ－Ｄ分解的渐消记忆推广卡尔曼滤波学习新处法，与ＰＢ和ＥＫＦ学习算法相比，新算法不仅大大加快了学习收敛速度、数据稳定性好，而且需较少的学习次数和隐节点数即可达到更好的学习效果，对初始权值，初始方差阵等参数的选取不敏感，便于工程应用。     

自寻优OBP学习算法

本文针对多层前馈神经网络中反向误差传播ＢＰ算法的固有缺点，提出了一种新的十分有效的自寻优ＯＢＰ学习算法。ＯＢＰ在每次迭代中都自动选择一个使目标函数函数全局最小的步长，从而极大地改善了网络的收敛速度和收敛稳定性。．     

关于BP算法的初步研究

本文提出了两种改进ＢＰ学习算法的方法：常系数法和变系数法，加快了网络的收敛速度，增强了ＢＰ算法的可用性与实用性。     

一种前馈神经网络的卡尔曼滤波学习方法

本文针对前馈神经网络误差反向传播算法收敛速度慢且常常收敛于局部极小值等缺陷，提出了一种基于推广卡尔曼滤波估计的快速学习新方法，与ＢＰ算法相比较，该方法不仅学习收敛速度快，数值稳定性好，所需学习次数和隐节点数少，而且所需调节参数少，便于工程应用，非线性系统建模与辨识的仿真计算结果表明，该方法是提高网络学习速度、改善学习性能的一种有效方法，可有效解决工业过程等非线性系统建模与辨识问题。     

基于模型逼近度和接受概率的一个变步长快速BP学习算法

本文给出模型逼近度的概念。在此基础上并利用模拟退火法的思想，提出了一个改进的变步长快速ＢＰ学习算法。数据结果表明该算法不仅明显地提高ＢＰ网络的学习收敛速度，而且在一定程度上还能避免陷和局部极小。     

前馈神经网络以概率1全局收敛的新型混合学习算法NHLA

首先提出变形的ＢＰ算法ＩＢＰ，然后将它与Ｓｏｌｉａ和Ｗｅｔｓ的随机优化算法相结合，提出了新型混合学习算法ＮＨＬＡ。算法具有能以概率１全局收敛于误差函数最小值的性质，从而有效地克服了ＢＰ算法不能保证全局收敛于误差函数最小值的缺点。     

前馈神经网络的一种非线性同伦综合学习算法

本文考虑到同伦论中采用零点路径跟踪算法时不同的同伦路径对计算速度的影响，将其应用到多层前向神经网络能量函数极小点的路径跟踪算法中，提出了一种改进的同伦ＢＰ算法一非线性同伦ＢＰ算法，其次，提出了将其与其它改进的神经算法综合作用的新算法，既能快速收敛，又能较大地提高其避免陷入局部极小的能力，收到很好的训练效果。本文的理论分析和计算机仿真实验表明了这些结论的准确性和有效性。     

一种鲁棒BP算法及其在非线性动态系统辨识中的应用

利用多层前馈神经网络的非线性建模特性，基于动态ＢＰ网络的串并联和并联模型，提出了一种高鲁棒性ＢＰ算法，与传统的ＢＰ算法相比，鲁棒ＢＰ算法有５个优点：（１）适合于非线性动态系统辨识，（２）辨识精度高；（３）不必内插所有训练样本；（４）具有高鲁棒性，能抵制过失误差和量测误差；（５）收敛速度得到了改进，因为错误差样本的影响得到了适度的抑制，把该算法用于非线性动态系统辨识，仿真结果表明此方法是有效的。     

管道内表面质量检测系统设计

介绍了人工神经网络技术在管道内表面质量实时检测系统中的应用，该系统采用ＢＰ神经网络作为规则检测器对被测图象进行特征提取和分类识别，并利用改进的ＢＰ算法使网络的学习过程以较快的速度收敛于全局最小点。     

神经网络中DLR—BP新算法的计算机模拟及性能分析

本文在对神经网络中反向传播算法（ＢＰ算法）介绍的基础上,分析了一种收敛更快的算法—动态学习速率最优化反向传播算法（ＤＬＲ－ＢＰ算法）,并且用计算机模拟比较了两种算法的性能。     

基于回归神经网络的非线性时变系统辨识

为克服基于前馈神经网络的非线性系统辨识算法存在需预先估计系统输入输出滞后阶数的缺陷，提出一种基于回归神经网络的非线性时变系统的辨识算法，针对现有的回归网络学习算法大多采用梯度算法，收敛速度缓慢问题，提出一种具有快速收敛性的扩展卡尔曼滤波学习算法，大大提高了学习收敛速度，并推导了一种基于单个神经元的局部化算法，减少了计算量，仿真实例证明，所提出的算法是有效的。     

A fast U-D factorization-based learning algorithm with applicationsto nonlinear system modeling and identification

A fast learning algorithm for training multilayer feedforward neural networks (FNN) by using a fading memory extended Kalman filter (FMEKF) is presented first, along with a technique using a self-adjusting time-varying forgetting factor. Then a U-D factorization-based FMEKF is proposed to further improve the learning rate and accuracy of the FNN. In comparison with the backpropagation (BP) and existing EKF-based learning algorithms, the proposed U-D factorization-based FMEKF algorithm provides much more accurate learning results, using fewer hidden nodes. It has improved convergence rate and numerical stability (robustness). In addition, it is less sensitive to start-up parameters (e.g., initial weights and covariance matrix) and the randomness in the observed data. It also has good generalization ability and needs less training time to achieve a specified learning accuracy. Simulation results in modeling and identification of nonlinear dynamic systems are given to show the effectiveness and efficiency of the proposed algorithm.     

前馈神经网络的新学习算法研究及其应用

为了提高多层前馈神经网络的权的学习效率。通过引入变尺度法,提出一种新的学习算法。理论上新算法不仅具有变尺度优化方法的一切优点,而且也能起到Kick—Out学习算法中动量项及修正项的相同作用,同时又克服了动量系数及修正项系数难以适当选择的困难。仿真试验证明了新学习算法用于非线性动态系统建模时的有效性。     

基于郭涛算法的演化神经网络

提出了一种新的演化神经网络算法GTEANN,该算法基于高效的郭涛算法,同时完成在网络结构空间和权值空间的搜索,以实现前馈神经网络的自动化设计。本方法采用的编码方案直观有效,基于该编码表示,神经网络的学习过程是一个复杂的混合整实数非线性规划问题,例如杂交操作包括网络的同构和规整处理。初步实验结果表明该方法收敛,能够达到根据训练样本自动优化设计多层前馈神经网络的目的。     

一种前馈神经网的快速算法

前馈神经网已经被大量用于非线性信号处理． 经典反向传播算法是一种标准的前馈网络学习算法,但是,对许多应用,反向传播算法的收 敛速度却很慢．本文根据对网络的非线性单元进行线性化而提出一种新的算法,该算法在非 线性信号处理中在精度和收敛速度方面都优于传统的反向传播算法．     

Learning algorithms of layered neural networks via extended Kalman filters

Learning algorithms are described for layered feedforward type neural networks, in which a unit generates a real-valued output through a logistic function. The problem of adjusting the weights of internal hidden units can be regarded as a problem of estimating (or identifying) constant parametes with a non-linear observation equation. The present algorithm based on (he extended Kalman filter has just the time-varying learning rate, while the well-known back-propagation (or generalized delta rule) algorithm based on gradient descent has a constant learning rate. From some simulation examples it is shown that when a sufficiently trained network is desired, the learning speed of the proposed algorithm is faster than that of the traditional back-propagation algorithm.     

基于Kalman滤波的神经网络学习算法及其应用

针对传统神经网络学习算法速度慢、容易陷入局部最优解的缺点,将卡尔曼滤波应用于人工神经网络的训练算法中。同时,在卡尔曼滤波计算中,将奇异值分解应用于卡尔曼滤波的递推公式中,提高了协方差阵计算的数值稳定性。最后,本文通过将神经网络的卡尔曼滤波算法应用于电力系统短期负荷预测中,验证了该方法不仅具有理论意义,同时也有实用价值。     

Modified extended Kalman filtering for supervised learning

We apply the modified extended Kalman filter to develop a learning algorithm for feedforward networks. The resulting algorithm improves the existing extended Kalman filter based scheme in both speed of convergence and accuracy of estimation.     

用自调整S函数提高神经网络BP算法

学习算法是BP前馈神经网络研究中的核心问题。文中阐述了几种重要的BP算法的改进算法，提出了一种新的学习算法，即自动调整S型函数形状的算法，从理论上证明了此方法在一定前提条件下的可行性，给出了进行S型函数形状自动调整的公式。仿真实验证明了新学习算法用于非线性系统建模时的有效性。     

Fast Blind Equalization Using Complex-Valued MLP

The blind equalizers based on complex valued feedforward neural networks, for linear and nonlinear communication channels, yield better performance as compared to linear equalizers. The learning algorithms are, generally, based on stochastic gradient descent, as they are simple to implement. However, these algorithms show a slow convergence rate. In the blind equalization problem, the unavailability of the desired output signal and the presence of nonlinear activation functions make the application of recursive least squares algorithm difficult. In this letter, a new scheme using recursive least squares algorithm is proposed for blind equalization. The learning of weights of the output layer is obtained by using a modified version of constant modulus algorithm cost function. For the learning of weights of hidden layer neuron space adaptation approach is used. The proposed scheme results in faster convergence of the equalizer.