自寻优OBP学习算法

本文针对多层前馈神经网络中反向误差传播ＢＰ算法的固有缺点，提出了一种新的十分有效的自寻优ＯＢＰ学习算法。ＯＢＰ在每次迭代中都自动选择一个使目标函数函数全局最小的步长，从而极大地改善了网络的收敛速度和收敛稳定性。．     

一种实用的克服局部极小的BP算法研究

ＢＰ算法由于基神经元输出函数为Ｓｉｇｍｏｉｄ函数，因此是一个非线性优化问题，不可避免地会出现局部极小。本文提供了一种改进的学习算法，提出判断局部极小的规则，然后引入冲量函数，使ＢＰ网络能够通过判断输出节点的输出误差来修改学习率，使误差函数在其梯度方向上出现大的跳跃，从而跳出局部极小。     

BP神经网络的一种稳健改进算法

本文借鉴统计中的稳健估计方法的思想，对ＢＰ网络构造了新的误差平方和函数，在新的误差平方和函数下的ＢＰ算法，使ＢＰ网络能较好地用于观测值存在“异常点”的情况。     

一种鲁棒BP算法及其在非线性动态系统辨识中的应用

利用多层前馈神经网络的非线性建模特性，基于动态ＢＰ网络的串并联和并联模型，提出了一种高鲁棒性ＢＰ算法，与传统的ＢＰ算法相比，鲁棒ＢＰ算法有５个优点：（１）适合于非线性动态系统辨识，（２）辨识精度高；（３）不必内插所有训练样本；（４）具有高鲁棒性，能抵制过失误差和量测误差；（５）收敛速度得到了改进，因为错误差样本的影响得到了适度的抑制，把该算法用于非线性动态系统辨识，仿真结果表明此方法是有效的。     

多层神经网络BP算法的研究

影响多层神经网络ＢＰ算法学习效率的因素不少。但ＢＰ算法中误差函数不能有效地表征样本学习精度是其中主要的因素之一。本文对ＢＰ算法中的误差函数进行了修正。计算机模拟结果表明这种修正有助于提高学习精度和学习效率。     

前馈神经网隐层节点的动态删除法

本文首先针对ＢＰ算法中存在的缺陷对误差函数作了简单的修改，使网络的收敛速度比原来的大大提高，此外本文提提出了一种基于线性回归分析算法来确定隐层节点数。当已训练好的网络具有过多的隐层单元，可以用这种算法来计算隐层节点输出之间的线性相关性，并估计多余隐层单元数目，然后删除这部分多余的节点，就能获得一个合适的网络结构。     

多层前馈网络的一种快速算法

多层前馈网络是目前研究得最多和应用最广泛的神经网络之一，其基本算法为误差反向传播（ＥＢＰ）算法，但存在收敛速度慢和局部极小的问题。本文利用递归最小二乘算法来训练多层前馈网络，ＲＬＳ算法具有收敛速度快，抗噪声能力强等优点，还克服了常规ＢＰ算法中学习率选取困难的缺点。仿真结果说明了本文方法的有效性。     

关于BP算法的初步研究

本文提出了两种改进ＢＰ学习算法的方法：常系数法和变系数法，加快了网络的收敛速度，增强了ＢＰ算法的可用性与实用性。     

BP模型中的激励函数和改进的网络训练法

本文研究了ＢＰ算法激励函数ｆ对收敛速度的影响，得出了陡峭函数收敛快的结论。其次，给出一个逐步增加训练数据以避免局部极小的方法。     

一种前馈神经网络的卡尔曼滤波学习方法

本文针对前馈神经网络误差反向传播算法收敛速度慢且常常收敛于局部极小值等缺陷，提出了一种基于推广卡尔曼滤波估计的快速学习新方法，与ＢＰ算法相比较，该方法不仅学习收敛速度快，数值稳定性好，所需学习次数和隐节点数少，而且所需调节参数少，便于工程应用，非线性系统建模与辨识的仿真计算结果表明，该方法是提高网络学习速度、改善学习性能的一种有效方法，可有效解决工业过程等非线性系统建模与辨识问题。     

模拟退火BP网络理论与算法

结合模拟退火算法在能量空间宏观上的有方向性和ＢＰ算法对细观结构的敏感性，发展了模拟退火ＢＰ理论及算法，并以正弦函数的迭代收敛为例，证明了这种方法的正确性和有效性。实际上这一理论将组合优化问题与统计力学中的热平衡问题类比，另辟了求解组合优化问题的新途径。     

人工神经网络基本原理（1）

本文从神经元的解剖学到种经网络理论的研究作了一个简要的概述，介绍了几种重要的典型网络的模型结构和学习算法。对误差反向传播学习算法进行了详细的推导，给出了采用Ｓ型作用函数的ＢＰ网络具体学习算法，说明了ＢＰ网络学习算法存在的问题。     

BP算法参数选取及应用

本文对ｓｉｇｍｏｉｄ函数的陡度、学习速率、动量因子等的选取探讨，分析它们对收敛速度的影响，提出一些选取时应考虑的问题，在模糊控制规则生成和智能控制应用中证明本文提出的ＢＰ算法参数选取方法能有效地缩短训练时间。     

前馈神经网络的一种非线性同伦综合学习算法

本文考虑到同伦论中采用零点路径跟踪算法时不同的同伦路径对计算速度的影响，将其应用到多层前向神经网络能量函数极小点的路径跟踪算法中，提出了一种改进的同伦ＢＰ算法一非线性同伦ＢＰ算法，其次，提出了将其与其它改进的神经算法综合作用的新算法，既能快速收敛，又能较大地提高其避免陷入局部极小的能力，收到很好的训练效果。本文的理论分析和计算机仿真实验表明了这些结论的准确性和有效性。     

前馈神经网络中的反向传播算法及其改进：进展与展望

ＢＰ网络和算法是使用最广泛的神经网络模型之一，但由于它使用梯度算法，因而存在固有的局部极小及收敛速度慢等问题。本文首先回顾了ＢＰ算法的产生和发展过程，之后对ＢＰ算法因有的特点进行了阐述，最后针对原基本ＢＰ算法的缺陷对各种改进方法进行了全面并指出了这一研究中的有关问题。     

改进交叉算子的自适应人工蜂群黏菌算法

针对黏菌算法存在的收敛速度慢，易陷入局部最小值的问题，提出了一种改进交叉算子的自适应人工蜂群黏菌算法(ISMA).为了提高算法收敛速度，引入自适应可调节的反馈因子和改进的交叉算子；考虑到人工蜂群算法强大的搜索能力，引入改进的人工蜂群搜索策略，提高算法跳出局部最小值的能力.利用8个标准测试函数以及部分CEC2014测试函数对改进算法进行寻优性能测试，并加入基准测试函数的Wilcoxon秩和统计检测，仿真结果表明，改进的算法具有很好的鲁棒性.     

水声信道盲均衡的最小平方峭度恒模算法

用误差信号峭度定义了平方峭度代价函数，提出了盲均衡器权系数更新的最小平方峭度恒模算法，该算法更新方程中含有的误差信号峰度因子有效地消除了高斯性误差信号的影响，加快了收敛，减小了收敛后的均方误差和码间干扰。用负声速梯度水声信道，对算法的性能进行了仿真研究。结果表明：该算法在收敛速度，收敛后的均方误差及码间干扰等方面的性能优于常数模算法与最小平均峭度恒模算法。     

基于鲁棒控制的自适应分数阶梯度优化算法设计

当目标函数是强凸函数时, 一般的分数阶梯度下降法不能够使函数收敛到最小值点, 只能收敛到一个包含最小值点的区域内或者是发散的. 为了解决这个问题, 本文提出了自适应分数阶梯度下降法(AFOGD)和自适应分数阶加速梯度下降法(AFOAGD)两种新的优化算法. 受到鲁棒控制理论中二次约束和李雅普诺夫稳定性理论的启发, 建立了一个线性矩阵不等式去分析所提出的算法的收敛性. 当目标函数是L-光滑且m-强凸时, 算法可以达到R线性收敛. 最后几个数值仿真证明了算法的有效性和优越性.     

共轭梯度法在BP网络中的应用

该文针对广泛使用的前向多层网络的ＢＰ算法存在的收敛速率低、有局部振荡的缺陷,提出了共轭梯度法改进ＢＰ算法,它在共轭梯度方向修正权值、使用概率接受原则决定目标函数值变化的取舍。同时给出了提高网络抗过配合性能的罚函数方法。实例证明：在不同的初值下,共轭梯度法均具有快的全局收敛性。     

调和的复合BP网络及学习算法

BP算法，本质上是以误差平方和为目标函数，用梯度法求其最小值的算法，除非误差平方和的函数是正定的，否则必然产生局部最小值点，现在的调节方法一种是找到恰当的初始值点，从而跳过局部最小值点，另一种方法是找到能迅速脱离局部最小值点的学习算法,而本文拟从改造BP网络开始，给出了一种更有效的BP网络结构，并提供相应的学习算法。