神经网络中LMBP算法收敛速度改进的研究

文章对标准BP算法收敛慢的问题进行了分析,并针对其目前最快的改进版本Levenberg-MarquardtBP(LMBP)进行了深入研究,发现其中涉及的矩阵[JTJ+μkI]求逆是其收敛速度的瓶颈。通过使用LU分解法去除耗时的矩阵求逆运算,极大地减少了LMBP的计算量。此外,简化求增广MarquardtSensitivity矩阵的步骤,也在一定程度上减少了LMBP的计算量。笔者用MicrosoftVisualC++6编程实现了改进后的LMBP算法,发现对这两方面的改进,大大提高了收敛速度。文章对Matlab的基于最速下降的BP算法(Traingdx)、Matlab改进的LMBP算法(Trainlm)、LMBP和作者改进的LMBP(ILMBP)进行了大量的试验。结果发现,ILMBP的平均收敛速度比LMBP快约23倍,比Trainlm算法快约9倍。     

几种改进BP算法及其在应用中的比较分析

分析了标准BP算法存在的问题,对ABPM、HBP、LMBP三种改进的BP算法进行了研究,以企业战略预警系统为例,分别用改进算法进行仿真,从收敛速度、收敛精度等方面进行比较分析。仿真结果表明,三种改进算法均不同程度解决了标准BP算法存在的收敛速度慢、容易陷入局部极小等问题,其中LMBP算法达到的效果是最优的。     

一种基于共轭梯度的LMBP改进学习算法

对神经网络中的LMBP（Levenberg-Marquardt BP）算法的收敛速度慢进行分析,针对矩阵J^TJ+µI求逆过程运算量过大而造成收敛速度慢的缺陷,根据无约束优化理论,提出一种基于共轭梯度方法的改进LMBP网络学习算法,利用求解大规模线性方程组的共轭梯度方法,避免了烦琐的求逆过程,降低了计算复杂度,加快了网络的收敛速度,通过Matlab仿真,比较了算法的收敛速度,证明了方法的有效性。     

遥感图像分类的LMBP核函数改进算法

在核函数的基础上采用向量扩展的方法改进传统的LMBP算法,将输入向量由低维转换到高维,充分利用误差函数的一二阶导数信息,同时结合传统LMBP算法的优点提高网络训练的收敛速度。仿真实验结果表明,改进方法网络训练的迭代次数更少,分类精度更高,对遥感图像分类更有效。     

基于三次收敛LM算法的神经网络研究

为了解决传统神经网络实际应用中计算复杂、耗时过长等问题,在LM(Levenberg-Marquardt)算法的基础上,结合数学最优化理论,找出三次收敛的改进型LM算法,且将其应用于BP神经网络。利用一组火灾现场数据,通过Matlab仿真对改进型LMBP算法和标准LMBP算法从收敛时间和仿真曲线拟合度两方面进行比较。结果表明改进型LMBP算法在收敛时间和拟合度两方面都有更好的效果,且该算法具有一般性,可以通过获取国民生产中各种应用场景的样本,采用该算法进行预测,更好地指导生产。     

神经网络中处理鞍点的LMBP改进算法

针对目前神经网络中的Levenberg-Marquardt反向传播(LMBP)算法在训练过程中有可能迭代到鞍点的问题,提出一种能有效克服鞍点的LMBP改进算法。计算鞍点处雅克比矩阵的正特征值对应的特征向量并将其作为新的搜索方向。通过实例对比传统LMBP算法与改进LMBP算法的效果,证明改进的算法能有效地脱离鞍点并进一步收敛到极小点处。     

基于灰狼算法的改进研究

针对灰狼算法具有易陷于局部最优并且收敛速度不理想的缺点,本文提出基于改进收敛因子策略和引入动态权重策略以及两种策略混合改进的灰狼优化算法,并且用于求解函数优化问题。提出的一种非线性收敛因子公式,能够动态的调整算法的全局搜索能力,引入的动态权重使算法在收敛过程中能够加快算法的收敛速度。通过15个基准测试函数进行验证改进后的算法的全局搜索能力、局部搜索能力与收敛速度,实验结果表明:改进后的算法无论在搜索能力上还是收敛速度上,都强于标准灰狼算法。     

基于神经网络LMBP算法的正则模糊文法推导

用实时间回馈（RTRL）算法和实编码基因遗传（RCGA）算法训练二阶递归神经网络进行模糊文法推导,表现出了精度高的良好性能,但速度较慢。然而作为目前最快的递归神经网络算法Levenberg-Marquardt（LMBP）算法在模糊文法推导中的应用却很少引起学者们的关注。通过实验对 LMBP算法在正则模糊文法推导中的优势与缺陷等性能进行分析,实验显示了LMBP算法在模糊文法推导中的快速收敛能力。     

基于改进蚁群算法的机器人全局路径规划研究

针对蚁群算法在机器人路径规划过程中出现的收敛速度慢的缺陷,提出了基于改进蚁群算法规划机器人全局路径,在栅格地图中划定优选区域,并建立新的初始信息素浓度设置模型,对各点初始信息素浓度进行差异化设置,避免寻优的盲目性,提高了算法的收敛速度。实验结果表明,改进后的蚁群算法的收敛速度明显加快,优于传统算法,表明了该算法的有效性。     

动态调整路径选择的蚁群优化算法

针对蚁群算法收敛速度慢和存在停滞现象的缺点,提出对比度增强的路径选择规则以增强其全局搜索能力,选择规则加强了对反馈信息的利用,能加快算法的收敛速度,通过信息熵来动态控制对比度增强的方向,在避免算法停滞的同时加快了算法的收敛速度。将改进后的蚁群优化算法与传统的蚁群优化算法进行比较,仿真实验结果表明,改进算法具有较好的稳定性和全局优化性能,且收敛速度较快。     

基于PCA的3种改进BP算法性能研究

现有入侵检测系统的效率和准确率较低。为此,提出一种基于主成分分析的特征提取方法。对数据源进行特征降维,将获得的主成分作为BP神经网络的输入数据进行识别。分析原始BP算法存在的问题,研究RPBP、CGBP、LMBP 3种改进BP算法,并进行仿真实验,结果表明,与原始BP算法相比,改进算法收敛速度快,漏报率和误报率低,能有效改善入侵检测的识别效果。     

BP算法的改进及其在Matlab上的实现

针对BP算法这种当前前馈神经网络训练中应用最多的算法,在介绍BP神经网络的基础上,对标准的BP网络训练算法存在的收敛速度慢、易陷入局部极值的严重缺点,提出了几种学习算法上的改进;进而介绍了改进蹬算法在Matlab神经网络工具箱中的函数实现。最后应用实例利用Matlab神经网络工具箱对标准BP算法及改进的算法进行语言编程、仿真。仿真结果显示,改进后的算法在极值、收敛速度上得到了很大的改善。     

基于神经网络LMBP算法的入侵检测方法

阐述了基于神经网络LMBP算法的入侵检测方法,在对网络中的IP数据包进行分析处理以及特征提取的基础上,采用神经网络进行训练或判别,以达到对未知数据包进行检测的目的.由传统的BP算法与LMBP算法的分析与比较得到:LMBP算法解决了传统BP算法的收敛速度慢、易陷入局部最小的问题.实验结果表明,LMBP算法的学习速度快,收敛速度快,将这个算法应用于基于神经网络的入侵检测,效果良好,判别准确率高,为实现高效准确的入侵检测提供了一种有效的方法.     

改进的BP算法在混凝土适筋梁挠度预测中的研究

BP神经网络已被广泛应用于多个研究领域,为克服和改善传统的BP算法收敛速度慢、易陷入局部极小、泛化能力差的缺陷,基于混凝土适筋梁挠度预测的实际工程问题,提出L-M算法,并对现场的原始数据进行分组取样;实验数据对比及算法仿真结果表明,基于改进的L-M算法的神经网络推算钢筋混凝土适筋梁长期挠度的方法是可行的,并且L-M算法比传统BP算法收敛速度快,挠度的预测结果比规范计算结果更加接近实测数据;应用结果表明,L-M算法利用二阶导数的特性,加快了收敛速度,提高了计算精度;而运用分组取样法则提高了网络的泛化能力.     

基于面向对象自适应粒子群算法的神经网络训练*

针对传统的神经网络训练算法收敛速度慢和泛化性能低的缺陷,提出一种新的基于面向对象的自适应粒子群优化算法(OAPSO)用于神经网络的训练。该算法通过改进PSO的编码方式和自适应搜索策略以提高网络的训练速度与泛化性能,并结合Iris和Ionosphere分类数据集进行测试。实验结果表明：基于OAPSO算法训练的神经网络在分类准确率上明显优于BP算法及标准PSO算法,极大地提高了网络泛化能力和优化效果,具有快速全局收敛的性能。     

局部式反传网络的改进BP算法及应用

针对标准BP算法收敛速度慢的缺点,分析了其产生的主要原因,提出了一种改进BP算法。在传统BP算法基础上通过对其激励函数增加陡度因子并在误差反传权值修正时增加协调器,通过对网络灵敏度的分析将全反传式网络变成局部式反传网络,从而达到提高网络学习速率及精度的目的。改进的BP算法应用于导向钻井稳定平台系统的辨识,仿真结果表明该算法收敛速度快,精度高。