基于改进BP神经网络的函数逼近性能对比研究

为了正确反映实际应用中经常采用的6种典型BP神经网络的改进算法的非线性函数逼近能力,本文从数学角度详细阐述这6种典型BP神经网络的改进算法的学习过程,简要地介绍MATLAB工具箱中设计BP网络的训练函数,最后在MATLAB环境下设计具体的网络来对指定的非线性函数进行逼近实验,并对这6种典型BP神经网络的改进算法的性能差异进行对比。仿真结果表明,对于中小规模网络而言,LM优化算法逼近性能最佳,其次是拟牛顿算法、共轭梯度法、弹性BP算法、自适应学习速率算法和动量BP算法。     

一种改进的BP算法及其MatLab仿真

基于最优化理论,提出了基于新拟牛顿方程的改进拟牛顿算法训练BP神经网络.改进算法使用了一组新型的Hesse矩阵校正方程,使得改进拟牛顿算法具有全局收敛性和局部超线性收敛性.该文将改进的拟牛顿算法与BP神经网络权值的训练结合,得到一种新的BP神经网络权值的训练算法.与传统的神经网络权值学习的拟牛顿算法比较而言,采用改进算法的神经网络的收敛速度明显加快.改进算法能有效解决BP神经网络收敛速度慢的缺陷,显著提高了BP神经网络的学习训练收敛速度和学习精度.     

BP网络改进模型的性能对比研究

文章通过实例对BP网络的几种代表性改进模型进行了性能对比研究。分析了BP网络基于标准梯度下降法和基于数值优化方法的算法改进和训练策略改进获得的代表性模型的优缺点,并结合遥感图像分类实例,对其收敛速度和分类效果进行了对比分析,其结果可为BP网络模型的选择和改进提供一些思路和借鉴。     

基于改进混沌神经网络的飞机舵面故障预测研究

结合混沌序列的相空间重构理论和BP神经网络预测理论,构建了一个基于时间序列预测的混沌神经网络模型;考虑基本BP神经网络采用的梯度学习算法收敛速度较慢的缺点,文章利用改进的Levenberg-Marquart(L-M)优化学习算法对网络进行训练;最后对一组飞机舵面卡死故障数据进行仿真实验,结果表明该模型不仅提高了预测精度,而且网络收敛速度也得到明显的改善,有效避免神经网络局部极小问题,可以较好地对飞机舵面卡死故障进行预测.     

基于LM神经网络的一种生物医学数据分类方法

生物医学数据智能化处理是当前医学信息工程中一个研究热点,针对梯度下降BP(反向传播)神经网络收敛速度慢,易于陷入局部极小等缺点,采用LM神经网络对梯度下降算法进行改进。分析了LM算法的原理并通过对一组乳腺癌数据进行分类,表明该算法具有很快的收敛速度及较高的识别准确率,为医学数据分类提供了一种新方法。采用的数据来源于UCI机器学习数据集。     

一种基于共轭梯度的LMBP改进学习算法

对神经网络中的LMBP（Levenberg-Marquardt BP）算法的收敛速度慢进行分析,针对矩阵J^TJ+µI求逆过程运算量过大而造成收敛速度慢的缺陷,根据无约束优化理论,提出一种基于共轭梯度方法的改进LMBP网络学习算法,利用求解大规模线性方程组的共轭梯度方法,避免了烦琐的求逆过程,降低了计算复杂度,加快了网络的收敛速度,通过Matlab仿真,比较了算法的收敛速度,证明了方法的有效性。     

基于BP神经网络的传感器无效数据过滤器设计

基于催化原理的传感器在矿井环境工作时，受内在外在因素的干扰，测量的可燃气体浓度值存在误差过大的问题。设计了基于列文伯格-马夸尔特(L-M)训练算法及反向传播(BP)神经网络的传感器无效数据过滤器。通过离线采集传感器响应特性曲线数据的方式构建网络模型，并用Matlab工具对模型进行仿真训练。综合对比分析L-M训练算法、拟牛顿训练算法、自适应线性回归(LR)动量梯度下降训练算法的收敛速度和误差性能。对比结果表明，基于L-M训练算法构建的BP神经网络模型收敛速度更快、误差值更小、效率更高，有利于矿用催化原理传感器无效检测非线性数据的过滤。     

飞控系统神经网络故障模式分类方法研究

无人机自主飞行需要高可靠性的飞行控制系统,针对系统进行故障模式分类可提高系统的可靠性.传统的故障诊断方法难以解决无人机的高维、非线性和不确定输出等问题,不利实时诊断.为了实时进行故障诊断,保证系统安全性能,提出一种改进的神经网络故障模式分类算法以克服上述问题,首先采用改进的共轭梯度优化算法进行BP神经网络学习,以改进网络收敛性能,改进算法分别对无人机飞行控制系统执行器、传感器和系统故障进行故障模式分类.用某无人机纵向自动驾驶仪系统进行仿真验证,结果表明算法结构简单,可以进行实时故障识别,保证系统的可靠性.     

BP神经网络算法的改进及收敛性分析

研究BP神经网络的数学理论,详细分析几种流行的BP神经网络学习算法的优缺点.针对一般BP算法收敛速度慢,易陷入局部极小值的缺陷,受Fletcher-Reeves线性搜索方法的指引,提出基于改进共轭梯度法的BP算法.从理论方面对算法进行深入的分析,介绍算法的详细思路和具体过程.并将算法训练后的BP神经网络运用到函数逼近中去.仿真结果表明,这种改进方案确实能够改善算法在训练过程中的收敛特性,而且提高收敛速度,取得令人满意的逼近效果.     

PSO-BP网络模型在数据分类中的应用

分类技术是数据挖掘的重要分支,常见的分类方法有决策树、统计方法、机器学习方法、BP神经网络方法等.本文针对标准BP网络存在的一些缺陷,结合一种进化算法微粒群(PSO)算法,建立了一种用于数据分类的网络模型.该模型充分利用微粒群算法的全局寻优特性,优化BP网络的权值和阈值,既保证了BP网络能收敛到全局最优解,加快了BP网络的收敛速度和收敛精度,又提高了待分类数据的识别准确率.仿真实验结果表明此模型较BP网络具有较好的分类识别性能.     

一种改进的神经网络算法及其在烧结成本预测中的应用研究

在烧结生产过程中,固体燃耗占据了生产能耗的70%左右,而与固体燃耗相关的工艺参数与固体燃耗之间呈现出非线性关系。为了实现优化生产和达到降低生产能耗的目的,本文采用改进后的BP神经网络挖掘两者之间存在的映射关系。本文提出了一种基于广义Curry原则非精确线搜索的共轭梯度算法,利用新的线搜索规则来确定算法的学习步长,在保证算法全局收敛的前提下,优化学习步长,提高了算法的收敛速度。利用改进的算法对烧结生产成本进行分析和预测,仿真结果说明改进算法具有很好的收敛性,预测的均方误差为0.0098,准确率达到94.31%。     

基于L-M算法的反向传播网络的湿度传感器输出误差补偿研究

针对湿度传感器的输出非线性问题,提出了基于L-M算法建立BP神经网络进行补偿校正,实现电阻型湿度传感器的输入与输出非线性补偿,并与共轭梯度算法、拟牛顿算法所建立的神经网路模型进行对比,重点比较了模型迭代性能、标准偏差;最后发现当神经网络用L-M算法进行训练模拟时在迭代性能、标准偏差等方面具有更优异的表现,更适合湿度传感器的非线性特性的补偿校正。     

Evolving neural network using real coded genetic algorithm for permeability estimation of the reservoir

In this work we investigate how artificial neural network (ANN) evolution with genetic algorithm (GA) improves the reliability and predictability of artificial neural network. This strategy is applied to predict permeability of Mansuri Bangestan reservoir located in Ahwaz, Iran utilizing available geophysical well log data. Our methodology utilizes a hybrid genetic algorithm–neural network strategy (GA–ANN). The proposed algorithm combines the local searching ability of the gradient–based back-propagation (BP) strategy with the global searching ability of genetic algorithms. Genetic algorithms are used to decide the initial weights of the gradient decent methods so that all the initial weights can be searched intelligently. The genetic operators and parameters are carefully designed and set avoiding premature convergence and permutation problems. For an evaluation purpose, the performance and generalization capabilities of GA–ANN are compared with those of models developed with the common technique of BP. The results demonstrate that carefully designed genetic algorithm-based neural network outperforms the gradient descent-based neural network.     

基于混合遗传神经网络的百米跑成绩预测方法

在遗传算法(Genetic ALgorithm)与BP(Back Propagation)网络结构模型相结合的基础上，设计了用遗传算法训练神经网络权重的新方法，并把这种方法用于运动员百米跑成绩预测。与BP算法和LM(Levenberg Marquardt)算法相比，基于混合遗传算法的神经网络不仅有较快的学习速度和较好的学习精度，而且网络的泛化能力(Generalization Ability)得到了很大提高。     

一种改进的粒子群算法在BP网络中的应用研究

采用Sigmoid激活函数的三层前向神经网络能够以任意精度模拟复杂的非线性关系，训练算法对神经网络模式分类的性能有较大影响。基于梯度下降的BP网络存在收敛速度慢、易陷入局部极小的缺陷。粒子群算法是一种全局优化算法。本文针对粒子群算法本身存在的不足加以改进，用改进后的粒子群算法对BP网络进行训练，从而克服BP网络的一些缺陷。采用IRIS分类问题验证了本文提出的方法的有效性。实验结果表明本文采用的方法比普通PSO-BP算法效果更好。     

BP算法的改进及其在Matlab上的实现

针对BP算法这种当前前馈神经网络训练中应用最多的算法,在介绍BP神经网络的基础上,对标准的BP网络训练算法存在的收敛速度慢、易陷入局部极值的严重缺点,提出了几种学习算法上的改进;进而介绍了改进蹬算法在Matlab神经网络工具箱中的函数实现。最后应用实例利用Matlab神经网络工具箱对标准BP算法及改进的算法进行语言编程、仿真。仿真结果显示,改进后的算法在极值、收敛速度上得到了很大的改善。     

变共轭梯度算法及其在农产品总产量预测中的应用

为克服BP算法收敛速度慢，易陷入局部极小值等的缺点，提高BP预测精度等性能，提出了变共轭梯度法(VCG)。从激活函数和学习规则两方面修正网络，并对其收敛性作了分析及简要证明。将其应用于我国主要农产品总产量的预测，证实了该算法的有效性。     

基于PCA的GABP神经网络入侵检测方法*

为克服BP算法易陷入局部最小的缺点,同时为减少样本数据维数,提出一种基于主成分分析(PCA)的遗传神经网络方法。通过降维和去相关加快收敛速度,采用改进的遗传算法优化神经网络权值,利用自适应学习速率动量梯度下降算法对神经网络进行训练。MATLAB仿真实验结果表明,该方法在准确性和收敛性方面都优于BP算法,应用于入侵检测系统中的检测率和误报率明显优于传统方法。