BP神经网络的联合优化算法

针对BP神经网络存在收敛速度慢、易陷入局部极小等缺陷,提出了一种自适应调节学习率和动态调整S型激励函数相结合的改进BP算法。该算法将学习率与误差函数相关联,再对每个隐单元和输出单元的激励函数的斜率进行自动调整。通过实例仿真,将改进算法与标准BP算法、加动量项法和自适应学习率法进行比较,来验证所提出方法的有效性。实验结果表明,联合优化的BP算法能有效加快网络的收敛过程,并具有较强的泛化能力。     

一种改进BP网络学习算法

针对BP神经网络的原始算法收敛速率慢、学习精度低、训练过程易陷入局部极小值问题,为解决上述问题,提出一种以变学习率BP算法为基础的改进算法,通过区分隐层和输出层的学习率,并用交叉熵作性能函数,提高算法的学习精度和训练速度,并经过数学推导,得到改进箅法的实现公式.将改进算法应用于奇偶数判别问题进行仿真,仿真实验结果与其它类似的方法进行比较后,发现改进算法大大降低了网络迭代次数,缩短了网络的训练时间,提高了训练精度,验证了该算法的有效性.     

一种改进的BP神经网络算法及其应用

BP算法是目前应用最为广泛的神经网络学习算法,但原始算法收敛速率慢,训练过程易陷入局部极小值以及隐层节点数选择困难.针对这些问题提出了不少改进措施,文中提出了一种改进的BP神经网络算法,在BP算法基础上,从训练算法着手,通过误差的变化趋势,动态调整权值以提高网络的收敛速率;通过数学推导,从理论上验证了该算法的有效性.用MATLAB软件对文中的改进算法进行仿真,并且与其它方法进行比较,结果表明,改进后的算法在收敛速率和抑制噪声等方面有很好的效果,从实验上验证了该算法的有效性.     

一种放大误差信号的BP算法

针对BP神经网络学习算法收敛速度慢、易陷入假饱和状态的问题,提出了一种快速收敛的BP算法。该算法通过修改激励函数的导数,放大误差信号来提高收敛性。给出了改进算法的收敛性分析并在实验仿真中将改进算法同时与标准BP算法和NG等人的改进算法进行比较。仿真结果表明,该算法在收敛速度方面大大优于另外两种算法,有效地提高了BP算法的全局收敛能力。     

BP神经网络算法的改进及收敛性分析

研究BP神经网络的数学理论,详细分析几种流行的BP神经网络学习算法的优缺点.针对一般BP算法收敛速度慢,易陷入局部极小值的缺陷,受Fletcher-Reeves线性搜索方法的指引,提出基于改进共轭梯度法的BP算法.从理论方面对算法进行深入的分析,介绍算法的详细思路和具体过程.并将算法训练后的BP神经网络运用到函数逼近中去.仿真结果表明,这种改进方案确实能够改善算法在训练过程中的收敛特性,而且提高收敛速度,取得令人满意的逼近效果.     

基于改进BP网络算法的故障诊断分析

介绍BP神经网络结构和学习方法,针对误差反向传播神经网络模型学习收敛速度慢、容易陷入局部极小点等缺点,本文对BP网络模型进行了改进。对原始数据采用非线性的归一化函数,提出一种更加有效的学习率改进算法,提高了网络的收敛速度,采用了一种新的权值及阈值初始化方法,以避免训练时误差陷入局部极小解,并对改进BP算法与传统的BP算法进行比较,验证了该算法的优越性。     

一种改进的BP神经网络

BP神经网络利厢误差的反向传播调整神经网络的权值,BP神经网络的训练速度和训练误差很大程度上取决于学习逑率和动量因子的设置。本文提出了一种改进的BP神经网络模型,学习速率和动量因子随误差实时调节,并进行了仿真。仿真结果表明,改进的BP神经网络比传统的BP神经网络收敛更快,误差更小。     

改进PSO-BP神经网络对储层参数的动态预测研究

为提高BP神经网络的收敛速度和泛化能力,防止其陷入局部最优值,在前人工作基础上对传统粒子群算法进行了改进,具体包括：设定最大限制速度、改变惯性权重因子和改进适应度函数,并把改进粒子群算法应用于BP神经网络权值和阈值的优化。之后利用改进粒子群算法优化的BP神经网络实现对储层参数的动态预测,具体步骤为：确定神经网络的输入、输出神经元,定量化时间参数[T],利用训练样本构建神经网络模型并进行检验。最后通过平均训练误差对仿真过程进行分析,结果表明改进PSO-BP算法的收敛性与泛化能力均优于BP算法和PSO-BP算法。     

BP算法的改进及其在Matlab上的实现

针对BP算法这种当前前馈神经网络训练中应用最多的算法,在介绍BP神经网络的基础上,对标准的BP网络训练算法存在的收敛速度慢、易陷入局部极值的严重缺点,提出了几种学习算法上的改进;进而介绍了改进蹬算法在Matlab神经网络工具箱中的函数实现。最后应用实例利用Matlab神经网络工具箱对标准BP算法及改进的算法进行语言编程、仿真。仿真结果显示,改进后的算法在极值、收敛速度上得到了很大的改善。     

STM32的四旋翼无人机故障诊断仿真研究

提出了基于BP神经网络的四旋翼无人机故障诊断方法,但考虑到经典BP神经网络算法误差收敛速率慢,训练学习容易陷入局部最优值等缺陷,设计了一种基于改进型遗传算法(Genetic Algorithm)优化BP神经网络.改进型GA算法对编码方式和选择算子进行了优化,同时对交叉和变异算子等参数进行了调整.Matlab仿真表明,改进后的BP神经网络算法的检测性能有了明显的增强,避免了经典BP算法容易陷入局部最优值的问题.     

一种改进QPSO优化BP网络的入侵检测算法

为了较好克服量子粒子群算法存在早熟收敛的缺点,在分析算法参数和流程的基础上,提出了一种带变异操作的改进量子粒子群优化算法。针对传统BP算法易于陷入局部极小的不足,将改进的算法应用到BP神经网络的学习过程中,修正BP网络的权值和阈值,提高其收敛性能。并将优化的BP神经网络模型应用于入侵检测中,用标准入侵检测数据对基于不同算法的BP网络进行仿真实验比较。实验结果表明,改进后的BP算法迭代次数少,收敛速度有所提高,在一定程度上提高了入侵检测率。     

局部式反传网络的改进BP算法及应用

针对标准BP算法收敛速度慢的缺点,分析了其产生的主要原因,提出了一种改进BP算法。在传统BP算法基础上通过对其激励函数增加陡度因子并在误差反传权值修正时增加协调器,通过对网络灵敏度的分析将全反传式网络变成局部式反传网络,从而达到提高网络学习速率及精度的目的。改进的BP算法应用于导向钻井稳定平台系统的辨识,仿真结果表明该算法收敛速度快,精度高。     

基于BtW的和声搜索算法在BP网络优化中的应用

针对和声搜索算法参数影响其优化BP神经网络的性能问题,提出了一种可有效提高BP神经网络收敛速度和准确度的基于BtW参数动态变化的改进和声算法,同时用于BP网络优化。算法根据和声搜索参数的特点,采用以BtW为自变量的非线性函数变换方法,对微调概率PAR和微调幅度BW进行动态调整,利用改进的和声搜索算法对BP神经网络的连接权和偏置值进行优化。实验结果表明,该算法有效改善了和声搜索算法在BP神经网络优化中的性能,提高了BP网络的训练速度和预测的准确度。     

基于鸟群算法优化BP神经网络的热舒适度预测

热舒适度是室内环境舒适性的评价指标,由于热舒适度的计算是一个复杂的非线性迭代过程,不便应用于空调实时控制系统中,为解决这一问题,可利用BP神经网络算法对热舒适度进行预测.但为了改善传统BP神经网络收敛速度慢的问题,将采用鸟群算法（BSA）来优化BP神经网络初始的权值与阈值.最后,将BSA算法与相近的粒子群算法（PSO）进行对比分析,并利用MATLAB软件进行仿真,使BSA-BP预测模型的仿真结果与基本的BP神经网络预测模型、PSO-BP预测模型的仿真结果进行对比分析.结果表明,BSA-BP预测模型具有较快的收敛速度和较高的预测精度.     

基于SAA-SSA-BPNN的网络安全态势评估模型

针对目前网络安全态势评估模型准确性和收敛性有待提高的问题,提出一种基于SAA-SSA-BPNN的网络安全态势评估模型。该模型利用模拟退火算法（SAA）可以一定概率接受劣解并有大概率跳出局部极值达到全局最优解的特性来优化麻雀搜索算法,利用优化后的麻雀搜索算法（SSA）具有良好稳定性和收敛速度快且不易陷入局部最优的特点对BP神经网络（BPNN）进行改进,找到最佳适应度个体并获取最优权值和阈值,将其作为初始值赋给BP神经网络,将预处理后的指标数据输入改进后的BP神经网络模型对其进行训练,利用训练好的模型对网络系统所遭受威胁的程度进行评估。对比实验结果表明,该评估模型比其他基于改进BP神经网络的态势评估模型准确性更高,收敛速度更快。     

改进的HS算法优化BP神经网络的入侵检测研究

基于传统BP神经网络的入侵检测中，BP神经网络算法模型存在着易陷入局部最优且初始值随机性较大的缺陷。初始值的选择直接影响到BP神经网络的训练效果，较好的初始值有利于BP神经网络跳过局部最优，从而提高训练效率。针对BP神经网络的缺陷，提出了用改进的和声搜索算法对BP神经网络的初始值进行优化，使得BP神经网络得到一组较优的初值的方法。实验结果显示，改进的和声搜索算法具有更高的适应度函数值，将该算法优化的BP神经网络用在入侵检测中，能够显著提高算法检测率和收敛速率。     

Forecasting foreign exchange rates with an improved back-propagation learning algorithm with adaptive smoothing momentum terms

The slow convergence of back-propagation neural network (BPNN) has become a challenge in data-mining and knowledge discovery applications due to the drawbacks of the gradient descent (GD) optimization method, which is widely adopted in BPNN learning. To solve this problem, some standard optimization techniques such as conjugate-gradient and Newton method have been proposed to improve the convergence rate of BP learning algorithm. This paper presents a heuristic method that adds an adaptive smoothing momentum term to original BP learning algorithm to speedup the convergence. In this improved BP learning algorithm, adaptive smoothing technique is used to adjust the momentums of weight updating formula automatically in terms of “3 σ limits theory.” Using the adaptive smoothing momentum terms, the improved BP learning algorithm can make the network training and convergence process faster, and the network’s generalization performance stronger than the standard BP learning algorithm can do. In order to verify the effectiveness of the proposed BP learning algorithm, three typical foreign exchange rates, British pound (GBP), Euro (EUR), and Japanese yen (JPY), are chosen as the forecasting targets for illustration purpose. Experimental results from homogeneous algorithm comparisons reveal that the proposed BP learning algorithm outperforms the other comparable BP algorithms in performance and convergence rate. Furthermore, empirical results from heterogeneous model comparisons also show the effectiveness of the proposed BP learning algorithm.     

基于进化神经网络的BLDCM调速控制

针对标准BP算法存在全局搜索能力弱和易陷入局部极小点等缺点,将遗传算法与BP神经网络相结合,构造了一种新的进化神经网络GA-BP算法,并将该算法应用于无刷直流电机调速系统的控制,仿真结果表明,与传统的PI控制系统相比,该算法得出的电机控制曲线几乎无超调,与基于BP算法的速度控制系统相比较,具有收敛速度快、不易陷入局部极小的优点。     

基于L-M算法的反向传播网络的湿度传感器输出误差补偿研究

针对湿度传感器的输出非线性问题,提出了基于L-M算法建立BP神经网络进行补偿校正,实现电阻型湿度传感器的输入与输出非线性补偿,并与共轭梯度算法、拟牛顿算法所建立的神经网路模型进行对比,重点比较了模型迭代性能、标准偏差;最后发现当神经网络用L-M算法进行训练模拟时在迭代性能、标准偏差等方面具有更优异的表现,更适合湿度传感器的非线性特性的补偿校正。     

数值优化改进的BP网络的模式分类对比

研究了共轭梯度算法、拟牛顿算法、LM算法三类常用的数值优化改进算法,基于这三类数值优化算法分别对BP神经网络进行改进,并构建了相应的BP神经网络分类模型,将构建的分类模型应用于二维向量模式的分类,并进行了泛化能力测试,将不同BP网络分类模型的分类结果进行对比. 仿真结果表明,对于中小规模的网络而言,LM数值优化算法改进的BP网络的分类结果最为精确,收敛速度最快,分类性能最优;共轭梯度数值优化算法改进的BP网络的分类结果误差最大,收敛速度最慢,分类性能最差;拟牛顿数值优化算法改进的BP网络的分类结果误差值、收敛速度及分类性能介于上述两种算法之间.