几种改进BP算法及其在应用中的比较分析

分析了标准BP算法存在的问题,对ABPM、HBP、LMBP三种改进的BP算法进行了研究,以企业战略预警系统为例,分别用改进算法进行仿真,从收敛速度、收敛精度等方面进行比较分析。仿真结果表明,三种改进算法均不同程度解决了标准BP算法存在的收敛速度慢、容易陷入局部极小等问题,其中LMBP算法达到的效果是最优的。     

数值优化改进的BP网络的模式分类对比

研究了共轭梯度算法、拟牛顿算法、LM算法三类常用的数值优化改进算法,基于这三类数值优化算法分别对BP神经网络进行改进,并构建了相应的BP神经网络分类模型,将构建的分类模型应用于二维向量模式的分类,并进行了泛化能力测试,将不同BP网络分类模型的分类结果进行对比. 仿真结果表明,对于中小规模的网络而言,LM数值优化算法改进的BP网络的分类结果最为精确,收敛速度最快,分类性能最优;共轭梯度数值优化算法改进的BP网络的分类结果误差最大,收敛速度最慢,分类性能最差;拟牛顿数值优化算法改进的BP网络的分类结果误差值、收敛速度及分类性能介于上述两种算法之间.     

一种改进QPSO优化BP网络的入侵检测算法

为了较好克服量子粒子群算法存在早熟收敛的缺点,在分析算法参数和流程的基础上,提出了一种带变异操作的改进量子粒子群优化算法。针对传统BP算法易于陷入局部极小的不足,将改进的算法应用到BP神经网络的学习过程中,修正BP网络的权值和阈值,提高其收敛性能。并将优化的BP神经网络模型应用于入侵检测中,用标准入侵检测数据对基于不同算法的BP网络进行仿真实验比较。实验结果表明,改进后的BP算法迭代次数少,收敛速度有所提高,在一定程度上提高了入侵检测率。     

一种改进QPSO优化BP网络的入侵检测算法

为了较好克服量子粒子群算法存在早熟收敛的缺点,在分析算法参数和流程的基础上,提出了一种带变异操作的改进量子粒子群优化算法。针对传统BP算法易于陷入局部极小的不足,将改进的算法应用到BP神经网络的学习过程中,修正BP网络的权值和阈值,提高其收敛性能。并将优化的BP神经网络模型应用于入侵检测中,用标准入侵检测数据对基于不同算法的BP网络进行仿真实验比较。实验结果表明,改进后的BP算法迭代次数少,收敛速度有所提高,在一定程度上提高了入侵检测率。     

一种基于BP神经网络的数字识别新方法

针对标准BP神经网络收敛速度慢、易陷入局部极小点的缺点,提出了一种新的BP神经网络改进算法。该算法通过变步长法和牛顿法来改进BP算法,加快了网络的收敛速度,且收敛速度快于其他的改进算法。在此基础上将BP神经网络应用于数字识别中,为其网络建立识别模型。利用仿真实验观察BP网络的泛化能力以及识别准确性,比较BP算法及其改进方案,提出改进方案中分别需要注意的地方。     

BP算法的改进及其在Matlab上的实现

针对BP算法这种当前前馈神经网络训练中应用最多的算法,在介绍BP神经网络的基础上,对标准的BP网络训练算法存在的收敛速度慢、易陷入局部极值的严重缺点,提出了几种学习算法上的改进;进而介绍了改进蹬算法在Matlab神经网络工具箱中的函数实现。最后应用实例利用Matlab神经网络工具箱对标准BP算法及改进的算法进行语言编程、仿真。仿真结果显示,改进后的算法在极值、收敛速度上得到了很大的改善。     

一种放大误差信号的BP算法

针对BP神经网络学习算法收敛速度慢、易陷入假饱和状态的问题,提出了一种快速收敛的BP算法。该算法通过修改激励函数的导数,放大误差信号来提高收敛性。给出了改进算法的收敛性分析并在实验仿真中将改进算法同时与标准BP算法和NG等人的改进算法进行比较。仿真结果表明,该算法在收敛速度方面大大优于另外两种算法,有效地提高了BP算法的全局收敛能力。     

一种改进的BP网络学习算法

本文对添加动量项的BP算法中动量因子对网络收敛速度和收敛精度的影响进行了分析研究，并在此基础上提出了一种改进的算法。仿真结果表明该方法是有效的。     

基于遗传BP网络的快速分类算法的构建

为获取能快速分类的智能算法,在分析BP算法原理与缺陷的基础上,首先对标准的BP算法进行了改进,然后利用已改进的BPX算法优化遗传算法选优过程,提出了GA＆BP混合算法,该算法兼顾了GA算法的全局收敛特性和BP算法快速的局部收敛能力,使算法既有较快的收敛速度又不易陷入局部解。仿真结果表明GA＆BP混合算法的收敛速度、误差精度等主要性能指标有明显改善。     

基于结构简化的BP网络的多类形状识别

BP算法是目前应用极为广泛的神经网络算法,但它也存在一些不足。文中提出了一种使BP网络结构简化的改进的BP算法,它使得网络的速度得到了提高,减少了迭代次数。最后将传统的BP算法和改进的BP算法进行了比较,仿真结果表明改进的算法在学习次数和收敛速度上比传统的算法有很大的改善。     

VC++环境下的BP神经网络建模和模拟退火优化研究

文章简要介绍了BP神经网络和模拟退火算法的原理,提出了一种基于VC 环境的BP神经网络建模与模拟退火优化方法,通过模拟退火对BP网络的输入参数进行优化,实现算法接口并进行了软件设计.采用一个焊接算例进行验证,证明了该BP神经网络逼近能力强、收敛速度快,模拟退火能寻找到最优焊接参数,该软件平台具有一定的实用性.     

基于AHGA+BP的神经网络混合学习策略

在自适应递阶遗传算法(AHGA)中融入BP操作可以在对神经网络结构进行优化的同时,充分利用遗传算法的全局寻优能力在大范围内搜索可能的误差极值区域,并利用BP算法沿误差最速下降方向在极值点附近快速搜索,从而达到全局最优和快速搜索的有机结合。通过对混沌时序信号的预测,表明了混合学习策略在较大程度上改进了神经网络的学习性能和泛化能力。     

基于BP神经网络的单数字字符识别算法实现

提出一个BP神经网络的单数字字符识别算法的总体实现方案,实现单数字字符图像的采集、储存、识别和显示。根据BP神经网络的原理,把识别算法分成工作期算法和学习期算法,并采用VC 6.0软件,运用VC语言分别设计并实现其算法,用MFC设计了系统的显示界面,最终可以在液晶屏幕上看到字符的识别结果。结果显示运用该算法,单数子图像识别率在90%以上,而且学习次数越多,识别率越高。基于BP神经网络的单数字字符识别算法可以广泛应用到数字仪表、车牌识别、卫星定位等很多领域,具有一定的应用价值。     

前馈神经网络的混沌BP 混合学习算法

简要分析由Logistic映射产生的混沌数以及不同混沌序列之间的概率统计特性，为混沌全局性搜索提供了依据．将一种快速BP算法与混沌优化相结合，提出了混沌BP混合算法，由于混沌Logistic映射的遍历性、随机性，使得混合算法收敛速度快，且具有全局性，采用混合算法对XOR问题和非线性函数进行仿真，结果表明该算法明显优于标准BP算法和快速BP算法。     

A Fast and Efficient Processor Management Scheme fork-aryn-cubes

Job scheduling and processor allocation are two key components of processor management technique in a multiprocessor operating system. We propose a fast and efficient processor management technique, called virtual cube (VC), fork-aryn-cubes in this paper. The proposed scheme supports spatial allocation of jobs to the virtual cubes of the system and multiprograms the virtual cubes in a round-robin fashion. The objective here is to reduce job waiting time and fragmentation. The VC scheme uses a fast subcube allocation algorithm called enhancedk-ary buddy. A novel approach, called paging, is proposed for fast submesh allocation. When used with the first fit algorithm, the paging scheme is shown to be extremely fast and efficient compared to other contemporary submesh allocation algorithms fork-aryn-cubes. We also study the impact of page size on performance and illustrate a methodology to compute optimal page size. Simulation results show that the VC scheme with its multiprogramming capability can boost system performance considerably and outperforms all existing policies while incurring minimal run-time overhead.     

基于改进型遗传算法的前馈神经网络优化设计

阐明了遗传算法和神经网络结合的可行性，提出了一种改进的面向神经网络权值学习的遗传算法。通过对XOR问题的实验，显示出其快速学习网络权值的能力，且能摆脱局部极值的困扰和初始权值的限制，从各方面都表现出优于标准遗传算法和BP算法的性能。     

基于样本自组织聚类的BP神经网络预测模型

根据实际应用中神经网络训练样本通常具有内在特征和规律性,提出一种基于样本自组织聚类的BP神经网络预测模型。通过自组织竞争网络的聚类特征,改善样本训练对BP网络性能的影响。BP神经网络采用收敛速度较快和误差精度较高的动量—自适应学习速率调整算法。并通过基于这种模型的空气质量预测实验,表明基于样本自组织聚类的BP神经网络预测模型首先会提高收敛速度,其次会减少陷入局部最小的可能,提高预测精度。     

基于粒子群优化的BP网络学习算法

本文提出一种新颖的基于粒子群优化的BP网络学习算法，该算法是一种全局随机优化算法。用Iris分类问题，将所提出的算法与BP算法作了对比实验。实验结果表明：所提出的算法性能优于BP算法，而且具有良好的收敛性。     

基于BP算子的自适应混合遗传算法研究

将误差反向传播算法(BP算法)以一个算子的形式融入到遗传算法中,以提高遗传算法的优化性能.其基本思路是:在遗传算法收敛速度放慢时启用BP算子,把新一代群体作为BP算子的初始值再用BP算法训练网络,这样交替运行BP算法和遗传算法,直到达到问题要求的精度.通过对4例实验函数的优化,证明了混合遗传算法具有良好的收敛性和稳定性.实验对插入BP算子的遗传算法和传统遗传算法的优化结果进行了比较分析,结果表明BP算子的插入对遗传算法的优化性能、收敛速度和收敛精度方面都有了很大的改进.     

Fast Learning Algorithms for Feedforward Neural Networks

In order to improve the training speed of multilayer feedforward neural networks (MLFNN), we propose and explore two new fast backpropagation (BP) algorithms obtained: (1) by changing the error functions, in case using the exponent attenuation (or bell impulse) function and the Fourier kernel function as alternative functions; and (2) by introducing the hybrid conjugate-gradient algorithm of global optimization for dynamic learning rate to overcome the conventional BP learning problems of getting stuck into local minima or slow convergence. Our experimental results demonstrate the effectiveness of the modified error functions since the training speed is faster than that of existing fast methods. In addition, our hybrid algorithm has a higher recognition rate than the Polak-Ribieve conjugate gradient and conventional BP algorithms, and has less training time, less complication and stronger robustness than the Fletcher-Reeves conjugate-gradient and conventional BP algorithms for real speech data.