BP算法收敛性分析及改进

在标准BP神经网络的训练中,将误差函数作为权值调整的依据,使用固定学习率计算权值,这样的结果往往使网络的学习速度过慢甚至无法收敛。对此,从网络收敛的稳定性和速度的角度出发,分析了误差函数和权值修改函数,对算法中学习率的作用进行了具体的讨论,提出了一种根据误差变化对学习率进行动态调整的方法。该方法简单实用,能有效防止网络训练时出现发散,提高网络的收敛速度和稳定性。     

基于LM算法的在线自适应RBF网结构优化算法

针对LM算法不能在线训练RBF网络以及RBF网络结构设计算法中存在的问题,提出一种基于LM算法的在线自适应RBF网络结构优化算法.该算法引入滑动窗口和在线优化网络结构的思想,滑动窗口的引入既使得LM算法能够在线训练RBF网络,又使得网络对学习参数的变化具有更好的鲁棒性,并且易于收敛.在线优化网络结构使得网络在学习过程中能够根据训练样本的训练误差和隐节点的相关信息,在线自适应调整网络结构,跟踪非线性时变系统的变化,使网络维持最为紧凑的结构,以保证网络的泛化性能.最后通过仿真实验验证了所提出算法的性能.     

图象数据压缩的BP神经网络方法研究

重点研究BP人工神经网络用于图象数据压缩时,网络拓扑结构变化和算法修正对网络训练时间及重建图象质量的影响,仿真表明：选择合适的网络结构,采用文中给出的快速网络训练算法,可明显加速网络收敛,且网络易避开学习误差的局部极小点,克服网络学习误差收敛刚性。BP神经网络用于图象数据压缩取得了高压缩比和好的重建图象质量。     

一种基于进化算法的BP神经网络优化方法及应用

针对BP网络的不足,分析了一般进化算法在神经网络结构优化过程中存在的问题,根据物种内优生优育原则和物种间相互竞争、相互学习的生物学原理,提出了一种新的基于进化算法的神经网络优化方法。该方法不但有效弥补了BP神经网络在网络结构、权值选择上的随机性缺陷,缩小了神经网络结构的解搜索空间,加快了BP网络的收敛速度,进而提高了搜索效率,而且还起到对网络的结构和权值进行同时进化的作用。实验结果表明该方法取得了良好的效果。     

BP神经网络的联合优化算法

针对BP神经网络存在收敛速度慢、易陷入局部极小等缺陷,提出了一种自适应调节学习率和动态调整S型激励函数相结合的改进BP算法。该算法将学习率与误差函数相关联,再对每个隐单元和输出单元的激励函数的斜率进行自动调整。通过实例仿真,将改进算法与标准BP算法、加动量项法和自适应学习率法进行比较,来验证所提出方法的有效性。实验结果表明,联合优化的BP算法能有效加快网络的收敛过程,并具有较强的泛化能力。     

一种基于进化算法的BP神经网络优化方法及应用

针对BP网络的不足,分析了一般进化算法在神经网络结构优化过程中存在的问题,根据物种内优生优育原则和物种间相互竞争、相互学习的生物学原理,提出了一种新的基于进化算法的神经网络优化方法。该方法不但有效弥补了BP神经网络在网络结构、权值选择上的随机性缺陷,缩小了神经网络结构的解搜索空间,加快了BP网络的收敛速度,进而提高了搜索效率,而且还起到对网络的结构和权值进行同时进化的作用。实验结果表明该方法取得了良好的效果。     

一种动态调整学习速率的BP算法

在基本反向传播（BP）算法中,学习速率往往固定不变,限制了网络的收敛速度和稳定性。因此,提出一种动态调整BP网络学习速率的算法,以BP网络输出层节点的实际输出值与期望输出值的平均绝对值误差及其变化率为自变量,找出学习速率与两个自变量之间的函数关系。根据网络的实际学习情况,对学习速率进行动态调整。实例仿真结果表明,改进的BP算法在保持网络稳定性的同时,具有更快的收敛速度。而且,该算法只需恰当地选取几个参数,不受条件限制,因此具有普遍的适用性。     

基于学习率自增强的图像识别深度学习算法

在深度学习模型中,为了进一步提高网络的收敛速度和识别精度,提出一种学习率自增强的图像识别算法.当距离极值点比较远时,以大于1的常数进行学习率自增强,加快网络向极值点附近逼近的速度.随着模型接近收敛,根据代价函数的变化情况调整学习率,学习率的变化和代价函数的变化情况成反比.在MNIST数据集和CIFAR-10数据集上进行实验.实验结果表明,结合该算法的深度学习模型在进行图像识别时,能有效地提高识别的准确率和收敛速度,并具有较好的表现能力.     

基于样本自组织聚类的BP神经网络预测模型

根据实际应用中神经网络训练样本通常具有内在特征和规律性,提出一种基于样本自组织聚类的BP神经网络预测模型。通过自组织竞争网络的聚类特征,改善样本训练对BP网络性能的影响。BP神经网络采用收敛速度较快和误差精度较高的动量—自适应学习速率调整算法。并通过基于这种模型的空气质量预测实验,表明基于样本自组织聚类的BP神经网络预测模型首先会提高收敛速度,其次会减少陷入局部最小的可能,提高预测精度。     

基于改进BP网络算法的故障诊断分析

介绍BP神经网络结构和学习方法,针对误差反向传播神经网络模型学习收敛速度慢、容易陷入局部极小点等缺点,本文对BP网络模型进行了改进。对原始数据采用非线性的归一化函数,提出一种更加有效的学习率改进算法,提高了网络的收敛速度,采用了一种新的权值及阈值初始化方法,以避免训练时误差陷入局部极小解,并对改进BP算法与传统的BP算法进行比较,验证了该算法的优越性。