修正激励函数的BP算法的研究

本文对基于梯度下降的标准BP算法进行了深入研究,提出了修正激励函数的BP算法,它能有效克服标准BP算法中Sigmoid函数的不足,加快网络学习速率。在模型预测控制的建模和预测中,将基于该算法的神经网络与基于标准BP算法的神经网络、基于带动量项的BP算法的神经网络、基于自适应调整学习率BP算法的神经网络、基于自适应调整学习步长和动量项4算法的神经网络进行仿真比较,它在预报准确率和学习速度方面都取得了令人满意的结果。     

一种结构自组织的改进BP网络

介绍了BP网络的基本结构模型与常见改进算法，在此基础上提出了一种新型的结构自组织BP网络算法。该自组织BP网络算法能够根据当前收敛状态自动调整学习率，使得网络收敛速度与学习率变化保持一致。同时该BP网络算法还能根据神经元在学习过程中的变化情况及其相互关系进行网络结构自适应调整，以保证网络结构逐渐趋于合理性。     

一种放大误差信号的BP算法

针对BP神经网络学习算法收敛速度慢、易陷入假饱和状态的问题,提出了一种快速收敛的BP算法。该算法通过修改激励函数的导数,放大误差信号来提高收敛性。给出了改进算法的收敛性分析并在实验仿真中将改进算法同时与标准BP算法和NG等人的改进算法进行比较。仿真结果表明,该算法在收敛速度方面大大优于另外两种算法,有效地提高了BP算法的全局收敛能力。     

一种基于放大误差信号的自适应BP算法

针对标准BP算法受饱和区域影响而导致收敛速度慢的问题,提出一种基于放大误差信号的自适应BP算法,该算法通过修改激励函数的导数,使权值的修正过程不会因饱和区域而趋于停滞,并分析了改进算法的收敛性。仿真结果表明,改进的BP算法加快了收敛速度,并在一定程度上提高了全局收敛能力。     

人工神经网络BP算法的改进及其在无损检测中的应用

采用多层感知器（MLP）与误差反向传播算法（er-ror back-propagation algorithm)构造与监督训练人工祖辈 经网络,采用了改进的非线性激励函数与学习率的误差反向传播算法,超声无损检测的计算机模拟与实验结果表明,改进的BP算法收敛速度较之BP算法明显加快。     

基于放大误差信号的BP算法

提出了一种基于放大误差信号的改进BP算法,构造了一个新的函数修改激励函数的导数,通过放大误差信号,加大网络权值调整力度,避免BP算法易于陷入饱和区域来加快收敛速度。仿真结果表明,该算法在收敛速度等方面大大优于其他一些算法。     

一种基于演化算法的BP改进算法

本文在对BP神经网络算法分析的基础上,提出一种基于演化算法的BP改进算法(EBP)。该算法将演化算法运用到BP算法学习率的求解中,从而达到学习率的自适应、自组织的目的。实验结果表明,使用EBP算法进行求解函数逼近、优化和建模等BP神经网络应用问题,都要比传统的BP算法具有更好的精确度和收敛速度,并且能够克服传统BP算法易陷入局部最优解、学习过程出现震荡等缺点。     

综合改进BP神经网络算法在股价预测中的应用

BP神经网络用于股市等非线性系统的预测具有非常强大的能力。针对标准BP神经网络算法存在收敛速度慢和易陷入局部极小点问题,提出附加动量法和动态调整学习率法相结合的综合改进BP算法。建立了基于改进算法的股票价格预测系统模型,并对青岛海尔股票价格进行了预测。仿真结果表明,相对于标准BP算法,综合改进的BP算法能明显加快网络的收敛时间,用于股价短期预测是有效可行的,并且能够达到较高的准确性,具有一定的实际应用价值。     

一种量子神经网络模型及改进学习算法

提出一种量子BP网络模型及改进学习算法,该BP网络模型首先基于量子学中一位相移门和两位受控非门的通用性,构造出一种量子神经元,然后由该量子神经元构造隐含层,采用梯度下降法进行学习。输出层采用传统神经元构造,采用基于改进的带动量自适应学习率梯度下降法学习。在UCI两个数据集上采用该模型及算法,实验结果表明该方法比传统的BP网络具有较好的收敛速度和正确率。     

局部式反传网络的改进BP算法及应用

针对标准BP算法收敛速度慢的缺点,分析了其产生的主要原因,提出了一种改进BP算法。在传统BP算法基础上通过对其激励函数增加陡度因子并在误差反传权值修正时增加协调器,通过对网络灵敏度的分析将全反传式网络变成局部式反传网络,从而达到提高网络学习速率及精度的目的。改进的BP算法应用于导向钻井稳定平台系统的辨识,仿真结果表明该算法收敛速度快,精度高。     

Fast and improved backpropagation learning of multi-layer artificial neural network using adaptive activation function

In the conventional backpropagation (BP) learning algorithm used for the training of the connecting weights of the artificial neural network (ANN), a fixed slope−based sigmoidal activation function is used. This limitation leads to slower training of the network because only the weights of different layers are adjusted using the conventional BP algorithm. To accelerate the rate of convergence during the training phase of the ANN, in addition to updates of weights, the slope of the sigmoid function associated with artificial neuron can also be adjusted by using a newly developed learning rule. To achieve this objective, in this paper, new BP learning rules for slope adjustment of the activation function associated with the neurons have been derived. The combined rules both for connecting weights and slopes of sigmoid functions are then applied to the ANN structure to achieve faster training. In addition, two benchmark problems: classification and nonlinear system identification are solved using the trained ANN. The results of simulation-based experiments demonstrate that, in general, the proposed new BP learning rules for slope and weight adjustments of ANN provide superior convergence performance during the training phase as well as improved performance in terms of root mean square error and mean absolute deviation for classification and nonlinear system identification problems.     

变共轭梯度算法及其在农产品总产量预测中的应用

为克服BP算法收敛速度慢，易陷入局部极小值等的缺点，提高BP预测精度等性能，提出了变共轭梯度法(VCG)。从激活函数和学习规则两方面修正网络，并对其收敛性作了分析及简要证明。将其应用于我国主要农产品总产量的预测，证实了该算法的有效性。     

基于Tanh多层函数的量子神经网络算法及其应用的研究

该文提出一种新的改进激励函数的量子神经网络模型。首先为了提高学习速率,在网络权值训练过程中引入了动量项。然后为了有效实现相邻类之间具有覆盖和不确定边界的分类问题,新网络采用区分度更大的双曲正切函数的叠加作为其隐层激励函数。最后将该算法用于字符识别,将双曲正切激励函数的量子神经网络应用于数字、字母和汉字样本的多次实验,并且与原多层激励函数量子神经网络和BP网络的实验效果进行比较,发现改进后量子神经网络不仅具有较高的识别率,而且在样本训练次数上相对原多层激励函数量子神经网络有明显减少。仿真结果证明该方法的优越性。     

基于改进BP神经网络的函数逼近性能对比研究

为了正确反映实际应用中经常采用的6种典型BP神经网络的改进算法的非线性函数逼近能力,本文从数学角度详细阐述这6种典型BP神经网络的改进算法的学习过程,简要地介绍MATLAB工具箱中设计BP网络的训练函数,最后在MATLAB环境下设计具体的网络来对指定的非线性函数进行逼近实验,并对这6种典型BP神经网络的改进算法的性能差异进行对比。仿真结果表明,对于中小规模网络而言,LM优化算法逼近性能最佳,其次是拟牛顿算法、共轭梯度法、弹性BP算法、自适应学习速率算法和动量BP算法。     

BP算法的改进及用模拟电路实现的神经网络分类器

基于用模拟电路实现神经网络分类器的目的，对多层静态前馈神经网络的ＢＰ算法做了改进，采用线性限幅函数代替Ｓｉｇｍｏｉｄ函数作为神经元的激活函数，给出了改进的ＢＰ算法。对该算法性能的实验研究表明：这种改进算法不但方便了用线性模拟集成运算放大电路实现神经网络，而且具有学习速度快，映射能力强等优点。根据本文算法设计的神经网络分类器，无论是计算机仿真，还是模拟电路实现，都得到了比较高的识别率。     

基于改进型BP神经网络在列车异物检测中的研究

提出了B P神经网络学习算法上存在收敛速度慢,容易陷入局部极小的问题,现通过惯性校正方法及重新构造响应函数法来克服这两个问题,对B P网络学习算法进行了改进。利用小波多尺度边缘检测对列车异物图像进行分割和特征提取,并将列车异物特征向量作为训练样本对改进后的B P网络进行反复训练,直到获得最佳的映射结果,提高识别的精确度,提高了列车异物自动识别的速度,为实际的异物检测应用奠定了重要的参考价值理论与实验基础。     

Magnified gradient function with deterministic weight modification in adaptive learning

This work presents two novel approaches, backpropagation (BP) with magnified gradient function (MGFPROP) and deterministic weight modification (DWM), to speed up the convergence rate and improve the global convergence capability of the standard BP learning algorithm. The purpose of MGFPROP is to increase the convergence rate by magnifying the gradient function of the activation function, while the main objective of DWM is to reduce the system error by changing the weights of a multilayered feedforward neural network in a deterministic way. Simulation results show that the performance of the above two approaches is better than BP and other modified BP algorithms for a number of learning problems. Moreover, the integration of the above two approaches forming a new algorithm called MDPROP, can further improve the performance of MGFPROP and DWM. From our simulation results, the MDPROP algorithm always outperforms BP and other modified BP algorithms in terms of convergence rate and global convergence capability.