基于遗传算法和BP网络的文字识别方法

将基于遗传的BP神经网络算法用于文字识别算法结合了遗传算法和BP网络的优点.先采用遗传学习算法进行全局寻优、再利用BP算法进行精确训练、优化BP(Back Propagation)神经网络权重学习和训练的神经网络文字识别算法.实验结果表明该算法完全达到了文字识别要求,识别率达到了98%.并且在识别速度上也明显优于传统的BP神经网络及其他改进算法,具有精确性、收敛性和识别速度快等特点.     

基于概念格的BP神经网络算法及仿真

针对在研究人工智技术能领域中,利用概念格和BP神经网络的各自优势,提出了一种基于概念格的BP神经网络算法.算法首先利用概念格的理论对样本数据进行属性约简,提取其中关键要素作为BP神经网络的训练样本,用简化的训练样本对BP神经网络进行训练,建立优化的基于概念格的BP神经网络算法进行仿真实验.仿真结果表明,基于概念格的BP神经网络算法能简化BP神经网络的训练样本,优化BP神经网络,提高了系统的学习效率和精度.证明方法是有效可行的,具有理论意义和实用价值.     

改进的遗传BP网络在旋转机械故障诊断中的应用

针对旋转机械故障的复杂性和相关性,本文采取改进的遗传BP网络算法进行诊断.首先利用遗传算法对BP网络的初始权值和偏置值进行优化,然后采取改变学习速度的方法对BP算法进行了改进,很好地解决了传统BP算法的学习收敛速度慢和产生局部极小的问题.通过样本训练和故障诊断分析,该算法在速度和精度上都有很大的提高.     

基于差分进化算法的模糊神经网络控制器

针对模糊神经网络控制器在应用误差反向传播算法训练时,易于陷入局部最优的问题,提出了一种将差分进化算法与BP算法相结合的学习法,首先利用差分进化算法的全局寻优能力,给BP算法一个好的寻优初始点;然后再以一定的概率进行BP算法的寻优.对一个带有滞后环节的二阶系统进仿真表明,控制性能优于基于BP的模糊神经网络控制器.     

基于粒子群与BP混合算法的神经网络学习方法

针对标准BP算法收敛速度慢及易陷入局部极值等问题,提出一种基于粒子群优化与BP混合算法的神经网络学习方法。该方法在网络的训练过程中,同时利用粒子群算法与BP算法进行最优网络权值的搜索,从而既充分利用了粒子群算法的全局搜索性又较好地保持了BP算法本身的反向传播特点。将该混合学习算法应用于复杂函数的拟合仿真,并与标准BP算法以及传统的粒子群优化BP神经网络学习算法进行比较。实验结果表明所提的混合学习算法具有较高的收敛精度,且收敛速度更快。     

一种改进的BP算法及其MatLab仿真

基于最优化理论,提出了基于新拟牛顿方程的改进拟牛顿算法训练BP神经网络.改进算法使用了一组新型的Hesse矩阵校正方程,使得改进拟牛顿算法具有全局收敛性和局部超线性收敛性.该文将改进的拟牛顿算法与BP神经网络权值的训练结合,得到一种新的BP神经网络权值的训练算法.与传统的神经网络权值学习的拟牛顿算法比较而言,采用改进算法的神经网络的收敛速度明显加快.改进算法能有效解决BP神经网络收敛速度慢的缺陷,显著提高了BP神经网络的学习训练收敛速度和学习精度.     

新型前馈网络学习算法在语音识别中的应用

简要介绍一种全新的前馈神经网络学习算法--代数算法,以该理论提出者针对这一算法做出的多方面的理论证明为基础,将此算法与传统BP算法相比较,利用其在网络结构和获取全局最优点方面具有传统BP算法不可比拟的优点,在matlab7.0实验平台上,分别把传统BP算法和此种新型学习算法应用于语音识别,通过仿真实验说明了新型算法的有效性,语音识别的精度在一定程度上得到了改善.     

前馈神经网络的一种BP-阿当姆斯学习算法

针对神经网络学习问题,研究将微分方程数值解法--阿当姆斯法用于神经网络的权值修正.考虑BP算法在网络学习初始阶段误差函数下降速度较快,而阿当姆斯算法在网络学习后期具有较高学习精度的特点,给出了前馈神经网络一种BP与Adamas方法相融合的BP-Adamas结合算法.文中对BP算法、Adamas算法和BP-Adamas结合算法的性质进行了对比分析,并以随机模式识别和旋转机械故障自动诊断问题为例验证了算法的有效性.     

BP算法在数据挖掘中应用研究

探讨了数据挖掘数据技术的准备工作,由于神经网络方法的特殊性,数据准备更显得尤为重要.对标准的BP算法进行了研究,针对现有人工神经网络中BP算法效率较低、容易陷入局部极小等存在的问题,提出了一种改进的BP算法,并针对这种算法进行了"与"和"异或"问题中的分析测试.测试结果表明了改进的BP算法缩短了学习时间,提高了学习效率,并在一定程度上避免了学习中的局部极小问题.     

基于改进BP神经网络的预测系统开发

阐述了预测系统的基本功能、原理实现和系统结构。对BP神经网络的结构和训练算法进行了研究,在分析了传统BP算法的缺陷后,提出了一种基于附加动量与自适应学习率相结合的改进算法。根据改进BP算法采用MATLAB编写了具有预测功能的循环函数程序。最后,利用VB.net、MATLAB以及Access数据库的混合编程技术开发了这套预测系统,并将该系统应用于高血压预测实例。     

一种新的基于粒群优化的BP网络学习算法

标准BP学习算法是多层感知器的一种训练学习算法，是基于无约束极值问题的梯度法而设计的。针对标准算法存在的收敛速度慢、目标函数易陷入局部极小等缺点，该文提出了一种基于粒群优化的全新学习算法——粒群学习算法。该算法采用并行全局寻优策略，使网络以更快的速度收敛至全局最优解，且更易于编程实现。仿真实例证明，该算法是一种简洁高效的BP神经网络学习算法，有着极为广泛的应用前景。     

基于MPSO的BP网络及其在入侵检测中的应用

提出一种基于变异粒子群优化(MPSO)的BP网络学习算法,该算法用PSO算法替代了传统BP算法,且在学习过程中,引入变异操作,克服传统BP算法易陷入局部极小和PSO算法早熟的不足。并把该算法应用于入侵检测中,通过KDD99 CUP数据集分别对基于不同算法的BP神经网络进行了仿真实验比较,结果表明,该算法的收敛速度快,迭代次数较少,而且测试平均准确率高达96.5%。     

前馈网络的一种超线性收敛BP学习算法

分析传统BP算法存在的缺点,并针对这些缺点提出一种改进的BP学习算法.证明该算法在一定 条件下是超线性收敛的,并且该算法能够克服传统BP算法的某些弊端,算法的计算复杂度与简 单BP算法是同阶的.实验结果说明这种改进的BP算法是高效的、可行的.     

一种基于并行策略的BP改进算法

介绍了BP神经网络的基本结构及原理,分析了其收敛慢的原因。为加快其收敛速度,结合带动量梯度下降法提出一种新的算法(PBBP),用多个学习速率不同但结构相同的网络进行并行训练,在每次迭代后都根据误差找出处于最佳状态的网络,并使其它网络的训练参数作适当变化再进行下一次迭代,直到整个网络的误差减小到允许范围内或达到训练次数要求,加快了其收敛速度,能够很好地脱离平坦区。通过在Matlab里编程进行仿真实验证明,该算法是可行的。     

Forecasting foreign exchange rates with an improved back-propagation learning algorithm with adaptive smoothing momentum terms

The slow convergence of back-propagation neural network (BPNN) has become a challenge in data-mining and knowledge discovery applications due to the drawbacks of the gradient descent (GD) optimization method, which is widely adopted in BPNN learning. To solve this problem, some standard optimization techniques such as conjugate-gradient and Newton method have been proposed to improve the convergence rate of BP learning algorithm. This paper presents a heuristic method that adds an adaptive smoothing momentum term to original BP learning algorithm to speedup the convergence. In this improved BP learning algorithm, adaptive smoothing technique is used to adjust the momentums of weight updating formula automatically in terms of “3 σ limits theory.” Using the adaptive smoothing momentum terms, the improved BP learning algorithm can make the network training and convergence process faster, and the network’s generalization performance stronger than the standard BP learning algorithm can do. In order to verify the effectiveness of the proposed BP learning algorithm, three typical foreign exchange rates, British pound (GBP), Euro (EUR), and Japanese yen (JPY), are chosen as the forecasting targets for illustration purpose. Experimental results from homogeneous algorithm comparisons reveal that the proposed BP learning algorithm outperforms the other comparable BP algorithms in performance and convergence rate. Furthermore, empirical results from heterogeneous model comparisons also show the effectiveness of the proposed BP learning algorithm.     

A successive projection method for binary pattern recognition with multilayer feedforward neural networks

Error back-propagation (BP) is one of the most popular ideas used in learning algorithms for multilayer neural networks. In BP algorithms, there are two types of learning schemes, online learning and batch learning. The online BP has been applied to various problems in practice, because of its simplicity of implementation. However, efficient implementation of the online BP usually requires an ad hoc rule for determining the learning rate of the algorithm. In this paper, we propose a new learning algorithm called SPM, which is derived from the successive projection method for solving a system of nonlinear inequalities. Although SPM can be regarded as a modification of online BP, the former algorithm determines the learning rate (step-size) adoptively based on the output for each input pattern. SPM may also be considered a modification of the globally guided back-propagation (GGBP) proposed by Tang and Koehler. Although no theoretical proof of the convergence for SPM is given, some simulation results on pattern classification problems indicate that SPM is more effective and robust than the standard online BP and GGBP     

基于改进BP神经网络的函数逼近性能对比研究

为了正确反映实际应用中经常采用的6种典型BP神经网络的改进算法的非线性函数逼近能力,本文从数学角度详细阐述这6种典型BP神经网络的改进算法的学习过程,简要地介绍MATLAB工具箱中设计BP网络的训练函数,最后在MATLAB环境下设计具体的网络来对指定的非线性函数进行逼近实验,并对这6种典型BP神经网络的改进算法的性能差异进行对比。仿真结果表明,对于中小规模网络而言,LM优化算法逼近性能最佳,其次是拟牛顿算法、共轭梯度法、弹性BP算法、自适应学习速率算法和动量BP算法。     

一种基于演化算法的BP改进算法

本文在对BP神经网络算法分析的基础上,提出一种基于演化算法的BP改进算法(EBP)。该算法将演化算法运用到BP算法学习率的求解中,从而达到学习率的自适应、自组织的目的。实验结果表明,使用EBP算法进行求解函数逼近、优化和建模等BP神经网络应用问题,都要比传统的BP算法具有更好的精确度和收敛速度,并且能够克服传统BP算法易陷入局部最优解、学习过程出现震荡等缺点。     

Dynamic learning rate optimization of the backpropagation algorithm

It has been observed by many authors that the backpropagation (BP) error surfaces usually consist of a large amount of flat regions as well as extremely steep regions. As such, the BP algorithm with a fixed learning rate will have low efficiency. This paper considers dynamic learning rate optimization of the BP algorithm using derivative information. An efficient method of deriving the first and second derivatives of the objective function with respect to the learning rate is explored, which does not involve explicit calculation of second-order derivatives in weight space, but rather uses the information gathered from the forward and backward propagation, Several learning rate optimization approaches are subsequently established based on linear expansion of the actual outputs and line searches with acceptable descent value and Newton-like methods, respectively. Simultaneous determination of the optimal learning rate and momentum is also introduced by showing the equivalence between the momentum version BP and the conjugate gradient method. Since these approaches are constructed by simple manipulations of the obtained derivatives, the computational and storage burden scale with the network size exactly like the standard BP algorithm, and the convergence of the BP algorithm is accelerated with in a remarkable reduction (typically by factor 10 to 50, depending upon network architectures and applications) in the running time for the overall learning process. Numerous computer simulation results are provided to support the present approaches.     

一种模糊规则动态调整BP算法中参数的方法

文中首先对标准的ＢＰ算法进行了分析。然后在此基础上提出了通过模糊规则推理动态调整学习率和动量因子的改进的方法，并通过模糊推理系统实现了ＢＰ算法的模糊控制。最后通过实例将该算法与标准ＢＰ算法和Ｖｏｇｌ改进的算法进行了比较，实验结果表明通过模糊推理来改善神经网络的ＢＰ算法性能是一种很有前途的方法。