修正激励函数的BP算法的研究

本文对基于梯度下降的标准BP算法进行了深入研究,提出了修正激励函数的BP算法,它能有效克服标准BP算法中Sigmoid函数的不足,加快网络学习速率。在模型预测控制的建模和预测中,将基于该算法的神经网络与基于标准BP算法的神经网络、基于带动量项的BP算法的神经网络、基于自适应调整学习率BP算法的神经网络、基于自适应调整学习步长和动量项4算法的神经网络进行仿真比较,它在预报准确率和学习速度方面都取得了令人满意的结果。     

用自调整S函数提高神经网络BP算法

学习算法是BP前馈神经网络研究中的核心问题。文中阐述了几种重要的BP算法的改进算法，提出了一种新的学习算法，即自动调整S型函数形状的算法，从理论上证明了此方法在一定前提条件下的可行性，给出了进行S型函数形状自动调整的公式。仿真实验证明了新学习算法用于非线性系统建模时的有效性。     

一种通过反馈提高神经网络学习性能的新算法

为了有效提高前向神经网络的学习性能，需要从一个新的角度考虑神经网络的学习训练．基于此，提出了一种基于结果反馈的新算法——FBBP算法．将神经网络输入调整与通常的权值调整的反向传播算法结合起来，通过调整权值和输入矢量值的双重作用来最小化神经网络的误差函数．并通过几个函数逼近和模式分类问题的实例仿真，将FBBP算法与加动量项BP算法、最新的一种加快收敛的权值更新的算法进行了比较，来验证所提出的算法的有效性．实验结果表明，所提出的算法具有训练速度快和泛化能力高的双重优点，是一种非常有效的学习方法．     

人工神经网络快速学习算法

以Ｃｈｅｂｙｓｈｅｖ学习算法为基础,给出了数例神经网络仿真结果,其学习收速度大大优于ＢＰ算法及ＨＮＲ算法。     

基于Metropolis准则的BP神经网络学习算法研究

本文针对BP神经网络训练学习过程中，连接权在调整时容易陷入局部极小使得进一步调整失去作用的问题，提出了一种有助于提高BP神经网络逼近精度的方法——基于M!缸。酬逸准则的神经网络学习算法。该算法整体采用传统的BP算法，但在一定条件下依据概率进行连接权的调整，使权值以一定的概率跳跃，跳出局部极小区，最终达到全局极小。仿真结果表明了这一算法的有效性。     

一种动态调整学习速率的BP算法

在基本反向传播（BP）算法中,学习速率往往固定不变,限制了网络的收敛速度和稳定性。因此,提出一种动态调整BP网络学习速率的算法,以BP网络输出层节点的实际输出值与期望输出值的平均绝对值误差及其变化率为自变量,找出学习速率与两个自变量之间的函数关系。根据网络的实际学习情况,对学习速率进行动态调整。实例仿真结果表明,改进的BP算法在保持网络稳定性的同时,具有更快的收敛速度。而且,该算法只需恰当地选取几个参数,不受条件限制,因此具有普遍的适用性。     

基于人工鱼群算法的贝叶斯网络参数学习方法

研究算法改进,提高计算性能,贝叶斯网络是解决不确定性问题的一种有效方法,在很多领域得到了广泛应用。参数学习是贝叶斯网络构建的重要环节,但含隐变量、连续变量的参数学习是非常困难的。为解决上述问题,提出了一种人工鱼群算法的贝叶斯网络参数学习方法,并进一步通过调整人工鱼随机移动速度的方法提高了算法的收敛性能和速度。最后,将参数学习方法在由Noisy-Or和Noisy-And节点组成的贝叶斯网络中进行了仿真,仿真结果表明了参数学习方法,特别是改进后方法的可行性和优越性。     

特征提取与两种BP算法在入侵检测中的对比

针对海量的等保测评数据,如何从这些数据中选取适量的数据进行入侵行为分析,提出了根据预测变量对预测目标变量的重要性的特征提取方法。该方法采用importance指数来对预测变量进行等级划分。并选取了一些预处理后的数据运用了两种BP算法——标准BP算法和学习速率自适应调整算法进行了系统仿真预测。通过KDDCup99数据集测试表明,后者相对于前者,其学习训练次数大大降低,学习能力和预测准确率明显提高。     

特征提取与两种BP算法在入侵检测中的对比

针对海量的等保测评数据,如何从这些数据中选取适量的数据进行入侵行为分析,提出了根据预测变量对预测目标变量的重要性的特征提取方法。该方法采用importance指数来对预测变量进行等级划分。并选取了一些预处理后的数据运用了两种BP算法--标准BP算法和学习速率自适应调整算法进行了系统仿真预测。通过KDDCup99数据集测试表明,后者相对于前者,其学习训练次数大大降低,学习能力和预测准确率明显提高。     

BP神经网络的联合优化算法

针对BP神经网络存在收敛速度慢、易陷入局部极小等缺陷,提出了一种自适应调节学习率和动态调整S型激励函数相结合的改进BP算法。该算法将学习率与误差函数相关联,再对每个隐单元和输出单元的激励函数的斜率进行自动调整。通过实例仿真,将改进算法与标准BP算法、加动量项法和自适应学习率法进行比较,来验证所提出方法的有效性。实验结果表明,联合优化的BP算法能有效加快网络的收敛过程,并具有较强的泛化能力。