一种动态调整学习速率的BP算法

在基本反向传播（BP）算法中,学习速率往往固定不变,限制了网络的收敛速度和稳定性。因此,提出一种动态调整BP网络学习速率的算法,以BP网络输出层节点的实际输出值与期望输出值的平均绝对值误差及其变化率为自变量,找出学习速率与两个自变量之间的函数关系。根据网络的实际学习情况,对学习速率进行动态调整。实例仿真结果表明,改进的BP算法在保持网络稳定性的同时,具有更快的收敛速度。而且,该算法只需恰当地选取几个参数,不受条件限制,因此具有普遍的适用性。     

一种BP网的学习速率与动量项自适应算法

针对BP网络学习速率和动量项参数较难选取以及学习过程中学习效率较为低下的问题,提出BP网络的改进算法模型—AB网络模型,来选取学习速率和动量项的参数值,即通过一个为给定先验知识的A网,动态调节另一个执行实际应用的B网中的学习速率和动量项的参数值,并以此提高整个网络的学习效率.实验结果表明,通过AB网络自适应调整参数的算法比普通BP算法的学习效率大大提高.在实际应用中,我们可以通过AB网络自适应调节的方法,对学习速率参数和动量项参数进行合适的选取.     

蔗糖结晶中的BP网络的算法选择及改进

推导了隐层节点和输出节点的学习及修正公式,选择了初始权值、学习速率和期望误差等相关学习参数,结合结晶工段实际进行了网络训练.为加快网络的收敛,在保证系统稳定的基础上,提出了S函数输出限幅和变步长法两种改进方案.采用改进的BP算法对此BP网络进行了训练,得到的ANN网络训练输出值与实际输出值非常逼近.     

醇解度预测的神经网络模型研究

针对聚乙烯醇生产过程的醇解度预测问题,建立神经网络模型;对醇解度的影响因素进行了研究,讨论了输入层、输出层、隐含层等神经元的设置及网络训练的参数,比较了梯度下降BP算法、动量-自适应学习速率调整算法、Levenberg-Marquardt BP算法三种不同的训练算法在本问题上的优劣,并与RBF网络相比较,综合考虑训练时间、训练精度、泛化能力等条件,动量一自适应学习速率调整算法是最适合醇解度预测的,并基于动量-自适应学习速率调整算法建立了神经网络模型;将模型应用于醇解度预测系统,系统实际运行情况表明,利用神经网络模型预测醇解度是可行有效的.     

基于交叉验证的BP算法的改进与实现

针对BP算法存在的收敛速度慢等问题提出改进方案,修改其相关参数并且提出如何选择合适的隐藏层节点个数.同时针对学习样本数据的有限性、BP算法易陷入局部最小值和容易出现过拟合等问题进行了研究,提出了采用多重交叉验证的再改进BP算法.仿真结果表明,交叉验证BP算法提高了网络学习的效率.     

神经网络在图像检索中的应用研究

提出了一种基于神经网络中的单输出BP（Error Back—Propagation）网络的自然风景类图像的分类检索方法,并在网络学习过程中改进了BP算法,使速率在学习过程中根据误差平方和大小动态可变,极大地提高了收敛速度,分类结果表明图像特征的选取、隐藏层的节点数对网络性能影响很大。     

基于自适应学习速率的改进型BP算法研究

从感知器的结构及学习规则无法执行异或问题出发,用神经网络中的BP网络来解决异或问题,消除了感知器的局限性,但BP算法在具体实现中常会出现一些问题,如：收敛速度缓慢且与其他参数存在较强的耦合关系,局部极小等。对此,从前馈神经网络的原理出发,提出了一种自适应学习速率因子方法,用于对BP算法的改进,并将改进后的算法用于二维XOR问题及多维XOR问题的学习中。仿真实验证明,改进后的算法可显著提高网络的学习速度,且学习过程具有良好的收敛性及较强的鲁棒性。     

一种基于神经网络的入侵检测技术

应用神经网络技术不仅能识别已知的网络人侵行为,而且也能识别许多未知的网络入侵的变种.BP神经网络是一种成功的神经网络技术,然而,标准BP算法学习速率固定,不能根据实际情况动态改变学习速率.为了自适应当前网络学习的状况,提高网络的收敛速度,提出了一种基于综合增加动量项与自适应调节学习速率相结合的改进BP算法,可以满足入侵检测分类识别的需求.选用Kddcup 1999 Data网络连接数据集进行特征提取和预处理之后,送人神经网络进行训练和测试,得到较高的检测率和较低的误报率.实验表明,基于改进的BP神经网络的入侵检测方法是有效的.     

一种改进的BP神经网络算法及其应用

BP算法是目前应用最为广泛的神经网络学习算法,但原始算法收敛速率慢,训练过程易陷入局部极小值以及隐层节点数选择困难.针对这些问题提出了不少改进措施,文中提出了一种改进的BP神经网络算法,在BP算法基础上,从训练算法着手,通过误差的变化趋势,动态调整权值以提高网络的收敛速率;通过数学推导,从理论上验证了该算法的有效性.用MATLAB软件对文中的改进算法进行仿真,并且与其它方法进行比较,结果表明,改进后的算法在收敛速率和抑制噪声等方面有很好的效果,从实验上验证了该算法的有效性.     

采用BP 神经网络及其改进算法改善传感器特

本文采用BP多层前馈神经网络及其改进算法对传感器特性进行补偿 .提出附加动量法、自适应参数变化法为主要内容的BP神经网络改进算法 ,有效地改善了BP网络传统算法收敛慢、容易收敛到局部最小点的缺陷 ,并编制了训练程序 .结果表明 ,经BP改进算法处理后 ,传感器性能大幅度改善 ,改进的BP算法拟合精度更高 ,计算时间更短     

BP神经网络合理隐结点数确定的改进方法

合理选择隐含层结点个数是BP神经网络构造中的关键问题,对网络的适应能力、学习速率都有重要的影响.在此提出一种确定隐结点个数的改进方法.该方法基于隐含层神经元输出之间的线性相关关系与线性无关关系,对神经网络隐结点个数进行削减,缩减网络规模.以零件工艺过程中的加工参数作为BP神经网络的输入,加工完成的零件尺寸作为BP神经网络的输出建立模型,把该方法应用于此神经网络模型中,其训练结果证明了该方法的有效性.     

Constructing of the risk classification model of cervical cancer by artificial neural network

It is significant to build up the risk classification model of cervical cancer for the evaluation of high-risk population. Data were divided into two sub-data, one is model building sub-data, the other is model testing sub-data. By using of artificial neural network (ANN) analysis method (Back Propagation, BP), the risk classification model had been setup. The parameters were listed as following: the data had been treated as normalization, and the level of network was 3, and the number of neural in hidden level was 5, and the transmitting function between input level and hidden level was logsig, and the transmitting function between hidden level and output level was purelin, and the studying method was Levenberg–Marquardt optimizing, and the error parameter eg = 0.09, maximum epochs me = 8000. The model quality was good (sensitivity = 98%, specificity = 97%), and the back calculation fitting result was excellent. The predictive value of 10 unknown data was also good, during which the correct rate of control group was 100%, and that of case group was 80%. Because ANN is with the character of self-organizing, self-learning and self-adapting, the ANN risk classification model is fit for the screening of high-risk population of local cervical cancer, risk evaluation of cervical cancer and the effect evaluation of the prevention method after training the model by new data of some area.     

基于BP神经网络的输电线路隐患预放电识别研究

针对输电线路在长期运维过程中出现的异常主要依靠人工定期巡线来排查,无法高效、准确的对隐患进行预判的局限,本文提出了基于BP神经网络方法对输电线路典型隐患预放电识别。首先在南方电网防冰减灾重点实验室梅花山基地搭建起输电线路放电试验平台,得到了输电线路在树障和污秽绝缘子两种典型隐患的预放电脉冲电流波形数据。继而绘制得到放电信号中放电量,放电次数,相位参数的三个二维统计图,在此基础上提取并构建得到放电特征参量数据库,再将特征量带入反向传播神经网络分类器中对线路隐患模型进行训练。最后对模型测试的结果表明,采用BP神经网络算法能够有效识别输电线路中典型的隐患,且识别准确率达到92%以上,进而为输电线路隐患识别提供了参考。     

基于D-S证据理论和BP神经网络的多传感器信息融合

针对多传感器信息融合的基本可信度分配在实际应用中难以解决的问题,提出了一种基于D-S证据理论与BP网络相结合的多传感器信息融合的改进方法。该方法充分发挥BP神经网络自学习、自适应和容错的能力,利用BP神经网络处理证据理论的基本可信度问题,再利用D-S证据理论来处理不精确、模糊的信息。最后通过一个实例证明了该方法的有效性。     

一种新的自适应数字滤波方法的研究

自适应数字滤波中理想信号通常难于确定。针对这一问题,根据均方误差和高频信号的特征,将二者结合起来考虑,提出一种新的自适应数字滤波的方法。应用该方法在252组真实实验数据中进行相应的自适应滤波测试,并对滤波结果分别采用BP神经网络和支持向量机两种分类方法进行分类测试。实验结果表明,新方法具备良好的滤波效果。     

An optimizing BP neural network algorithm based on genetic algorithm

A back-propagation (BP) neural network has good self-learning, self-adapting and generalization ability, but it may easily get stuck in a local minimum, and has a poor rate of convergence. Therefore, a method to optimize a BP algorithm based on a genetic algorithm (GA) is proposed to speed the training of BP, and to overcome BP’s disadvantage of being easily stuck in a local minimum. The UCI data set is used here for experimental analysis and the experimental result shows that, compared with the BP algorithm and a method that only uses GA to learn the connection weights, our method that combines GA and BP to train the neural network works better; is less easily stuck in a local minimum; the trained network has a better generalization ability; and it has a good stabilization performance.     

基于BP神经网络和改进遗传算法的钩藤碱提取工艺优化研究

钩藤是一种比较常用的中药,具有清热解毒、清肝明目等作用,其主要有效成分是钩藤碱和异钩藤碱。为了有效地提高钩藤碱的提取含量和质量,本文提出BP神经网络结合改进遗传算法,使用遗传算法对影响BP神经网络性能的初始权值和阈值进行寻优,再通过BP神经网络建立和优化模型。测试结果说明本文提出的方法是解决钩藤碱提取工艺优化的有效途径,并且表明自适应交叉和变异概率的寻优能力要优于固定交叉和变异概率。     

基于GS-LSTM模型的铁路货运量预测

铁路货运量预测的准确性对铁路运输企业制定营销计划和营销决策来说是必要的,尤其是短期铁路货运量的影响至关重要。为了提高铁路货运量的预测精度,提出一种优化长短期记忆网络(Long-Short Term Memory,LSTM)参数的预测模型——GS-LSTM模型,通过利用网格搜索算法(Grid Search)对LSTM模型训练网络中最主要的参数(批量大小、隐含层神经单元个数和学习率)进行优化。基于2005年1月—2021年7月的铁路货运量月度数据,首先建立BP和LSTM模型对预测结果进行比较,LSTM模型比BP模型的MAPE降低1.55个百分点,然后分别对BP和LSTM模型的网络参数进行优化后再进行比较,优化后的2种模型比基础模型的预测效果均有提高,而且优化后的LSTM模型比BP模型的MAPE又进一步降低0.18个百分点。实验结果显示,优化后的LSTM模型预测效果更佳,泛化能力更好,具有很好的研究和使用价值。     

Capabilities of a four-layered feedforward neural network: fourlayers versus three

Neural-network theorems state that only when there are infinitely many hidden units is a four-layered feedforward neural network equivalent to a three-layered feedforward neural network. In actual applications, however, the use of infinitely many hidden units is impractical. Therefore, studies should focus on the capabilities of a neural network with a finite number of hidden units, In this paper, a proof is given showing that a three-layered feedforward network with N-1 hidden units can give any N input-target relations exactly. Based on results of the proof, a four-layered network is constructed and is found to give any N input-target relations with a negligibly small error using only (N/2)+3 hidden units. This shows that a four-layered feedforward network is superior to a three-layered feedforward network in terms of the number of parameters needed for the training data.     

BP神经网络仿真软件

根据神经网络的应用特点 ,设计了一个包括输入层、隐层、输出层的BP网络 ,探讨了BP网络的参数设计与选择。同时 ,使用C+ + 语言开发了神经网络的仿真软件 ,该软件能对网络进行训练学习 ,并用图形的方式直观地显示训练学习曲线和仿真曲线。