一种改进的BP算法及其MatLab仿真

基于最优化理论,提出了基于新拟牛顿方程的改进拟牛顿算法训练BP神经网络.改进算法使用了一组新型的Hesse矩阵校正方程,使得改进拟牛顿算法具有全局收敛性和局部超线性收敛性.该文将改进的拟牛顿算法与BP神经网络权值的训练结合,得到一种新的BP神经网络权值的训练算法.与传统的神经网络权值学习的拟牛顿算法比较而言,采用改进算法的神经网络的收敛速度明显加快.改进算法能有效解决BP神经网络收敛速度慢的缺陷,显著提高了BP神经网络的学习训练收敛速度和学习精度.     

基于改进混沌神经网络的飞机舵面故障预测研究

结合混沌序列的相空间重构理论和BP神经网络预测理论,构建了一个基于时间序列预测的混沌神经网络模型;考虑基本BP神经网络采用的梯度学习算法收敛速度较慢的缺点,文章利用改进的Levenberg-Marquart(L-M)优化学习算法对网络进行训练;最后对一组飞机舵面卡死故障数据进行仿真实验,结果表明该模型不仅提高了预测精度,而且网络收敛速度也得到明显的改善,有效避免神经网络局部极小问题,可以较好地对飞机舵面卡死故障进行预测.     

改进的BP算法在混凝土适筋梁挠度预测中的研究

BP神经网络已被广泛应用于多个研究领域,为克服和改善传统的BP算法收敛速度慢、易陷入局部极小、泛化能力差的缺陷,基于混凝土适筋梁挠度预测的实际工程问题,提出L-M算法,并对现场的原始数据进行分组取样;实验数据对比及算法仿真结果表明,基于改进的L-M算法的神经网络推算钢筋混凝土适筋梁长期挠度的方法是可行的,并且L-M算法比传统BP算法收敛速度快,挠度的预测结果比规范计算结果更加接近实测数据;应用结果表明,L-M算法利用二阶导数的特性,加快了收敛速度,提高了计算精度;而运用分组取样法则提高了网络的泛化能力.     

提升小波包和改进BP神经网络相融合的新故障诊断算法

针对传统的小波变换和BP神经网络应用于故障诊断中存在自适应性差、效率低等问题,提出一种提升小波包和改进BP神经网络相融合的新故障诊断算法;利用插值细分思想,设计了提升小波包的预测算子和更新算子,结合传统小波包算法和提升模式的原理,完成了提升小波包算法的设计,并将该算法应用于故障信号的消噪和能量特征量的提取;利用遗传算法优化标准BP神经网络的初始权值和阈值,采用L-M算法优化标准BP神经网络的搜索方式;以美国凯斯西储大学提供的滚动轴承实验数据,将新算法应用于实验中,分析结果表明:新故障诊断算法比传统的BP神经网络算法具有收敛速度快、诊断精度高等实效性。     

改进ACO优化的BP神经网络短时交通流量预测

针对BP神经网络算法收敛速度缓慢、易陷入局部最小值、在短时交通流量预测的问题中精度不高等问题,提出了一种改进ACO(蚁群算法)优化的BP神经网络短时交通流量预测算法.在确定BP神经网络权阈值的过程中,采用蚁群信息素挥发自适应参数、在蚁群信息素更新时采用精英选择策略和种群更新时加入变异因子的方法来得到最优权阈值.仿真结果表明,改进算法在预测流量趋势和准确度方面均有较大提升,在短时交通流量预测方面取得了良好的效果.     

改进型BP神经网络对电容称重传感器的非线性校正

针对电容称重传感器电容检测电路的输出电压与载荷质量之间的非线性特性问题,基于贝叶斯正则化的L-M算法建立BP神经网络改进模型,实现了电容称重传感器的非线性特性的校正,并与传统的梯度下降算法建立的BP神经网络模型的校正结果进行了仿真对比。仿真结果表明:改进型BP神经网络具有较快的收敛速度、较高的精度和较好的推广能力,有利于准确实现电容称重传感器非线性特性的有效校正。     

基于BP神经网络的传感器无效数据过滤器设计

基于催化原理的传感器在矿井环境工作时，受内在外在因素的干扰，测量的可燃气体浓度值存在误差过大的问题。设计了基于列文伯格-马夸尔特(L-M)训练算法及反向传播(BP)神经网络的传感器无效数据过滤器。通过离线采集传感器响应特性曲线数据的方式构建网络模型，并用Matlab工具对模型进行仿真训练。综合对比分析L-M训练算法、拟牛顿训练算法、自适应线性回归(LR)动量梯度下降训练算法的收敛速度和误差性能。对比结果表明，基于L-M训练算法构建的BP神经网络模型收敛速度更快、误差值更小、效率更高，有利于矿用催化原理传感器无效检测非线性数据的过滤。     

L-M优化BP算法在短期负荷预测中的应用

在分析传统BP算法的不足的基础上,提出了将Levenbery-Marquard、优化法与神经网络模型相结合的L-M优化BP算法。此方法与传统算法相比学习速度得到了提高,网络的收敛加快,尽量避免了系统陷入局部最小;针对某电力局某地区的单条线路的实际数据,采用基于Levenbery-Marquardt优化的I3P算法的神经网络模型对其进行了仿真,结果表明该方法具有较高的预测精度和较强的适应能力。     

基于改进BP神经网络的路由器流量预测方法

为了减少路由器的能耗,提出了一种改进的反向传播(BP)神经网络预测路由器流量的方法,在传统BP神经网络的基础上加入学习率自适应算法,提高路由器流量的预测精度和训练速度.运用MATLAB平台构建BP神经网络对网络流量进行建模、训练并预测.仿真结果表明:相较传统预测模型,运用改进的BP神经网络预测模型精度较高,训练速度较快,路由器可以更快、更准确地调整工作状态,实现了有效节能,具有很好的应用前景.     

数值优化改进的BP网络的模式分类对比

研究了共轭梯度算法、拟牛顿算法、LM算法三类常用的数值优化改进算法,基于这三类数值优化算法分别对BP神经网络进行改进,并构建了相应的BP神经网络分类模型,将构建的分类模型应用于二维向量模式的分类,并进行了泛化能力测试,将不同BP网络分类模型的分类结果进行对比. 仿真结果表明,对于中小规模的网络而言,LM数值优化算法改进的BP网络的分类结果最为精确,收敛速度最快,分类性能最优;共轭梯度数值优化算法改进的BP网络的分类结果误差最大,收敛速度最慢,分类性能最差;拟牛顿数值优化算法改进的BP网络的分类结果误差值、收敛速度及分类性能介于上述两种算法之间.     

一种改进型快速BP训练算法

本文以自适应步长调整代替ＤＦＰ优化方法中的一维搜索，并将它应用于前馈神经网络训练中。同时对步长的衰减因子和增长因子进行动态自适应调整，提高了ＢＰ训练算法的收敛速度和摆脱局部极小的能力，实验结果证明了该算法的有效性。     

基于DFP校正拟牛顿法的傅里叶神经网络

针对傅里叶神经网络采用最速下降法导致局部极小、学习速度慢以及泛化能力差的问题,提出一种基于DFP校正拟牛顿法的新学习算法。该算法计算复杂度低,能保证网络具有良好的泛化能力和全局最优性。通过2个数值算例检验该算法,同时和BP神经网络以及另外2种傅里叶神经网络作比较。结果表明,该算法计算复杂度约为最速下降法的5%,为最小二乘学习算法的80%,具有较好的泛化 能力。     

一种结合PSO及改进BP网络的辨识方法

当辨识神经网络的类型和结构确定后,初始权值等辨识参数直接影响到辨识效果,而依靠先验知识试凑而得的参数值往往难以达到最佳效果。针对这一问题,提出了一种结合粒子群（PSO）算法及引入动量项的改进BP网络的辨识方法,利用PSO对改进BP网络辨识的初始权值/偏置、学习率、动量系数进行寻优,并将优化后的神经网络模型用在控制系统中进行修正,进一步完善辨识模型。应用在热工系统中,仿真结果表明了该辨识方法的有效性。     

基于神经网络的交互式自动获取知识的N－R方法

本文为解决知识系统构造过程中的瓶颈问题──知识获取，提出了一种基于神经网络ＮＮ（ｎｅｕｒａｌｎｅｔｗｏｒｋ）的自动获取多级推理产生式规则的Ｎ－Ｒ方法，该方法采用了特有的ＮＮ结构模型和相应的学习算法，使得ＮＮ在学习过程中动态确定隐层节点数的同时，也产生了样例集中没有定义的新概念，学习后的ＮＮ能用本文提出的转换算法转换成推理网络，最终方便地得到产生式规则集.     

基于Sanger神经网络的TDDM-BOC信号组合码序列盲估计

针对低信噪比（SNR）下时分数据调制二进制偏移载波调制信号（TDDM-BOC）的组合码序列盲估计问题,提出一种基于Sanger神经网络（Sanger NN）的新方法。首先将已分段的信号作为输入信号并利用Sanger NN提取各主分量的权值向量;然后通过其多次输入反复训练权值向量,直至权值向量达到收敛;最终利用各个权值向量的符号函数重建信号的组合码序列,实现TDDM-BOC组合码序列的盲估计。此外,采用最优变步长的方法来提高收敛速度。理论分析和仿真实验表明,Sanger NN可以实现-20.9~0 dB信噪比下TDDM-BOC信号组合码序列的盲估计,且其复杂度明显低于传统奇异值分解（SVD）法和自适应特征提取的在线无监督学习神经网络（LEAP）;尽管Sanger NN收敛所需数据组数大于LEAP,但收敛时间明显少于LEAP算法。     

一种新的基于Agent的神经网络隐层节点数的优化算法

本文提出了一种新的基于Agent的神经网络隐层结构的优化算法(OHA)。该方法包括两个部分,分别由RLAgent和NNAgent合作完成。RLAgent根据强化学习算法找到一个比当前节点数更优的解,并反馈给NNAgent。NNAgent据此构建相应的网络,并采用分层训练的算法对该网络进行优化,训练结果再发给RLAgent。在多次循环后,OHA算法就可以找到一个训练误差最小的全局最优解(权值及隐层节点数)。本文讨论了有关的算法、测试和结果分析。Iris数据集和危险评估数据集的测试结果表明,算法避免了盲目搜索造成的计算开销,明显改善了优化性能。     

高维数据中有效的相似性计算方法

相似性的计算是ＣＢＲ和ｋ－ＮＮ等Ｌａｚｙ Ｌｅａｒｎｉｎｇ研究中十分关键的问题,研究了降低相似性计算代价的方法,并以ｋ－ＮＮ为例,介绍了基于部分特征的相似性算法和基于投影的相似性算法,它们能够通过减少计算距离过程中所涉及的特征数目来提高算法的效率,实验表明效率的提高是明显的,其中基于部分特征的ｋ－ＮＮ算法效率提高２６％～２８％,基于投影的ｋ－ＮＮ算法效率提高４８％～８３％,作者已将该算法应用到工程     

Application of Self-Organisation Neural Network for Direct Shape from Shading

In this paper, a supervised self-organisation Neural Network (NN) for direct shape from shading is developed. The structure of the NN for the inclined light source model is derived based on the maximum uphill direct shape from shading approach. The major advantage of the NN model presented is the parallel learning or weight evolution for the direct shading. Here the proved convergent learning rule, the rate of convergence and a zero initialisation condition are shown. To increase the rate of convergence, the momentum factor is introduced. Further-more, the application of the network on IC (Integrated Circuit) component shape reconstruction is presented.     

Application of CMAC neural network to the control of induction motor drives

In this paper, a cerebellar-model-articulation-controller (CMAC) neural network (NN) based control system is developed for a speed-sensorless induction motor that is driven by a space-vector pulse-width modulation (SVPWM) inverter. By analyzing the CMAC NN structure and motor model in the stationary reference frame, the motor speed can be estimated through CMAC NN. The gradient-type learning algorithm is used to train the CMAC NN online in order to provide a real-time adaptive identification of the motor speed. The CMAC NN can be viewed as a speed estimator that produces the estimated speed to the speed control loop to accomplish the speed-sensorless vector control drive. The effectiveness of the proposed CMAC speed estimator is verified by experimental results in various conditions, and the performance of the proposed control system is compared with a new neural algorithm. Accurate tracking response and superior dynamic performance can be obtained due to the powerful online learning capability of the CMAC NN.     

Dynamic optimal learning rates of a certain class of fuzzy neuralnetworks and its applications with genetic algorithm

The stability analysis of the learning rate for a two-layer neural network (NN) is discussed first by minimizing the total squared error between the actual and desired outputs for a set of training vectors. The stable and optimal learning rate, in the sense of maximum error reduction, for each iteration in the training (back propagation) process can therefore be found for this two-layer NN. It has also been proven in this paper that the dynamic stable learning rate for this two-layer NN must be greater than zero. Thus it Is guaranteed that the maximum error reduction can be achieved by choosing the optimal learning rate for the next training iteration. A dynamic fuzzy neural network (FNN) that consists of the fuzzy linguistic process as the premise part and the two-layer NN as the consequence part is then illustrated as an immediate application of our approach. Each part of this dynamic FNN has its own learning rate for training purpose. A genetic algorithm is designed to allow a more efficient tuning process of the two learning rates of the FNN. The objective of the genetic algorithm is to reduce the searching time by searching for only one learning rate, which is the learning rate of the premise part, in the FNN. The dynamic optimal learning rates of the two-layer NN can be found directly using our innovative approach. Several examples are fully illustrated and excellent results are obtained for the model car backing up problem and the identification of nonlinear first order and second order systems.