BP网络的SPDS训练算法的鲁棒性

证明了作为BP网络的训练算法之一的SPDS算法在收敛的同时具有鲁棒性这一良好性质、实例也 证明了SPDS算法较之BP算法在鲁棒性问题上有较大进步．     

BP网络的SPDS算法的局部极小问题分析

针对BP网络的训练算法SPDS算法,研究了局部极小问题．利用基于单参数动态搜索算法的SPDS算法的变量逐一搜索的特点,证明了每次迭代的等价误差函数均为拟凸函数,进而极小点存在并可求出．将迭代必将收敛的初值集合定义为全局极小区域,针对局部极小问题给出L-SPDS算法,并证明了SPDS算法的全局极小区域沿坐标轴方向扩张的区域既是L-SPDS算法的全局极小区域,从而SPDS算法收敛于全局极小点的可能性大大增加了,算法的仿真试验也证明了这一点．     

基于样本划分的启发式遗传BP算法

遗传算法作为一种模拟生物遗传进化过程的随机搜索算法，具有并行和全局搜索能力，不要求函数导管特点，在神经网络学习中得到广泛应用，合理选择初始群体和控制搜索的盲目性，有利于提高算法的效率，为此，提出了一种新的神经网络学习算法－－基于样本划分的启发式遗传BP算法，该方法对神经网络学习样本进行划分，形成样本子集，初始群体通过在样本集类上训练神经网络而获得，这些初始网络中包含了关于样本子集的有用信息，根据模式定理，能通过遗传算法保留和加强，此外，提出并证明了关于样本集类及其BP训练的几个代数性质，结合子空间划分进行启发式搜索，以克服搜索的盲目性，对上述方法进行仿真实验，迭代次数和误差较小，表明本学习算法是切实可行的。     

基于迭代学习的BP神经网络权值训练算法

针对传统BP算法存在收敛速度过慢、易陷入局部极小的问题,提出基于迭代学习的BP神经网络权 值修正算法。该算法将迭代学习的原理与神经网络相结合,同时采用本次训练误差和前一次的训练误差修正神经 网络权值,提高了网络训练速度。仿真结果验证了该算法的有效性。     

一种优选神经网络训练样本的混合聚类算法

神经网络训练集中含有大量相似样本不但增加了网络的训练时间还对网络泛化能力存在较大影响,合理的选择样本集训练神经网络模型影响着建模的效率。根据实际应用中神经网络学习样本具有的内在特征和规律性,提出了一种基于自组织映射（SOM）神经网络的K-均值聚类算法优选神经网络样本,算法的主要思想是通过对样本数据的聚类分析,剔除孤立样本后挑选出具有代表性的样本训练神经网络。实验结果表明,相对随机选择法而言,本算法能够有效地减少训练样本的数目,提高建模效率。     

基于切片模型的快速混合学习算法

针对传统BP神经网络训练收敛速度慢、易陷入局部极小点的问题,将遗传算法与误差放大的BP学习算法相结合,提出基于切片模型的快速混合学习算法.该算法通过将传统神经网络的训练过程划分为许多小的训练切片,并利用遗传算法的并行寻优特性,对采用误差放大的BP训练过程进行监督.通过及时发现收敛速率较快的个体和过滤陷入局部极小点的个体,来保证网络训练的成功率和实现快速向全局最优区域逼近的目的.仿真实验表明,该算法在不增加网络隐层节点数的情况下,显著地提高了网络的收敛精度和泛化能力.     

BP网络瘫痪的原因分析

深入分析了BP算法极易导致网络瘫痪现象的原因 ,并指出采用SPDS算法可以避开网络瘫痪现象 .实验证明 ,避开了网络瘫痪现象的SPDS算法收敛速度大大提高 .     

基于NN的一类非线性系统模型研究

针对惯导平台系统漂移误差高阶非线性动态系统的特点,利用神经网络任意逼近能力和自适应抽取系统动态信息的能力,提出基于神经网络(NN)的建模.首先建立惯导平台漂移误差模型,然后通过BP算法训练网络模型,系统获得了较为满意的模型辩识结果.     

基于二次指数平滑的BP神经网络模型研究及应用

在分析标准BP算法的基础上,针对BP神经网络暴露的易于陷入局部最优和训练时学习新样本有遗忘旧样本的内在缺陷,结合二次指数平滑的思想,提出一种基于二次指数平滑的BP神经网络算法,对网络输入的原始数据进行二次平滑处理,提高BP网络的学习速度和预测精度。同时将研究结果应用到全国人均发电量的预测建模中,仿真结果表明所提出的方法具有逼近能力强、收敛速度快的优点。     

改进粒子群优化BP神经网络的目标威胁估计

为了提高目标威胁估计精度,提出一种运用改进粒子群算法优化BP神经网络的方法。为了避免陷入局部极值,将变异过程引入粒子群算法中,并对相关参数进行优化,形成改进粒子群算法,对BP神经网络的初始权值和阈值进行优化。利用样本数量不同的训练集对网络进行训练,并用60组测试集数据对网络进行验证。实验结果表明,改进粒子群优化BP神经网络目标威胁估计算法具有更高的预测精度,在训练样本数量较小时能够获得较好的预测能力,可以有效地完成目标威胁估计。     

Effective prediction of DEA model by neural network

In this paper,a fast neural network model for the forecasting of effective points by DEA model is proposed,which is based on the SPDS training algorithm.The SPDS training algorithm overcomes the drawbacks of slow convergent speed and partially minimum result for BP algorithm.Its training speed is much faster and its forecasting precision is much better than those of BP algorithm.By numeric examples,it is showed that adopting the neural network model in the forecasting of effective points by DEA model is valid.     

基于纵横交叉算法优化BP神经网络的风机齿轮箱故障诊断方法

风电机组齿轮箱的运行工况比较复杂,容易发生故障. 针对常规BP（Back Propagation）神经网络故障诊断容易陷入局部最优的问题,提出一种基于纵横交叉算法（Crisscross Optimization Algorithm,CSO）优化BP神经网络的风电齿轮箱故障诊断新方法. 考虑到风电齿轮箱振动信号的波动性和非线性,首先从信号中提取故障特征参数,建立带评价因子的误差分析模型,然后通过纵横交叉算法优化BP的权值和阈值对神经网络进行训练,最后用训练好的神经网络对样本进行测试. 经实验仿真并与其他方法的对比,验证了本文方法用于风电机组故障诊断有效性及优越性.     

TiB_2-Cu复合材料SHS工艺的人工神经网络优化

利用3×5×1的3层BP神经网络模型对SHS法制备TiB_2-Cu基复合材料过程中的工艺参数进行优化。将SHS工艺的3个主要参数——延迟时间、高压压力和高温保压时间作为人工神经网络的输入,合成产物的相对密度作为网络的输出,利用单参数动态搜索算法对SHS工艺参数进行了优化。结果表明训练样本和检验样本的网络实际输出值与相应的试验值均非常接近,TiB_2-Cu基复合材料的SHS最佳工艺参数是延迟时间为6.8s,高压压力为360 MPa,高温保压时间为9.2s。     

动态T-S递归神经网络及其应用

基于递归神经网络和模糊系统,给出了一种动态T-S递归模糊神经网络(DTRFNN)。该神经网络用BP算法进行网络权值的学习,并在权值学习的基础上采用改进的BP算法克服局部极小。以动态系统的辨识为例进行仿真实验研究,并与一般的模糊神经网络进行了比较。结果表明,DTRFNN的辨识误差较小,取得了很好的辨识效果。该神经网络应用于某金属温度软测量时,能很好地实现温度的在线检测。     

基于神经网络的被测量重构方法研究

提出了基于神经网络的被测量重构方法 ;针对神经网络中误差反向传播算法收敛速度慢的问题对目标函数等三方面进行了改进 ,将改进的多层前向网络、误差反向传播算法用于被测量重构。在实际的测量系统中 ,进行了仿真研究 ,结果表明 ,神经网络用于被测量重构 ,方法是可行的 ;解决了重构之前建立数学模型问题和多影响量情况下的被测量重构问题。     

改进的输出误差法用于不稳定飞机参数辨识

为解决输出误差法在不稳定飞机参数辨识过程中的数值发散问题以及初值依赖问题,设计了一种结合神经网络、粒子群优化算法以及Levenberg-Marquardt算法的系统辨识方法。首先,为解决输出误差法的数值发散问题,以神经网络拟合待辨识系统的动力学特性。不同时刻的飞行试验数据用于训练神经网络,训练好的网络可以直接对下一时刻的运动状态进行预测,从而避免对不稳定运动方程的求解。其次,基于粒子群优化算法搜索Levenberg-Marquardt算法中的最佳阻尼因子,并以改进的LM算法替代输出误差法中的高斯-牛顿算法。接下来,改进的LM算法与训练好的神经网络结合得到了一种新的参数辨识算法。最后,基于不稳定飞机的闭环仿真飞行试验数据对提出的算法进行了验证。研究结果表明:与传统的最小二乘法和人工稳定的输出误差法的估计结果相比,所采用的算法具有更高的估计精度;同时,所提出的算法中可以随机选取待辨识参数的初值,克服了输出误差法对参数初值的依赖。本文的研究成果可以直接用于其他不稳定非线性动力学系统辨识领域,经过修改后还可以用于其他非线性优化领域。     

基于PSO-Elman神经网络的电力系统短期负荷预测模型研究

提出了基于粒子群优化算法—Elman神经网络的电力系统短期负荷预测模型,采用具有动态递归性能的Elman神经网络,可增强负荷预测模型的联想和泛化推理能力,保证负荷预测的精度。采用粒子群优化算法对Elman神经网络进行学习训练,可充分利用粒子群优化算法的全局寻优性能,克服常规学习算法易于陷入局部最优解、收敛速度慢、编程复杂等缺陷。通过对地区电网负荷系统的实例仿真证实了所提出方法的有效性,获得了较满意的预测精度,平均绝对误差和最大相对误差分别达到1.988%和4.673%。为该模型用于实际工程取得了有效的进展。     

改进磷虾群与NBN联合优化神经网络的HPA预失真方法

为克服现有神经网络预失真方法复杂度高、易陷入局域最小等缺陷,提出一种正交差分进化磷虾群(ODEKH)与Neuron-by-Neuron (NBN)算法联合优化实数固定延时全连接级联神经网络 (RVFTDFCCNN)的高功率放大器预失真方法。采用RVFTDFCCNN对预失真系统中的预失真器和逆估计器进行建模,通过ODEKH算法进行全局搜索获得RVFTDFCCNN的初始化参数,再用NBN算法对RVFTDFCCNN进行训练,同时根据复合函数求偏导数的链式规则,从两个层次对NBN算法中的Jacobian矩阵元素计算进行优化。采用宽带DTMB信号作为输入信号,对预失真系统进行仿真。结果表明,当训练误差和泛化误差均在同一数量级时,RVFTDFCCNN的NBN算法计算量比单隐层(SHL)神经网络明显降低;ODEKH算法比传统磷虾群算法具有更快的收敛速度,ODEKH-NBN联合算法的训练精度比Levenberg-Marquardt(LM)算法提高一个数量级,预失真后的邻道功率比（ACPR）比LM算法改善了2dB。说明本文的预失真方法具有较低的复杂度和良好的预失真性能。     

模糊神经网络系统的设计与应用研究

把模糊逻辑系统与神经网络相结合,形成结构像神经网络,功能似模糊逻辑系统的模糊神经网络系统,该系统具备了模糊逻辑系统和神经网络的优点,克服了单个系统的不足。再结合误差反向传递学习算法（BP算法）,调整模型参数及权值。最后应用模糊神经网络系统解决实际问题,经过若干次学习训练,使系统达到稳定,通过仿真结果可看出;将所设计的模糊神经网络系统应用在WTI原油价格预测中具有可行性与有效性。