采用双折线步方法的傅里叶神经网络

目前神经网络已经成为解决非线性系统辨识问题的一类有效的方法,但是常用的多层感知器存在网络稳定性差、收敛速度慢的问题.在多层感知器和傅里叶级数基础上提出的傅里叶神经网络具有较好的泛化性、模式识别能力,但其学习算法主要采用最速下降法,易产生陷入局部极小,学习速度慢等问题.提出一种采用双折线步方法的傅里叶神经网络,避免了局部极小问题,且具有二阶收敛速度.通过相应的数值算例验证新算法的性能,并应用于非线性系统的识别问题中,其结果和几类经典的神经网络算法做了相应的对比和分析.     

基于神经网络的混合优化算法研究

为了在资源有限的嵌入式系统中提高智能特性,需要研究开发具有较好逼近和泛化能力的、以及代码简单的神经网络.本文采用具有很强全局寻优能力的遗传算法以及局部寻优能力较强的梯度下降法,结合两者的优点形成了一种神经网络混合优化算法.对遗传算法操作算子做了改进,能同时优化神经网络的结构和权值及阈值.仿真实验结果表明,该混合优化算法能够有效地对神经网络的结构和权值及阈值优化,优化后的神经网络有较好的逼近能力和泛化能力.     

一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力,却因为其黑箱性而难以理解;决策树算法因为分类结果显示为树型结构而具有良好的可理解性,泛化能力却比不上神经网络集成。该文将这两种算法相结合,提出一种决策树的构造算法：使用神经网络集成来预处理训练样本,使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法,实验表明：该算法具有神经网络集成方法的强泛化能力的优点,其泛化能力明显优于C4．5算法;该算法的最终结果昆示为决策树,显然具有良好的可理解性。     

基于拟牛顿法的前向神经元网络学习算法

针对前向神经网络现有BP学习算法的不足,结合非线性最优化方法,提出一种基于拟牛顿法的神经元网络学习算法。该算法有效地改进了神经元网络的学习收敛速度,取得了比常规BP算法更好的收敛性能和学习速度。     

基于互补遗传算子的前馈神经网络三阶段学习方法

论文提出了一种新的基于互补遗传算子的前馈神经网络三阶段学习方法。该方法把神经网络的学习过程分为三个阶段。第一阶段为结构辨识阶段,采用遗传算法进行神经网络隐层节点数目的选择和初始参数的设定,并基于发现的遗传算子的互补效应设计高效互补遗传算子。第二阶段为参数辨识阶段,采用效率较高的神经网络算法如L-M算法进行神经网络参数的进一步学习。第三阶段为剪枝阶段,通过获得最小结构的神经网络以提高其泛化能力。在整个学习过程中,学习过程的可控性以及神经网络的逼近精度、复杂度和泛化能力之间得到了满意平衡。仿真试验结果证明了该方法的有效性。     

一种基于BP神经网络的数字识别新方法

针对标准BP神经网络收敛速度慢、易陷入局部极小点的缺点,提出了一种新的BP神经网络改进算法。该算法通过变步长法和牛顿法来改进BP算法,加快了网络的收敛速度,且收敛速度快于其他的改进算法。在此基础上将BP神经网络应用于数字识别中,为其网络建立识别模型。利用仿真实验观察BP网络的泛化能力以及识别准确性,比较BP算法及其改进方案,提出改进方案中分别需要注意的地方。     

Add-Mult型模糊神经网络

提出了一种Add-Mult型模糊神经网络模型(AMFNN)，给出了该模型的结构。根据梯度下降算法，给出了AMFNN模糊神经网络的误差反传学习算法。与6种极具代表性的模糊推理方法进行比较的结果表明，AMFNN模糊神经网络模型具有推理精度高、适用范围广、泛化能力强以及实现容易等特点，因而具有广阔的应用前景。     

基于改进BP神经网络的PID控制方法研究

针对最速下降法收敛速度慢和易陷入局部极小的缺点,提出一种新型的基于改进BP神经网络的PID控制方法,该方法将神经网络和PID控制策略相结合,既具有神经网络自学习、自适应及逼近任意函数的能力。又具有常规PID控制器结构简单的特点。该控制器的算法采用Fletcher—Reeves共轭梯度法,它可以避免网络陷入局部极小点,同时加快网络的训练速度。并用这种改进的共轭梯度法对神经网络PID控制器参数实现在线修正。最后给出了在Matlab平台上的实现算法。仿真结果表明该控制方法是有效的。     

用最优化方法解决BP神经网络训练问题

BP神经网络可以有效地对非线性系统进行逼近,但是传统的最速下降搜索方法存在收敛速度慢的问题。本文提出把BP神经网络转化为最优化问题,用一种共轭梯度算法代替最速下降法进行搜索迭代,极大地提高了收敛速度。     

改进的DFP神经网络学习算法

传统BP神经网络学习算法有学习速度慢、精度不高、易于陷入局部极小值、不稳定等问题,DFP神经网络学习算法是最优化理论中一类典型的拟牛顿法,具有超线性收敛速度和全局收敛性.但普通DFP算法有数值不稳定的缺陷,在处理大规模网络的学习问题时容易失效;在算法进入到饱和区域、接近最小值的时候,普通DFP算法会产生溢出错误.通过放大权值更新向量和权值导数更新向量,改进拟Hesse逆矩阵的求解,并结合线性搜索和L-M算法,改善了方法的稳定性,解决了算法失效的问题,同时保证了高效的学习速度和较高的学习精度.与目前应用最广泛的BP学习算法L-M 算法相比,改进的DFP算法具有与其相同的学习速度,计算量小,学习精度高,更适用于大残量问题.     

一种基于混合梯度下降算法的模糊神经网络设计及应用

为了提高模糊神经网络(FNN)的收敛速度和泛化能力,提出一种基于混合梯度下降算法(HG)的模糊神经网络(HG-FNN).HG-FNN通过设计FNN参数调整过程的自适应学习率,利用链式法则获取FNN参数学习过程的梯度,在实现FNN参数自校正的同时,给出HG-FNN的收敛性证明,保证HG-FNN的收敛速度和泛化能力.最后,将所设计的HG-FNN应用于非线性系统建模与污水处理过程关键水质参数预测,实验比较结果显示,HG-FNN不仅具有较快的收敛速度,而且具有较好的泛化能力.     

A Hybrid Training Algorithm for Feedforward Neural Networks

Feedforward neural networks (FNN) have been proposed to solve complex problems in pattern recognition, classification and function approximation. Despite the general success of learning methods for FNN, such as the backpropagation (BP) algorithm, second-order algorithms, long learning time for convergence remains a problem to be overcome. In this paper, we propose a new hybrid algorithm for a FNN that combines unsupervised training for the hidden neurons (Kohonen algorithm) and supervised training for the output neurons (gradient descent method). Simulation results show the effectiveness of the proposed algorithm compared with other well-known learning methods.     

一种抗独立攻击的WSN三维安全定位算法

为解决无线传感器网络中节点定位缺乏安全性和定位精度不高的问题,基于最速下降法与牛顿迭代法提出了一种新的三维安全定位算法。该算法首先给出三维空间下未知节点定位的计算方法和独立攻击模型,然后利用最速下降法和恶意锚节点检测技术选出最优锚节点数据,并结合牛顿迭代法实现了快速高精度的三维安全定位。实验结果表明,在危险的环境下,该算法能有效抵抗独立攻击以及在定位精度和未知节点可成功定位率方面都具有较好的优势。     

对精英加速的改进人工鱼群算法*

人工鱼群算法是一种群智能全局随机优化算法,存在算法收敛精度低和效率差的缺点。为克服这一缺点,利用最速下降法具有运算简单、运算速度较快的特点,提出了对精英加速的改进人工鱼群算法。该算法利用最速下降法对适应度值最好的人工鱼更新,通过人工鱼之间信息交换指导其他人工鱼,提高鱼群整体水平,加快人工鱼群算法收敛速度。数值试验结果表明,所得改进人工鱼群算法不仅运算量减少,而且具有更快的收敛速度和更高的收敛精度。改进算法提高收敛精度和运算效率,相较其他算法具有一定优势。     

模糊粗糙神经网络特征选择方法研究

实际采集的数据中往往存在模糊不确定性和粗糙不确定性,为全面度量数据的不确定性,引入了模糊粗糙集中的模糊粗糙隶属函数概念,并结合容错能力较强的神经网络设计了一种新的模糊粗糙神经网络.该网络不仅训练速度快,且具有较好的分类效果.利用该网络设计了一种新的特征选择算法,根据精度下降指标对输入节点进行结构修剪,实现最优特征子集的搜索.通过UCI数据集实验,并与RBF网络选择结果进行比较,表明该算法具有精度高、速度快、泛化性能好等优点,是有效的.     

一种模糊神经网络的快速参数学习算法

提出了一种新的模糊神经网络的快速参数学习算法, 采用一些特殊的处理, 可以用递推最小二乘法(RLS)来调整所有的参数. 以前的学习算法在调整模糊隶属度函数的中心和宽度的时候, 用的是梯度下降法, 具有容易陷入局部最小值点、收敛速度慢等缺点, 而本算法则可以克服这些缺点, 最后通过仿真验证了算法的有效性.     

RBF神经网络在智能红外检测报警中的应用

应用径向基函数(RBF)神经网络解决红外检测报警产品的误报、错报问题,在传统的0/1报警模式输出的基础上,增加了主动式预警信号输出的功能.通过对K-means聚类法和梯度训练法两种RBF神经网络应用于红外栅栏的仿真结果表明,K-means聚类法的RBF网络的精确度高、执行速度快,它能提高报警的精确率,满足实际应用需要.     

用于股指预测的自适应训练及删剪算法

提出了利用基于自适应训练及删剪算法的抽头延迟神经网络模型对股指这一非线性时间序列进行预测。首先采用基于递归最小方差的自适应学习算法对网络模型进行学习训练，由于该算法的学习步长能够自行调整，初始参数少，所以收敛速度很快；再利用删剪算法对学习后的网络结构进行删剪，优化网络的拓扑结构，降低网络的计算复杂度，提高网络的泛化能力；然后对优化后的网络进行再学习，使优化后的网络具有最佳参数；最后利用优化后的网络对未来的股指（测试样本）进行预测。仿真实验表明，与删剪前的网络结构相比，优化后的网络结构不但降低了计算复杂度而且提高了预测精度，运算复杂度降低到原来的0.0556，预测均方误差达到8.7961e-5。