基于DFP校正拟牛顿法的傅里叶神经网络

针对傅里叶神经网络采用最速下降法导致局部极小、学习速度慢以及泛化能力差的问题,提出一种基于DFP校正拟牛顿法的新学习算法。该算法计算复杂度低,能保证网络具有良好的泛化能力和全局最优性。通过2个数值算例检验该算法,同时和BP神经网络以及另外2种傅里叶神经网络作比较。结果表明,该算法计算复杂度约为最速下降法的5%,为最小二乘学习算法的80%,具有较好的泛化 能力。     

基于拟牛顿法和块稀疏重建的TWR成像算法

多径效应环境中边墙位置的不确定性给穿墙雷达系统的目标定位和高分辨率成像的要求带来很大的挑战。针对上述问题,在对穿墙雷达多径回波信号进行合理建模的基础上,提出一种基于拟牛顿法和块稀疏重建的成像算法。所提成像算法在精确重建边墙位置的基础上具有成像目标定位准确,无虚假目标的优点,数值仿真实验结果验证了所提成像算法的有效性和正确性。     

一种基于拟牛顿法的大类别分类算法

支持向量机利用接近边界的少数向量来构造一个最优分类面。然而当两类中的样本数量差别悬殊时，PSVM算法则会过度拟合样本量大的那一类，而对样本量很小的那一类的错分率相当高。为解决此问题，本文提出了一种改进的支持向量机算于拟牛顿法的大类别分类算法。同时，这个问题也是大类别分类问题所采用的留一法面临的问题，在DFP-PSVM的基础上，提出了基于拟牛顿法的大类别分类算法。通过仿真实验证实了此算法在精度上优于PSVM算法。     

拟牛顿法求解化工过程数学模型

使用不需求取偏导数的拟牛顿法,求解化工过程模拟中产生的非线性方程组形式的数学模型。当未知数各分量间绝对值相差较大时,提出了改善收敛性的几种方法,即：（1）加入阻尼因子,以减少迭代值的震荡、（2）将方程适当降价;（3）将差商的绝对步长改为相对步长;（4）新迭代值超来其物理意义范围时,强制其回至其初始值。计算结果表明,与牛顿－拉夫森法相比,拟牛顿法不需求偏导数,对初值要求低,较雅可比迭代法收敛速度快,可用于求解化工过程的非线性方程组。     

拟牛顿法在航空发动机特性仿真中的应用

航空发动机特性仿真中常用牛顿迭代法求解非线性方程组,牛顿法每一步迭代计算都需要计算Jacobi矩阵,这需要多次发动机气动热力过程计算.因此避免大量重复计算Jacobi矩阵可以减少发动机计算整机的气动热力计算次数,从而提高发动机特性计算的速度.文中采用基于Broyden原理的拟牛顿法求解发动机非线性方程组,这种方法可以直接求出第一步迭代后的Jacobi矩阵,从而大幅度提高计算速度.将拟牛顿法应用于某型涡喷和涡扇发动机特性计算,通过分析计算结果,证明了采用拟牛顿法可以提高发动机特性模拟的计算速度.     

基于导数优化的BP学习算法的研究综述*

对基于导数优化的BP算法及其改进算法进行综述,在分析经典BP算法固有缺陷的基础上,对BP的改进算法进行了总结和归纳。首先将改进算法分为四大类,介绍了每个类别中的典型算法,分析了其数学实质及算法的优缺点;然后探讨了目前BP神经网络算法研究中存在的不足;最后作出展望,给出了BP神经网络研究中几个有前途的发展方向。     

多处理机系统上求解非线性方程组的异步并行拟牛顿法

异步并行算法由于在任何时刻它的进程不等待输入,因而异步并行算法与同步并行算法相比效率高得多,但往往算法分析极为困难,本文给出了多处理系统上求解非线性方程组的一种异步并行拟牛顿算法,证明了其收敛性,数值试验例子表明该算法有较好的收敛速度。     

用现场可编程门阵列设计前向神经网络

本文给出了利用现场可编程门阵列来实现多层前向神经网络(反向传播-BP网络)的方法.首先利用了相关软件在理论上作了算法上的仿真,在此基础上构建了前向神经网络的硬件结构.主要使用了查找表的方式来实现Sigmoid激励函数,并给出了解决异或问题的硬件上的具体方案.最后给出了BP网络解决异或问题的Quartus Ⅱ仿真结果,表明了方案的可行性.     

基于拟牛顿法的连铸结晶器热传导反问题求解

在实际的工业过程中,热传导反问题广泛的存在于各个应用领域;由于连铸的生产环境恶劣,给连铸钢坯的浏温造成了很大的困难,导致连铸结晶器热传导反问题的求解是很困难的;在研究了热传导反演算法的基础上,基于连铸结晶器的有限的测量点,通过热传导反演算法可以求出结晶器的热流密度,给连铸的优化和控制提供依据;在建立了连铸热传导反问题模型的基础上,提出了基于拟牛顿法的连铸结晶器热传导反问题求解的改进算法,该算法可以有效的利用当前搜索过程中的信息,通过近似目标函数的二阶导数来加快算法的搜索效率,采用了Wolf步长选择规则克服了算法收敛速率慢的缺点,并且该算法无需计算Hessen矩阵,能够有效降低计算的复杂度;实验结果表明该算法能够快速有效的求解该问题;该方法用于连铸结晶器热传导反问题是可行的、有效的.     

基于拟牛顿法的常模盲多用户检测算法

分析了传统常模算法及其改进算法的缺点,将线性约束和拟牛顿法应用于常模算法,提出了线性约束拟牛顿常模盲多用户检测算法,称之为LC-QNCMA。在DS-CDMA系统中,对本文算法与传统的线性约束常模算法(LC-CMA)及最小二乘常模算法(LSCMA)进行了仿真比较。结果表明,与LC-CMA相比,LC-QNCMA的信干比性能和误码性能方面有较大改善;与LSCMA算法相比,LC-QNC-MA算法复杂度有明显降低。本文算法在两种算法的优缺点中取得了较好的折中。     

基于粒子群优化算法的BP网络学习研究

文章提出了基于粒子群优化的BP网络学习算法。在该算法中,用粒子群优化算法替代了传统BP算法中的梯度下降法,使得改进后的算法具有不易陷入局部极小、泛化性能好等特点。并将该算法应用在了高速公路动态称重系统的设计中,实验证明:这种算法能够明显减少迭代次数、提高收敛精度,其泛化性能也优于传统BP算法。     

基于拟牛顿算法神经网络的入侵检测系统的研究

近年来,神经网络技术在入侵检测中得到了广泛应用,其中最具代表性的是BP神经网络,但其本身所具有的局部极小性质限制了检测性能的提高。利用人工神经网络可以解决当前其他入侵检测方法中所遇到许多问题,有望成为异常检测中统计方法的替代品,是研制具有学习和适应能力的入侵检测系统重要手段之一。通过抽取部分混合实例以及典型攻击实例进行模式训练、测试后,在BP神经网络优化算法进行对比研究的基础上,利用拟牛顿算法对传统BP算法进行改进,从而提高入侵检测系统的收敛度,检测率。实验分析可得,在一定的训练方法基础上,基于拟牛顿算法优化神经网络和其他几种算法相比,在针对多种攻击类型上检测率有不同程度的提高。     

基于PSO-BP神经网络的图像压缩算法

本文阐述了使用BP神经网络压缩图像的方法和粒子群算法(PSO)的原理.为提高BP算法的训练速度和图像重建质量,本文设计了一种利用PSO-BP网络进行图像压缩的算法,该算法结合了PSO算法和BP算法的优点,将BP网络的训练过程分为两个阶段.实验表明,利用该算法压缩图像,不仅速度较快,而且重建后的图像质量有明显提高.     

基于PSO—BP神经网络的图像压缩算法

本文阐述了使用BP神经网络压缩图像的方法和粒子群算法（PSO）的原理。为提高BP算法的训练速度和图像重建质量．本文设计了一种利用PSO—BP网络进行图像压缩的算法，该算法结合了PSO算法和BP算法的优点，将BP网络的训练过程分为两个阶段。实验表明，利用该算法压缩图像，不仅速度较快，而且重建后的图像质量有明显提高。     

前馈神经网络的新学习算法研究及其应用

为了提高多层前馈神经网络的权的学习效率。通过引入变尺度法,提出一种新的学习算法。理论上新算法不仅具有变尺度优化方法的一切优点,而且也能起到Kick—Out学习算法中动量项及修正项的相同作用,同时又克服了动量系数及修正项系数难以适当选择的困难。仿真试验证明了新学习算法用于非线性动态系统建模时的有效性。     

前馈神经网络的一种快速学习算法

提出的算法是利用凸函数共轭性质中的Young不等式构造优化目标函数,这个优化目标函数对于权值和隐层输出来说为凸函数,不存在局部最小。首先把隐层输出作为变量进行优化更新,然后快速计算出隐层前后的权值。数值实验表明：此算法简单,收敛速度快,泛化能力强,并大大降低了学习误差。     

BP神经网络的优化算法研究

BP学习算法通常具有收敛速度慢,易陷入局部极小值等缺点;遗传算法是全局优化算法,具有较强的全局搜索性能,但它在实际应用中容易产生早熟收敛的问题,且在进化后期搜索效率较低;模拟退火算法具有摆脱局部最优点的能力,能抑制遗传算法的早熟现象.因此,本文在BP算法结合遗传算法的同时,再加入模拟退火算法,可以有效地缓解遗传算法的选择压力.     

一种基于群体智能的人工神经网络学习算法

将群体智能优化理论引入一种前馈式人工神经网络——径向基函数（RBF）神经网络的学习训练过程,提出了基于智能微粒群算法的RBF神经网络学习算法,并与传统RBF神经网络学习算法进行了比较,实验结果证明了该方法的有效性。     

一种改进的神经网络非线性预测控制

从建立神经网络非线性预测模型出发,针对BP网络存在收敛速度慢,容易陷入局部最小的缺点,该文在BFGS拟牛顿法的基础上,提出了一种基于并行拟牛顿优化算法的并行拟牛顿神经网络。该并行拟牛顿优化算法采用两个含有不同参数的拟牛顿校正公式,在每次迭代过程中,利用这两个不同的校正公式得到相应的搜索方向,并通过不精确搜索法求取最优步长,最后根据一性能指标取最优的一个搜索方向和相应的步长对网络各层之间的权值进行修正。Matlab仿真结果表明,同BP神经网络和BFGS拟牛顿神经网络相比,该神经网络具有收敛速度快、模型精度高的特点,更适合于实时非线性控制。     

A Fast Heuristic Global Learning Algorithm for Multilayer Neural Networks

This paper presents a novel Heuristic Global Learning (HER-GBL) algorithm for multilayer neural networks. The algorithm is based upon the least squares method to maintain the fast convergence speed, and the penalized optimization to solve the problem of local minima. The penalty term, defined as a Gaussian-type function of the weight, is to provide an uphill force to escape from local minima. As a result, the training performance is dramatically improved. The proposed HER-GBL algorithm yields excellent results in terms of convergence speed, avoidance of local minima and quality of solution.