前馈多层神经网络的一种高效加速算法

前馈多层神经网络是应用最广泛的一种人工神经网络，在各门学科领域中都具有很重要的实用价值，其学习能力和容错能力对不确定性模式识别问题的求解具有独到之处。前馈多层神经网络所使用的BP算法虽然简单且易于实现,但收敛速度缓慢。因此基于收敛速度及存储空间的考虑，文中着重探讨了一种较实用的BP网络优化算法－向量序列的ε－加速算法，并对相关的收敛性和稳定性作了理论上的分析和研究。实验结果表明这种方法有很好的效果。     

基于隐层生长策略的前馈神经网络隐层性能评测

针对最佳平方逼近三层前馈神经网络模型,讨论了以逐一增加隐单元方式构建隐层时隐层性能的评测方法。分析了影响前馈神经网络性能的相关空间,引入了表示空间、误差空间、目标空间和耗损空间的概念,研究了每个隐单元的误差补偿性能,提出了网络隐层性能的评测参数,并通过对传统BP算法和正交化算法的考查验证了其合理性与有效性。     

基于郭涛算法的演化神经网络

提出了一种新的演化神经网络算法GTEANN,该算法基于高效的郭涛算法,同时完成在网络结构空间和权值空间的搜索,以实现前馈神经网络的自动化设计。本方法采用的编码方案直观有效,基于该编码表示,神经网络的学习过程是一个复杂的混合整实数非线性规划问题,例如杂交操作包括网络的同构和规整处理。初步实验结果表明该方法收敛,能够达到根据训练样本自动优化设计多层前馈神经网络的目的。     

多层随机神经网络em算法

本文讨论了基于微分流形框架随机神经网络学习算法，称为ｅｍ学习算法；对于多层随机神经网络模型，我们从微分流形的角度分析它的对偶平坦流形结构，描述ｅｍ算法对于多层前馈随机神经网络模型学习算法实现和加速技术。     

基于网络复杂性的BP算法

BP算法(误差反向传播算法)是前馈神经网络中最常用的算法之一.在对前馈神经网络和传统的BP算法研究的基础上,发现了传统算法中存在的问题.通过引入网络复杂性的量,提出了一种新的改进算法,命名为基于网络复杂性的BP算法.该算法能够删除掉冗余的连接甚至节点,通过对网络学习步长的动态调整,避免了算法收敛速度过慢和反复震荡的问题.最后通过实验说明该算法在一定程度上比传统BP算法有一些优越性.     

多层前馈网络的一种快速算法

多层前馈网络是目前研究得最多和应用最广泛的神经网络之一，其基本算法为误差反向传播（ＥＢＰ）算法，但存在收敛速度慢和局部极小的问题。本文利用递归最小二乘算法来训练多层前馈网络，ＲＬＳ算法具有收敛速度快，抗噪声能力强等优点，还克服了常规ＢＰ算法中学习率选取困难的缺点。仿真结果说明了本文方法的有效性。     

基于多层前馈神经网络SPDS算法的地质数据非线性分析问题研究

多层前馈神经网络善于解决非线性分析问题,但对于复杂的地质数据,普通的训练算法难以收敛。首先介绍了SPDS算法,并把它用于解决地质数据的非线性分析问题。算法的仿真实验表明,用SPDS算法训练的多层前馈神经网络,比较好地解决了该问题。     

有理式二阶前馈型神经网络

文章提出了二阶有理式多层前馈神经网络的数学模型。有理式多层神经网络的思想来源于函数逼近理论中的有理式逼近。有理式前馈神经网络模型是传统前俯神经网络模型的推广，能有效地求解函数逼近问题。文章给出了有理式多层神经网络的学习算法，即误差反传播学习算法。就计算复杂度而言，有理式神经网络的学习算法与传统的多层神经网络反传播算法是同阶的。文章还给出了函数逼近和模式识别两个应用实例，实验结果说明二阶有理式多层神经网络在解决传统的问题上是有效的。     

基于前馈多层感知网络的图像边缘检测算法

通过对经典边缘检测算法的研究，提出了基于前馈多层感知网络的边缘检测算法。在训练过程中结合边缘检测的特点对BP算法进行了改进。实验结果表明该算法具有很强的自适应性，能够在很大程度上避免背景及噪声对边缘检测结果的影响。     

有理式多层前馈神经网络

提出了有理式多层前馈神经网络的数学模型，给出了有理式多层神经网络的学习算法，就计算复杂度而言，有理式神经网络的学习算法与传统的多层神经网络反传播算法是同阶的，函数逼近应用实例结果表明，将有理式多层神经网络用于解决传统问题是有效的。     

前向神经网络参数估计中的进化规划

人工神经网络在很多领域有着成功的应用。神经网络参数估计有许多训练算法,BP算法是前向多层神经网络的典型算法,但BP算法有时会陷入局部最小解。进化规划是一种随机优化技术,它可以发现全局最优解。文章介绍了进化规划在前向多层神经网络参数估计中的应用,结合具体例子给出了算法实现的具体操作步骤和实验结果。实验数据表明采用进化规划得到的网络参数是最优的,神经网络的性能优于基于BP算法的神经网络性能。     

多层前馈神经网络在基于案例推理的应用

基于案例的推理（CBR）系统的增量式学习会使案例库逐渐增大,导致案例的检索时间较长,效率较低。多层前馈神经网络是构造性神经网络技术,很容易构筑及理解,具有较低的时间和空间复杂性和较高的识别率。利用该神经网络技术对案例库进行分类后,待求解的新问题只需在某个子案例库中进行检索,便可以有效地解决大规模案例库的能力与效率的维护问题,确保CBR系统的能力保护与效率保护兼顾的实现,为大规模案例库的应用提供技术保证。     

基于免疫遗传算法的前向神经网络设计

针对传统BP算法训练速度慢、易陷入局部最优等缺点，该文提出了一种采用免疫遗传算法设计前向神经网络的方法。为解决神经网络权值随机初始化带来的问题，介绍了一种基于免疫的多样性模拟退火法(SAND算法)来进行神经网络权值初始化。仿真结果表明，该算法比混合遗传算法有更高的性能。     

一种基于BP神经网络的代码相似性检测方法

如何有效地检测程序设计课程作业中的抄袭现象是一个重要的问题。传统的抄袭检测方法主要利用代码的属性或结构信息来度量代码之间的相似性。给出了一种基于误差反向传播(BP算法)多层前向神经网络的代码抄袭检测方法。提取程序之间的7种比较特征作为神经网络的输入,经过网络计算后得出程序的相似值,并将该值与抄袭决策阈值相比较以判定存在抄袭现象的程序集。实验结果表明,本方法具有很好的检测效果。     

Single-Iteration Training Algorithm for Multi-Layer Feed-Forward Neural Networks

A new methodology for neural learning is presented. Only a single iteration is needed to train a feed-forward network with near-optimal results. This is achieved by introducing a key modification to the conventional multi-layer architecture. A virtual input layer is implemented, which is connected to the nominal input layer by a special nonlinear transfer function, and to the first hidden layer by regular (linear) synapses. A sequence of alternating direction singular value decompositions is then used to determine precisely the inter-layer synaptic weights. This computational paradigm exploits the known separability of the linear (inter-layer propagation) and nonlinear (neuron activation) aspects of information transfer within a neural network. Examples show that the trained neural networks generalize well.     

Batch-to-batch control of fed-batch processes using control-affine feedforward neural network

A control strategy for fed-batch processes is proposed based on control affine feed-forward neural network (CAFNN). Many fed-batch processes can be considered as a class of control affine nonlinear systems. CAFNN is constructed by a special structure to fit the control affine system. It is similar to a multi-layer feed-forward neural network, but it has its own particular feature to model the fed-batch process. CAFNN can be trained by a modified Levenberg–Marquardt (LM) algorithm. However, due to model-plant mismatches and unknown disturbances, the optimal control policy calculated based on the CAFNN model may not be optimal when applied to the fed-batch process. In terms of the repetitive nature of fed-batch processes, iterative learning control (ILC) can be used to improve the process performance from batch to batch. Due to the special structure of CAFNN, the gradient information of CAFNN can be computed analytically and applied to the batch-to-batch ILC. Under the ILC strategy from batch to batch, endpoint product qualities of fed-batch processes can be improved gradually. The proposed control scheme is illustrated on a simulated fed-batch ethanol fermentation process.     

Identification of neural dynamic models for fault detection and isolation: the case of a real sugar evaporation process

The paper deals with problems of fault detection of industrial processes using dynamic neural networks. The considered neural network has a feed-forward multi-layer structure and dynamic characteristics are obtained by using dynamic neuron models. Two optimisation problems are associated with neural networks. The first one is selection of a proper network structure which is solved by using information criteria such as the Akaike Information Criterion or the Final Prediction Error. In turn, the training of the network is performed by a stochastic approximation algorithm. The effectiveness of the proposed fault detection and isolation system is checked using real data recorded in Lublin Sugar Factory, Poland. Additionally, a comparison with alternative approaches is presented.     

基于改进的动态神经网络的网络入侵检测模型

提出了一种改进型的动态神经网络，并成功地将其应用于网络入侵检测系统中。对于给定的全连接的动态神经网络，在通过学习以后可以成为部分连接的神经网络系统，从而降低了计算的成本。针对目前常见的4种不同类型的网络攻击行为（即DoS，Probe，R2L，和U2R），利用给定的改进型的动态神经网络分别构建相对应的检测系统。然后使用改进的遗传算法对给定的动态神经网络的权值和开关参数进行调节，以适应不同类型的入侵检测。最后利用KDD’99网络入侵检测数据对所提出的网络入侵检测模型进行训练和测试，初步试验结果表明，所提出的入侵检测系统具有较高的检测率。     

BP神经网络结构参数的计算机自动确定

研究表明,由多层FNN的BP算法误差函数构成的非线性方程组的独立方程个数和FNN的待求未知变量的个数应该相等,该方程组才能有唯一组解。由此导出网络结构方程式,进而导出隐层层数判别式和每层神经元个数判别式。依据Kolmogorov定理,由该判别式得出求解FNN隐层层数和每个隐层神经元个数的具体算法。计算机仿真结果表明该方法简明实用。     

Hopfield神经网络在机组组合问题中的应用

提出利用多层Hopfield神经网络求解机组组合优化问题。通过构造合适的能量函数使得单层Hopfield神经网络可以解决某一时刻的机组出力问题,与之相对应的多层神经网络可以解决任意时间段的机组出力问题。多层Hopfield神经网络的层数由所需求解问题的时间段确定。给出单层及多层神经网络的能量函数及求解算法,能量函数考虑到机组升降功率和出力上下限的约束。通过对已有文献的算例进行计算比对,所得结果和遗传算法基本一致,但Hopfield神经网络通过解微分方程组来确定最优解,计算时间相对较少。