前馈神经网络中隐层神经元数目的一种直接估计方法

目前还没有一个行之有效的方法直接估计前馈网络隐层神经元的数目。该文首先提出一种利用单调指数直接估算三层前馈网络隐层经元数目的方法,以保证网络近似逼近任意给定的训练数据。理论分析和计算实验表明,此方法能够在训练之前预先确定最优（最少）或接近最优的隐层神经元数目,使得网络在训练之后不仅可以较好地反映训练数据的变化趋势,而且有较为满意的逼近精度。     

基于隐层生长策略的前馈神经网络隐层性能评测

针对最佳平方逼近三层前馈神经网络模型,讨论了以逐一增加隐单元方式构建隐层时隐层性能的评测方法。分析了影响前馈神经网络性能的相关空间,引入了表示空间、误差空间、目标空间和耗损空间的概念,研究了每个隐单元的误差补偿性能,提出了网络隐层性能的评测参数,并通过对传统BP算法和正交化算法的考查验证了其合理性与有效性。     

关于三层前馈神经网络隐层构建问题的研究

针对最佳平方逼近三层前馈神经网络模型,分析了与隐层单元性能相关的表示空间 与误差空间、目标空间与耗损空间的作用,提出了按网络生长方式构建隐层时隐单元选择准则和评价方法。研究结果表明：隐单元选取策略应遵循其输出向量有效分量位于误差空间、回避耗损空间和尽可能趋向于极大能量方向的原则,这一结果与隐单元采用什么激发函数无关,也允许各隐单元采用不同激发函数。网络的隐层性能评价可以通过隐层品质因子、隐层有效系数、隐单元剩余度来进行,而总体结果可采用隐层评价因子进行评测。     

基于能量空间逼近策略的三层前馈神经网络隐层训练算法

针对基于最佳平方逼近的三层前馈神经网络讨论了隐层生长模式的一种训练策略．首先根据隐层输出行为和期望输出数据的分布特征对样本数据确定的N维空间进行了不同意义上的划分．分析表明最有效的隐单元其输出向量应该在误差空间存在投影分量，同时该分量应位于目标空间中的某一能量空间内．在此基础上提出了基于能量空间逼近策略的隐层生长式训练算法．最后通过仿真实验验证了所提出算法的有效性．     

一种新颖的神经网络稳健估计方法

当神经网络应用于实际工程问题时,网络的训练数据集成或多或少都有噪声或异常值掺入其中,为了使网络具有更好的稳健性,文中根据稳健统计学原理,针对前馈神经网络（ＦＮＮ）提出了一种稳健估计（ＲＥ）函数作为新的网络目标函数。     

前馈多层神经网络的一种高效加速算法

前馈多层神经网络是应用最广泛的一种人工神经网络，在各门学科领域中都具有很重要的实用价值，其学习能力和容错能力对不确定性模式识别问题的求解具有独到之处。前馈多层神经网络所使用的BP算法虽然简单且易于实现,但收敛速度缓慢。因此基于收敛速度及存储空间的考虑，文中着重探讨了一种较实用的BP网络优化算法－向量序列的ε－加速算法，并对相关的收敛性和稳定性作了理论上的分析和研究。实验结果表明这种方法有很好的效果。     

多层前馈模糊神经网络进行图像识别

神经网络和模糊技术在模式识别领域中已有了广泛应用,两者有着各自的优势。针对神经网络模式识别中所遇到的问题,为了进一步提高分类器在样本分布不清晰情况下的识别能力,本文提出了两各将模糊机制引入神经网络的方法－输入模糊化方法和隐层模糊化方法,并在此基础上分别构造了模糊神经网络。实验结果表明,模糊神经网络较好地结合了神经网络和模糊技术的优点,取得了比传统网络更好的识别结果。     

零代价函数的前馈神经网络新算法

文章提出一种全新的三层前馈神经网络算法,它比BP算法优越得多.新算法不再采用误差反向传播原理,而是选择一层自由权,通过求解线性方程组求得另一层待求权.新算法选择很广一类的隐层神经元函数,可以直接求得全局最小点,不存在BP算法的局部极小、收敛速度慢等问题.新算法较BP算法快得多.     

一种前馈神经网络的整体进化方法

一、前言最近十多年来,人工神经网络,尤其是前馈神经网络和BP算法获得了极其广泛的应用。BP(Back Propagation Error)算法是由Werbos在1974年首先提出的,它有效地克服了多层网络无法解决非线性分类问题的缺陷,但在当时并没有引起重视。直到1986年,Rumelhart和McClelland等人对Werbos的算法进行了总结和分析,提出了PDP(并行分布处理)理论,并进一     

一种前馈神经网络的卡尔曼滤波学习方法

本文针对前馈神经网络误差反向传播算法收敛速度慢且常常收敛于局部极小值等缺陷，提出了一种基于推广卡尔曼滤波估计的快速学习新方法，与ＢＰ算法相比较，该方法不仅学习收敛速度快，数值稳定性好，所需学习次数和隐节点数少，而且所需调节参数少，便于工程应用，非线性系统建模与辨识的仿真计算结果表明，该方法是提高网络学习速度、改善学习性能的一种有效方法，可有效解决工业过程等非线性系统建模与辨识问题。     

前向神经网络合理隐含层结点个数估计

合理选择隐含层神经元个数是前向神经网络构造中的一个关键问题,对网络的泛化能力、训练速度等都具有重要的影响。该文提出了基于隐含层神经元输出之间的相关分析而进行隐含层神经元合理个数的估计方法,首先建立了基于网络输出和基于网络输出对网络各输入一阶偏导数的隐含层各神经元输出之间的相关程度度量,进而给出了基于模糊等价关系分析的神经元合理个数估计方法。具体应用结果证明了所提出方法的有效性。     

Improving the Performance of Feedforward Neural Networks by Noise Injection into Hidden Neurons

The generalization ability of feedforward neural networks (NNs) depends on the size of training set and the feature of the training patterns. Theoretically the best classification property is obtained if all possible patterns are used to train the network, which is practically impossible. In this paper a new noise injection technique is proposed, that is noise injection into the hidden neurons at the summation level. Assuming that the test patterns are drawn from the same population used to generate the training set, we show that noise injection into hidden neurons is equivalent to training with noisy input patterns (i.e., larger training set). The simulation results indicate that the networks trained with the proposed technique and the networks trained with noisy input patterns have almost the same generalization and fault tolerance abilities. The learning time required by the proposed method is considerably less than that required by the training with noisy input patterns, and it is almost the same as that required by the standard backpropagation using normal input patterns.     

一种新的基于Agent的神经网络隐层节点数的优化算法

本文提出了一种新的基于Agent的神经网络隐层结构的优化算法(OHA)。该方法包括两个部分,分别由RLAgent和NNAgent合作完成。RLAgent根据强化学习算法找到一个比当前节点数更优的解,并反馈给NNAgent。NNAgent据此构建相应的网络,并采用分层训练的算法对该网络进行优化,训练结果再发给RLAgent。在多次循环后,OHA算法就可以找到一个训练误差最小的全局最优解(权值及隐层节点数)。本文讨论了有关的算法、测试和结果分析。Iris数据集和危险评估数据集的测试结果表明,算法避免了盲目搜索造成的计算开销,明显改善了优化性能。     

确定RBF神经网络隐层节点数的最大矩阵元法

针对基于训练样本输入信息进行非监督聚类来确定RBF神经网络隐层节点数的方法存在利用信息不充分的缺陷,该文提出了一种新的确定RBF神经网络隐层节点数的方法。利用训练样本输入输出全部信息建立样本间的相似矩阵,然后采用最大矩阵元法来确定RBF神经网络隐层节点数。实验仿真表明,该方法是有效的。     

基于互补遗传算子的前馈神经网络三阶段学习方法

论文提出了一种新的基于互补遗传算子的前馈神经网络三阶段学习方法。该方法把神经网络的学习过程分为三个阶段。第一阶段为结构辨识阶段,采用遗传算法进行神经网络隐层节点数目的选择和初始参数的设定,并基于发现的遗传算子的互补效应设计高效互补遗传算子。第二阶段为参数辨识阶段,采用效率较高的神经网络算法如L-M算法进行神经网络参数的进一步学习。第三阶段为剪枝阶段,通过获得最小结构的神经网络以提高其泛化能力。在整个学习过程中,学习过程的可控性以及神经网络的逼近精度、复杂度和泛化能力之间得到了满意平衡。仿真试验结果证明了该方法的有效性。     

BP神经网络合理隐结点数确定的改进方法

合理选择隐含层结点个数是BP神经网络构造中的关键问题,对网络的适应能力、学习速率都有重要的影响.在此提出一种确定隐结点个数的改进方法.该方法基于隐含层神经元输出之间的线性相关关系与线性无关关系,对神经网络隐结点个数进行削减,缩减网络规模.以零件工艺过程中的加工参数作为BP神经网络的输入,加工完成的零件尺寸作为BP神经网络的输出建立模型,把该方法应用于此神经网络模型中,其训练结果证明了该方法的有效性.     

多元多项式函数的三层前向神经网络逼近方法

该文首先用构造性方法证明:对任意r阶多元多项式,存在确定权值和确定隐元个数的三层前向神经网络.它能以任意精度逼近该多项式.其中权值由所给多元多项式的系数和激活函数确定,而隐元个数由r与输入变量维数确定.作者给出算法和算例,说明基于文中所构造的神经网络可非常高效地逼近多元多项式函数.具体化到一元多项式的情形,文中结果比曹飞龙等所提出的网络和算法更为简单、高效;所获结果对前向神经网络逼近多元多项式函数类的网络构造以及逼近等具有重要的理论与应用意义,为神经网络逼近任意函数的网络构造的理论与方法提供了一条途径.