BP神经网络合理隐结点数确定的改进方法

合理选择隐含层结点个数是BP神经网络构造中的关键问题,对网络的适应能力、学习速率都有重要的影响.在此提出一种确定隐结点个数的改进方法.该方法基于隐含层神经元输出之间的线性相关关系与线性无关关系,对神经网络隐结点个数进行削减,缩减网络规模.以零件工艺过程中的加工参数作为BP神经网络的输入,加工完成的零件尺寸作为BP神经网络的输出建立模型,把该方法应用于此神经网络模型中,其训练结果证明了该方法的有效性.     

前向神经网络隐含层节点数的一种优化算法

由于前向神经网络隐合层节点数的确定尚无理论依据,为此提出一种基于黄金分割原理的优化算法,首先确定网络隐含层节点数频繁出现的区间范围;将网络总误差作为试验结果,然后利用黄金分割法搜索其区间中的理想数值;兼顾高精度的需要,将隐含层节点数频繁出现的区间作拓展,可以求得逼近能力更强的节点数.算法分析和仿真例子表明,此优化算法是切实可行的,不仅能找到理想的隐含层节点数,而且能起到节省成本、提高搜索效率等功效.     

前馈神经网络中隐层神经元数目的一种直接估计方法

目前还没有一个行之有效的方法直接估计前馈网络隐层神经元的数目。该文首先提出一种利用单调指数直接估算三层前馈网络隐层经元数目的方法,以保证网络近似逼近任意给定的训练数据。理论分析和计算实验表明,此方法能够在训练之前预先确定最优（最少）或接近最优的隐层神经元数目,使得网络在训练之后不仅可以较好地反映训练数据的变化趋势,而且有较为满意的逼近精度。     

一种新的多层感知机隐含层神经元个数上限计算方法

多层感知机在分类问题中具有广泛的应用。本文针对超平面阈值神经元构成的多层感知机用于分类的情况,求出了输入层神经元最多能把输入空间划分的区域数的解析表达式。该指标在很大程度上说明了感知机输入层的分类能力。本文还对隐含层神经元个数和输入层神经元个数之间的约束关系进行了讨论,得到了更准确的隐含层神经元个数上
上限。当分类空间的雏数远小于输入层神经元个数时,本文得到的隐含层神经元个数上限比现有的结果更小。     

一种估计前馈神经网络中隐层神经元数目的新方法

前馈神经网络中隐层神经元的数目一般凭经验的给出，这种方法往往造成隐单元数目的不足或过甚，从而导致网络存储容量不够或出现学习过拟现象，本研究提出了一种基于信息熵的估计三层前馈神经网络隐结点数目的方法，该方法首先利用训练集来训练具有足够隐单元数目的初始神经网络，然后计算训练集中能被训练过的神经网络正确识别的样本在隐层神经元的激活值，并对其进行排序，计算这些激活值的各种划分的信息增益，从而构造能将整个样本空间正确划分的决策树，最后遍历整棵树寻找重要的相关隐层神经元，并删除冗余无关的其它隐单元，从而估计神经网络中隐层神经元的较佳数目，文章最后以构造用于茶叶品质评定的具有较佳隐单元数目的神经网络为例，介绍本方法的使用，结果表明，本方法能有效估计前馈神经网络的隐单元数目。     

基于结点敏感度的单隐含层前馈神经网络结构选择

提出了一种基于结点敏感度的单隐含层前馈神经网络结构选择方法。该方法从一个隐含层结点个数较多的网络开始,首先利用结点敏感度度量隐含层结点的重要性,然后按重要性对隐含层结点由大到小排序,最后逐个剪去不重要的隐含层结点,直到满足预定义的停止条件。该算法的特点是不需要重复训练神经网络,得到的网络结构紧凑,具有较高的泛化能力。在实际数据集和UCI数据集上的实验结果显示,提出的算法是行之有效的。     

神经网络逼近速度下界估计

文中研究一类多元周期Lebesgue平方可积函数SF_d与神经网络集合Π_φ,n,d=（?）之间偏差dist(SF_d,Π_φ,n,d)的估计问题.特别地,利用Fourier变换、逼近论等方法给出dist(SF_d,Π_φ,n,d)的下界估计,即dist（?）.所获下界估计仅与神经网络隐层的神经元数目有关,与目标函数及输入的维数无关.该估计也进一步揭示了神经网络逼近速度与其隐层拓扑结构之间的关系.     

多层前向小世界神经网络及其函数逼近

借鉴复杂网络的研究成果, 探讨一种在结构上处于规则和随机连接型神经网络之间的网络模型—-多层前向小世界神经网络. 首先对多层前向规则神经网络中的连接依重连概率p进行重连, 构建新的网络模型, 对其特征参数的分析表明, 当0 < p < 1时, 该网络在聚类系数上不同于Watts-Strogatz 模型; 其次用六元组模型对网络进行描述; 最后, 将不同p值下的小世界神经网络用于函数逼近, 仿真结果表明, 当p = 0:1时, 网络具有最优的逼近性能, 收敛性能对比试验也表明, 此时网络在收敛性能、逼近速度等指标上要优于同规模的规则网络和随机网络.     

多层前向神经网络的新型二阶学习算法

提出了多层前向神经网络的新型二阶递推学习算法。该算法不仅能使用网络各层误差而且使二阶导数信息因子反向传播。证明了新算法等价于Ｎｅｗｔｏｎ迭代法并且有二阶收敛速度。它实现了Ｎｅｗｔｏｎ搜索方向和Ｈｅｓｓｉａｎ阵逆的递推运算,其计算量几乎与普通递推最小二乘法相当。由算法性能分析证明新算法优于Ｋａｒａｙｉａｎｎｉｓ等人的二阶学习算法。     

对多层前向神经网络研究的几点看法

从不同的领域对多层前向网络的作用本质作了分析,对泛化能力、模型选择、有限样本量等主要问题做了定性讨论;对当前前向网络研究中的一些问题提出了看法.     

关于三层前馈神经网络隐层构建问题的研究

针对最佳平方逼近三层前馈神经网络模型,分析了与隐层单元性能相关的表示空间 与误差空间、目标空间与耗损空间的作用,提出了按网络生长方式构建隐层时隐单元选择准则和评价方法。研究结果表明：隐单元选取策略应遵循其输出向量有效分量位于误差空间、回避耗损空间和尽可能趋向于极大能量方向的原则,这一结果与隐单元采用什么激发函数无关,也允许各隐单元采用不同激发函数。网络的隐层性能评价可以通过隐层品质因子、隐层有效系数、隐单元剩余度来进行,而总体结果可采用隐层评价因子进行评测。     

确定RBF神经网络隐层节点数的最大矩阵元法

针对基于训练样本输入信息进行非监督聚类来确定RBF神经网络隐层节点数的方法存在利用信息不充分的缺陷,该文提出了一种新的确定RBF神经网络隐层节点数的方法。利用训练样本输入输出全部信息建立样本间的相似矩阵,然后采用最大矩阵元法来确定RBF神经网络隐层节点数。实验仿真表明,该方法是有效的。     

基于输出层权值解析修正的神经网络有效训练

根据神经网络训练误差对权值的梯度特征分析,提出了网络输出层权值与网络隐含层权值轮换修正的思想,并基于网络输出层权值与网络隐含层权值之间的依赖关系,建立了网络输出层权值解析修正和隐含层权值修正的具体方法,所提出的方法通过提高网络权值修正的准确性而提高网络训练的有效性。根据网络输出节点的输出误差与其总输入误差的关系,提出了进一步提高所获得网络推广性的具体方法。实例计算结果表明,所提出的方法可以显著地提高网络的训练效率,并有效地增强网络推广性。     

前馈神经网隐层节点的动态删除法

本文首先针对ＢＰ算法中存在的缺陷对误差函数作了简单的修改，使网络的收敛速度比原来的大大提高，此外本文提提出了一种基于线性回归分析算法来确定隐层节点数。当已训练好的网络具有过多的隐层单元，可以用这种算法来计算隐层节点输出之间的线性相关性，并估计多余隐层单元数目，然后删除这部分多余的节点，就能获得一个合适的网络结构。     

基于能量空间逼近策略的三层前馈神经网络隐层训练算法

针对基于最佳平方逼近的三层前馈神经网络讨论了隐层生长模式的一种训练策略．首先根据隐层输出行为和期望输出数据的分布特征对样本数据确定的N维空间进行了不同意义上的划分．分析表明最有效的隐单元其输出向量应该在误差空间存在投影分量，同时该分量应位于目标空间中的某一能量空间内．在此基础上提出了基于能量空间逼近策略的隐层生长式训练算法．最后通过仿真实验验证了所提出算法的有效性．     

零代价函数的前馈神经网络新算法

文章提出一种全新的三层前馈神经网络算法,它比BP算法优越得多.新算法不再采用误差反向传播原理,而是选择一层自由权,通过求解线性方程组求得另一层待求权.新算法选择很广一类的隐层神经元函数,可以直接求得全局最小点,不存在BP算法的局部极小、收敛速度慢等问题.新算法较BP算法快得多.     

单隐层神经网络的Lp同时逼近

用构造性的方法证明对任何定义在多维欧氏空间紧集上的勒贝格可积函数以及它的导数可以用一个单隐层的神经网络同时逼近.这个方法自然地得到了网络的隐层设计和收敛速度的估计,所得到的结果描述了网络收敛速度与隐层神经元个数之间的关系,同时也推广了已有的关于一致度量下的稠密性结果.     

A Modified Backpropagation Training Algorithm for Feedforward Neural Networks*

In this paper, a new efficient learning procedure for training single hidden layer feedforward network is proposed. This procedure trains the output layer and the hidden layer separately. A new optimization criterion for the hidden layer is proposed. Existing methods to find fictitious teacher signal for the output of each hidden neuron, modified standard backpropagation algorithm and the new optimization criterion are combined to train the feedforward neural networks. The effectiveness of the proposed procedure is shown by the simulation results. *The work of P. Thangavel is partially supported by UGC, Government of India sponsored project.