基于粗糙集的神经网络结构优化方法

针对神经网络的结构存在冗余的问题,提出了一种利用粗糙集优化神经网络结构的方法。在保持神经网络处理能力的基础上,利用网络的隐层神经元与网络误差构造决策表并进行属性约简,删除冗余的隐层节点。实验证明,该方法可以简化神经网络结构和减少神经网络的训练时间。     

基于权值与结构确定法的单极Sigmoid神经网络分类器

构造了以单极Sigmoid函数作为隐层神经元激励函数的神经网络分类器,网络中输入层到隐层的权值和隐层神经元的阈值均为随机生成。同时,结合利用伪逆思想一步计算出隐层和输出层神经元之间连接权值的权值直接确定(WDD)法,进一步提出了具有边增边删和二次删除策略的网络结构自确定法,用来确定神经网络最优权值和结构。数值实验结果表明,该算法能够快速有效地确定单极Sigmoid激励函数神经网络分类器的最优网络结构; 分类器的分类性能良好。     

BP神经网络隐层单元数的确定方法及实例

针对BP神经网络隐层单元数不易确定的问题,提出一种在传统的经验公式基础上快速确定隐层单元数的方法。该方法首先借助经验公式确定隐层单元数的取值范围,然后将其扩大,在这个扩大的范围内寻找最优值。以BP神经网络预测交通流量为例,解释说明了具体的步骤,以及网络模型的隐层结构对模型仿真精度的影响。结果表明,采用该方法可快速决定隐层单元数,在实例中采用16个隐层单元数为最佳。     

基于混合方法的BP神经网络结构优化

BP神经网络中,隐层神经元的数目直接影响着整个网络的性能和效率,因而快速确定BP网络的结构是一个重要的环节。本文通过Matlab仿真在函数逼近的对比实验表明,通过这种混合方法可以快速的确定BP神经网络的隐层神经元的数目。     

基于跨越连接的多层前馈神经网络结构分析

任何连接方式的神经网络总可以归结为跨越连接网络。在传统多层前馈神经网络算法的基础上,提出了完全全连接神经网络的概念,给出了基于跨越连接的多层前馈神经网络算法。通过分析多层前馈神经网络的误差函数,从理论上证明了：相对于无跨越连接网络,基于跨越连接的多层前馈神经网络能以更加简洁的结构逼近理想状态。最后,用一个隐层神经元解决了XOR问题。     

一种估计前馈神经网络中隐层神经元数目的新方法

前馈神经网络中隐层神经元的数目一般凭经验的给出，这种方法往往造成隐单元数目的不足或过甚，从而导致网络存储容量不够或出现学习过拟现象，本研究提出了一种基于信息熵的估计三层前馈神经网络隐结点数目的方法，该方法首先利用训练集来训练具有足够隐单元数目的初始神经网络，然后计算训练集中能被训练过的神经网络正确识别的样本在隐层神经元的激活值，并对其进行排序，计算这些激活值的各种划分的信息增益，从而构造能将整个样本空间正确划分的决策树，最后遍历整棵树寻找重要的相关隐层神经元，并删除冗余无关的其它隐单元，从而估计神经网络中隐层神经元的较佳数目，文章最后以构造用于茶叶品质评定的具有较佳隐单元数目的神经网络为例，介绍本方法的使用，结果表明，本方法能有效估计前馈神经网络的隐单元数目。     

BP人工神经网络隐层结构设计的研究进展

指出BP人工神经网络隐层结构的确定,尤其是隐层神经元数目的选择历来是研究的热点。针对目前解决这一问题尚缺乏严格的理论依据,设计者多凭经验而定,介绍了用来优化设计隐层结构的可行方法,纵览了现有多种设计研究成果,从而探讨了新的设计方向。分析了网络隐层结构优化问题的产生及其理论依据,对各种设计方法进行了详细的分类综述, 探讨各自的优势与不足,并对神经网络结构优化问题的研究和发展做了评述与展望。     

多变元周期函数的神经网络逼近：逼近阶估计

该文证明具有三角隐层单元的三层前向神经网络逼近多变元周期函数速度的上界估计、下界估计和饱和定理,揭示该类神经网络之隐层单元数与网络逼 近速度、逼近函数结构之间的关系,特别指出二阶光滑模为该类神经网络的本质逼近阶,并且当被逼近函数属于二阶Lipschitz函数类时,该类神经网络的逼近能力完全取决于被逼近函数的光滑性,文中也证明了该类神经网络的最大逼近能力以及达到最大逼近能力的一个充分必要条件,该文所获结果对于澄清该类神经网络的函数逼近能力与应用有重要指导意义。     

基于决策树算法确定一个最小神经网络

神经网络隐层神经元的个数对于网络的性能有着重要的影响,通常情况下,对于一个特定问题来说,没有一个确定的方法来决定隐含层到底应该有多少个神经元,一般采用试探的方法通过多次实验来达到理想效果.在分类问题中,决策树和神经网络的结构有着一定的关联性,通过把决策树映射到神经网络结构中来确定隐层神经元的个数的方法能够有效地设计神经网络的结构,从而提高训练的效率并达到良好的分类效果.实验结果表明,该方法能够得到一个有着良好识别率的最小神经网络.方法简单有效,直观且易于操作.     

基于深度学习的八类蛋白质二级结构预测算法

蛋白质二级结构预测是结构生物学中的一个重要问题。针对八类蛋白质二级结构预测,提出了一种基于递归神经网络和前馈神经网络的深度学习预测算法。该算法通过双向递归神经网络建模氨基酸间的局部和长程相互作用,递归神经网络的隐层输出进一步送入到三层的前馈神经网络以便进行八类蛋白质二级结构预测。实验结果表明,提出的算法在CB513数据集上达到了67.9%的Q₈预测精度,显著地优于SSpro8和SC-GSN。     

Variable Hidden Layer Sizing in Elman Recurrent Neuro-Evolution

The relationship between the size of the hidden layer in a neural network and performance in a particular domain is currently an open research issue. Often, the number of neurons in the hidden layer is chosen empirically and subsequently fixed for the training of the network. Fixing the size of the hidden layer limits an inherent strength of neural networks—the ability to generalize experiences from one situation to another, to adapt to new situations, and to overcome the brittleness often associated with traditional artificial intelligence techniques. This paper proposes an evolutionary algorithm to search for network sizes along with weights and connections between neurons.This research builds upon the neuro-evolution tool SANE, developed by David Moriarty. SANE evolves neurons and networks simultaneously, and is modified in this work in several ways, including varying the hidden layer size, and evolving Elman recurrent neural networks for non-Markovian tasks. These modifications allow the evolution of better performing and more consistent networks, and do so more efficiently and faster.SANE, modified with variable network sizing, learns to play modified casino blackjack and develops a successful card counting strategy. The contributions of this research are up to 8.3% performance increases over fixed hidden layer size models while reducing hidden layer processing time by almost 10%, and a faster, more autonomous approach to the scaling of neuro-evolutionary techniques to solving larger and more difficult problems.     

神经网络在热电厂对象建模中的应用

针对一个375 MW热电厂的锅炉-汽轮机系统仿真模型,采用多层前向神经网络进行离线建模;讨论了网络结构设计、训练算法等神经网络建模问题;采用相同的固定负荷数据分别建立了线性ARX模型和局部神经网络模型并做多步预测比较;通过对基于一层隐层的全局神经网络模型的训练和仿真,结果证实了神经网络在非线性系统建模和辨识上的有效性.     

工业软测量模型结构与输入变量选择的研究

针对过程工业中难以直接测量的变量建立其软测量模型,对于实现关键指标的在线监测和实时控制具有十分重要的意义.变量的选择直接关系到神经网络软测量模型的预测性能,针对现有输入变量和网络结构选择方法在工业应用中的不足,提出了一种基于敏感度分析的方法来确定网络输入变量集和前馈神经网络隐含层节点个数,并建立了高密度聚乙烯(HDPE...     

关于BP 网络变结构问题的研究

BP神经网络的收敛性涉及诸如网络初始权重赋值、隐结点个数以及隐层具数等问题。通过对BP神经网络隐结点个数的讨论,以及对BP神经网络训练样本空研究,得出一个重要结论,即网络结构可以随训练样本空间进行变换,从面使BP神经网络能够进行结构化简。     

基于隐层优化的RBF神经网络预测模型

提出一种基于隐层优化算法的RBF神经网络预测模型——HLOA-IRBFM。在传统的免疫径向基神经网络模型(IRBFNM)的基础上引入粗糙集,将初始隐层空间进行划分。定义隐层区域密度和相对近似度等概念,提出边界区域中冗余点和孤立点的约减算法。优化后的隐层空间分布均匀,能以较少的中心数覆盖整个样本空间,弥补了IRBFNM模型过分依赖参数选取的不足。实验结果证明,HLOA-IRBFM模型比IRBFNM模型在预测性能方面具有更好的稳定性和准确性。     

Neuro-computing based short range prediction of some meteorological parameters during the pre-monsoon season

A Feed forward multi-layered artificial neural network model is designed in this paper to estimate the maximum surface temperature and relative humidity needed for the genesis of severe thunderstorms over Calcutta (22° 32, 88° 20). The performance of the model is found to be adroit. It has, thus, been discerned that the neural network technique is of great use in forecasting the occurrence of high frequency small-scale weather systems like Severe Local Storms. Filing up the missing values and extension of time series is observed to be possible with this model. Prediction error is computed and compared for single layer network and one hidden layer neural nets. Result reveals the efficiency of the one hidden layer neural net.     

A Modified Backpropagation Training Algorithm for Feedforward Neural Networks*

In this paper, a new efficient learning procedure for training single hidden layer feedforward network is proposed. This procedure trains the output layer and the hidden layer separately. A new optimization criterion for the hidden layer is proposed. Existing methods to find fictitious teacher signal for the output of each hidden neuron, modified standard backpropagation algorithm and the new optimization criterion are combined to train the feedforward neural networks. The effectiveness of the proposed procedure is shown by the simulation results. *The work of P. Thangavel is partially supported by UGC, Government of India sponsored project.     

单隐层神经网络的Lp同时逼近

用构造性的方法证明对任何定义在多维欧氏空间紧集上的勒贝格可积函数以及它的导数可以用一个单隐层的神经网络同时逼近.这个方法自然地得到了网络的隐层设计和收敛速度的估计,所得到的结果描述了网络收敛速度与隐层神经元个数之间的关系,同时也推广了已有的关于一致度量下的稠密性结果.     

单隐层神经网络的Lp同时逼近

用构造性的方法证明对任何定义在多维欧氏空间紧集上的勒贝格可积函数以及它的导数可以用一个单隐层的神经网络同时逼近.这个方法自然地得到了网络的隐层设计和收敛速度的估计,所得到的结果描述了网络收敛速度与隐层神经元个数之间的关系,同时也推广了已有的关于一致度量下的稠密性结果.     

关于三层前馈神经网络隐层构建问题的研究

针对最佳平方逼近三层前馈神经网络模型，分析了与隐层单元性能相关的表示空间 与误差空间、目标空间与耗损空间的作用，提出了按网络生长方式构建隐层时隐单元选择准则和评价方法。研究结果表明：隐单元选取策略应遵循其输出向量有效分量位于误差空间、回避耗损空间和尽可能趋向于极大能量方向的原则，这一结果与隐单元采用什么激发函数无关，也允许各隐单元采用不同激发函数。网络的隐层性能评价可以通过隐层品质因子、隐层有效系数、隐单元剩余度来进行，而总体结果可采用隐层评价因子进行评测。