首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 234 毫秒
1.
前馈过程神经网络的网络结构与泛化能力   总被引:1,自引:0,他引:1  
葛利  陈广胜 《计算机科学》2008,35(11):137-138
基于提高过程神经网络泛化能力的角度,对前馈过程神经网络网络结构对泛化能力的影响进行研究,得出以下结论:其过程神经元隐层(时变隐层)起主要作用,一般神经元隐层(非时变隐层)并非是必须的,对于相同特征的样本,过程神经元对样本特征的抽取能力远远高于传统神经元。给出了一个基于提高泛化能力的前馈过程神经网络网络结构构造算法,并应用一个实例验证了其有效性。  相似文献   

2.
BP(back propagation)神经网络中隐层节点的个数过多将影响网络的泛化性能和效率,自构形学习算法通过考察网络隐层节点输出之间的相关性来删除和合并隐层节点.但自构形算法在节点的删除和合并时存在网络收敛不一致问题,因此,在自构形算法中引入随机度概念,在分治算法思想的基础上提出了循环自构形算法来优化网络结构.Matlab实验对比验证了循环自构形算法能从不同或相同的隐层节点数剪枝到一致的网络结构,并将网络结构优化至最精简.  相似文献   

3.
神经网络的隐层数和隐层节点数决定了网络规模,并对网络性能造成较大影响。在满足网络所需最少隐层节点数的前提下,利用剪枝算法删除某些冗余节点,减少隐层节点数,得到更加精简的网络结构。基于惩罚函数的剪枝算法是在目标函数后加入一个惩罚函数项,该惩罚函数项是一个变量为网络权值的函数。由于惩罚函数中的网络权值变量可以附加一个可调参数,将单一惩罚函数项泛化为一类随参数规律变化的新的惩罚函数,初始惩罚函数可看作泛化后惩罚函数的参数取定值的特殊情况。实验利用基于标准BP神经网络的XOR数据进行测试,得到隐层节点剪枝效果和网络权值随惩罚函数的泛化而发生变化,并从数据分析中得出具有更好剪枝效果及更优网络结构的惩罚函数泛化参数。  相似文献   

4.
针对多数前馈神经网络结构设计算法采取贪婪搜索策略而易陷入局部最优结构的问题,提出一种自适应前馈神经网络结构设计算法.该算法在网络训练过程中采取自适应寻优策略合并和分裂隐节点,达到设计最优神经网络结构的目的.在合并操作中,以互信息为准则对输出线性相关的隐节点进行合并;在分裂操作中,引入变异系数,有助于跳出局部最优网络结构.算法将合并和分裂操作之后的权值调整与网络对样本的学习过程结合,减少了网络对样本的学习次数,提高了网络的学习速度,增强了网络的泛化性能.非线性函数逼近结果表明,所提算法能得到更小的检测误差,最终网络结构紧凑.  相似文献   

5.
B—P网络泛化性能的改善   总被引:4,自引:0,他引:4  
在神经网络的训练过程中存在“过度吻合”的现象,即训练样本的误差已达到非常小的一个值,但是非训练样本的误差非常大,造成神经网络的泛化性能不好。本文说明了泛化性能与隐层节点数的关系,并提出了通过改变性能函数来改善B-P网络的泛化性能的方法。  相似文献   

6.
基于粗糙集的神经网络结构优化方法   总被引:2,自引:0,他引:2  
针对神经网络的结构存在冗余的问题,提出了一种利用粗糙集优化神经网络结构的方法。在保持神经网络处理能力的基础上,利用网络的隐层神经元与网络误差构造决策表并进行属性约简,删除冗余的隐层节点。实验证明,该方法可以简化神经网络结构和减少神经网络的训练时间。  相似文献   

7.
神经网络传递函数的功能分析与仿真研究   总被引:1,自引:0,他引:1  
从函数映射的角度,以三层前向神经网络为例,对神经网络的映射关系进行了分析,提出前向神经网络的映射关系可以视为一种广义级数展开,展开系数就是隐层与输出层的连接权,而传递函数的作用在于提供一个“母基”,它与输入到隐层间的连接权一起,构造了不同的展开函数。根据这一理论,着重对神经网络传递函数在映射中的作用进行了分析,指出如果灵活选择多个复合传递函数,可以使网络以更少的参数、更少的隐节点,完成从输入到输出的映射,从而提高神经网络的泛化能力。利用遗传优化对一个两类分类问题的训练仿真结果表明,采用混合传递函数,的确能够以更少的隐节点实现所需要的映射关系,网络结构的复杂度低,泛化能力也更好。该结果也进一步证实了神经网络映射关系的广义级数展开的正确性。  相似文献   

8.
采用递归神经网络学习非线性周期运动的吸引子轨迹.网络的拓扑结构基于非线性系统的状态空间表达式,网络权值通过时序反向传播算法调整.探讨了不同样本轨迹和网络结构对递归神经网络预测性能的影响.神经网络的性能评估建立在多条测试样本轨迹的基础上,可以更为客观地评价递归神经网络预测性能.对van der Pol方程的仿真结果表明:网络的泛化能力对训练样本轨迹的依赖性较强,从不同训练轨迹上得到的递归神经网络性能差异较大;需要选择合适的递归神经网络结构参数以提高神经网络的泛化能力.  相似文献   

9.
基于多Agent系统设计原理的神经网络结构设计   总被引:1,自引:0,他引:1  
将多Agent系统设计原理引入到神经网络的结构设计中,提出了基于多Agent系统设计原理的网络结构设计算法(MANN,multi-Agent neural network)。该算法基于多Agent系统设计的原理,将较大神经网络的结构分解成一组结构较小的子神经网络,每一个子神经网络都具有相对较少的隐节点数。将这种网络结构应用到热工过程建模中,仿真结果表明MANN网络具有较高的泛化能力和运算速度。  相似文献   

10.
神经网络结构设计的准则和方法   总被引:17,自引:0,他引:17  
方剑  席裕庚 《信息与控制》1996,25(3):156-164
神经网络结构设计一直是一个很有意义但又难以解决的问题,文中回顾并总结了近年来神经网络结构设计的研究状况。首先分析了在神经网络结构设计中应考虑的4个准则,即神经网络的函数逼近误差、网络结构的复杂性、网络的泛化能力和网络的容错性,随后从构造法、删除法和进化方法3个方面介绍了各种神经网络的设计,并提出了今后研究的展望。  相似文献   

11.
董静芳  杨慧 《计算机工程》2005,31(Z1):154-156
分别从BP网络的学习步长,学习速率自适应调整算法的参数,动量法和自适应学习速率结合起来算法的参数3方面讨论了改进BP参数对网络识别能力的影响;在确定BP网络的隐含层节点个数的过程中提出了BP神经网络自适应学习算法,使得隐层节点的选取动态实现。仿真实验表明,该改进是可行的。  相似文献   

12.
在现有的雷达辐射源信号识别研究中,传统人工提取到的特征虽具有较为良好的物理表征,但特征中还存在冗余、噪声特征,而通过深度神经网络虽可以挖掘到对信号更深层次的表达,但其特征存在的“黑箱”难以解释性无法避免.结合人工特征良好的物理表征性和深度学习强大的学习能力,本文提出将一种深度特征选择网络(DFS,Deep Feature Selection)应用到雷达信号识别技术中.DFS通过在深度神经网络的输入层和第一隐藏层之间增添一对一层,获取针对每维特征与分类相关性度量得到的权值,以此权值作为衡量标准,加强敏感特征的输入影响,削弱冗余、噪声特征的输入影响,提高分类准确率.方法先对雷达信号提取复杂度特征、小波脊频级联特征、信息熵特征,合并建立原始特征集,利用DFS进行学习训练,以达到在输入级别实现特征选择的目的.本文已利用上述方法对5类辐射源信号进行仿真实验,识别效果良好,验证了方法有效.  相似文献   

13.
This paper presents the use of a neural network and a decision tree, which is evolved by genetic programming (GP), in thalassaemia classification. The aim is to differentiate between thalassaemic patients, persons with thalassaemia trait and normal subjects by inspecting characteristics of red blood cells, reticulocytes and platelets. A structured representation on genetic algorithms for non-linear function fitting or STROGANOFF is the chosen architecture for genetic programming implementation. For comparison, multilayer perceptrons are explored in classification via a neural network. The classification results indicate that the performance of the GP-based decision tree is approximately equal to that of the multilayer perceptron with one hidden layer. But the multilayer perceptron with two hidden layers, which is proven to have the most suitable architecture among networks with different number of hidden layers, outperforms the GP-based decision tree. Nonetheless, the structure of the decision tree reveals that some input features have no effects on the classification performance. The results confirm that the classification accuracy of the multilayer perceptron with two hidden layers can still be maintained after the removal of the redundant input features. Detailed analysis of the classification errors of the multilayer perceptron with two hidden layers, in which a reduced feature set is used as the network input, is also included. The analysis reveals that the classification ambiguity and misclassification among persons with minor thalassaemia trait and normal subjects is the main cause of classification errors. These results suggest that a combination of a multilayer perceptron with a blood cell analysis may give rise to a guideline/hint for further investigation of thalassaemia classification.  相似文献   

14.
卷积神经网络特征重要性分析及增强特征选择模型   总被引:1,自引:0,他引:1  
卢泓宇  张敏  刘奕群  马少平 《软件学报》2017,28(11):2879-2890
卷积神经网络等深度神经网络凭借着其强大的表达能力、突出的分类性能,已在不同领域内得到了广泛应用.当面对高维特征时,深度神经网络通常被认为具有较好的鲁棒性,能够隐含地对特征进行选择,但由于网络参数巨大,如果数据量达不到足够的规模,则会导致学习不充分,因而可能无法达到最优的特征选择.而神经网络的黑箱特性使得无法观测神经网络选择了哪些特征,也无法评估其特征选择的能力.为此,以卷积神经网络为例,首先研究如何显式地表达神经网络中的特征重要性,提出了基于感受野的特征贡献度分析方法;其次,将神经网络特征选择与传统特征评价方法进行对比分析发现,在非海量样本的情况下,传统特征评价方法对高重要性特征和噪声特征的识别能力反而能够超过神经网络.因此,进一步地提出了卷积神经网络增强特征选择模型,将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中,以辅助深度神经网络进行特征选择.在基于文本的社交媒体用户属性建模任务下进行了对比实验,结果验证了该模型的有效性.  相似文献   

15.
In this study we propose an improved learning algorithm based on resource allocating network (RAN) for text categorization. RAN is a promising neural network of single hidden layer structure based on radial basis function. We firstly use the means clustering-based method to determine the initial centers in the hidden layer. Such method can effectively overcome the limitation of local-optimal of clustering algorithms. Subsequently, in order to improve the novelty criteria of RAN, we propose a root mean square (RMS) sliding window method which can reduce the underlying influence of undesirable noise data. Through the further research on the learning process of RAN, we divide the learning process of RAN into a preliminary study phase and a subsequent study phase. The former phase initializes the preliminary structure of RAN and decreases the complexity of network, while the latter phase refines its learning ability and improves the classification accuracy. Such a compact network structure decreases the computational complexity and maintains the higher convergence rate. Moreover, a latent semantic feature selection method is utilized to organize documents. This method reduces the input scale of network, and reveals the latent semantics between features. Extensive experiments are conducted on two benchmark datasets, and the results demonstrate the superiority of our algorithm in comparison with state of the art text categorization algorithms.  相似文献   

16.
前向神经网络合理隐含层结点个数估计   总被引:6,自引:0,他引:6  
合理选择隐含层神经元个数是前向神经网络构造中的一个关键问题,对网络的泛化能力、训练速度等都具有重要的影响。该文提出了基于隐含层神经元输出之间的相关分析而进行隐含层神经元合理个数的估计方法,首先建立了基于网络输出和基于网络输出对网络各输入一阶偏导数的隐含层各神经元输出之间的相关程度度量,进而给出了基于模糊等价关系分析的神经元合理个数估计方法。具体应用结果证明了所提出方法的有效性。  相似文献   

17.
In this study we investigate a hybrid neural network architecture for modelling purposes. The proposed network is based on the multilayer perceptron (MLP) network. However, in addition to the usual hidden layers the first hidden layer is selected to be a centroid layer. Each unit in this new layer incorporates a centroid that is located somewhere in the input space. The output of these units is the Euclidean distance between the centroid and the input. The centroid layer clearly resembles the hidden layer of the radial basis function (RBF) networks. Therefore the centroid based multilayer perceptron (CMLP) networks can be regarded as a hybrid of MLP and RBF networks. The presented benchmark experiments show that the proposed hybrid architecture is able to combine the good properties of MLP and RBF networks resulting fast and efficient learning, and compact network structure.  相似文献   

18.
情感倾向性分类是自然语言处理领域中的热门话题,它的一个重要应用是挖掘线上评论中的重要信息,掌握网络舆论走向,因此本文提出一种基于GDBN网络的文本情感倾向性分类算法.该算法通过引入遗传算法来改进深度置信网络模型中的隐层,使模型自行对隐单元个数寻优,取得当前模型的适宜值,并以此模型进行深层建模与特征提取.最后通过反向传播网络对提取到的特征进行情感倾向性分类.在多个文本数据集上进行实验验证,验证结果表明了本文算法的有效性.  相似文献   

19.
BP神经网络合理隐结点数确定的改进方法   总被引:1,自引:0,他引:1  
合理选择隐含层结点个数是BP神经网络构造中的关键问题,对网络的适应能力、学习速率都有重要的影响.在此提出一种确定隐结点个数的改进方法.该方法基于隐含层神经元输出之间的线性相关关系与线性无关关系,对神经网络隐结点个数进行削减,缩减网络规模.以零件工艺过程中的加工参数作为BP神经网络的输入,加工完成的零件尺寸作为BP神经网络的输出建立模型,把该方法应用于此神经网络模型中,其训练结果证明了该方法的有效性.  相似文献   

20.
基于DNN的低资源语音识别特征提取技术   总被引:1,自引:0,他引:1  
秦楚雄  张连海 《自动化学报》2017,43(7):1208-1219
针对低资源训练数据条件下深层神经网络(Deep neural network,DNN)特征声学建模性能急剧下降的问题,提出两种适合于低资源语音识别的深层神经网络特征提取方法.首先基于隐含层共享训练的网络结构,借助资源较为丰富的语料实现对深层瓶颈神经网络的辅助训练,针对BN层位于共享层的特点,引入Dropout,Maxout,Rectified linear units等技术改善多流训练样本分布不规律导致的过拟合问题,同时缩小网络参数规模、降低训练耗时;其次为了改善深层神经网络特征提取方法,提出一种基于凸非负矩阵分解(Convex-non-negative matrix factorization,CNMF)算法的低维高层特征提取技术,通过对网络的权值矩阵分解得到基矩阵作为特征层的权值矩阵,然后从该层提取一种新的低维特征.基于Vystadial 2013的1小时低资源捷克语训练语料的实验表明,在26.7小时的英语语料辅助训练下,当使用Dropout和Rectified linear units时,识别率相对基线系统提升7.0%;当使用Dropout和Maxout时,识别率相对基线系统提升了12.6%,且网络参数数量相对其他系统降低了62.7%,训练时间降低了25%.而基于矩阵分解的低维特征在单语言训练和辅助训练的两种情况下都取得了优于瓶颈特征(Bottleneck features,BNF)的识别率,且在辅助训练的情况下优于深层神经网络隐马尔科夫识别系统,提升幅度从0.8%~3.4%不等.  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号