基于权值拟熵的神经网络剪枝算法研究

“剪枝算法”是一种通过简化神经网络结构来避免网络过拟合的有效方法之一。将权值拟熵作为惩罚项加入目标函数中,使多层前向神经网络在学习过程中自动约束权值分布,并以权值敏感度作为简化标准,避免了单纯依赖权值大小剪枝的随机性。由于在剪枝过程中只剪去数值小并且敏感度低的连接权,所以网络简化后不需要重新训练,算法效率明显提高。仿真结果证明上述方法算法简单易行,并且对前向神经网络的泛化能力有较好的改善作用。     

一种神经网络模型剪枝后泛化能力的验证方法

针对神经网络模型在剪枝操作中Dropout率下调造成的过拟合问题,提出一种剪枝模型泛化能力的验证方法。研究人为遮挡数据集模拟图像范围的变化情况,分析不同Dropout值和剪枝比例对模型准确率的影响,进而得到剪枝操作后模型泛化能力变化的原因。在卷积神经网络模型lenet-5上进行实验,结果表明,剪枝模型泛化能力减弱是因为Dropout率下调和剪枝操作时参数量的变化。     

神经网络泛化性能优化算法

基于提高神经网络泛化性能的目标提出了神经网络泛化损失率的概念,解析了与前一周期相比当前网络误差的变化趋势,在此基础上导出了基于泛化损失率的神经网络训练目标函数.利用新的目标函数和基于量子化粒子群算法的神经网络训练方法,得到了一种新的网络泛化性能优化算法.实验结果表明,将该算法与没有引入泛化损失率的算法相比,网络的收敛性能和泛化性能都有明显提高.     

神经网络的学习误差函数及泛化能力

用于训练神经网络的样本点集不可避免地会受到噪声污染。利用神经网络的概率描述,通过研究Ｋ－Ｌ信息和神经网络泛化能力的关系,构造一个新的神经网络学习误差函数。泛化能力分析和仿真结果表明了该学习误差函数的合理性。     

基于改进的PSO算法的神经网络相关性剪枝优化*

针对传统的神经网络训练算法收敛速度慢、易陷入局部最优的问题,提出了一种基于改进的分期变异微粒群优化算法（SMPSO）的神经网络相关性剪枝优化方法。SMPSO在初期使适应度过低的微粒发生变异,在后期使停滞代数过高的个体极值和全局极值发生变异,后将SMPSO用于优化神经网络相关性剪枝算法。实验结果表明,该方法与采用BP算法及标准PSO算法进行相关性剪枝相比,在训练收敛速度、剪枝效率及分类正确率三方面都有较大提高。     

基于惩罚因子的多约束剪枝QoS路由算法

为满足新一代互联网上各业务的服务质量( QoS)要求,设计一种多约束剪枝QoS路由算法PF-MCP,采用剪枝算法思想,综合考虑带宽、时延和抖动多重QoS约束,引入惩罚因子进行综合评价找出多条有效路径并从中选取最优路径。采用固定和随机网络层拓扑进行仿真实验,结果表明,与合成优先权值路由算法相比,PF-MCP算法在QoS满意度、服务节点计算能力及时间复杂度方面性能较优,具有路由运算量小、网络恢复能力强及选取的最优路径可信性高的特点,并且在覆盖网QoS路由方面适用范围广。     

惩罚函数优化的前馈神经网络盲多用户检测

提出一种前馈神经网络盲多用户检测算法,利用前馈神经网络替代原有检测器中的滤波器,通过惩罚函数对约束恒模代价函数进行求解,获得前馈神经网络权值和参数的迭代公式,实现了盲多用户检测。Matlab仿真结果表明,该算法改善了系统的误码率性能,加快了算法的收敛速度。     

一种基于灵敏度分析的神经网络剪枝方法

根据灵敏度矩阵提出了一种简单的灵敏度定义,该定义反映了单个输入节点对整个网络性能的影响。进而,基于该灵敏度定义提出了神经网络输入层剪枝算法。最后,通过UCI机器学习数据库中的两个模式分类例子验证方法的有效性。     

融合弱层惩罚的卷积神经网络模型剪枝方法

深度卷积神经网络的存储和计算需求巨大,难以在一些资源受限的嵌入式设备上进行部署。为尽可能减少深度卷积神经网络模型在推理过程中的资源消耗,引入基于几何中值的卷积核重要性判断标准,提出一种融合弱层惩罚的结构化非均匀卷积神经网络模型剪枝方法。使用欧式距离计算各层卷积核间的信息距离,利用各卷积层信息距离的数据分布特征识别弱层,通过基于贡献度的归一化函数进行弱层惩罚,消除各层间的差异性。在全局层面评估卷积核重要性,利用全局掩码技术对所有卷积核实现动态剪枝。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,与SFP、PFEC、FPGM和MIL剪枝方法相比,该方法剪枝得到的VGG16单分支、Resnet多分支、Mobilenet-v1轻量化网络模型在保证精度损失较小的情况下,有效地减少了模型参数量和浮点操作数。     

神经网络的泛化能力与结构优化算法研究

从泛化理论、现有提高神经网络泛化能力的方法等几个方面总结了当前神经网络结构优化与泛化能力研究的现状。神经网络泛化能力的提高可通过神经网络结构的优化和正则化等方法加以实现。最后提出了今后研究的展望。     

基于改进相关性剪枝算法的BP神经网络的结构优化

BP网络中,隐层神经元的数目直接影响着整个网络的性能和效率,因而对BP网络的结构优化是一个非常重要的环节.本文对相关性剪枝算法进行了改进,采用减法聚类方法确定初始的网络结构,然后再用传统相关性剪枝算法重复优化网络.通过实验结果的分析,验证了改进的神经网络相关性剪枝算法对BP网络结构优化的有效性.     

基于组合算法的RBF神经网络列车轮对缺陷识别

提出了一种基于动态聚类和遗传算法相结合的组合RBF网络训练方法;采用动态聚类法对样本数据进行聚类,使RBF神经网络的隐含层节点中心数在训练过程中自动确定,使用经验公式作为标准,选取最优聚类数,采用遗传算法对隐层中心和宽度以及隐层到输出层的权值进行优化,在全局范围内寻找网络的最优模型;最后对轮对缺陷进行纹理特征提取,并组成训练样本和测试样本,输入到网络进行训练与测试;实验结果表明,与传统方法比较,该组合方法具有较高的识别率。     

基于BP神经网络算法的数据挖掘方法研究

详细介绍了数据挖掘技术的相关概念、任务以及神经网络原理,指出了传统的BP算法在数据挖掘过程中的不足之处,提出了一种变异的BP神经网络算法,大大提高了BP神经网路算法的收敛速度.     

基于多层激励函数量子神经网络的字符识别算法

针对不同样本之间存在交叉数据的模式识别问题,将多层激励函数的量子神经网络引入模式识别之中,提出一种基于量子神经网络的模式识别算法。量子神经网络是将神经元与模糊理论相结合的模糊神经系统,由于自身固有的模糊性,它能将决策的不确定性数据合理地分配到各模式中,从而减少模式识别的不确定度,提高模式识别的准确性。本文以英文字母为例,应用量子神经网络模型进行字符识别,通过比较发现量子神经网络除了可以克服BP网络的诸多缺点外,对具有不确定性、两类模式之间存在交叉数据的模式识别问题,有极好的分类效果。仿真结果证明该方法的正确性和有效性。     

基于自组织神经网络的城市功能分区研究

城市功能分区是指运用有关模型和方法，使城市空间形成明确的功能单元和有序的空间结构，空间聚类是城市功能分区的一种常用方法。基于自组织映射神经网络，该文提出了一种组合式的城市功能区聚类方法，根据位置-属性一体化思想，综合考虑了影响城市功能分区的位置数据和属性信息，对城市功能区进行空间聚类计算。该方法挖掘了空间位置数据和属性信息中隐含的空间聚集信息，保证了城市功能分区结果的可靠性。实例分析表明，该方法的聚类结果可以为城市功能分区提供准确、可靠的依据。     

ELM算法中随机映射作用的实验研究

通过实验研究ELM算法中随机映射的作用及神经网络中隐含层结点个数对网络泛化能力的影响.在35个数据集上进行实验,针对不同的数据集,找到网络的最优精度所对应的隐含层结点个数.实验结果表明,当随机映射使数据升维到一定维数时,网络性能得到提高.