一种提高神经网络泛化性能的罚项最优脑外科模型*

最优脑外科过程是一种训练后网络剪枝算法,计算的复杂度非常高,通过把剪枝条件以惩罚项的形式纳入神经网络的训练目标函数中,把正则化方法的结构优化蕴涵于网络训练过程,构建面向最优脑外科过程的计算模型,实现网络训练过程和最优脑外科过程并行剪枝,既保持了最优脑外科过程的准确性,又具有正则化的高效性,提高了神经网络模型的泛化性能。该模型在理论上具有收敛性,其有效性和可行性通过给出的Levenberg-Marquardt方案仿真实验也得到了说明。     

神经网络泛化性能的最优脑外科过程算法

在神经网络性能测试新方法的研究中,关于最优脑外科过程拥有较高的权值修剪准确率和节点压缩率的问题,但其训练和泛化优化的异步影响了算法的实际应用.把剪枝条件以约束项的形式纳入神经网络的训练日标函数中,借鉴信赖域的思路和正则化方法,设计了含约束项的最优脑外科过程.经验证,过程在理论上是收敛的.通过雷文博格-马括特(Leven-berg-Marquardt)方法实现了该过程,典型函数仿真实验验证了过程不仅提高了神经网络的泛化性能,实现了网络训练与最优脑外科剪枝的并行,也说明了信赖域的方法与雷文博格-马括特方法在理论上的一致性.     

随机初始化神经网络剪枝的稀疏二值规划方法

传统深度神经网络剪枝方法往往以预训练模型为初始网络并需要在剪枝后进行微调。受到近年来edgepopup等基于随机初始化网络的剪枝算法优异性能的启发,提出了一种基于稀疏二值规划的随机初始化网络剪枝算法。该算法将剪枝训练过程建模为一个稀疏二值约束优化问题。其核心思想是利用稀疏二值规划来学习一个二值掩膜,利用该掩膜可以从随机初始化的神经网络上裁剪出一个未经训练却性能良好的稀疏网络。与之前基于随机初始化网络的剪枝算法相比,该算法找到的稀疏网络在多个稀疏度下都具有更好的分类泛化性能。与edge-popup算法相比,在ImageNet数据集分类任务中,模型在稀疏度为70%时精度提升7.98个百分点。在CIFAR-10数据集分类任务中,模型在稀疏度为50%时精度提升2.48个百分点。     

基于自动修补策略的网络剪枝

为有效缓解深度神经网络因其庞大的计算资源消耗而产生的实际应用受限的问题,研究人员设计包括剪枝在内的多种压缩策略.基于贪心思想的网络剪枝算法大都包含训练、剪枝、微调三部分,无法求得最优的剪枝结构.因此,文中结合人工规则和自动搜索方法,提出基于自动修补策略的网络剪枝.整体剪枝流程包括训练、预剪枝、修补和微调四个阶段,增加的...     

基于GoogLeNet模型的剪枝算法

GoogLeNet包含多个并行的卷积层和池化层,极具表现力,但也导致其参数数量冗余和计算量大,解决该问题的根本途径是将网络稀疏化.剪枝算法通过训练网络、修剪低权重连接和再训练网络三步操作,只保留卷积层和完全连接层中的强相关连接,实现简化网络结构和参数数量的效果,获得近似的网络模型,不影响网络后验概率估计的准确性,达到压缩效果.传统计算方式不适合非均匀稀疏数据结构,所提出的阈值剪枝算法设定合适的阈值,将原始GoogLeNet模型中将近1040万参数减少到65万,大约压缩了16倍.原始网络在进行剪枝处理后,准确率会有所降低,但经过少数次迭代,网络的准确率与原始模型不相上下,达到了压缩模型的效果,验证了阈值剪枝算法对改进GoogLeNet模型训练过程的有效性.     

基于粗糙集理论的RBF神经网络剪枝算法

分析了满足给定学习误差要求的最小结构神经网络的各种实现方法.把粗糙集理论引入神经网络的结构构造中;提出了一种基于粗糙集理论的RBF神经网络剪枝算法,并将这种算法与现有剪枝算法相比较.最后将该算法应用于热工过程中过热气温动态特性建模.仿真结果表明基于该算法的神经网络模型具有较高的建模精度以及泛化能力.     

一种热工过程RBF神经网络模型辨识方法

针对模型辨识中模型阶次难以辨识的问题,提出了一种RBF神经网络剪枝算法。基于该算法,对RBF神经网络隐节点和输入节点进行剪枝,不仅可以精简网络的结构,而且可以减少网络的输入节点,从而确定模型的阶次。同时,为了避免误删输入节点,在对输入节点剪枝时,将过程的输入和输出分开剪枝。将该算法应用于热工过程辨识中,仿真结果表明,提出的基于RBF神经网络剪枝算法是有效的。     

引入概率分布的深度神经网络贪婪剪枝

目的 深度学习在自动驾驶环境感知中的应用,将极大提升感知系统的精度和可靠性,但是现有的深度学习神经网络模型因其计算量和存储资源的需求难以部署在计算资源有限的自动驾驶嵌入式平台上。因此为解决应用深度神经网络所需的庞大计算量与嵌入式平台有限的计算能力之间的矛盾,提出了一种基于权重的概率分布的贪婪网络剪枝方法,旨在减少网络模型中的冗余连接,提高模型的计算效率。方法 引入权重的概率分布,在训练过程中记录权重参数中较小值出现的概率。在剪枝阶段,依据训练过程中统计的权重概率分布进行增量剪枝和网络修复,改善了目前仅以权重大小为依据的剪枝策略。结果 经实验验证,在Cifar10数据集上,在各个剪枝率下本文方法相比动态网络剪枝策略的准确率更高。在ImageNet数据集上,此方法在较小精度损失的情况下,有效地将AlexNet、VGG（visual geometry group）16的参数数量分别压缩了5.9倍和11.4倍,且所需的训练迭代次数相对于动态网络剪枝策略更少。另外对于残差类型网络ResNet34和ResNet50也可以进行有效的压缩,其中对于ResNet50网络,在精度损失增加较小的情况下,相比目前最优的方法HRank实现了更大的压缩率（2.1倍）。结论 基于概率分布的贪婪剪枝策略解决了深度神经网络剪枝的不确定性问题,进一步提高了模型压缩后网络的稳定性,在实现压缩网络模型参数数量的同时保证了模型的准确率。     

面向资源最优分配的深度学习双边拍卖算法

针对拍卖过程中计算效率低和利益分配不合理等问题, 本文提出了一种基于深度学习的迭代双边拍卖算法. 该算法通过买卖双方的初始报价数据训练基于神经网络的资源最优分配模型, 调用训练好的模型对实时报价数据快速响应, 直接求解经纪人最优分配问题(BAP)以实现计算资源分配, 显著地减小了计算代价, 提高了算法的计算效率. 进一步, 针对利益分配不合理等问题, 在迭代双边拍卖框架的支出规则和收入规则中引入调节因子用于调节买卖双方的利益, 解决已有算法在实现社会福利最大化过程中利益分配不合理的问题. 实验结果验证了该算法的有效性和优越性, 在运行时间、社会福利、买家利益、卖家利益和经纪人利益等多项指标均明显优于已有的迭代双边拍卖算法     

基于梯度的自适应阈值结构化剪枝算法

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。