基于强化学习和3σ准则的组合剪枝方法 |
| |
引用本文: | 徐少铭,李钰,袁晴龙.基于强化学习和3σ准则的组合剪枝方法[J].浙江大学学报(自然科学版 ),2023(3):486-494. |
| |
作者姓名: | 徐少铭 李钰 袁晴龙 |
| |
作者单位: | 华东理工大学信息科学与工程学院 |
| |
摘 要: | 针对结构复杂、参数冗余的深度神经网络无法部署到资源受限的嵌入式系统的问题,受稀疏率对性能影响的启示,提出基于强化学习和3σ准则的组合剪枝方法.根据稀疏率对准确率的影响,确定最佳全局稀疏率,使稀疏率和精度达到较好平衡.在最佳全局稀疏率的指导下,利用强化学习方法自动搜索每层卷积层的最佳剪枝率,根据剪枝率剪去不重要的权重.通过3σ准则确定全连接层每层的权重剪枝阈值,对全连接层进行权重剪枝.通过再训练来恢复模型识别的精度.实验结果表明,所提剪枝方法可以将网络VGG16、ResNet56和ResNet50的参数,分别压缩83.33%、70.1%和80.9%,模型的识别准确率分别降低1.55%、1.98%和1.86%.
|
关 键 词: | 深度神经网络 模型压缩 稀疏率 强化学习 组合剪枝 |
|
|