智能物联网终端自适应模型量化方法 |
| |
作者姓名: | 王羽展 郭斌 王虹力 刘思聪 |
| |
作者单位: | 西北工业大学计算机学院 |
| |
基金项目: | 国家杰出青年科学基金(62025205);;国家自然科学基金(62032020,61725205,62102317)~~; |
| |
摘 要: | 随着深度学习与万物互联的快速发展,将深度学习与移动终端设备结合已经成为了一大研究热点。深度学习给终端设备带来性能提升的同时,将模型部署在资源受限的终端设备时也面临诸多挑战,如终端设备计算和存储资源受限,深度学习模型难以适应不断变化的设备状态等。基于此,研究了资源自适应的深度学习模型自适应量化问题。提出资源自适应混合精度模型量化方法,利用门控网络和骨干网络进行模型构建,以层为粒度寻找模型最佳量化策略,结合边端设备降低模型资源消耗。为了寻找最优模型量化策略,采取基于FPGA的深度学习模型部署。需要将模型部署在资源受限的边端设备上时,根据资源约束进行自适应训练,采取量化感知方法降低模型量化带来的精度损失。实验结果表明,该方法能够在保留78%的准确率的同时,降低50%的存储空间;同时,在FPGA设备上模型精度下降不超过2%,而能源消耗降低60%。
|
关 键 词: | 智能物联网 深度学习 模型量化 资源自适应 FPGA |
|
|