| 一种超低损失的深度神经网络量化压缩方法 |
| |
| 引用本文： | 龚成,卢冶,代素蓉,刘方鑫,陈新伟,李涛.一种超低损失的深度神经网络量化压缩方法[J].软件学报,2021,32(8):2391-2407. |
| |
| 作者姓名： | 龚成 卢冶 代素蓉 刘方鑫 陈新伟 李涛 |
| |
| 作者单位： | 南开大学计算机学院, 天津 300350;天津市网络和数据安全技术重点实验室(南开大学), 天津 300350;工业机器人应用福建省高校工程研究中心(闽江学院), 福建 350121;南开大学计算机学院, 天津 300350;天津市网络和数据安全技术重点实验室(南开大学), 天津 300350;计算机体系结构国家重点实验室(中国科学院计算技术研究所), 北京 100190 |
| |
| 基金项目： | 国家重点研发计划项目（2018YFB2100300）；国家自然科学基金（62002175，61872200）；天津自然科学基金项目（19JCZDJC31600，19JCQNJC00600）；计算机体系结构国家重点实验室开放课题（CARCH201905）；工业机器人应用福建省高校工程研究中心开放基金（MJUKF-IRA1902） |
| |
| 摘 要： | 深度神经网络（DNN）量化是一种高效的模型压缩方法，仅使用少量位宽就可表示模型计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究仅仅针对数据位宽本身，但却忽视了数据的分布规律，且缺乏有效的定量分析，这导致量化损失难以预测.本文提出一种超低损失的DNN量化方法μL2Q.μL2Q揭示了量化位宽与量化损失之间的内在联系，提出了量化值择优分析方法以降低目标位宽下的量化损失.首先，将原始数据映射为标准正态分布的数据；然后，在等宽的量化区间中搜索最优量化参数；最后，将μL2Q方法融合进DNN的训练过程，并嵌入到主流的机器学习框架Caffe及Keras中以支撑端到端模型压缩的设计和训练.实验结果表明，与其他量化方法相比，在相同的位宽条件下，μL2Q能保证更高的模型精度；与最新的研究方法相比，精度分别提高了1.94%、3.73%和8.24%.显著性物体检测实验证明，μL2Q能够胜任复杂的计算机视觉任务.
|
| 关 键 词： | 神经网络压缩 神经网络量化 权值分布 均匀量化 量化损失最优解 |
| 收稿时间： | 2020/7/21 0:00:00 |
| 修稿时间： | 2020/9/7 0:00:00 |
Ultra-low Loss Quantization Method for Deep Neural Network Compression |
| |
| GONG Cheng,LU Ye,DAI Su-Rong,LIU Fang-Xin,CHEN Xin-Wei,LI Tao.Ultra-low Loss Quantization Method for Deep Neural Network Compression[J].Journal of Software,2021,32(8):2391-2407. |
| |
| Authors: | GONG Cheng LU Ye DAI Su-Rong LIU Fang-Xin CHEN Xin-Wei LI Tao |
| |
| Affiliation: | College of Computer Science, NanKai University, Tianjin 300350, China;Tianjin Key Laboratory of Network and Data Security Technology (NanKai University), Tianjin 300350, China;Industrial Robot Application of Fujian University Engineering Research Center(Minjiang University), Fujian 350121, China; College of Computer Science, NanKai University, Tianjin 300350, China;Tianjin Key Laboratory of Network and Data Security Technology (NanKai University), Tianjin 300350, China;State Key Laboratory of Computer Architecture (Institute of Computing Technology, Chinese Academy of Sciences), Beijing 100190, China |
| |
| Abstract: | |
| |
| Keywords: | neural network compression neural network quantization weight distribution uniform quantization extremum of quantization loss |
|
| 点击此处可从《软件学报》浏览原始摘要信息 |
|
点击此处可从《软件学报》下载全文 |
|
