| 基于均方误差的8位深度神经网络量化 |
| |
| 引用本文： | 冯鹏程,禹龙,田生伟,耿俊,龚国良. 基于均方误差的8位深度神经网络量化[J]. 计算机工程与设计, 2022, 43(5): 1258-1264. DOI: 10.16208/j.issn1000-7024.2022.05.008 |
| |
| 作者姓名： | 冯鹏程 禹龙 田生伟 耿俊 龚国良 |
| |
| 作者单位： | 新疆大学 信息科学与工程学院,新疆 乌鲁木齐 830046;新疆大学 软件工程技术重点实验室,新疆 乌鲁木齐 830008,新疆大学 网络中心,新疆 乌鲁木齐 830046;新疆大学 软件工程技术重点实验室,新疆 乌鲁木齐 830008,新疆大学 软件学院,新疆 乌鲁木齐 830008;新疆大学 软件工程技术重点实验室,新疆 乌鲁木齐 830008,新疆大学 软件学院,新疆 乌鲁木齐 830008,中国科学院半导体研究所 高速电路与神经网络实验室,北京 100083 |
| |
| 基金项目： | 国家自然科学基金项目(U2003208、61962057、U19A2080、61563051、61662074)；;北京市科技计划基金项目(Z181100001518006)； |
| |
| 摘 要： | 为模型量化后具有更高的准确度,提出以量化均方误差(QMSE)为指标的确定量化系数的方法,针对量化后性能损失严重的小型网络,进一步提出更新统计参数(USP)的方法。QMSE将量化过程中的舍入和截断操作产生的噪声相结合,以此作为选取合适量化系数的指标;USP通过更新批次归一化层中的均值和方差,矫正模型量化产生的均值和方差偏移。实验结果表明,在不进行重训练的情况下,使用QMSE+USP对常见的深度神经网络量化,模型性能优于其它算法。
|
| 关 键 词： | 深度神经网络 模型压缩 量化 卷积神经网络 均方误差 |
8-BIT deep neural network quantization based on mean square error |
| |
| FENG Peng-cheng,YU Long,TIAN Sheng-wei,GENG Jun,GONG Guo-liang. 8-BIT deep neural network quantization based on mean square error[J]. Computer Engineering and Design, 2022, 43(5): 1258-1264. DOI: 10.16208/j.issn1000-7024.2022.05.008 |
| |
| Authors: | FENG Peng-cheng YU Long TIAN Sheng-wei GENG Jun GONG Guo-liang |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 万方数据 等数据库收录！ |
|
