一种超低损失的深度神经网络量化压缩方法

深度神经网络（DNN）量化是一种高效的模型压缩方法,仅使用少量位宽就可表示模型计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究仅仅针对数据位宽本身,但却忽视了数据的分布规律,且缺乏有效的定量分析,这导致量化损失难以预测.本文提出一种超低损失的DNN量化方法μL2Q.μL2Q揭示了量化位宽与量化损失之间的内在联系,提出了量化值择优分析方法以降低目标位宽下的量化损失.首先,将原始数据映射为标准正态分布的数据;然后,在等宽的量化区间中搜索最优量化参数;最后,将μL2Q方法融合进DNN的训练过程,并嵌入到主流的机器学习框架Caffe及Keras中以支撑端到端模型压缩的设计和训练.实验结果表明,与其他量化方法相比,在相同的位宽条件下,μL2Q能保证更高的模型精度;与最新的研究方法相比,精度分别提高了1.94%、3.73%和8.24%.显著性物体检测实验证明,μL2Q能够胜任复杂的计算机视觉任务.