| 面向高能效加速器的二值化神经网络设计和训练方法 |
| |
| 引用本文： | 李佳骏,许浩博,王郁杰,肖航,王颖,韩银和,李晓维.面向高能效加速器的二值化神经网络设计和训练方法[J].计算机辅助设计与图形学学报,2023(6):961-969. |
| |
| 作者姓名： | 李佳骏 许浩博 王郁杰 肖航 王颖 韩银和 李晓维 |
| |
| 作者单位： | 1. 中国科学院计算技术研究所智能计算机研究中心;2. 中国科学院大学 |
| |
| 基金项目： | 国家自然科学基金(62025404,61834006,61874124)； |
| |
| 摘 要： | 针对二值化神经网络加速器计算溢出和乘法器依赖的问题,提出一套二值化神经网络设计及其训练方法.首先设计能够模拟溢出的矩阵乘法,保证模型部署后不丢失准确率;然后优化卷积层和激活函数,缓解溢出总量;再设计移位批标准化层,使二值化神经网络摆脱对乘法运算的依赖,并有效地降低访存;最后针对改进的模型提出基于溢出启发的协同训练框架,确保模型训练能够收敛.实验结果表明,与10个主流的关键词激活方法相比,在准确率无明显损失的情况下,所提方法使片上计算规模减少超过49.1%,并为加速器带来至少21.0%的速度提升.
|
| 关 键 词： | 二值化神经网络 深度学习 模型训练 神经网络加速器 |
|
|
