| 神经网络训练处理器的浮点运算优化架构 |
| |
| 引用本文： | 张立博,李昌伟,齐伟,王刚,戚鲁凤. 神经网络训练处理器的浮点运算优化架构[J]. 计算机测量与控制, 2023, 31(6): 176-182 |
| |
| 作者姓名： | 张立博 李昌伟 齐伟 王刚 戚鲁凤 |
| |
| 作者单位： | 中国绿发投资集团有限公司,,,, |
| |
| 基金项目： | 中国绿发投资集团有限公司科技项目(项目编号：CGDG529000220008;项目名称：多产业融合下的数据治理体系研究) |
| |
| 摘 要： | 针对神经网络训练加速器中存在权重梯度计算效率低的问题,设计了一种高性能卷积神经网络(CNN)训练处理器的浮点运算优化架构。在分析CNN训练架构基本原理的基础上, 提出了包括32bit、24bit、16bit和混合精度的训练优化架构,从而找到适用于低能耗且更小尺寸边缘设备的最佳浮点格式。通过现场可编程门阵列(FPGA)验证了加速器引擎可用于MNIST手写数字数据集的推理和训练,利用24bit自定义浮点格式与16bit脑浮点格式相结合构成混合卷积24bit浮点格式的准确率可达到93%以上。运用台积电55nm芯片实现优化混合精度加速器,训练每幅图像的能耗为8.51μJ。
|
| 关 键 词： | 卷积神经网络 浮点运算 加速器 权重梯度 处理器 |
| 收稿时间： | 2022-10-17 |
| 修稿时间： | 2022-11-06 |
Floating Point Optimization Architecture of Neural Network Training Processor |
| |
| Abstract: | |
| |
| Keywords: | convolutional neural network Floating point operation Accelerator Weight gradient processor |
|
| 点击此处可从《计算机测量与控制》浏览原始摘要信息 |
|
点击此处可从《计算机测量与控制》下载免费的PDF全文 |
|
