基于多段插值拟合的深度神经网络非线性层加速方法 |
| |
引用本文: | 黄一凡,张欣,支天,张蕊,张曦珊,周学海.基于多段插值拟合的深度神经网络非线性层加速方法[J].高技术通讯,2023(3):280-291. |
| |
作者姓名: | 黄一凡 张欣 支天 张蕊 张曦珊 周学海 |
| |
作者单位: | 1. 中国科学技术大学计算机科学与技术学院;2. 中国科学院计算技术研究所 |
| |
基金项目: | 国家重点研发计划(2020AAA0103802);;国家自然科学基金(61925208,61906179,62102399,U20A20227); |
| |
摘 要: | 针对传统量化算法无法应用于非线性运算层的问题,本文提出了一种基于多段插值拟合的非线性层加速方法,利用插值表存储插值函数的参数,通过查表来计算得到非线性层的输出结果。使用本方法,可以在对非线性层进行有效加速的同时实现拟合误差可控。此外在硬件部署时,仅需要基础硬件指令支持,在边缘端和服务器都可以部署。实验结果表明,使用本文提出的多段插值方法拟合多种非线性层,可以取得平均1.44倍的加速效果。这种非线性层可以方便快捷地部署在图像分类、自然语言处理和机器翻译等多种任务模型上,并且每个模型对拟合精度有不同需求的情况下,均可以保证推理和训练精度损失小于0.5%。
|
关 键 词: | 深度神经网络(DNN) 量化 非线性层加速 多段插值拟合 |
|
|