非均衡表驱动线性拟合的S型激活函数硬件加速 |
| |
作者姓名: | 戴忠东 张石 张尧 |
| |
作者单位: | 浙江大学 超大规模集成电路设计研究所,杭州 310027 ;上海复控华龙微系统技术有限公司,上海 200439 |
| |
基金项目: | 国家重点研发计划资助项目(2018YFB0904902) |
| |
摘 要: | 深度学习的兴起使得对计算的需求进一步加剧,其中循环神经网络长短时记忆单元中的非线性激活函数是硬件加速的重点。传统的查找表法、泰勒级数展开法、分段线性拟合法的硬件资源开销相对较大。本文在表驱动线性拟合的硬件加速基础上,进行了分析与数学推导,提出了非均衡参数化表驱动线性拟合S型激活函数的硬件加速。通过移动直线中心,降低了单边误差。对函数中误差较大与较小的区间进行差异划分,提高了误差分布较大区间的直线区间数量,进一步减小误差。FPGA高层综合的实验结果表明,非均衡表驱动线性拟合法在不增加硬件资源开销和不降低性能的前提下,能够实现较小误差的优化。参数化进一步提高了硬件的复用性与应用选择的灵活性。
|
关 键 词: | 深度学习 循环神经网络 硬件加速 表驱动线性拟合 FPGA 参数化 |
收稿时间: | 2019-09-30 |
|
| 点击此处可从《微电子学》浏览原始摘要信息 |
|
点击此处可从《微电子学》下载全文 |
|