支持CNN与LSTM的二值权重神经网络芯片

深度神经网络在图像分类、语音识别、视频检测等领域都取得了巨大的成功,这些领域主要采用了卷积神经网络(CNN)、长短期记忆(LSTM)中的一种或者两种网络类型。由于CNN和LSTM网络结构的差异使得现有深度神经网络加速器无法同时高效支持这两种网络类型。权重二值化使得加速器对于CNN和LSTM的同时支持更加高效,同时使得计算复杂度和访存量大幅降低,使得神经网络加速器能够获得更高的能效,并且二值权重对中小规模神经网络模型的精度损失的影响非常有限。本文提出了一种高效支持CNN与LSTM的二值权重神经网络加速器设计结构,该结构在运行CNN和LSTM网络模型时,其核心运算单元利用率超过已有加速器,并且该加速器通过了片上系统(SoC)芯片验证,经过芯片实测,该加速器芯片能效在SoC系统级别达到了6.43 TOPS/W。     

面向多任务处理的神经网络加速器设计

本文从多任务系统以及算法硬件协同设计的角度出发,提出了一种面向多任务处理的神经网络加速器架构。在算法方面,提出了一套多任务处理算法,能够有效挖掘多任务间的特征重复性和计算重用性;在架构设计方面,设计了能够利用网络参数共享实现多任务间计算重用的加速器架构。该架构采用基于时间片的调度方法,实现了多视觉任务的高效并行处理。实验结果表明,与目前主流的移动图形处理器(GPU)相比,本文提出的加速器能够在多任务推理阶段减少65.80%的乘法运算量,同时获得了 11倍的性能提升。     

基于FPGA的视频实时去雾算法及其硬件实现

单幅图像去雾技术虽然已经取得较大的进展,但是算法较为复杂,运行时间较长.为了实现视频实时去雾,以硬件实现为目的,对暗通道先验算法进行改进,降低其时间复杂度.提出了一种暗通道图优化方法,保留了图像的边缘信息,消除了光晕效应,省去了透射率细化的复杂操作;提出了适应于硬件实现的大气光值估计和调节及透射率补偿方法,解决了视频帧间闪烁及天空等明亮区域的色彩失真问题.基于现场可编程门阵列(FPGA)对所提出算法进行了硬件实现.结果表明,该算法可以实时处理帧速为60 f/s、分辨率为1 920×1 080的视频图像,相比传统去雾算法速度更快,去雾质量更高.     

面向深度可分离卷积的硬件高效加速器设计

采用深度可分离(DS)卷积替代标准卷积已成为神经网络轻量化设计的趋势,但是由于深度可分离卷积不规则的数据维度和数据尺寸,现有卷积神经网络加速器在处理这类网络时计算并行度和计算单元(PE)利用率无法得到保证,导致加速器计算性能降低。针对这一问题,本文提出一种通道朝向的计算数据流,该数据流能够将数据维度不同的Depthwise卷积、Pointwise卷积和标准卷积在统一的数据流下展开运算。基于该数据流,设计了一款面向深度可分离卷积的加速器,该加速器采用统一的计算核心处理深度可分离卷积中各类卷积运算,在低面积开销下实现了高计算并行度。实验结果表明,与目前现有的深度可分离卷积加速器相比,该设计获得了 1.32倍处理速度和1.76倍面积效率的提升。     

面向卷积神经网络的高能效比特稀疏加速器设计

为解决当前比特稀疏架构的性能瓶颈,提出高能效比特稀疏加速器设计.首先提出一种激活值编码方法和相应的电路来提高卷积神经网络的比特稀疏度,结合比特串行电路实时跳过激活值的零值比特来加速神经网络的计算;然后提出一种列共享同步机制,以解决比特稀疏架构的同步问题,并在较小的面积和功耗开销下大幅提高比特稀疏架构的计算性能.在SMIC40 nm工艺和1 GHz频率下,评估不同的比特稀疏架构在卷积神经网络上的能效.实验结果表明,与非稀疏加速器VAA和比特稀疏加速器LS-PRA相比,所提出的加速器AS-PRA分别提高了544%和179%的能效.     

面向高能效加速器的二值化神经网络设计和训练方法

针对二值化神经网络加速器计算溢出和乘法器依赖的问题,提出一套二值化神经网络设计及其训练方法.首先设计能够模拟溢出的矩阵乘法,保证模型部署后不丢失准确率;然后优化卷积层和激活函数,缓解溢出总量;再设计移位批标准化层,使二值化神经网络摆脱对乘法运算的依赖,并有效地降低访存;最后针对改进的模型提出基于溢出启发的协同训练框架,确保模型训练能够收敛.实验结果表明,与10个主流的关键词激活方法相比,在准确率无明显损失的情况下,所提方法使片上计算规模减少超过49.1%,并为加速器带来至少21.0%的速度提升.