基于FPGA的Winograd算法卷积神经网络加速器设计与实现

为实现卷积神经网络在低功耗、边缘计算等场景中的加速计算，设计了一种基于现场可编程门阵列（FPGA）的Winograd算法卷积神经网络加速器。首先，将图像数据和权重数据量化为8位定点数，并设计了硬件卷积计算过程中的量化流程，提升了数据传输速度和计算速度。接着，设计了输入数据缓存复用模块，将多输入通道数据融合后传输，复用了行重叠数据。然后设计了Winograd流水线卷积模块，实现列数据的组合复用，从而最大化重用了片上数据，降低了片上数据存储的占用和带宽压力。最后将加速器在Xilinx的ZCU104开发板上部署。经过实验验证，加速器的卷积层计算性能达到354.5 GOPS，片上DSP计算效率达到0.69，与相关研究相比，实现了1.6倍以上的提升。该加速器能够以高能效比完成基于VGG-16网络的遥感图像分类任务。     

SpMV计算的ARM和FPGA异构加速器设计

针对稀疏矩阵向量乘(Sparse Matrix-Vector Multiplication, SpMV)在边缘端实施效率不高的问题,以稀疏矩阵的存储格式、SpMV的现场可编程门阵列(Field Programmable Gate Array, FPGA)加速为研究对象,提出了一种多端口改进的行压缩存储格式(Modified Compressed Sparse Row Format, MCSR)与ARM+FPGA架构任务级数据级硬件优化相结合的加速方法。使用多个端口并行存取数据来提高计算并行度;使用数据流、循环流水实现循环间、循环内的并行加速;使用数组分割、流传输实现数据的细粒度并行缓存与计算;使用ARM+FPGA架构,ARM完成对系统的控制,将计算卸载到FPGA并行加速。实验结果表明,并行加速优化后的ARM+FPGA方案相较于单ARM方案最高可达10倍的加速效果,而且增加的资源消耗在可接受范围内,矩阵规模越大非零值越多加速效果越明显。研究成果在边缘端实施SpMV计算方面有一定实用价值。     

面向矩阵计算的加速系统设计

通用中央处理器单元（CPU）往往花费大部分资源用于缓存管理和逻辑控制,只有少部分资源用于计算。因此将专用的计算模块例如图形处理单元（GPU）、数字信号处理器（DSP）、现场可编程逻辑门阵列（FPGA）和其他可编程逻辑单元作为加速器加入系统从而构建异构多核系统以增强计算性能的设计方法已经成为趋势。基于此趋势,提出一种面向矩阵计算的加速系统,通过使用自研专用指令集、特别设计的硬件加速器阵列以及存储架构优化实现对矩阵计算的加速。此外,还通过信箱机制实现与其他系统异构集成后的通信操作。通过Python与UVM验证方法学搭建性能验证平台,进行寄存器传输级（RTL）的性能验证。结果表明,在500 MHz工作频率下,方案中子系统的运算性能最高可达到32 GFLOPS,且与单纯使用二维脉动阵列执行加速的协处理器方案相比,通用矩阵乘（GEMM）算子的计算效率提升了12倍。     

基于快速滤波算法的卷积神经网络加速器设计

为减少卷积神经网络(CNN)的计算量,该文将2维快速滤波算法引入到卷积神经网络,并提出一种在FPGA上实现CNN逐层加速的硬件架构。首先,采用循环变换方法设计行缓存循环控制单元,用于有效地管理不同卷积窗口以及不同层之间的输入特征图数据,并通过标志信号启动卷积计算加速单元来实现逐层加速;其次,设计了基于4并行快速滤波算法的卷积计算加速单元,该单元采用若干小滤波器组成的复杂度较低的并行滤波结构来实现。利用手写数字集MNIST对所设计的CNN加速器电路进行测试,结果表明:在xilinx kintex7平台上,输入时钟为100 MHz时,电路的计算性能达到了20.49 GOPS,识别率为98.68%。可见通过减少CNN的计算量,能够提高电路的计算性能。     

基于嵌入式设备应用的CNN加速器的设计研究

本文基于高层次综合工具设计了卷积加速电路,并根据加速电路的特性提出了卷积分解的优化方法,实现了一个适用于各种网络结构的高性能的卷积神经网络加速器。最后,本文选取Xilinx公司的PYNQ-Z2开发板对设计好的CNN加速器进行性能检测。测试结果表明,本文设计的CNN加速器在运行手写数字识别网络时的计算速度能够达到37.63FPS,相对于Pynq-Z2开发板上的嵌入式ARM处理器实现了42.1倍的加速效果。在计算精度上,硬件与软件的计算精度基本保持一致,都达到了98%以上的识别准确率。加速器运行手写数字识别网络时的平均功耗约为1.825W,功耗效率为20.62frames/J,完全满足低功耗设计要求。     

基于FPGA的HD-SDI转HDMI接口设计与实现

基于安防、监控行业的需求,提出了一种基于FPGA的HD-SDI转HDMI接口的设计,并详细介绍了实现过程。FPGA对多路HD-SDI高清视频信号进行接收后,在2片DDR4中完成多路视频数据的乒乓缓存,最后选通其中1路输入视频转换为HDMI接口输出。经验证,结果满足设计要求,且该方案具有成本低、灵活性高的优点。     

基于FPGA的计算全息算法实现与优化

为了提高计算全息的计算速度,提出了一种基于菲涅尔计算全息算法和FPGA硬件描述语言的计算全息图的快速算法——"循环迭代算法"。先简要介绍计算全息的基本算法,重点介绍采用并行处理方式的速度优化方案。最后在不影响计算全息处理速度的前提下,提出计算全息设计VHDL优化编程方案。实验结果表明用FPGA技术实现分辨率为50×50的全息图是传统MATLAB实现的165倍。     

一种带Cache加速的HyperRAM控制器设计与验证

针对目前可穿戴设备上对存储设备性能要求高、体积小、功耗低等问题,在FPGA上实现了一款可拓展的高性能HyperRAM控制器,并引入Cache缓存加速设计,以提高对频繁访问数据的命中率和优化存储器访问模式,实现更高速的数据传输和优化的系统性能。运用UVM验证方法学和FPGA进行验证,结果表明,带有Cache缓存的HyperRAM控制器相较于普通HyperRAM,在读写连续地址时性能提高61%,并具有较好的可靠性与有效性,可为嵌入式系统提供高效、灵活的存储器解决方案。     

基于FPGA的Skynet网络结构优化及高时效实现

基于卷积神经网络（Convolutional Neural Network,CNN）的目标检测算法有着鲁棒性强、准确度高等优点，被广泛用于计算机视觉任务领域.然而，CNN参数量大、计算量大的特性使得其难以在边缘计算平台实时实现，为此，本文针对目标检测网络Skynet进行结构优化，并基于高效的层内并行流水的加速架构，在现场可编程门阵列（Field Programmable Gate Array,FPGA）上对其进行实时实现.该方法对Skynet进行剪枝，合并其卷积层与归一化层，利用（Kullback-Leibler,KL）相对熵及极大值量化方法对权重及特征图进行8 bit定点量化，同时将偏置参数及缩放系数定点化，并合并激活操作与饱和截断操作，在减少存储量和计算量的同时，加快前向推理速度.此外，以滑窗操作为基础，采用通道及像素并行计算，设计深度可分离卷积的流水策略，将串行的前向推理结构优化为并行流水的结构，极大减少了前向推理的时间.实验表明，在UA-DETRAC数据集上，本文实现的系统识别精度为0.752，在160×160的图像分辨率上，速度达到115FPS，与CPU相比，提速11倍，达到...     

32路高速图像合成技术研究

探讨了高速图像采集系统中高速采样缓存的重要性和实现途径,阐述了基于框架式结构的32通道图像数据采集系统中的高速缓存的设计与电路结构,给出了采用FPGA实现通道复用和采集数据预处理,并结合计算机数据采集和显示技术完成对多路图像的显示方案.     

基于FPGA的YOLOv5s网络高效卷积加速器设计

为提升在资源受限情况下的嵌入式平台上卷积神经网络(Convolutional Neural Network, CNN)目标识别的资源利用率和能效,提出了一种适用于YOLOv5s目标识别网络的现场可编程门阵列(Field Programmable Gate Array, FPGA)共享计算单元的并行卷积加速结构,该结构通过共享3×3卷积和1×1卷积的计算单元提高了加速器硬件资源利用率。此外,还利用卷积层BN(Batch Normalization)层融合、模型量化、循环分块以及双缓冲等策略,提高系统计算效率并减少硬件资源开销。实验结果表明,加速器在200 MHz的工作频率下,实现的卷积计算峰值性能可达97.7 GOPS(Giga Operations per Second),其YOLOv5s网络的平均计算性可达78.34 GOPS,与其他FPGA加速器方案相比在DSP效率、能耗比以及整体性能等方面具有一定的提升。     

基于OpenCL的Smith-Waterman算法硬件加速研究

生物序列分析由于其数据的海量性、分析算法的多样性和复杂性,因此其对运算平台以及软件工具有着很高的要求。在生物序列分析领域中,文中针对序列比对所采用的经典算法即Smith-Waterman算法在FPGA加速平台下的性能进行研究,利用开放运算语言OpenCL进行异构平台的硬件加速设计。通过利用Smith-Waterman算法的波前特性,在硬件设计层面上实现算法在运算过程中的高度并行化,弥补了在CPU单一平台下只能进行串行运算的不足。通过对大量不同样本序列的测试表明,利用算法的波前特性,针对短序列比对,FPGA的运算速度最高能达到CPU的4倍。     

FPGA-based acceleration for binary neural networks in edge computing

As a core component in intelligent edge computing, deep neural networks (DNNs) will increasingly play a critically important role in addressing the intelligence-related issues in the industry domain, like smart factories and autonomous driving. Due to the requirement for a large amount of storage space and computing resources, DNNs are unfavorable for resource-constrained edge computing devices, especially for mobile terminals with scarce energy supply. Binarization of DNN has become a promising technology to achieve a high performance with low resource consumption in edge computing. Field-programmable gate array (FPGA)-based acceleration can further improve the computation efficiency to several times higher compared with the central processing unit (CPU) and graphics processing unit (GPU). This paper gives a brief overview of binary neural networks (BNNs) and the corresponding hardware accelerator designs on edge computing environments, and analyzes some significant studies in detail. The performances of some methods are evaluated through the experiment results, and the latest binarization technologies and hardware acceleration methods are tracked. We first give the background of designing BNNs and present the typical types of BNNs. The FPGA implementation technologies of BNNs are then reviewed. Detailed comparison with experimental evaluation on typical BNNs and their FPGA implementation is further conducted. Finally, certain interesting directions are also illustrated as future work.     

卷积神经网络的FPGA并行加速设计与实现

为提高目前硬件设备上运行卷积神经网络的速度和能效,针对主流的卷积神经网络提出了一种基于现场可编程门阵列(Field Programmable Gate Array,FPGA)的流水线并行加速方案,设计优化了数据存储模块、卷积计算模块、池化模块以及全连接模块,结合高层次综合技术构建了基于FP GA的卷积神经网络基本单元.为了降低加速系统的硬件开销,在保证卷积神经网络精度损失很小的前提下,采用数据量化的方式将网络参数从32位浮点数转化为16位定点数.系统测试使用MNIST数据集和CIFAR-10数据集,实验结果显示,所提出的卷积神经网络FPGA加速具有更快的识别效果,并且该方案在资源和功耗较少的情况下可以提供更好的性能,同时能够高效地利用FP GA上的硬件资源.     

超高吞吐量MD5算法的FPGA实现

为了提高MD5算法在FPGA中实现的运算效率,使之达到超高的数据吞吐量,提出了一种新的全流水线架构,用于实现MD5算法。架构中使用了FIFO缓存存储数据,以配合流水线的运算。实验验证其达到了单个MD5运算单元运算吞吐量的理论上限,在相同芯片平台上,超过已发表的MD5运算模块最高吞吐量的77%。     

基于Zynq平台的低功耗人脸检测加速系统

基于CPU及GPU的卷积神经网络平台存在体积大、能耗高等问题,提出了一种基于Zynq平台的卷积神经网络人脸检测加速系统。该系统采用YOLOv3-Tiny算法,并利用Wider Face人脸数据集进行训练。为提高网络效率,采用层融合技术减小网络深度,加快检测速度;同时,采用8位整数量化策略,以降低内存访问量,减少资源消耗。通过利用ZynqXC7Z035芯片上FPGA端并行计算能力,设计出可重复利用的多通道卷积计算模块,实现DSP的重复递用。实验结果显示,所设计的加速系统实现了9.5FPS的实时推理速度,检测速度是intel i7-8700CPU的7.9倍,系统功耗仅为2.65W,满足低功耗的性能需求。     

改进神经网络的图像识别系统设计与硬件实现

针对现有图像识别系统大多采用软件实现,无法利用神经网络并行计算能力的问题。该文提出一套基于FPGA的改进RBF神经网络硬件化图像识别系统,将乘法运算改为加法运算解决了神经网络计算复杂不便于硬件化的问题,并且提出一种基于位比较的排序电路解决了大量数据的快速排序问题,以此为基础开发了多目标图像识别应用系统。系统特征提取部分采用FPGA实现,图像识别部分采用ASIC电路实现。实验结果表明,该文所提出的改进RBF神经网络算法平均识别时间较LeNet-5, AlexNet和VGG16缩短50%;所开发的硬件系统完成对10000张样本图片识别的时间为165 μs,对比于DSP芯片系统所需426.6 μs,减少了60%左右。     

A Review of FPGA-Based Custom Computing Architecture for Convolutional Neural Network Inference

Convolutional neural network (CNN) has been widely adopted in many tasks. Its inference process is usually applied on edge devices where the computing resources and power consumption are limited. At present, the performance of general processors cannot meet the requirement for CNN models with high computation complexity and large number of pa-rameters. Field-programmable gate array (FPGA)-based custom computing architecture is a promising solution to further enhance the CNN inference performance. The software/hardware co-design can effectively reduce the computing overhead, and improve the inference performance while ensuring accuracy. In this paper, the mainstream methods of CNN structure design, hardware-oriented model compression and FPGA-based custom architecture design are summarized, and the improvement of CNN inference performance is demonstrated through an example. Challenges and possible research directions in the future are concluded to foster research efforts in this domain.