基于FPGA的深度学习目标检测系统的设计与实现

针对当前深度学习目标检测算法计算复杂度高和内存需求大等问题,设计并实现了一种基于FPGA的深度学习目标检测系统。设计对应YOLOv2-Tiny目标检测算法的硬件加速器,对加速器各模块的处理时延建模,给出卷积计算模块的详细设计。实验结果表明,与CPU相比,CPU+FPGA的异构系统是双核ARM-A9能效的67.5倍,Xeon的94.6倍;速度是双核ARM-A9的84.4倍,Xeon的5.5倍左右。并且,当前设计在性能上超过之前的工作。     

BP神经网络FPGA实现结构的优化设计

为了实现反向传播（back propagation,BP）神经网络的现场可编程门阵列（field programmable gate array,FPGA）处理速度的提升和资源消耗的降低,提出一种总体设计和关键模块融合优化的BP神经网络的FPGA实现结构。利用定点数据量化和流水线结构,提高系统的处理速度;采用二次方程多段拟合Sigmoid激活函数,降低计算复杂度;通过调整并行转串行模块与激活函数模块的处理顺序,减少了95%的激活函数模块的使用,降低了资源消耗;采用一种网络原始权值读取与更新权值存储交替流水进行的双端口RAM存取方法,以提高数据存取的速度、降低存储资源消耗。经过对硬件优化设计的字符和服装识别实验验证,结果表明,优化后的总逻辑单元使用率为原来的31%。在FPGA中优化结构实现单样本前向传播与反向传播所用时间为24.332μs,为软件MATLAB实现时间的45.63%,提高了BP神经网络的运算速度。     

基于FPGA的神经网络的硬件实现

介绍神经网络ＶＬＳＩ硬件实现的基本情况和电路原理图与ＶＨＯＬ混合设计方法的概念,在此基础上利用单片ＦＰＣＡ设计出了白６４个神经元组成的具有片内学习功能的三层ＥＢＰ神经网络电路,其学习速度达到每秒三千万次以上连接权值的修正,并对其工作过程进行了较详细的分析,指出了制造ＡＳＩＣ芯片时应做的改进。     

卷积神经网络定点化设计及FPGA实现

卷积神经网络优异的性能使其在图像处理领域占有重要地位,然而模型的实际应用多依赖于GPU,难以部署在对功耗敏感的嵌入式设备上。为了使模型能够高效部署在以FPGA为基础的平台上,本文提出一种卷积神经网络定点化方法,以数据精度与资源消耗为设计指标,根据模型中数据分布的统计以及数据类型的划分,确定不同的定点化策略,并给出了不同量化方法与溢出模式和硬件资源消耗的关系。使用Xilinx定点化库进行测试,实验结果表明,使用16位定点数对模型进行统一量化,能够在较小的精度损失下降低硬件资源消耗,且不同的量化模式下硬件资源消耗相同,不同的溢出模式下硬件资源消耗区别较大。     

深度学习中的卷积神经网络系统设计及硬件实现

针对目前深度学习中的卷积神经网络(CNN)在CPU平台下训练速度慢、耗时长的问题,采用现场可编程门阵列(FPGA)硬件平台设计并实现了一种深度卷积神经网络系统。该系统采用修正线性单元(Re LU)作为特征输出的激活函数并使用Softmax函数作为输出分类器。利用流水线技术并针对每一层的特征运算进行了并行处理,从而能够在1个系统时钟周期内完成整个CNN中的295次卷积运算。系统最后采用MNIST数据集作为实验样本,实验结果表明,在50 MHz的工作频率下,FPGA的训练用时相较于通用CPU的训练用时提升了8.7倍,经过2 000次迭代后系统识别的准确率为92.42%。     

基于FPGA的深度卷积神经网络优化压缩算法研究

针对现有海量数字图像信息落后,提出了新型的压缩算法,设计出基于FPGA的视频图像采集系统.应用深度卷积神经网络优化视频图像编码算法和聚类算法实现数据特征提取,将图像与距离信息作为深度卷积神经网络的输入与输出,并利用其特征提取能力学习图像特征的距离信息,提取深度卷积神经网络中的全连接层作为编码,通过迭代调整确定图像编码,完成图像压缩.应用测试结果显示,该算法具有较高效率优势,且图像压缩解码后质量较好.     

一种深度包检测引擎的FPGA硬件实现

针对硬件防火墙的防护性能优势,提出一种基于FPGA实现的硬件防火墙,利用FPGA设计深度包检测引擎,实现基于应用层的内容防护。深度包检测引擎支持固定、浮动和统一资源定位符关键词匹配,可实现灵活的表项宽度变化和表项更新操作。实际测试表明,采用基于FPGA设计的深度包检测引擎,硬件防火墙的主要处理指标满足实用性要求。     

基于IB-IWT实时图像压缩的FPGA设计与实现

针对内插双正交整数小波变换（IB-IWT）的实时图像压缩特点,提出了一种FPGA设计方案．首先通过分析IB-IWT算法的特点,给出了适合硬件实现的实时图像压缩方案．然后选取高端FPGA作为硬件处理平台,对图像压缩的小波变换、小波系数编码及其小波变换的边界处理和有限字长效应等关键技术进行了研究,提出了适合于FPGA的53小波变换的快速实现方法及其小波系数的编码方法．最后,利用FPGA对图像进行了压缩．该设计方案整合标志位图思想和并行SPIHT算法结构的优势,充分利用了FPGA内部的丰富资源．实验结果表明,该方案以其低计算复杂度、低内存需求量和高实时处理速度等特点成为实时压缩算法硬件实现的优选方案．     

卷积神经网络卷积层的FPGA实现

卷积神经网络在图像处理领域取得了突出的表现,但是由于其庞大的计算量使得它的应用范围受到限制.通常,卷积层的计算量占据了整个网络的大部分计算,主要包含有大量的乘法和加法,本文针对卷积层的计算特点,实现了一种高效的卷积层加速模块的设计.最后通过实验结果表明,在计算相同的网络结构下,该设计相比于CPU的计算效率更高.     

深度神经网络测试研究综述

随着深度神经网络技术的快速发展、大数据的涌现和计算能力的显著提升,深度神经网络被越来越多地应用到各个安全攸关领域,例如自动驾驶、人脸识别、飞机碰撞检测等.传统的软件系统通常由开发人员手工编写代码实现其内部的决策逻辑,并依据相应的测试覆盖准则设计测试用例来测试系统代码.与传统的软件系统不同,深度学习定义了一种新的数据驱动的编程范式,开发人员仅编写代码来规定深度学习系统的网络结构,其内部逻辑则由训练过程获得的神经元连接权值所决定.因此,针对传统软件的测试方法及度量指标无法直接被移植到深度神经网络系统上.近年来,越来越多的研究致力于解决深度神经网络的测试问题,例如提出新的测试评估标准、测试用例生成方法等.调研了92篇相关领域的学术论文,从深度神经网络测试度量指标、测试输入生成、测试预言这3个角度对目前已有的研究成果进行了系统梳理.同时,分析了深度神经网络测试在图像处理、语音处理以及自然语言处理上的已有成果,并介绍了深度神经网络测试中应用到的数据集及工具.最后,对深度神经网络测试的未来工作进行了展望,以期为该领域的研究人员提供参考.     

深层神经网络中间层可见化建模

深层神经网络的中间层是隐含的、未知的,这使得深层网络的学习过程不可追踪,学习结果无法解释,在一 定程度上制约了深度学习的发展.本文通过引入先验知识使深层网络的中间层具有明确的含义与显性的影响 关系,即中间层可见化,从而部分人工干预深层网络的内部结构,约束网络学习的方向.基于深层堆叠网 络 (Deep stacking network, DSN),提出两种中间层部分可见的深层神经网络:输入层部分可见的深层堆叠网络(Input-layer visible DSN, IVDSN)和隐含层部分可见的深层堆叠网络(Hidden-layer visible DSN, HVDSN),部分可见是为了保留对未知信息的提取能力和一定的容错能力.以基于文本的言语情 感计算为例测试所提网络的有效性,结果表明先验知识的引入有助于提升深层神经网络的 性能;所提两种网络均可实现中间层的部分可见化,其中HVDSN结构更精简,性能也更优.     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

深度卷积神经网络的目标检测算法综述

目标检测是计算机视觉中的核心任务之一,在智能视频监控、自动化监测、工业检测等领域应用广泛。近些年来,随着深度学习的快速发展,基于深度卷积神经网络的目标检测算法逐渐替代了传统的目标检测算法,成为了该领域的主流算法。介绍了目标检测算法的常用数据集和性能评价指标,介绍了卷积神经网络的发展,重点分析比较了两阶段目标检测算法和单阶段目标检测算法,展望了基于深度卷积神经网络的目标检测算法未来的发展。     

大数据分析的无限深度神经网络方法

深度神经网络(deep neural networks, DNNs)及其学习算法,作为成功的大数据分析方法,已为学术界和工业界所熟知.与传统方法相比,深度学习方法以数据驱动、能自动地从数据中提取特征(知识),对于分析非结构化、模式不明多变、跨领域的大数据具有显著优势.目前,在大数据分析中使用的深度神经网络主要是前馈神经网络(feedforward neural networks, FNNs),这种网络擅长提取静态数据的相关关系,适用于基于分类的数据应用场景.但是受到自身结构本质的限制,它提取数据时序特征的能力有限.无限深度神经网络(infinite deep neural networks)是一种具有反馈连接的回复式神经网络(recurrent neural networks, RNNs),本质上是一个动力学系统,网络状态随时间演化是这种网络的本质属性,它耦合了“时间参数”,更加适用于提取数据的时序特征,从而进行大数据的预测.将这种网络的反馈结构在时间维度展开,随着时间的运行,这种网络可以“无限深”,故称之为无限深度神经网络.重点介绍这种网络的拓扑结构和若干学习算法及其在语音识别和图像理解领域的成功实例.     

深度神经网络的压缩研究

深度神经网络中过多的参数使得自身成为高度计算密集型和内存密集型的模型,这使得深度神经网络的应用不能轻易地移植到嵌入或移动设备上以解决特殊环境下的实际需求。为了解决该问题,提出了基于网络删减、参数共享两者结合的神经网络压缩方案：首先通过删减掉权重小于阈值的网络连接,保留其重要的连接;然后使用k-means聚类算法将删减后每层的参数进行聚类,每簇内的各个参数共享该簇的中心值作为其权重。实验在MINST数据集上完成手写数字识别功能的LeNet-300-100网络和修改得到的LeNet-300–240-180-100网络分别压缩了9.5×和12.1×。 基于网络删减、参数共享两者结合的神经网络压缩方案为未来在特殊环境下更丰富的基于深度神经网络的智能应用提供了可行方案。     

基于深度神经网络的对抗样本技术综述

深度学习在完成一些难度极高的任务中展现了惊人的能力,但深度神经网络难以避免对刻意添加了扰动的样本（称为“对抗样本”）进行错误的分类。“对抗样本”逐渐成为深度学习安全领域的研究热点。研究对抗样本产生的原因和作用机理,有助于从安全性和鲁棒性方面优化模型。在掌握对抗样本原理的基础上,对经典对抗样本攻击方法进行分类总结,根据不同的攻击原理将攻击方法分为白盒攻击与黑盒攻击两个大类,并引入非特定目标攻击、特定目标攻击、全像素添加扰动攻击和部分像素添加扰动攻击等细类。在ImageNet数据集上对几种典型攻击方法进行复现,通过实验结果,比较几种生成方法的优缺点,分析对抗样本生成过程中的突出问题。并对对抗样本的应用和发展作了展望。     

An Efficient Hardware Implementation of Feed-Forward Neural Networks

This paper proposes a new way of digital hardware implementation of nonlinear activation functions in feed-forward neural networks. The basic idea of this new realization is that the nonlinear functions can be implemented using a matrix-vector multiplication. Recently a new approach was proposed for the efficient realization of matrix-vector multipliers, and this approach can be applied for implementing nonlinear functions if these functions are approximated by simple basis functions. The paper proposes to use B-spline basis functions to approximate nonlinear sigmoidal functions, it shows that this approximation fulfils the general requirements on the activation functions, presents the details of the proposed hardware implementation, and gives a summary of an extensive study about the effects of B-spline nonlinear function realization on the size and the trainability of feed-forward neural networks.     

深度自动编码器的研究与展望

深度学习是机器学习的一个分支,开创了神经网络发展的新纪元。作为深度学习结构的主要组成部分之一,深度自动编码器主要用于完成转换学习任务,同时在无监督学习及非线性特征提取过程中也扮演着至关重要的角色。首先介绍深度自动编码器的发展由来、基本概念及原理,然后介绍它的构建方法以及预训练和精雕的一般步骤,并对不同类型深度自动编码器进行总结,最后在深入分析深度自动编码器目前存在的问题的基础上,对其未来发展趋势进行展望。