适用于嵌入式平台的E-YOLO人脸检测网络研究

针对现有人脸检测深度学习算法计算量大,难以移植到嵌入式平台,无法满足移动设备实时性和便捷性需求的问题,提出一种基于YOLO(You Only Look Once)算法的适用于嵌入式平台的小型人脸检测网络E-YOLO(Enhance-YOLO)。借鉴YOLO算法的思想,将人脸检测问题转换为回归问题,将待检测的图像均分为S×S个单元格,每个单元格检测落在单元格内的目标。通过修改YOLO网络模型中的卷积神经网络结构,提高其检测的准确性,同时减少网络结构中卷积核的数目,降低模型的大小。实验结果表明,E-YOLO模型大小为43MB,视频的检测帧率为26FPS,在WIDERFACE和FDDB数据集上均有较高的准确率和检测速度,可以实现在嵌入式平台下的实时人脸检测。     

基于异构多核并行加速的嵌入式神经网络人脸识别方法

针对传统视频监控设备进行前端人脸识别时处理大量人脸数据所面临的计算性能不足的问题,提出了一种基于CPU-多核加速器异构结构的前馈神经网络并行加速框架,然后借助主成分分析方法对人脸数据进行特征提取用于神经网络的训练,并将训练好的神经网络模型导入神经网络加速框架中进行分类识别的方法。该方法最终在集成Zynq SoC和Epiphany的Parallella嵌入式并行计算平台中进行了系统实现。实验数据表明,该方法在保证识别准确率一致的情况下,能够提供相对于Zynq中的双核ARM处理器8倍的识别加速能力,在嵌入式人脸识别加速方面具有显著作用。     

基于深度学习的目标检测研究进展

首先，介绍了现阶段目标检测的发展并进行分类；然后阐述了YOLO系列算法，特别是YOLO中重要的核心机制，如损失函数、网络结构、优化策略、k-means聚类和批归一化；其次，对YOLO的应用场景进行介绍，如应用于行人检测、工业以及医学方面；最后，总结YOLO系列算法的特点以及未来改进方向。本文对研究基于深度学习的目标检测系统具有一定的指导意义。     

基于软硬件协同加速框架的遥感图像目标检测

由于遥感图像目标检测模型计算复杂度和内存需求的急剧增加，难以应用在小尺寸和低功耗的嵌入式平台上。针对上述问题，本文提出一种基于现场可编程门阵列（Field-Programmable Gate Array, FPGA）的软硬件协同加速框架，实现遥感图像目标检测模型的推理加速。首先，遵循Vitis AI加速方案对训练后的YOLOv3网络参数进行压缩、编译；其次，在FPGA端搭建包含深度学习处理单元（Deep-Learning Processing Unit, DPU）模块的底层硬件工程，并在ARM上编写DPU任务调度程序；最后，在Zynq SoC开发平台上实现FPGA的推理加速。实验结果表明，该框架在Xilinx-Zynq-MPSoC上的平均吞吐率为1.75 TOPs（26.8 fps），并且在DIOR数据集上的平均精度（mean Average Precision, mAP）为56.7%。     

YOLO9000模型的车辆多目标视频检测系统研究

提出了一种基于Darknet框架下YOLO9000算法的车辆多目标检测方法。该方法在YOLO9000算法基础下,根据训练结果和车辆目标特征对YOLO9000网络模型进行改进,并对其算法参数进行调整,获得更为适合于当前道路视频检测的YOLO9000-md网络模型下车辆多目标检测方法。为验证检测方法的有效性和完备性,对其模型进行了验证对比分析,同时对视频车辆进行了检测实验,实验结果表明,基于YOLO9000-md网络结构的车辆多目标检测方法,验证检测正确率达到了96.15%,具有一定的鲁棒性和通用性,为今后进行基于视频的更加智能化和自动化的数据分析提供了可靠的理论依据。     

基于改进YOLO和迁移学习的水下鱼类目标实时检测

为了实现非限制环境中水下机器人基于视频图像的水下鱼类目标快速检测,提出基于改进YOLO和迁移学习的水下鱼类目标实时检测算法.针对YOLO网络的不足,设计适合水下机器人嵌入式系统计算能力的精简YOLO网络(Underwater-YOLO).利用迁移学习方法训练Underwater-YOLO网络,克服海底鱼类已知样本集有限的限制.利用基于限制对比度自适应直方图均衡化的水下图像增强预处理算法,克服水下图像的降质问题.利用基于帧间图像结构相似度的选择性网络前向计算策略,提高视频帧检测速率.实验表明,文中算法能实现在非限制环境下海底鱼类目标的实时检测.相比YOLO,文中算法对海底鱼类小目标和重叠目标具有更好的检测性能.     

基于轻量化ConvLSTM的密集道路车辆检测算法

针对拥堵场景中目标遮挡引起的漏报、误报等问题，考虑到视频中同一车辆在不同时刻下重叠程度不同，利用未被遮挡时刻车辆所提供的特征有助于当前时刻目标车辆的检测，提出了一种适用于密集场景的车辆检测算法WB-YOLO v5。算法结合ConvLSTM模型的输入数据结构，设计了特征选择和特征稀疏模块，实现了特征的重标定；并将特征选择和特征稀疏模块输出的特征送入ConvLSTM的不同支线，实现了不同时刻特征的强化与衰减；再使用1×1卷积替换原始门控结构，构建轻量化的WBConvLSTM，以减少参数量和计算量，提升训练速度与小样本数据源目标的检测准确率；在YOLO v5的Neck端引入WBConvLSTM，实现网络特征提取能力的增强。实验结果表明，相比于YOLO v5,WB-YOLO v5的检测平均准确率有1.83个百分点的提高。相比于ConvLSTM,WBConvLSTM的参数量和计算量分别减少约2/3和6/13。     

基于PYNQ框架的深度卷积特征异构跟踪系统

针对深度卷积特征目标跟踪算法中特征提取计算量大、速度慢、难以在嵌入式平台上应用的问题,提出了一种基于PYNQ框架的目标跟踪方案,并将其部署在Zynq异构平台。首先设计基于深度卷积特征的目标跟踪算法;根据算法的特点进行软硬件划分,完成片上系统的构建;然后针对深度卷积特征提取的计算过程进行并行优化,导出加速IP核;最后在PYNQ框架中通过Jupyter Notebooks,使用Python语言调用加速IP核作为硬件协处理器,实现底层到顶层的数据交互。实验结果表明,算法在通用数据集OTB-2015、UAV123上取得了良好的跟踪精度;跟踪速度与未集成加速IP核时相比,提升可达30倍。在兼顾跟踪稳健性的情况下,异构跟踪系统执行效率高,可移植性好,具有工程应用价值。     

YOLO检测网络的FPGA加速计算模型的研究

FPGA(Field Programmable Gate Array)凭借其高并行和可定制化的特点,可以解决目标检测网络结构复杂、计算量大和存储开销高等问题.本文基于FPGA验证平台研究并实现了YOLO(You Only Look Once)系列神经网络的加速计算模型.首先采用动态定点量化方法降低了数据存储和传输量.然后针对YOLO模型中两类计算开销大的典型卷积层,采用了流水线,循环展开,模块融合等策略分别实现了基于Winograd和GEMM的快速卷积计算引擎,提高加速计算效率.实验结果表明,本文在PYNQ-Z1验证平台上获得的计算性能达到64.9 GOP/s,比基于典型滑动窗口卷积计算方法的性能提高了2.15倍.     

基于排队网络的流水线模拟器任务缓存新分析模型

流水线软件模拟器是嵌入式微处理器软件仿真系统的关键技术,提出对嵌入式微处理器流水线仿真系统的排队网络建模与缓存大小分析方法.对SPARC-V8流水线模拟器建立M/M/1/N型排队网络模型,分析指令到达及服务阻塞机制.为了解决模型计算中的阻塞问题,在排队网络模型中增加"保持节点",得到扩展的等价排队网络模型.采用近似计算迭代算法,得到系统性能评价指标,并建立排队网络节点性能关系曲线,确定各功能模块的任务缓存大小.根据得出的任务缓存计算值设置流水线软件模拟器实际缓存大小,实验表明模型计算数据与实际运行数据基本一致.该评价方法对嵌入式微处理器流水线仿真系统的建模与性能分析具有重要的指导意义.     

基于深度卷积神经网络的小目标检测算法

针对YOLO目标检测算法在小目标检测方面存在的不足,以及难以在嵌入式平台上达到实时性的问题,设计出了一种基于YOLO算法改进的dense_YOLO目标检测算法。该算法共分为2个阶段:特征提取阶段和目标检测回归阶段。在特征提取阶段,借鉴DenseNet结构的思想,设计了新的基于深度可分离卷积的slim-densenet特征提取模块,增强了小目标的特征传递,减少了参数量,加快了网络的传播速度。在目标检测阶段,提出自适应多尺度融合检测的思想,将提取到的特征进行融合,在不同的特征尺度上进行目标的分类和回归,提高了对小目标的检测准确率。实验结果表明:在嵌入式平台上,针对小目标,本文提出的dense_YOLO目标检测算法相较原YOLO算法mAP指标提高了7%,单幅图像检测时间缩短了15 ms,网络模型大小减少了90 MB,明显优于原算法。     

Real-time hardware–software embedded vision system for ITS smart camera implemented in Zynq SoC

The article demonstrates the usefulness of heterogeneous System on Chip (SoC) devices in smart cameras used in intelligent transportation systems (ITS). In a compact, energy efficient system the following exemplary algorithms were implemented: vehicle queue length estimation, vehicle detection, vehicle counting and speed estimation (using multiple virtual detection lines), as well as vehicle type (local binary features and SVM classifier) and colour (k-means classifier and YCbCr colourspace analysis) recognition. The solution exploits the hardware–software architecture, i.e. the combination of reconfigurable resources and the efficient ARM processor. Most of the modules were implemented in hardware, using Verilog HDL, taking full advantage of the possible parallelization and pipeline, which allowed to obtain real-time image processing. The ARM processor is responsible for executing some parts of the algorithm, i.e. high-level image processing and analysis, as well as for communication with the external systems (e.g. traffic lights controllers). The demonstrated results indicate that modern SoC systems are a very interesting platform for advanced ITS systems and other advanced embedded image processing, analysis and recognition applications.     

基于YOLO v4的车辆目标检测算法

针对车辆目标检测中存在遮挡目标导致检测精度低、小目标检测效果差等问题,提出一种基于YOLO v4改进的目标检测算法YOLO v4-ASC。通过在主干提取网络尾部加入卷积块注意力模块,提升网络模型的特征表达能力;改进损失函数提升网络模型的收敛速度,利用Adam+SGDM优化方法替代原始模型优化方法SGDM,进一步提升模型检测性能。此外,利用K-Means聚类算法优化先验框尺寸大小,并合并交通场景数据集中的car、truck、bus类别为vehicle,将本文问题简化为二分类问题。实验结果表明,本文提出的YOLO v4-ASC目标检测算法在保持原算法检测速度的基础上,AP达到了70.05%,F1-score达到了71%,与原YOLO v4算法相比,AP提升了9.92个百分点,F1-score提升了9个百分点。     

基于YOLOv3的嵌入式实时视频目标检测算法

深度神经网络在目标检测领域具有优异的检测性能,但其结构复杂、计算量大,难以在嵌入式设备上进行高性能的实时目标检测。针对该问题,提出一种基于YOLOv3的目标检测算法。采用半精度推理策略提高YOLO算法的推理速度,并通过视频运动自适应推理策略充分利用前后帧视频之间目标的关联性,降低深度学习算法的运行频率,进一步提高目标检测速度。在ILSVRC数据集上的实验结果表明,该算法可以在NVIDIA TX2嵌入式平台上实现28 frame/s的视频目标检测,且检测精度与原始的YOLOv3算法相当。     

实时目标检测算法YOLO的批再规范化处理

针对实时目标检测YOLO(You Look Only Once)算法中存在的检测精度低和网络模型训练速度慢等问题,结合批再规范化算法处理小批样本以及非独立同分布数据的优势,提出了在YOLO网络结构加入批再规范化处理的改进算法。该YOLO改进算法把卷积层经过卷积运算产生的特征图看作一个个神经元,然后对这些神经元进行规范化处理。同时,在网络结构中移除了Dropout,并增大了网络训练的学习率。实验结果表明,该改进算法相对于原YOLO算法具有更高的检测精度、更快的实时检测速度以及通过适当设置批样本大小可使网络模型在训练时间和硬件设备方面成本有一定的降低。     

改进YOLO V3的道路小目标检测

针对通用目标检测算法在检测小目标时存在效果不佳及漏检率较高等问题,提出了一种基于改进YOLO V3的道路小目标检测算法。对YOLO V3算法网络模型中的聚类算法进行优化,使用DBSCAN+K-Means聚类算法对训练数据集聚类分析,选取更合适的Anchor Box,以提高检测的平均精度和速度;同时引入Focal Loss损失函数代替原网络模型中的损失函数形成改进的YOLO V3算法。进而与其他目标检测算法在KITTI数据集上对行人目标进行对比检测,发现改进的YOLO V3算法能够有效降低小目标漏检率,大大提高检测的平均精度和检测速度。实验结果表明,在KITTI数据集上,改进的YOLO V3算法检测目标的平均精度达到92.43%,与未改进的YOLO V3算法相比提高了2.36%,且检测速度达到44.52?帧/s。