基于ZYNQ平台的YOLOv3压缩和加速

高精度物体检测网络急剧增加的参数和计算量使得它们很难在车辆和无人机等端侧设备上直接部署使用。针对这一问题,从网络压缩和计算加速两方面入手,提出了一种面向残差网络的新型压缩方案来实现YOLOv3的压缩,并通过ZYNQ平台对这一压缩后的网络进行加速。首先,提出了包括网络裁剪和网络量化两方面的网络压缩算法。网络裁剪方面,给出了针对残差结构的裁剪策略来将网络剪枝分为通道剪枝和残差链剪枝两个粒度,解决了通道剪枝无法应对残差连接的局限性,进一步降低了模型的参数量;网络量化方面,实现了一种基于相对熵的模拟量化方法,以通道为单位对参数进行量化,在线统计模型的参数分布与参数量化造成的信息损失,从而辅助选择最优量化策略来减少量化过程的精度损失。然后,在ZYNQ平台上设计并改进了8比特的卷积加速模块,从而优化了片上缓存结构并结合Winograd算法实现了压缩后YOLOv3的加速。实验结果表明,所提压缩算法较YOLOv3 tiny能够进一步降低模型尺寸,但检测精度提升了7个百分点;同时ZYNQ平台上的硬件加速方法获得了比其他平台更高的能耗比,从而推进了YOLOv3以及其他残差网络在ZYNQ端侧的实际部署。     

基于改进ResNet网络的交通标志识别研究

针对传统ResNet网络存在丢失图像有用信息以及参数冗余等问题,论文提出一种改进ResNet的A-ResNet模型.引入有shortcut连接的残差注意力模块,增强对目标对象的关注度;引入Dropout层,防止过拟合现象,提升识别精度;调整网络架构,加快训练收敛速度及提高识别精度.实验结果表明,A-ResNet模型相比传统ResNet网络实现约2％的top-1精度的提高.     

复杂场景下基于复合胶囊网络的交通标志识别

针对复杂场景中交通标志被遮挡,用单一模型特征提取方法获取的图像信息不充分的问题,提出一种复合胶囊网络的交通标志识别方法.将残差网络中的多尺度思想引入胶囊网络卷积层,在主胶囊层中加入双通道池化,对动态路由算法的计算方式进行优化,提高特征提取的效果和预测值的输出概率.在GTSRB数据集上的测试结果表明,改进后的复合胶囊网络识别精度达到99.21％,相对于其它识别算法性能有所提升,验证了该模型的有效性.     

基于深度残差网络的轻量级人脸识别方法

针对深度残差网络在小型移动设备的人脸识别应用中存在的网络结构复杂、时间开销大等问题,提出一种基于深度残差网络的轻量级模型。首先对深度残差网络的结构进行精简优化,并结合知识转移方法,从深度残差网络（教师网络）中重构出轻量级残差网络（学生网络）,从而在保证精度的同时,降低网络的结构复杂度;然后在学生网络中通过分解标准卷积减少模型的参数,从而降低特征提取网络的时间复杂度。实验结果表明,在LFW、VGG-Face、AgeDB和CFP-FP等4个不同数据集上,所提模型在识别精度接近主流人脸识别方法的同时,单张推理时间达到16 ms,速度提升了10%~20%。可见,所提模型能够在推理速度得到有效提升的同时识别精度基本不下降。     

改进多尺度残差网络病害叶片图像识别

针对农作物病害图像识别模型存在参数量较大内存占用较多、识别准确率不高及训练速度慢等问题,提出了融合注意力模块的多尺度卷积网络叶片病害图像识别模型。该网络模型基于残差网络模块,利用多尺度卷积取代了传统的单尺度卷积,使得网络加宽以获取更多的特征信息,避免网络堆叠过深引起的过拟合现象;同时为了加快模型训练速度,采用深度可分离卷积代替传统卷积减少模型参数量;将注意力机制引入到残差网络中,增强了模型的关键特征信息的提取能力,从而提高了模型的识别精度。通过对试验数据集进行对比试验,改进网络模型的识别准确率达到99.48%并且模型参数量仅有19.06 MB,试验结果表明所提出的方法能有效地提高模型的识别性能并降低模型参数量,为实现低成本终端运行奠定基础。     

基于DRN和FasterR-CNN融合模型的行为识别算法

针对传统单人行为识别算法易受行人形态多样性、背景和光照等影响的问题进行研究。基于扩张残差网络（DRN）的精准分类效果及目标检测网络Faster R-CNN在目标追踪方面的准确性,提出了一种DRN和Faster R-CNN的融合网络模型。该模型在Faster R-CNN中融入DRN的扩张卷积残差块代替原来的一般卷积层,并对融合模型进行了两方面的改进：在每一层前面添加一个batch normalization层;用三层扩张卷积残差块代替部分两层残差块。实验结果表明三种融合网络识别算法在Olympic sports dataset数据库上较其他行为识别算法取得了更高的mAP。其中,包含三层扩张卷积残差块的融合模型识别性能最好,mAP达到78.9%。     

基于残差增强注意力的跨模态行人重识别

跨模态行人重识别主要面临 2 个问题：①成像机制不同所导致的红外图像和可见光图像之间的 模态差异;②图像特征的身份判别性不足导致的类内差异。针对上述 2 个问题,基于残差增强注意力的跨模态 行人重识别方法被提出用来提高行人特征的模态不变性和身份判别性。首先,设计网络浅层参数独立、网络深 层参数共享的双路卷积神经网络作为骨干网络。然后,分析现有注意力机制存在的全局弱化,设计了残差增强 注意力方法解决该问题,提升注意力机制的性能,将其分别应用在网络浅层的通道维度和深层的空间位置上, 提升模型对于模态差异的消除能力和行人特征的身份鉴别能力。在 SYSU-MM01 和 RegDB 2 个数据集上进行 的实验证明了该方法的先进性,大量的对比实验也充分证明本文方法的有效性。     

采用伪3D卷积网络的脑部MRI图像超分辨率重建

针对现有深度学习医学图像超分辨率重建算法因网络参数量大导致计算复杂度过高、网络难以训练的问题,提出一种采用伪3D卷积的轻量级密集残差连接3D卷积神经网络(P3DSRNet)模型.首先利用密集残差块拓宽残差块中卷积层的通道,将更多的特征信息传送到激活函数,使网络中浅层图像特征更容易地传播到高层,增强医学图像超分辨率的表达...     

基于加速残差网络的图像超分辨率重建方法

针对深层网络架构的图像超分辨率重建任务中存在网络参数多、计算复杂度高等问题,提出了一种基于加速残差网络的图像超分辨率重建方法。首先,构建一个残差网络对低分辨率图像与高分辨率图像之间的高频残差信息进行重建,以减少冗余信息的深层网络传输过程,提高重建效率;然后,通过特征收缩层对提取的低分辨率特征图进行降维,从而以较少的网络参数实现快速映射;之后,对高分辨率特征图通过特征扩展层进行升维,从而以较丰富的信息重建高频残差信息;最后,将残差与低分辨率图像求和得到重建的高分辨率图像。实验结果表明,该方法取得的峰值信噪比（PSNR）及结构相似性（SSIM）均值结果较基于卷积神经网络的图像超分辨率（SRCNN）取得的结果分别提升了0.57 dB和0.013 3,较基于中间层监督卷积神经网络的图像超分辨率重建（ISCNN）取得的结果分别提升了0.45 dB和0.006 7;在重建速度方面,以数据集Urban100为例,较现有方法提高了1.5~42倍。此外,将该方法应用于运动模糊图像的超分辨率重建时,获得了优于超深卷积神经网络的图像超分辨率（VDSR）的性能。所提方法以较少的网络参数快速获得较好的重建质量,并且为图像超分辨率重建提供了新的思路。     

二值网络的分阶段残差二值化算法

二值网络在速度、能耗、内存占用等方面优势明显，但会对深度网络模型造成较大的精度损失.为了解决上述问题，本文提出了二值网络的"分阶段残差二值化"优化算法，以得到精度更好的二值神经网络模型.本文将随机量化的方法与XNOR-net相结合，提出了两种改进算法"带有近似因子的随机权重二值化"和"确定权重二值化"，以及一种全新的"分阶段残差二值化"的BNN训练优化算法，以得到接近全精度神经网络的识别准确率.实验表明，本文提出的"分阶段残差二值化"算法能够有效提升二值模型的训练精度，而且不会增加相关网络在测试过程中的计算量，从而保持了二值网络速度快、空间小、能耗低的优势.     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

面向小型边缘计算的深度可分离神经网络模型与硬件加速器设计

神经网络参数量和运算量的扩大,使得在资源有限的硬件平台上流水线部署神经网络变得更加困难。基于此,提出了一种解决深度学习模型在小型边缘计算平台上部署困难的方法。该方法基于应用于自定义数据集的深度可分离网络模型,在软件端使用迁移学习、敏感度分析和剪枝量化的步骤进行模型压缩,在硬件端分析并设计了适用于有限资源FPGA的流水线硬件加速器。实验结果表明,经过软件端的网络压缩优化,这种量化部署模型具有94.60%的高准确率,16.64 M的较低的单次推理定点数运算量和0.079 M的参数量。此外,经过硬件资源优化后,在国产FPGA开发板上进行流水线部署,推理帧率达到了366 FPS,计算能效为8.57 GOPS/W。这一研究提供了一种在小型边缘计算平台上高性能部署深度学习模型的解决方案。     

基于深度残差网络和GRU的SqueezeNet模型的交通路标识别

Existing traffic road sign recognition methods are all based on convolutional neural networks. As the number of the model network layers increases, the recognition accuracy will also be improved, but there are still some problems such as the reduction of efficiency and the increase of the number of parameters. Therefore, an improved SqueezeNet model combining deep residual network with GRU neural network (SqueezeNet IR GRU) is proposed. In order to enhance the learning efficiency, ELU function is used as the activation function. To avoid the disappearance of gradients when the network layer is too deep, a deep residual network is introduced to guarantee the stability of the model, GRU neural network that can memorize the important past features is utilized. Experiments were performed on the Cafir 10 and GTSRB datasets, and their recognition accuracy rates are above 99.13% and 88.25%respectively. The experimental results show that the SqueezeNet IR GRU model not only reduces the parameter amount greatly, but also its convergence, stability and recall rate are all much better than others.     

基于深度学习的轻量型人体动作识别模型

针对现有基于深度学习的人体动作识别模型参数量大、网络过深过重等问题,提出了一种轻量型的双流融合深度神经网络模型并将该模型应用于人体动作识别。该模型将浅层多尺度网络和深度网络相结合,实现了模型参数量的大幅减少,避免了网络过深的问题。在数据集UCF101和HMDB51上进行实验,该模型在ImageNet预训练模式下分别取得了94.0%和69.4%的识别准确率。实验表明,相较于现有大多基于深度学习的人体动作识别模型,该模型大幅减少了参数量,并且仍具有较高的动作识别准确率。     

面向深度卷积网络的多目标神经演化算法

传统的深度卷积神经网络设计方法依赖于人工设计以及反复试错,只能采用形式单一的网络结构,导致其参数过分冗余,乘法次数巨大.为了自动化地设计出结构灵活多变,网络规模及计算量较小的深度卷积神经网络,本文提出了一种面向深度卷积网络的多目标神经演化算法.该算法将深度神经网络表达成有向图,使用神经演化和多目标优化算法实现了深度、计算量和识别率下的多目标同时优化,同时还引入了线性规划用于将基因编码翻译为卷积层的配置参数,使得演化算法可以自动调整各个网络层的具体配置.演化得到的模型其最深路径上含有36个卷积层,CIFAR-100上Top5精度为86.1%,Top1精度为60.2%,与识别率相近的网络相比,具有结构新颖,乘法次数低等特点.综上,本文提出的方法能够自动生成一系列各具特色的深度神经网络,可根据在深度、计算量和识别率3个指标上的不同应用需求选择适合的深度神经网络,为深度神经网络部署于资源受限的无线传感器网络上提供了一种快速、经济、自动化的设计方法.     

基于Inception深度残差网络的皮肤黑色素癌图像分类算法

由于皮肤黑色素癌图像存在类内差异大、样本数据集小等特点, 采用深度残差网络可以有效解决训练过程中过拟合问题, 提高识别准确率. 但是深度残差网络模型的训练参数多, 时间复杂度高. 为了提高训练效率, 提高识别准确率, 首先从理论上分析了深度残差网络模型的结构, 通过修改网络结构, 利用Inception结构代替残差网络中的卷积层、池化层, 减少模型的训练参数数量, 降低时间复杂度. 在此基础上, 提出了基于Inception深度残差网络皮肤黑色素癌分类识别算法(Inception Deep Residual Network, IDRN), 用Inception结构代替残差网络中的卷积池化层, 用SeLU激活函数代替传统的ReLU函数. 之后, 在公开的黑色素癌皮肤镜图像ISIC2017数据集上进行实验验证. 理论和实验表明, 与传统的卷积神经网络ResNet50相比, 本文提出的新的分类算法降低了时间复杂度, 提高了识别准确率.     

基于高阶残差和注意力机制的轻量型作物害虫识别

精准识别作物害虫对作物进行适时地防护和治理具有重要意义. 在面向自然环境时, 由于作物害虫体积小、与环境颜色的差异性不大, 同时又面临着各种噪声和复杂背景等因素的影响, 目前与深度学习相关的作物害虫识别模型存在难以兼顾识别准确率和鲁棒性的要求, 难以部署在计算资源有限和低性能的移动端等缺陷. 因此选取ShuffleNetV2网络结构中模型参数最少的ShuffleNetV2 0.5×为基准网络, 设计了一个基于高阶残差和注意力机制的轻量型作物害虫识别模型(HOR-Shuffle-CANet). 其中, 前期的高阶残差可以为后面的网络层提供丰富的害虫特征, 有效提高模型的识别准确率; 坐标注意力(coordinate attention, CA)机制能够进一步抑制背景噪声和对作物害虫重点信息的关注, 有效增强模型的鲁棒性; 带标签平滑正则化(label smoothing regularization, LSR)的双稳态逻辑损失函数可以解决训练含噪数据集时逻辑损失函数的两个缺点, 使得模型对噪声的适应能力更强. 试验结果表明, HOR-Shuffle-CANet模型在自然场景中10类常见作物害虫图像的测试数据集上达到了91.22%的识别准确率, 较基准网络提升了3.54个百分点. 在保持轻量化计算的基础上, 其识别准确率也高于现有的经典卷积神经网络AlexNet、VGG-16、GoogLeNet、Xception、ResNet-34和轻量级网络模型MobileNetV3-Small、EfficientNet-B0等. 该模型具有识别准确率高、鲁棒性强和抗干扰性能好等特点, 能够很好地适应作物害虫识别的实际应用需求.     

深度残差网络的无人机多目标识别

传统目标识别算法中,经典的区域建议网络(RPN)在提取目标候选区域时计算量 大,时间复杂度较高,因此提出一种级联区域建议网络(CRPN)的搜索模式对其进行改善。此外, 深层次的卷积神经网络训练中易产生退化现象,而引入残差学习的深度残差网络(ResNet),能 够有效抑制该现象。对多种不同深度以及不同参数的网络模型进行研究,将两层残差学习模块 与三层残差学习模块结合使用,设计出一种占用内存更小、时间复杂度更低的新型多捷联式残 差网络模型(Mu-ResNet)。采用 Mu-ResNet 与 CRPN 结合的网络模型在无人机目标数据集以及 PASCAL VOC 数据集上进行多目标识别测试,较使用 ResNet 与 RPN 结合的网络模型,识别准 确率提升了近 2 个百分点。     

基于残差网络迁移学习的花卉识别系统

传统的花卉识别算法一般是建立在手动特征提取和分类器训练的基础上，其泛化能力有限且准确度存在瓶颈。为此提出了基于深度卷积网络的识别算法，采用152层残差网络架构，在爬虫获取的大量标定数据基础上，对神经网络进行迁移学习训练。上线发布的算法集成系统中，用户拍照获取的花卉照片可通过网络传输到云服务器，并在服务端部署的深度学习架构下实现花卉快速识别。针对ImageNet和网龙花卉数据集的实验对比结果表明，基于残差网络迁移学习的方法具有识别准确率高、实时反馈、鲁棒性好等特点。