卷积神经网络的压缩研究

尽管卷积神经网络(CNN)在计算机视觉、语音识别等领域取得了惊人的成绩,但过高的存储代价以及计算复杂度,严重制约了深度学习在嵌入式移动设备上的部署。因此,卷积神经网络的压缩和加速就变得尤为重要,当前常见的压缩方法有低秩近似、参数量化、剪枝与稀疏约束、二值网络等。本文详细介绍卷积神经网络的几种压缩方法并评估当前方法的特点与未来发展趋势。     

基于深度可分离卷积的苹果叶病理识别

本文以斑点落叶病等5种苹果叶病害为研究对象, 设计了一种基于深度可分离卷积的苹果叶病理识别方法. 该方法采用概率数据增强对原始数据集进行扩增, 使用迁移学习探索了深度可分离卷积神经网络在农作物病理识别中的应用: 设计了一种适用于受限设备的深度学习模型以实现对苹果叶病害的识别分类, 并将该模型进行压缩和转换, 移植到某嵌入式系统上进行了验证. 实验结果表明该方法在受限设备上的识别率最高仍可达85.96%, 具有较好的识别效果.     

基于深度学习的SAR目标识别DSP设计

SAR图像目标识别主要针对桥梁、机场等战略军事目标以及飞机、坦克、汽车等战术目标,进行精确的识别分类及定位,是SAR图像解译的重要一环。首先,构建C6678的卷积神经网络主要处理层,然后结合C6678的处理及存储特性,对卷积层和网络调度进行优化设计,完成了YOLOv3-TINY目标识别网络在C6678上的设计实现方法。该方法能够对常用卷积神经网络模型进行重构及修改,解决了C6678等多核DSP处理平台运行深度学习网络的难题。实验结果表明,该方法在检测性能上与GPU一致,考虑到机载SAR的实时图像帧率,虽然该方法在C6678的实时性能相对GPU还有较大差距,但其能够满足机载SAR实时处理需求。     

SAR图像港口船只的实时解析算法

SAR图像较大难以实时运行且船只目标较小难以被识别,为此一种压缩级联深层神经网络算法被提出以实现对众多船只目标的分割定位识别。构建3个不同的卷积神经网络实现特征提取,引入级联结构融合不同网络输出的特征图实现网络的轻量化,融合后的特征输入金字塔池化模块实现特征细化,分类并解析。在Google Earth图像数据集中的实验结果表明,多分支网络的级联有助于大尺寸图像中目标特征的分散提取,分级的模型压缩有助于提升识别速度。     

降低参数规模的卷积神经网络模型压缩方法

针对卷积神经网络模型参数规模越来越大导致难以在计算与存储资源有限的嵌入式设备上大规模部署的问题,提出一种降低参数规模的卷积神经网络模型压缩方法。通过分析发现,卷积层参数量与输入输出特征图数量以及卷积核大小有关,而全连接层参数数量众多且难以大幅减少。通过分组卷积减少输入输出特征图数量,通过卷积拆分减小卷积核大小,同时采用全局平均池化层代替全连接层的方法来解决全连接层参数数量众多的问题。将上述方法应用于LeNet5和AlexNet进行实验,实验结果表明通过使用组合压缩方法对LeNet5模型进行最大压缩后,参数规模可减少97%,识别准确率降低了不到2个百分点,而压缩后的AlexNet模型参数规模可减少95%,识别准确率提高了6.72个百分点,在保证卷积神经网络精度的前提下,可大幅减少模型的参数量。     

Emfacenet:一种轻量级人脸识别的卷积神经网络

随着计算机技术日益发展，计算机视觉逐渐融入人们的生活，深度卷积神经网络在计算机视觉领域得到了广泛的应用.然而计算资源和内存的限制，为卷积神经网络在嵌入式设备的部署带来了巨大的困难.本文提出了一种新的轻量级的人脸识别的卷积神经网络——Emfacenet,通过在CASIA-WebFace数据集上进行卷积神经网络的训练，并在计算机CPU平台以及嵌入式平台上利用LFW数据集对模型的预测效果分别进行测试，Emfacenet在CPU平台下识别速度分别是Resnet50、Mobilenetv3以及Mobilefacenets这3种模型的2.07倍、1.67倍、1.63倍，在嵌入式平台下识别速度分别56.65倍、2.09倍、3.41倍.而且Emfacenet卷积神经网络模型大小仅为138.1KB,保持较高精度的同时运行效率显著提高，可以适用于嵌入式等硬件资源受限领域来实现人脸识别.     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法.设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小.使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情...     

基于卷积神经网络的软硬触觉感知方法研究

智能机器手的应用已经遍布医疗、军工、农业及装配行业等领域.软硬作为物体的重要物理属性之一,对机器手的抓取控制物体有重大影响.在深度学习框架下,基于卷积神经网络提出了用于触觉感知的软硬物体的识别方法.使用薄膜压力传感器采集手指按压软硬物体的数据,建立训练和测试数据集,在Caffe中训练网络,以模拟触觉识别软硬物体.实验结果显示:对软硬物体的识别准确率达94.52%,表明,卷积神经网络对于识别软硬物体有比较好的分类效果.     

神经网络模型压缩方法综述

深度神经网络模型被广泛应用在图像分类、物体检测等机器视觉任务中,并取得了巨大成功。然而,由于存储空间和功耗的限制,神经网络模型在嵌入式设备上的存储与计算仍然是一个巨大的挑战。模型压缩作为一种有效的解决方法,受到了越来越多研究者的关注。首先针对卷积神经网络模型进行了研究,分析了模型中存在的冗余信息;随后对国内外学者在神经网络模型压缩方面的研究成果整理,从参数剪枝,权重共享和权重矩阵分解等方面总结了神经网络压缩的主要方法;最后针对神经网络模型发展现状及目前面临的若干主要问题进行了讨论,指出了下一步的研究方向。     

基于深度稀疏低秩分解的深度神经网络轻量化方法

基于嵌入式平台对深度神经网络轻量化的需求,结合模块化、逐层处理思想,以主流检测识别深度神经网络Faster RCNN轻量化为目标,设计基于深度稀疏低秩分解的轻量化方法.针对Faster RCNN网络架构特点,首先采用深度可分离卷积和稀疏低秩理论对Faster RCNN网络的特征提取主干网络部分进行初始轻量化;其次采用稀疏低秩裁剪对主干网络进行“逐层通道裁剪,逐层重训练,逐层调优”轻量化,采用张量Tensor-Train分解理论,对区域建议网络进行轻量化处理,尽可能保证低性能损失;再次对识别与分类网络进行稀疏低秩分解和通道裁剪,增加模型压缩倍数,减少所需要和所消耗计算资源;最后,基于感兴趣区域定位感知的RPN网络输入特征知识蒸馏,提升检测识别性能.数值实验表明,所提出方法可以实现模型压缩100倍,检测识别率仅下降5%.