轻量化卷积神经网络技术研究

为了使卷积神经网络模型更好地应用于移动端和嵌入式设备，必须从减少模型参数量和降低计算复杂度两方面入手。首先简要介绍了目前几种流行的解决方法，并详细阐述了六个轻量化卷积神经网络模型，展示了其中应用的不同网络计算方式的计算量和参数量，论述了模型的核心构建模块、整体网络结构和创新之处。分析了各网络以及常规卷积网络在ImageNet数据集上的分类准确度，进而对比各网络实现轻量化的技巧，得出在进行模型设计时采用直接指标替代间接指标的结论。同时发现了残差结构对保证轻量化模型准确率的重要性。最后对轻量化卷积神经网络的发展前景进行了展望。     

面向移动端的轻量化卷积神经网络结构

随着移动设备的大量普及,将卷积神经网络应用于移动设备具有极大的实用价值。虽然随着技术的发展,目前移动设备的计算能力和存储资源都有了极大的提高,但是在移动设备上运行卷积神经网络仍然具有很大的挑战。为了解决这个问题,提出了一种轻量化的卷积神经网络结构S-MobileNet。该结构可以显著地减少网络模型的参数量以及降低模型的计算复杂度。为了全面评测S-MobileNet的性能,在CIFAR-10、CIFAR-100和ImageNet等图像分类数据集上进行了相关实验。实验结果表明,所提出的网络结构在保持MobileNetV2同等准确度的前提下,网络模型的参数量较MobileNetV2减少了近1/3,计算复杂度较MobileNetV2降低了近40%。     

轻量化沥青路面裂缝图像分割网络PIPNet

裂缝分割是对路面病害损坏程度评估的重要前提,为平衡深度神经网络分割的有效性与实时性,提出一种基于U-Net编码-解码结构的轻量化沥青路面裂缝图像分割网络PIPNet(Parallel dilated convolution of Inverted Pyramid Network)。编码部分为倒金字塔结构,提出了具有不同空洞率的多分支并行空洞卷积模块,结合深度可分离卷积和普通卷积,逐级减少并行卷积的个数,对表层、中层及底层特征提取多尺度信息并降低模型复杂度;同时借鉴GhostNet特点,设计了逆残差轻量化模块,嵌入并行双池化注意力。在GAPs384数据集上的测试结果表明,PIPNet在参数量(Params)和计算量(MFLOPs)仅为ResNet50编码近1/6的情况下,平均交并比(mIoU)提高了1.10个百分点,且较轻量化GhostNet和SegNet分别高出4.14与9.95个百分点。实验结果表明,PIPNet在降低模型复杂度的同时,有着较好的裂缝分割性能,且对不同路面裂缝图像分割适应性良好。     

面向图像目标识别的轻量化卷积神经网络

传统图像目标识别模型通常使用结构复杂、层数更深的神经网络以提升其在计算机视觉领域的准确率,但该类模型存在对计算机算力要求过高、占用内存较大、无法部署在手机等小型计算机上的问题。提出一种轻量化卷积神经网络ConcatNet,采用特征拼接的方式,通过多支路并行将通道注意力机制与深度可分离卷积相结合,在增强有效特征权重的基础上,降低模型的参数量和复杂度,实现网络的轻量化。在网络输出阶段,采用先筛选再混洗的方式提高模型的识别精度。利用全局平均池化和全局随机池化提取中间特征图的信息,其中全局平均池化可以较好地保留背景信息,全局随机池化按概率值选取特征,具有较强的泛化性,两者相结合能够减少信息的丢失。在CIFAR-10、CIFAR-100等数据集上的实验结果表明,与MobileNetV2等轻量化神经网络相比,ConcatNet网络在保持Top-1和Top-5精度相当的情况下,将参数量和计算复杂度均降低了约50%,极大降低了对承载设备的要求。     

降低参数规模的卷积神经网络模型压缩方法

针对卷积神经网络模型参数规模越来越大导致难以在计算与存储资源有限的嵌入式设备上大规模部署的问题,提出一种降低参数规模的卷积神经网络模型压缩方法。通过分析发现,卷积层参数量与输入输出特征图数量以及卷积核大小有关,而全连接层参数数量众多且难以大幅减少。通过分组卷积减少输入输出特征图数量,通过卷积拆分减小卷积核大小,同时采用全局平均池化层代替全连接层的方法来解决全连接层参数数量众多的问题。将上述方法应用于LeNet5和AlexNet进行实验,实验结果表明通过使用组合压缩方法对LeNet5模型进行最大压缩后,参数规模可减少97%,识别准确率降低了不到2个百分点,而压缩后的AlexNet模型参数规模可减少95%,识别准确率提高了6.72个百分点,在保证卷积神经网络精度的前提下,可大幅减少模型的参数量。     

改进的轻量型网络在图像识别上的应用

针对卷积神经网络在图像识别任务上模型复杂度大、参数量多,首先提出了一种轻量化的SepNet网络结构,该结构在分类器模块上采用克罗内克积替换了传统的全连接层.为进一步优化网络结构,在特征提取模块均衡网络深度、宽度,设计了一个利用深度可分离卷积和残差网络的可分离残差模块,最终形成了一个能实现端到端训练的轻量化网络架构,称为...     

应用改进卷积神经网络的网络安全态势预测方法

针对神经网络态势预测模型训练复杂度高的问题，提出了一种基于改进卷积神经网络的态势预测方法。结合深度可分离卷积与分解卷积技术的优点，提出了一种基于复合卷积结构的改进型卷积神经网络安全态势预测模型，实现了态势要素和态势值的映射。实验仿真结果证明，相比于已有的典型预测方法，该方法明显降低了复杂度，减少了预测时间，并提升了预测准确率。     

基于轻量级金字塔网络的种子分选方法研究

针对目前卷积神经网络种子分选方法存在识别精度不高、模型参数量大、推理速度慢且难于部署等问题,提出了基于轻量级金字塔空洞卷积网络的种子分选方法;该网络提出了残差空间金字塔模块,利用不同扩张率的空洞卷积扩大感受野,更有效地提取多尺度特征;再结合深度可分离卷积技术减少模型参数量和计算复杂度;在网络结构中引入轻量级注意力机制模块,利用局部跨通道交互方式关注重要的信息,提高种子关键特征提取能力;实验结果表明,提出网络参数量仅为0.13 M,在玉米和红芸豆数据集上准确率高达96.00%和97.38%,在NVIDIA Quadro板卡上识别单张图片时间仅为4.51 ms,均优于主流轻量级网络MobileNetv2、Shufflenetv2和PPLC-Net等,可以满足工业现场实时识别的要求。     

融合空洞卷积的轻量化目标检测

为了轻量化模型,便于移动端设备的嵌入,对YOLOv4网络进行了改进.首先,用MobileNetV3作为主干网络,并使用深度可分离卷积替换加强特征提取网络的普通卷积,降低模型参数量;其次,在104×104特征图输出时融合空洞率为2的空洞卷积,与52×52的特征层进行特征融合,获取更多的语义信息和位置信息,细化特征提取能力,提升模型对极小目标的检测性能;最后,将原来的池化层使用3个5×5的Maxpool进行串联,减少计算量,提升检测速度.实验结果表明,在华为云2020数据集上,改进算法的mAP比YM算法提高了2.33%,在公共数据集VOC07+12上, mAP提高了3.12%, FPS比原来的YOLOv4算法提高了一倍多,参数量降低至原来的18%,证明了改进算法的有效性.     

图像分类的深度卷积神经网络模型综述

图像分类是计算机视觉中的一项重要任务,传统的图像分类方法具有一定的局限性。随着人工智能技术的发展,深度学习技术越来越成熟,利用深度卷积神经网络对图像进行分类成为研究热点,图像分类的深度卷积神经网络结构越来越多样,其性能远远好于传统的图像分类方法。本文立足于图像分类的深度卷积神经网络模型结构,根据模型发展和模型优化的历程,将深度卷积神经网络分为经典深度卷积神经网络模型、注意力机制深度卷积神经网络模型、轻量级深度卷积神经网络模型和神经网络架构搜索模型等4类,并对各类深度卷积神经网络模型结构的构造方法和特点进行了全面综述,对各类分类模型的性能进行了对比与分析。虽然深度卷积神经网络模型的结构设计越来越精妙,模型优化的方法越来越强大,图像分类准确率在不断刷新的同时,模型的参数量也在逐渐降低,训练和推理速度不断加快。然而深度卷积神经网络模型仍有一定的局限性,本文给出了存在的问题和未来可能的研究方向,即深度卷积神经网络模型主要以有监督学习方式进行图像分类,受到数据集质量和规模的限制,无监督式学习和半监督学习方式的深度卷积神经网络模型将是未来的重点研究方向之一;深度卷积神经网络模型的速度和资源消耗仍不尽人意,应用于移动式设备具有一定的挑战性;模型的优化方法以及衡量模型优劣的度量方法有待深入研究;人工设计深度卷积神经网络结构耗时耗力,神经架构搜索方法将是未来深度卷积神经网络模型设计的发展方向。     

一种并行不对称空洞卷积模块

构建卷积神经网络要耗费大量的人力资源,且训练过程中需要消耗大量的算力资源.利用空洞卷积代替卷积神经网络中的池化操作,能有效增加感受野,降低运算复杂度,但是空洞卷积会带来空间层次和信息连续性的丢失.本文提出了一种并行不对称空洞卷积模块,该模块能够补全空洞卷积所丢失的信息,可以嵌入到现有的卷积神经网络中,代替3×3卷积进行网络训练,从而加速网络的收敛,提高网络的性能.实验结果表明,利用本文所提出的并行不对称空洞卷积模块,可以显著提高不同网络在CIFAR-10等数据集上的分类效果.     

基于组注意力卷积和特征重建的轻量分割算法

针对卷积神经网络的庞大参数量和计算量难以应用于移动设备或嵌入式设备的问题,提出冗余特征重建模块(redundant feature reconstruction,RFR)和组注意力卷积模块(group attention convolution,GAC),RFR模块使用较少的参数量提取重要的固有特征,通过线性算子重建冗...     

基于轻量级网络的实时人脸识别算法研究

为了在嵌入式和移动设备上实现高精度的实时人脸识别,对常见的网络在人脸识别方面的优缺点进行了分析,提出了一种高效的深度卷积神经网络模型Lightfacenet。在网络中结合深度可分离卷积、逐点卷积、瓶颈结构和挤压与激励结构提出了轻量化神经网络单元,使网络在保证有一定准确率的情况下有效地解决深层的神经网络带来的参数冗余和计算量大的问题,再通过改进的非线性激活函数进一步提高网络的准确性。该神经网络在保留卷积神经网络部分优点的同时也很好地平衡了网络的缺点。在同样的实验环境下,Lightfacenet网络既实现了非常高的识别精度,也在模型推理速度上达到实时的效果。在使用MS-Celeb-1M数据集训练后,该模型在LFW数据集上达到了99.50%的准确率,其效果已经可以与现在的大型卷积神经网络媲美。对于面部识别,Lightfacenet比目前最先进的移动卷积神经网络在保证准确率的情况下提高了效率。     

基于特征图切分的轻量级卷积神经网络

卷积神经网络模型所需的存储容量和计算资源远超出移动和嵌入式设备的承载量,因此文中提出轻量级卷积神经网络架构(SFNet).SFNet架构引入切分模块的概念,通过将网络的输出特征图进行“切分”处理,每个特征图片段分别输送给不同大小的卷积核进行卷积运算,将运算得到的特征图拼接后由大小为1×1的卷积核进行通道融合.实验表明,相比目前通用的轻量级卷积神经网络,在卷积核数目及输入特征图通道数相同时,SFNet的参数和计算量更少,分类正确率更高.相比标准卷积,在网络复杂度大幅降低的情况下,切分模块的分类正确率持平甚至更高.     

轻量型多路特征融合人体姿态估计

基于深度学习的人体姿态估计广泛应用于姿态识别、人机交互等领域. 为了提升人体关键点的检测精度, 很多网络采用运算量、参数量和复杂度不断增加的模型架构, 导致无法直接部署到低算力设备. 为了解决上述问题, 本文提出了一种多路特征注意力融合的轻量型方法. 模型基于HigherHRNet网络进行轻量化设计和训练, 包括: 采用通道拆分和通道混洗, 解决分组卷积后特征层之间存在的信息隔离; 采用线性运算的特征生成方法, 解决不同特征层之间存在的冗余性; 采用融合注意力信息的方法, 缓解因轻量化导致的准确率下降. 在MS COCO数据集上完成了模型的训练、测试、可视化以及消融实验. 实验结果表明本文的轻量化方法在保证直观的检测精度前提下, 能够显著降低人体姿态估计的计算量.     

改进CBAM的轻量级注意力模型

近几年注意力模型在计算机视觉领域取得了广泛的应用,通过在卷积神经网络中加入注意力模型,网络的性能可以显著提升。然而大多数现有的方法都专注于开发更复杂的注意力模型,以使卷积神经网络获得更强的特征表达能力,但这也不可避免地增加了模型的复杂性。为了在性能和复杂度间取得平衡,对CBAM模型进行优化提出了轻量级的EAM（Efficient Attention Module）模型。针对CBAM的通道注意力模块,引入一维卷积替代全连接层来聚合各通道间的信息;对于CBAM的空间注意力模块,将大卷积核替换为空洞卷积来增加感受野以聚合更广的空间上下文信息。将该模型融入YOLOv4后在VOC2012数据集上进行测试,mAP提高3.48个百分点。实验结果表明,该注意力模型只引入较小的参数量,网络性能可获得较大提升。     

基于轻量级卷积神经网络的人脸检测算法

针对人脸检测在移动端应用时面临的移动设备计算能力及存储资源受限等问题,设计一种基于轻量级卷积神经网络的改进人脸检测算法Lightweight-SSH。基于单点无头人脸检测器（SSH）人脸检测算法,采用基于MobileNet的轻量级卷积神经网络对样本数据进行特征提取,减少模型的参数量和计算量,通过在SSH网络的检测模块中引入可变形卷积层,提升卷积神经网络对人脸形变的建模能力。在Wider Face数据集上的实验结果表明,与常用人脸检测算法相比,Lightweight-SSH算法在保证检测精度的前提下,明显降低模型复杂度,并提高了模型检测速度。     

基于改进MobileNet网络的人脸表情识别

针对轻量级卷积神经网络MobileNet应用于人脸表情识别实时性较差、最小输入尺寸较大、准确率不高等问题,提出一种改进的MobileNet网络模型——M-MobileNet(Modified MobileNet)。M-MobileNet具有比原网络更好的轻量级特性。该网络模型基于一种改进的深度可分离卷积层,不仅具有MobileNet模型中深度可分离卷积减少卷积计算量的特点,还解决了在深度卷积层后可能会导致信息丢失的问题。在分类器选择上,M-MobileNet使用线性支持向量机(SVM)进行人脸表情分类,参数量较MobileNet网络大大减少。在CK+、KDEF数据集及移动端上的实验证明,改进后的MobileNet网络模型具有更好的识别性能。