深度神经网络压缩与加速综述

深度神经网络在人工智能的应用中,包括计算机视觉、语音识别、自然语言处理方面,取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储,阻碍了在资源有限环境下的使用,如移动或嵌入式设备端.为解决此问题,在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结,这些方法包括了参数剪枝、参数共享、低秩分解、紧性滤波设计及知识蒸馏．具体地,将概述一些经典深度神经网络模型,详细描述深度神经网络压缩与加速方法,并强调这些方法的特性及优缺点.此外,总结了深度神经网络压缩与加速的评测方法及广泛使用的数据集,同时讨论分析一些代表性方法的性能表现.最后,根据不同任务的需要,讨论了如何选择不同的压缩与加速方法,并对压缩与加速方法未来发展趋势进行展望.     

深度网络模型压缩综述

深度网络近年在计算机视觉任务上不断刷新传统模型的性能,已逐渐成为研究热点.深度模型尽管性能强大,然而由于参数数量庞大、存储和计算代价高,依然难以部署在受限的硬件平台上（如移动设备）.模型的参数一定程度上能表达其复杂性,相关研究表明并不是所有的参数都在模型中发挥作用,部分参数作用有限、表达冗余、甚至会降低模型的性能.本文首先对国内外学者在深度模型压缩上取得的成果进行了分类整理,依此归纳了基于网络剪枝、网络精馏和网络分解的方法;随后,总结了相关方法在多种公开深度模型上的压缩效果;最后,对未来研究可能的方向和挑战进行了展望.     

卷积神经网络压缩与加速技术研究进展

神经网络压缩技术的出现缓解了深度神经网络模型在资源受限设备中的应用难题,如移动端或嵌入式设备.但神经网络压缩技术在压缩处理的自动化、稀疏度与硬件部署之间的矛盾、避免压缩后模型重训练等方面存在困难.本文在回顾经典神经网络模型和现有神经网络压缩工具的基础上,总结参数剪枝、参数量化、低秩分解和知识蒸馏四类压缩方法的代表性压缩算法的优缺点,概述压缩方法的评测指标和常用数据集,并分析各种压缩方法在不同任务和硬件资源约束中的性能表现,展望神经网络压缩技术具有前景的研究方向.     

深度神经网络模型压缩方法综述

在过去十来年中,深度神经网络(DNN)在语音识别、图像识别等大量AI问题中取得了显著成功,在智能物联网等场景中得到了广泛应用.但由于深度神经网络模型具有计算量大、参数量大、存储成本高的特点,限制了其在硬件受限的嵌入式或移动设备上的应用.近年来,学界也提出了多种压缩技术来降低DNN模型的存储成本和计算需求,并在压缩的同时...     

基于聚类和生成对抗学习模型的滤波器剪枝

深度神经网络过深的网络架构和冗余的参数会导致昂贵的计算成本,近年来深度神经网络的压缩与加速已成为研究热点。针对现有方法的范数准则局限性以及标签依赖问题,提出一种基于聚类中心和生成对抗学习的结构化滤波器剪枝方法(FPCC-GAN):使用K-means聚类算法按卷积层将滤波器逐层聚类;比例化修剪各簇内离聚类中心较近的提取冗余特征的滤波器;使用生成对抗学习迭代训练。实验结果分析表明,与当前主流方法相比,该方法具有更高的准确率。     

语音识别中的Conformer模型压缩研究

针对使用Conformer模型的语音识别算法在实际应用时设备算力不足及资源缺乏的问题,提出一种基于Conformer模型间隔剪枝和参数量化相结合的模型压缩方法。实验显示,使用该方法压缩后,模型的实时率(real time factor, RTF)达到0.107614,较基线模型的推理速度提升了16.2%,而识别准确率只下降了1.79%,并且模型大小也由原来的207.91MB下降到72.69MB。该方法在模型准确率损失很小的情况下,较大程度地提升了模型的适用性。     

基于自适应分层阈值判断的神经网络模型压缩

面对多样化的应用环境,卷积神经网络（CNN）的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存。分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能。实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02~1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题。     

引入概率分布的深度神经网络贪婪剪枝

目的 深度学习在自动驾驶环境感知中的应用,将极大提升感知系统的精度和可靠性,但是现有的深度学习神经网络模型因其计算量和存储资源的需求难以部署在计算资源有限的自动驾驶嵌入式平台上。因此为解决应用深度神经网络所需的庞大计算量与嵌入式平台有限的计算能力之间的矛盾,提出了一种基于权重的概率分布的贪婪网络剪枝方法,旨在减少网络模型中的冗余连接,提高模型的计算效率。方法 引入权重的概率分布,在训练过程中记录权重参数中较小值出现的概率。在剪枝阶段,依据训练过程中统计的权重概率分布进行增量剪枝和网络修复,改善了目前仅以权重大小为依据的剪枝策略。结果 经实验验证,在Cifar10数据集上,在各个剪枝率下本文方法相比动态网络剪枝策略的准确率更高。在ImageNet数据集上,此方法在较小精度损失的情况下,有效地将AlexNet、VGG（visual geometry group）16的参数数量分别压缩了5.9倍和11.4倍,且所需的训练迭代次数相对于动态网络剪枝策略更少。另外对于残差类型网络ResNet34和ResNet50也可以进行有效的压缩,其中对于ResNet50网络,在精度损失增加较小的情况下,相比目前最优的方法HRank实现了更大的压缩率（2.1倍）。结论 基于概率分布的贪婪剪枝策略解决了深度神经网络剪枝的不确定性问题,进一步提高了模型压缩后网络的稳定性,在实现压缩网络模型参数数量的同时保证了模型的准确率。     

基于梯度的深度网络剪枝算法

深度神经网络模型通常存在大量冗余的权重参数,计算深度网络模型需要占用大量的计算资源和存储空间,导致深度网络模型难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝(GDP)算法。GDP算法核心思想是以梯度作为评判权值重要性的依据。首先,通过自适应的方法找出阈值进行权值参数的筛选;然后,剔除那些小于阈值的梯度所对应的权值;最后,重新训练剪枝后的深度网络模型来恢复网络精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高了0.13个百分点,计算量下降了1.1个百分点,具有更优越的深度网络压缩与加速性能。     

基于ZYNQ平台的YOLOv3压缩和加速

高精度物体检测网络急剧增加的参数和计算量使得它们很难在车辆和无人机等端侧设备上直接部署使用.针对这一问题,从网络压缩和计算加速两方面入手,提出了一种面向残差网络的新型压缩方案来实现YOLOv3的压缩,并通过ZYNQ平台对这一压缩后的网络进行加速.首先,提出了包括网络裁剪和网络量化两方面的网络压缩算法.网络裁剪方面,给出...     

改进聚类的深度神经网络压缩实现方法

深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K-Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG-16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.     

模型剪枝算法综述

模型剪枝算法利用不同的标准或方式对深度神经网络中冗余神经元进行裁剪,在不损失模型精度的情况下对模型进行最大程度的压缩,从而可以减少存储并提升速度。首先,对模型剪枝算法的研究现状与主要研究方向进行总结并归类。主要研究方向包括剪枝的尺度、剪枝元素重要性评估的方法、剪枝的稀疏度、剪枝的理论基础及对于不同任务的剪枝等方面。然后对近年来具有代表性的剪枝算法进行详细描述。最后对此领域的研究提出未来展望。     

一种基于信息瓶颈的神经网络混合压缩方法

如何在计算能力和存储能力有限的移动或嵌入式设备中部署神经网络是神经网络发展过程中必须面对的一个问题。为了压缩模型大小和减轻计算压力,提出了一种基于信息瓶颈理论的神经网络混合压缩方案。以信息瓶颈理论为基础,找到相邻神经网络层之间冗余信息,并以此为基础修剪冗余的神经元,然后对剩余的神经元进行三值量化,从而进一步减少模型存储所需内存。实验结果表明,在MNIST和CIFAR-10数据集上与同类算法对比,所提方法具有更高的压缩率和更低的计算量。     

面向移动端的目标检测优化研究

为适应移动智能时代对实时目标检测的需求,人们针对面向移动端的目标检测优化问题提出了众多解决思路。其优化思路可归纳为轻量化网络设计和模型压缩两类：一类是基于手工设计或自动化机器学习（AutoML）手段,在网络设计之初就采用轻量化卷积设计构建轻量化网络;另一类是借助张量分解、模型剪枝、参数量化等压缩手段,调整现有的目标检测模型来优化检测性能。考虑到优化方法的发展规律不尽相同且彼此之间有所关联,分别采取了不同的分析角度和对比维度。从市场角度剖析了国内面向移动端的目标检测产业化现状,并对其优化研究的潜在问题和发展方向进行了总结与展望。     

基于改进YOLOv5的轻量化航空目标检测方法

为解决硬件平台资源受限条件下的实时航空目标检测需求,在基于改进YOLOv5的基础上,提出了一种针对移动端设备/边缘计算的轻量化航空目标检测方法。首先以MobileNetv3为基础搭建特征提取网络,设计通道注意力增强结构MNtECA (MobileNetv3 with Efficient Channel Attention)提高特征提取能力;其次在深度可分离卷积层增加1×1的卷积,在减少卷积结构参数的同时提高网络的拟合能力;最后对检测网络进行迭代通道剪枝实现模型压缩和加速。实验选取DIOR (Object Detection in Optical Remote Sensing Images)数据集进行训练和测试,并在嵌入式平台(NVIDIA Jetson Xavier NX)对轻量级模型进行推理验证。结果表明,所提出的轻量级模型大幅降低了参数和计算量,同时具有较高精度,实现了移动端设备/边缘计算的实时航空目标检测。     

基于联邦强化学习的分布式模型剪枝

联邦学习系统中,在资源受限的边缘端进行本地模型训练存在一定的挑战.计算、存储、能耗等方面的限制时刻影响着模型规模及效果.传统的联邦剪枝方法在联邦训练过程中对模型进行剪裁,但仍存在无法根据模型所处环境自适应修剪以及移除一些重要参数导致模型性能下降的情况.本文提出基于联邦强化学习的分布式模型剪枝方法以解决此问题.首先,将模型剪枝过程抽象化,建立马尔可夫决策过程,使用DQN算法构建通用强化剪枝模型,动态调整剪枝率,提高模型的泛化性能.其次设计针对稀疏模型的聚合方法,辅助强化泛化剪枝方法,更好地优化模型结构,降低模型的复杂度.最后,在多个公开数据集上将本方法与不同基线方法进行比较.实验结果表明,本文所提出的方法在保持模型效果的同时减少模型复杂度.