融合改进通道和层剪枝的口罩人脸检测

针对实际场景中目标检测算法部署算力缺乏和资源不足的问题,提出了一种基于改进通道和层剪枝的模型剪枝方法,通过设置自适应局部安全阈值以改进通道剪枝,同时通过综合评价整个残差结构值的方法进行层剪枝,并将模型剪枝方法用于口罩人脸检测.首先采用基于人脸的数据扩增方法构建口罩人脸检测数据集并使用该数据集训练YOLOv4目标检测网络...     

融合剪枝与量化的目标检测网络压缩方法

针对目标检测网络参数量冗余、模型复杂、推理速度缓慢以及难以部署在资源受限的嵌入式设备等问题,提出一种融合剪枝与量化的目标检测网络压缩方法。首先对目标检测网络模型进行稀疏化训练得到缩放因子,并根据缩放因子的分布计算卷积层中通道重要性的占比,根据缩放因子计算动态阈值将对网络模型贡献小的卷积层剪除。然后通过均匀映射的方式将32位浮点型数据量化成8位整型数据,减少网络计算量的同时压缩网络模型的大小。最后采用YOLO系列目标检测网络对行人与车辆数据集、Hands数据集和VOC2012数据集进行压缩方法验证。实验表明,目标检测网络经过动态阈值剪枝和均匀映射量化后在精度损失4%的前提下,将网络模型从234 MB压缩至10 MB以内,检测速度提升5倍,有效解决了部署应用难的问题。     

基于迁移学习的卷积神经网络通道剪枝

卷积神经网络在计算机视觉等多个领域应用广泛,然而其模型参数量众多、计算开销庞大,导致许多边缘设备无法满足其存储与计算资源要求。针对其边缘部署困难,提出使用迁移学习策略改进基于BN层缩放因子通道剪枝方法的稀疏化过程。本文对比不同层级迁移方案对稀疏化效果与通道剪枝选取容限的影响;并基于网络结构搜索观点设计实验,探究其精度保持极限与迭代结构的收敛性。实验结果表明,对比原模型,采用迁移学习的通道剪枝算法,在精度损失不超过0.10的前提下,参数量减少89.1%,模型存储大小压缩89.3%;对比原剪枝方法,将剪枝阈值从0.85提升到0.97,进一步减少参数42.6%。实验证明,引入迁移策略更易实现充分的稀疏化,提高通道剪枝阈值选取容限,实现更高压缩率;并在迭代剪枝的网络结构搜索过程中,提供更高效的搜索起点,利于快速迭代趋近至搜索空间的一个网络结构局部最优解。     

基于SlimYOLOv3的工业场景目标检测算法

基于人工设计特征的检测算法检测速度普遍较慢,检测精度也有待提高,已无法满足现今工业生产中的需求.而基于深度学习的检测技术,因其需要大量的计算和存储空间无法在资源受限的设备上部署使用.针对这些问题,引用一种通道剪枝方法实现YOLOv3检测网络的轻量化,得到剪枝模型SlimYOLOv3,并进一步提出将SlimYOLOv3用于工业场景下的实时检测任务.方法通过对通道缩放因子施加L1正则化来增强卷积层的通道级稀疏性,并对信息量较小的特征通道进行剪枝,最终获得轻量级的网络模型.与原模型相比,SlimYOLOv3剪枝模型减小了60％,计算量减少了50％,检测速度是原模型的1.7倍,更适于智能工业场景中复杂目标的实时检测.     

基于自适应分层阈值判断的神经网络模型压缩

面对多样化的应用环境,卷积神经网络（CNN）的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存。分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能。实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02~1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题。     

基于敏感度的YOLO网络集成剪枝算法

深层卷积神经网络所需的计算量和存储空间严重制约了其在资源有限平台上的应用与部署。针对基于单一参数重要性评价或者特征重建的剪枝算法泛化能力较差的问题,提出基于敏感度的集成剪枝算法,利用BN层的缩放因子稀疏YOLO网络中卷积核个数较多的冗余层,结合3种参数重要性评价方法对卷积核做重要性排序,并根据敏感度确定每一层的剪枝比率。实验结果表明,该剪枝算法对于YOLOv3和YOLOv3-tiny网络分别缩减80.5%和92.6%的参数量,并且相比基于网络轻量化方法的剪枝算法提升了网络模型压缩后的检测精度和泛化能力。     

基于参数子空间和缩放因子的YOLO剪枝算法

为保证YOLO网络在嵌入式设备上正常运行,需采用剪枝算法精简滤波器以减小网络存储空间和计算量,而现有剪枝算法耗时较长且剪枝精度较低。提出一种基于参数子空间和批量归一化(BN)层缩放因子的双准则剪枝算法。将卷积层滤波器通过k均值聚类得到不同参数子空间,在子空间内使滤波器按权重排序并去除权重较低的滤波器,同时采用BN层缩放因子剪枝算法避免剪枝精度下降。实验结果表明,采用该算法剪枝后的YOLOv3网络在精度不变的情况下,占用的内存减少5/6且计算时间缩短1/3,与PF、CP等剪枝算法相比,该算法在保持较高网络精度的情况下计算量更少。     

YOLOv3剪枝模型的多人姿态估计

目的 为了解决复杂环境中多人姿态估计存在的定位和识别等问题,提高多人姿态估计的准确率,减少算法存在的大量冗余参数,提高姿态估计的运行速率,提出了基于批量归一化层（batch normalization,BN）通道剪枝的多人姿态估计算法（YOLOv3 prune pose estimator,YLPPE）。方法 以目标检测算法YOLOv3（you only look once v3）和堆叠沙漏网络（stacked hourglass network,SHN）算法为基础,通过重叠度K-means算法修改YOLOv3网络锚框以更适应行人目标检测,并训练得到Trimming-YOLOv3网络;利用批量归一化层的缩放因子对Trimming-YOLOv3网络进行循环迭代式通道剪枝,设置剪枝阈值与缩放因子,实现较为有效的模型剪枝效果,训练得到Trim-Prune-YOLOv3网络;为了结合单人姿态估计网络,重定义图像尺寸为256×256像素（非正方形图像通过补零实现）;再级联4个Hourglass子网络得到堆叠沙漏网络,从而提升整体姿态估计精度。结果 利用斯坦福大学的MPⅡ数据集（MPⅡ human pose dataset）进行实验验证,本文算法对姿态估计的准确率达到了83.9%;同时,时间复杂度为O（n²）,模型参数量与未剪枝原始YOLOv3相比下降42.9%。结论 结合YOLOv3剪枝算法的多人姿态估计方法可以有效减少复杂环境对人体姿态估计的负面影响,实现复杂环境下的多人姿态估计并提高估计精度,有效减少模型冗余参数,提高算法的整体运行速率,能够实现较为准确的多人姿态估计,并具有较好的鲁棒性和泛化能力。     

无锚框目标检测模型通道剪枝方法

针对无锚框目标检测模型主干网络参数冗杂度大、计算开销高以及检测速度慢等问题,提出双维度注意力引导的通道剪枝算法(CPDAM),以便对无锚框目标检测模型进行压缩。利用池化层和组归一化操作提升通道注意和空间注意子模块性能;采用通道分组策略融合改进后的通道注意和空间注意子模块,并经过不断训练,为每个通道生成一个尺度值用于表示该通道在分类任务上的重要程度;利用尺度值计算一个全局尺度值,并根据该值评估通道重要性对主干网络进行通道剪枝;在PASCAL VOC、ImageNet、CIFAR-100等常用数据集上对剪枝前后的无锚框目标检测模型进行实验验证,结果表明,在mAP仅损失0.6个百分点的前提下,剪枝前后的CenterNet-ResNet101参数量从6.995×10⁷减少至2.238×10⁷,FPS从27提升至46。     

基于GoogLeNet模型的剪枝算法

GoogLeNet包含多个并行的卷积层和池化层,极具表现力,但也导致其参数数量冗余和计算量大,解决该问题的根本途径是将网络稀疏化.剪枝算法通过训练网络、修剪低权重连接和再训练网络三步操作,只保留卷积层和完全连接层中的强相关连接,实现简化网络结构和参数数量的效果,获得近似的网络模型,不影响网络后验概率估计的准确性,达到压缩效果.传统计算方式不适合非均匀稀疏数据结构,所提出的阈值剪枝算法设定合适的阈值,将原始GoogLeNet模型中将近1040万参数减少到65万,大约压缩了16倍.原始网络在进行剪枝处理后,准确率会有所降低,但经过少数次迭代,网络的准确率与原始模型不相上下,达到了压缩模型的效果,验证了阈值剪枝算法对改进GoogLeNet模型训练过程的有效性.     

改进YOLOv3-SPP的无人机目标检测模型压缩方案

无人机设备算力低下,深度模型计算量过大不适合直接部署,航拍图像目标小并且密集,模型对目标识别分类效果也不佳。为了提高深度模型航拍目标检测的精度和速度,降低计算量。对YOLOv3-SPP模型进行改进,将GIoU代替平方和用作定位损失,提高定位精度。提出了一种数据集优化和数据增强方法。再针对特定类别按照权值进行采样处理均衡化类别数量。随机组合不同场景样本组成批训练,提高模型训练效率和检测鲁棒性。再对模型进行压缩,在BN层添加缩放因子进行稀疏训练和通道剪枝的基础上,通过缩放因子衡量模型残差层重要性,修剪不重要残差,进一步减小前向推理层数和参数。实验表明,模型参数量减小了95.7%,模型大小减小95.82%,同等算力下模型推理速度提高为原来3倍。且精度和速度均高于最新YOLOv5系列轻量模型。     

基于YOLOv5s剪枝模型的输电线路全景监测研究

随着人工智能技术的快速发展,基于深度学习的目标检测算法在诸多行业得到了应用。针对当前输电线路影像中典型障碍物目标识别对人工要求较高的问题,提出了基于YOLOv5模型剪枝的算法来对输电线路附近典型目标进行检测。首先,算法进行基础训练后得到一个检测精度和推理速度两种性能比较均衡的网络模型,再进行稀疏训练以获得参数较为稀疏的神经网络模型,最后,采取不同剪枝策略对网络进行修剪,达到压缩模型大小提高推理速度的目的。在自制数据集上使用多种算法进行对比试验,实验结果表明：相较于YOLOv4、CenterNet和SSD算法,所提算法在保持相对较高检测精度条件下提高了检测速度,能够满足实际需要。     

面向嵌入式设备的深度学习物体检测优化算法

随着深度神经网络研究地不断深入,物体检测的精度和速率都在不断提升,但是随着网络层的加深,模型体积不断增大,计算代价也越来越高,无法满足神经网络直接在嵌入式设备上实现快速前向推理的需求.为了解决这个问题,本文针对嵌入式设备进行深度学习物体检测优化算法研究.首先,选择合适的物体检测算法框架和神经网络架构;然后在此基础上针对特定检测场景下采集的图片进行训练和模型剪枝;最后,对移植到嵌入式设备上的模型剪枝后的物体检测模型进行汇编指令优化.综合优化后,与原有网络模型相比,模型体积减小9.96%,速度加快8.82倍.     

Probability-Based Channel Pruning for Depthwise Separable Convolutional Networks

Channel pruning can reduce memory consumption and running time with least performance damage, and is one of the most important techniques in network compression. However, existing channel pruning methods mainly focus on the pruning of standard convolutional networks, and they rely intensively on time-consuming fine-tuning to achieve the performance improvement. To this end, we present a novel efficient probability-based channel pruning method for depthwise separable convolutional networks. Our method leverages a new simple yet effective probability-based channel pruning criterion by taking the scaling and shifting factors of batch normalization layers into consideration. A novel shifting factor fusion technique is further developed to improve the performance of the pruned networks without requiring extra time-consuming fine-tuning. We apply the proposed method to five representative deep learning networks, namely MobileNetV1, MobileNetV2, ShuffleNetV1, ShuffleNetV2, and GhostNet, to demonstrate the efficiency of our pruning method. Extensive experimental results and comparisons on publicly available CIFAR10, CIFAR100, and ImageNet datasets validate the feasibility of the proposed method.     

基于梯度的自适应阈值结构化剪枝算法

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。