改进聚类的深度神经网络压缩实现方法

深度神经网络通常是过参数化的,并且深度学习模型存在严重冗余,这导致了计算和存储的巨大浪费.针对这个问题,本文提出了一种基于改进聚类的方法来对深度神经网络进行压缩.首先通过剪枝策略对正常训练后的网络进行修剪,然后通过K-Means++聚类得到每层权重的聚类中心从而实现权值共享,最后进行各层权重的量化.本文在LeNet,AlexNet和VGG-16上分别进行了实验,提出的方法最终将深度神经网络整体压缩了30到40倍,并且没有精度损失.实验结果表明通过基于改进聚类的压缩方法,深度神经网络在不损失精度的条件下实现了有效压缩,这使得深度网络在移动端的部署成为了可能.     

基于梯度的深度网络剪枝算法

深度神经网络模型通常存在大量冗余的权重参数,计算深度网络模型需要占用大量的计算资源和存储空间,导致深度网络模型难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝(GDP)算法。GDP算法核心思想是以梯度作为评判权值重要性的依据。首先,通过自适应的方法找出阈值进行权值参数的筛选;然后,剔除那些小于阈值的梯度所对应的权值;最后,重新训练剪枝后的深度网络模型来恢复网络精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高了0.13个百分点,计算量下降了1.1个百分点,具有更优越的深度网络压缩与加速性能。     

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

基于梯度的自适应阈值结构化剪枝算法

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。     

卷积神经网络在掌纹识别中的性能评估

目的 掌纹识别技术作为一种新兴的生物特征识别技术越来越受到广泛重视。深度学习是近10年来人工智能领域取得的重要突破。但是,基于深度学习的掌纹识别相关研究还比较初步,尤其缺乏深入的分析和讨论,且已有的工作使用的都是比较简单的神经网络模型。为此,本文使用多种卷积神经网络对掌纹识别进行性能评估。方法 选取比较典型的8种卷积神经网络模型,在5个掌纹数据库上针对不同网络模型、学习率、网络层数、训练数据量等进行性能评估,展开实验,并与经典的传统掌纹识别方法进行比较。结果 在不同卷积神经网络识别性能评估方面,ResNet和DenseNet超越了其他网络,并在PolyU M_B库上实现了100%的识别率。针对不同学习率、网络层数、训练数据量的实验发现,5×10^-5为比较合适的识别率;网络层数并非越深越好,VGG-16与VGG-19的识别率相当,ResNet层数由18层逐渐增加到50层,识别率则逐渐降低;参与网络训练的数据量总体来说越多越好。对比传统的非深度学习方法,卷积神经网络在识别效果方面还存在一定差距。结论 实验结果表明,对于掌纹识别,卷积神经网络也能获得较好的识别效果,但由于训练数据量不充分等原因,与传统算法的识别性能还有差距。基于卷积神经网络的掌纹识别研究还需要进一步深入开展。     

轻量化航拍图像电力线语义分割

目的 电力线在航拍图像中的提取是智能巡检的重要研究内容,基于深度学习的图像语义分割模型在此领域的应用已有较好的效果。然而,图像训练集容量较小和预训练模型计算量过大是两个待解决的问题。方法 首先使用生成对抗网络模型结合圆锥曲线和色相扰动进行数据集增强,对3种不同的损失函数以及两个色彩空间所训练的U-Net网络模型进行对比,给出最优组合。然后提出了一种联合一阶泰勒展开和输出通道2范数的显著度指标,对上述完整模型使用改进的通道级参数正则化方法来稀疏化模型权重,并对稀疏模型进行网络剪枝和重训练以降低模型的计算量。最后,在判决阈值的选择上,使用自适应阈值替代固定值法以增强对亮度变化的鲁棒性。结果 实验结果表明,提出的灰度输入轻量化模型IoU（intersection-over-union）指标为0.459,但其参数量和计算量相当于IoU指标为0.573的可见光完整模型的0.03%和3.05%,且自适应阈值法在合适的光照变化范围内能达到该条件下最优阈值的相似结果。结论 验证了不同数据集增强方法、损失函数、输入色彩空间组合对模型收敛性能、训练速度和过拟合程度的影响,给出了各色彩空间内的最佳组合。同时,采用网络剪枝的方式极大降低了电力线语义分割网络的参数量和运算量,对网络模型的落地部署有积极的作用。     

面向嵌入式设备的深度学习物体检测优化算法

随着深度神经网络研究地不断深入,物体检测的精度和速率都在不断提升,但是随着网络层的加深,模型体积不断增大,计算代价也越来越高,无法满足神经网络直接在嵌入式设备上实现快速前向推理的需求.为了解决这个问题,本文针对嵌入式设备进行深度学习物体检测优化算法研究.首先,选择合适的物体检测算法框架和神经网络架构;然后在此基础上针对特定检测场景下采集的图片进行训练和模型剪枝;最后,对移植到嵌入式设备上的模型剪枝后的物体检测模型进行汇编指令优化.综合优化后,与原有网络模型相比,模型体积减小9.96%,速度加快8.82倍.     

面向轻量级深度伪造检测的无数据模型压缩

目的 尽管现有的深度伪造检测方法已在各大公开数据集上展现出了极佳的真伪鉴别性能,但考虑到运行过程中耗费的巨大内存占用和计算成本,如何实现此类模型的在线部署仍是一个具有挑战性的任务。对此,本文尝试利用无数据量化的方法开发轻量级的深度伪造检测器。方法 在保证准确率损失较少的前提下,对提前训练好的高精度深度伪造检测模型进行压缩处理,不再使用32 bit浮点数表示模型的权重参数与激活值,而是将其全部转化为低位宽的整型数值。此外,由于人脸数据涉及隐私保护问题,本文中所有的量化操作都是基于无数据场景完成的,即利用合成数据作为校准集来获取正确的激活值范围。这些数据经过不断优化迭代,完美匹配了存储在预训练模型各批归一化层中的统计信息,与原始训练数据具备非常相似的分布特征。结果 在两个经典的人脸伪造数据集FaceForensics++和Celeb-DF v2上,4种预先训练好的深度伪造检测模型ResNet50、Xception、EfficientNet-b3和MobileNetV2经过所提方法的量化压缩处理后,均能保持甚至超越原有的性能指标。即使当模型的权重和激活值被压缩为6 bit时,所得轻量级模型的最低检测准确率也能达到81%。结论 通过充分利用蕴含在深度伪造检测预训练模型中的有价值信息,本文提出了一种基于无数据模型压缩的轻量级人脸伪造检测器,该检测器能够准确高效地识别出可疑人脸样本的真实性,与此同时,检测所需的资源和时间成本大幅降低。     

面向“边缘”应用的卷积神经网络量化与压缩方法

针对卷积神经网络（CNN）推理计算所需内存空间和资源过大,限制了其在嵌入式等"边缘"设备上部署的问题,提出结合网络权重裁剪及面向嵌入式硬件平台数据类型的数据量化的神经网络压缩方法。首先,根据卷积神经网络各层权重的分布,采用阈值法对网络精确率影响较小的权重进行裁剪,保留网络中重要连接的同时除去冗余信息;其次,针对嵌入式平台的计算特性分析网络中权重及激活函数所需的数据位宽,采用动态定点量化方法减小权重数据的位宽;最后,对网络进行微调,在保障网络模型识别精度的前提下进一步压缩模型大小并降低计算消耗。实验结果表明,该方法降低了VGG-19网络95.4%的存储空间而精确率仅降低0.3个百分点,几乎实现无损压缩;同时,通过多个网络模型的验证,该方法在平均1.46个百分点精确率变化范围内,最大降低网络模型96.12%的存储空间,能够有效地压缩卷积神经网络。     

基于模型剪枝和半精度加速改进YOLOv3-tiny算法的实时司机违章行为检测

为解决在嵌入式设备上实时、高精度检测司机安全驾驶监督的问题,本文基于目标检测中经典的深度学习神经网络YOLOv3-tiny,运用通道剪枝技术成功在目标检测任务中实现了模型压缩,在精度不变的情况下减少了改进后神经网络的计算总量和参数总数.并基于NVIDIA的推理框架TensorRT进行了模型层级融合和半精度加速,部署加速后的模型.实验结果表明,加速模型的推理速度约为原模型的2倍,参数体积缩小一半,精度无损失,实现了高精度下实时检测的目的.     

基于Octave卷积的混合精度神经网络量化方法

浮点数位宽的深度神经网络需要大量的运算资源,这导致大型深度神经网络难以在低算力场景（如边缘计算）上部署。为解决这一问题,提出一种即插即用的神经网络量化方法,以压缩大型神经网络的运算成本,并保持模型性能指标不显著下降。首先,基于Octave卷积将输入特征图的高频和低频成分进行分离;其次,分别对高低频分量应用不同位宽的卷积核进行卷积运算;第三,使用不同位宽的激活函数将高低频卷积结果量化至相应位宽;最后,混合不同精度的特征图来获得该层卷积结果。实验结果证实了所提方法压缩模型的有效性,在CIFAR-10/100数据集上,将模型压缩至1+8位宽时,该方法可保持准确率指标的下降小于3个百分点;在ImageNet数据集上,使用该方法将ResNet50模型压缩至1+4位宽时,其正确率指标仍高于70%。     

基于Xception改进的卷积神经网络服装分类算法

针对服装图像分类模型的参数量过大, 时间复杂度过高和服装分类准确度不高等问题. 提出了一种利用网络剪枝方法和网络稀疏约束, 减少卷积神经网络Xception中从卷积层到全连接层的冗余参数, 增加网络的稀疏性和随机性, 减轻过拟合现象, 在保证不影响精度的前提下尽可能降低模型的时间复杂度和计算复杂度. 此外在卷积层引入了注意力机制SE-Net模块, 提升了服装图像分类的准确率. 在DeepFashion数据集上的实验结果表明, 使用网络剪枝方法缩减的网络模型在空间复杂度上和时间复杂度上均有所降低, 服装图像分类准确率和运行效率与VGG-16, ResNet-50和Xception模型相比均有所提升, 使得模型对设备的要求更低, 深度卷积神经网络在移动端、嵌入式设备中使用成为可能, 在实际服装领域的电商平台的应用中有比较高的使用价值.     

深度神经网络的仿生矩阵约简与量化方法

基于生物学原理的深度神经网络（DNN）的发展给人工智能领域带来了革命性的突破,然而当前神经网络的发展却越来越脱离生物学原理,DNN越来越臃肿的模型对存储空间和计算力的需求越来越高,并且对于DNN在嵌入式/移动端设备上的部署带来了阻碍。针对这一问题,对生物学进化选择原理进行研究,并提出一种基于“进化”+“随机”+“选择”的全新神经网络算法。该方法在保持现有神经网络模型的基本框架的前提下,能极大简化现有模型的大小。首先对权值参数进行聚类,然后在参数的聚类质心值的基础上添加随机微扰进行参数重构,最后通过对重构模型进行图像分类和目标检测来实现准确度测试以及模型稳定性分析。在ImageNet数据集和COCO数据集上的实验结果表明,提出的模型重构方法在对图像分类和目标检测的测试准确度提升1%~3%的情况下,仍可将Darknet19、ResNet18、ResNet50以及YOLOv3等四种重构模型的体量压缩到原来的1/4~1/3,并还有进一步简化的可能。     

基于阿当姆斯捷径连接的深度神经网络模型压缩方法

深度神经网络已经在各类计算机视觉任务中取得了很大的成功,可网络结构设计仍缺乏指导性的准则.大量的理论和经验证据表明,神经网络的深度是它们成功的关键,而深度神经网络的可训练性仍是待解决的问题.将微分方程数值解法——阿当姆斯(Adams)法用于深度神经网络的权重学习,提出一种基于阿当姆斯法的捷径连接(shortcut connection)方式,可提高网络后期的学习精度,压缩模型的规模,使模型变得更有效.尤其对网络层数较少的深度神经网络的可训练性优化效果更明显.以经典的ResNet为例,比较了使用基于Adams法的捷径连接方式的Adams-ResNet与源模型在Cifar10上的性能表现,所提方法在提高识别正确率的同时将源模型的参数量压缩至一半.     

基于ZYNQ平台的YOLOv3压缩和加速

高精度物体检测网络急剧增加的参数和计算量使得它们很难在车辆和无人机等端侧设备上直接部署使用。针对这一问题,从网络压缩和计算加速两方面入手,提出了一种面向残差网络的新型压缩方案来实现YOLOv3的压缩,并通过ZYNQ平台对这一压缩后的网络进行加速。首先,提出了包括网络裁剪和网络量化两方面的网络压缩算法。网络裁剪方面,给出了针对残差结构的裁剪策略来将网络剪枝分为通道剪枝和残差链剪枝两个粒度,解决了通道剪枝无法应对残差连接的局限性,进一步降低了模型的参数量;网络量化方面,实现了一种基于相对熵的模拟量化方法,以通道为单位对参数进行量化,在线统计模型的参数分布与参数量化造成的信息损失,从而辅助选择最优量化策略来减少量化过程的精度损失。然后,在ZYNQ平台上设计并改进了8比特的卷积加速模块,从而优化了片上缓存结构并结合Winograd算法实现了压缩后YOLOv3的加速。实验结果表明,所提压缩算法较YOLOv3 tiny能够进一步降低模型尺寸,但检测精度提升了7个百分点;同时ZYNQ平台上的硬件加速方法获得了比其他平台更高的能耗比,从而推进了YOLOv3以及其他残差网络在ZYNQ端侧的实际部署。     

深度神经网络的仿生矩阵约简与量化方法

基于生物学原理的深度神经网络（DNN）的发展给人工智能领域带来了革命性的突破，然而当前神经网络的发展却越来越脱离生物学原理，DNN越来越臃肿的模型对存储空间和计算力的需求越来越高，并且对于DNN在嵌入式/移动端设备上的部署带来了阻碍。针对这一问题，对生物学进化选择原理进行研究，并提出一种基于“进化”+“随机”+“选择”的全新神经网络算法。该方法在保持现有神经网络模型的基本框架的前提下，能极大简化现有模型的大小。首先对权值参数进行聚类，然后在参数的聚类质心值的基础上添加随机微扰进行参数重构，最后通过对重构模型进行图像分类和目标检测来实现准确度测试以及模型稳定性分析。在ImageNet数据集和COCO数据集上的实验结果表明，提出的模型重构方法在对图像分类和目标检测的测试准确度提升1%~3%的情况下，仍可将Darknet19、ResNet18、ResNet50以及YOLOv3等四种重构模型的体量压缩到原来的1/4~1/3，并还有进一步简化的可能。     

Research on Transfer Learning Methods for Classification of Typhoon Cloud Image

Aiming at the complexity of traditional methods for feature extraction about satellite cloud images, and the difficulty of developing deep convolutional neural network from scratch, a parameter-based transfer learning method for classifying typhoon intensity is proposed. Take typhoon satellite cloud images published by Japan Meteorological Agency, which includes 10 000 scenes among nearly 40 years to construct training and test typhoon datasets. Three deep convolutional neural networks, VGG16, InceptionV3 and ResNet50 are trained as source models on the large-scale ImageNet datasets. Considering the discrepancy between low-level features and high-level semantic features of typhoon cloud images, adapt the optimal number of transferable layers in neural networks and freeze weights of low-level network. Meanwhile, fine-tune surplus weights on typhoon dataset adaptively. Finally, a transferred prediction model which is suitable for small sample typhoon datasets, called T-typCNNs is proposed. Experimental results show that the T-typCNNs can achieve training accuracy of 95.081% and testing accuracy of 91.134%, 18.571% higher than using shallow convolutional neural network, 9.819% higher than training with source models from scratch.