卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量,限制了其在嵌入式系统等资源受限设备上应用的问题,提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法,其核心思想是以均值和方差作为评判权值贡献度的依据。首先,以Lenet5为剪枝模型,网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器,而使用保留的滤波器重构下一层卷积层;然后,将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩,低维卷积层采取剪枝方法,而高维卷积层被分解为三个级联卷积层;最后,将压缩后的模型进行微调,使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明,所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%,同时在树莓派4B系统上达到1.4倍的前向计算加速,有助于深度CNN模型在资源受限的嵌入式设备上的部署。     

结合剪枝与流合并的卷积神经网络加速压缩方法

深度卷积神经网络因规模庞大、计算复杂而限制了其在实时要求高和资源受限环境下的应用,因此有必要对卷积神经网络现有的结构进行优化压缩和加速。为了解决这一问题,提出了一种结合剪枝、流合并的混合压缩方法。该方法通过不同角度去压缩模型,进一步降低了参数冗余和结构冗余所带来的内存消耗和时间消耗。首先,从模型的内部将每层中冗余的参数剪去;然后,从模型的结构上将非必要的层与重要的层进行流合并;最后,通过重新训练来恢复模型的精度。在MNIST数据集上的实验结果表明,提出的混合压缩方法在不降低模型精度前提下,将LeNet-5压缩到原来的1/20,运行速度提升了8倍。     

基于权重关联性的卷积神经网络模型剪枝方法

模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被移除,现有的方法并没有考虑这部分权重的重要性,忽略了权重关联性.同时,通过试错的方式来得到每层的剪枝比例,工作量较大.针对上述问题,本文提出一种基于权重关联性...     

基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

基于深度卷积神经网络的舰载机目标检测

针对航母甲板面舰载机密集易遮挡,舰载机目标难以检测,且检测效果易受光照条件和目标尺度影响的问题,提出了一种改进的更快的区域卷积神经网络(Faster R-CNN)舰载机目标检测方法。该方法设计了带排斥损失策略的损失函数,并结合多尺度训练,利用实验室条件下采集的图片对深度卷积神经网络进行训练并测试。测试实验显示,相对于原始Faster R-CNN检测模型,改进后的模型对遮挡舰载机目标具有良好的检测效果,召回率提高了7个百分点,精确率提高了6个百分点。实验结果表明,所提的改进方法能够自动全面地提取舰载机目标特征,解决了遮挡舰载机目标的检测问题,检测精度和速度均能够满足实际需要,且在不同的光照条件和目标尺度下适应性强,鲁棒性较高。     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能.提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器.在CIFAR-10、CIFAR-...     

基于迁移学习的卷积神经网络通道剪枝

卷积神经网络在计算机视觉等多个领域应用广泛,然而其模型参数量众多、计算开销庞大,导致许多边缘设备无法满足其存储与计算资源要求。针对其边缘部署困难,提出使用迁移学习策略改进基于BN层缩放因子通道剪枝方法的稀疏化过程。本文对比不同层级迁移方案对稀疏化效果与通道剪枝选取容限的影响;并基于网络结构搜索观点设计实验,探究其精度保持极限与迭代结构的收敛性。实验结果表明,对比原模型,采用迁移学习的通道剪枝算法,在精度损失不超过0.10的前提下,参数量减少89.1%,模型存储大小压缩89.3%;对比原剪枝方法,将剪枝阈值从0.85提升到0.97,进一步减少参数42.6%。实验证明,引入迁移策略更易实现充分的稀疏化,提高通道剪枝阈值选取容限,实现更高压缩率;并在迭代剪枝的网络结构搜索过程中,提供更高效的搜索起点,利于快速迭代趋近至搜索空间的一个网络结构局部最优解。     

改进矩阵分解与卷积神经网络结合的推荐模型

针对推荐系统评分数据稀疏和评价信息爆增等问题进行模型研究和改进。在传统矩阵分解模型基础上加入了用户和项目的影响因子，提高预测模型的泛化能力；建立跨通道卷积神经网络对用户评价信息进行识别，将改进的矩阵分解模型与改进卷积神经网络进行结合，提出一种改进矩阵分解与跨通道卷积神经网络结合的推荐模型，提高预测模型的准确度。实验结果表明，该模型预测性能相对于PMF、CTR和CDL在三个数据集上的最优性能分别提升2.96%、10.27%和1.77%，相对于MF&CNN性能分别提升0.29%、2.98%和0.08%；当数据密度从20%增至80%时，模型预测性能会进一步提升。     

基于通道剪枝和量化的卷积神经网络压缩方法

为提升辅助维修技术在实际工程应用中的性能,解决嵌入式设备性能有限,难以实现实时物体识别任务这一问题,以提高轻量级卷积神经网络在嵌入式平台中的识别速度为目标,提出一种基于通道剪枝和量化的综合卷积神经网络压缩方法.以MobileNet V3模型进行实验,其结果表明,该卷积神经网络压缩方法有效压缩了网络结构,在识别精度损失可接受的情况下,实现了目标物体在嵌入式平台上的实时识别.     

带比例因子的卷积神经网络压缩方法

针对卷积神经网络在图像分类任务中,分类准确率高但实时性差的问题。提出了一种含比例因子的“知识提取”算法。此方法在已有的“知识提取”算法上,加入了衡量样本类间相近关系的比例因子,充实了网络压缩手段,使得神经网络可以更精确地进行“知识提取”。其原理是将比例因子误差值作为代价函数的一部分参与训练调节神经网络的神经元参数,进而使得神经网络的泛化能力更加趋近于具有更好分类表现能力的压缩参考网络。结果表明,含比例因子的神经网络压缩算法可以更细致地刻画训练集的类间相近关系,拥有比原“知识提取”算法更好的训练性能,进而训练出泛化性能更强、精度更高的神经网络。实现了在网络分类准确率下降尽量小的前提下,较大程度地减少神经网络的分类耗时,以达到网络压缩的目的。     

基于联合动态剪枝的深度神经网络压缩算法

作为模型压缩的一个分支,网络剪枝算法通过移除深度神经网络中不重要的参数来降低计算消耗;然而,永久性的剪枝会导致模型容量不可逆转的损失.针对该问题,提出了一种联合动态剪枝的算法来综合分析卷积核与输入图像的特征.一方面,将部分卷积核置零,并允许其在训练过程中更新,直到网络收敛之后再永久性移除被置零的卷积核.另一方面,采样输...     

基于张量神经网络的音频多语义分类方法

音频特征向量已广泛应用于音频分类的研究,该表示形式虽能有效体现音频的固有特性,但无法表示音频信息多语义特性及各语义间的相关性。提出了基于张量统一内容定位（TUCL）的音频语义表征方式,将音频语义描述表示为三阶张量,并构建多语义张量空间。在此空间中,张量语义离散度（TSD）能有效聚集具有相同语义的音频资源,通过计算各音频资源的TSD来完成对音频资源的分类,并构建了RBF张量神经网络（RBFTNN）来自适应学习分类模型。实验结果表明,在多语义分类的情况下,TSD算法的分类性能明显优于当前典型的高斯混合模型（GMM）算法;通过与支持向量机（SVM）学习模型相比可知,基于TSD的RBFTNN模型分类学习的准确率明显优于基于TSD的SVM模型。     

基于阿当姆斯捷径连接的深度神经网络模型压缩方法

深度神经网络已经在各类计算机视觉任务中取得了很大的成功,可网络结构设计仍缺乏指导性的准则.大量的理论和经验证据表明,神经网络的深度是它们成功的关键,而深度神经网络的可训练性仍是待解决的问题.将微分方程数值解法——阿当姆斯(Adams)法用于深度神经网络的权重学习,提出一种基于阿当姆斯法的捷径连接(shortcut connection)方式,可提高网络后期的学习精度,压缩模型的规模,使模型变得更有效.尤其对网络层数较少的深度神经网络的可训练性优化效果更明显.以经典的ResNet为例,比较了使用基于Adams法的捷径连接方式的Adams-ResNet与源模型在Cifar10上的性能表现,所提方法在提高识别正确率的同时将源模型的参数量压缩至一半.     

基于字典学习的卷积神经网络压缩方法

为解决深度卷积神经网络模型占用存储空间较大的问题,提出一种基于K-SVD字典学习的卷积神经网络压缩方法。用字典中少数原子的线性组合来近似表示单个卷积核的参数,对原子的系数进行量化,存储卷积核参数时,只须存储原子的索引及其量化后的系数,达到模型压缩的目的。在MNIST数据集上对LeNet-C5和CIFAR-10数据集上对DenseNet的压缩实验结果表明,在准确率波动不足0.1%的情况下,将网络模型占用的存储空间降低至12%左右。     

一种基于模特征的增量式张量Tucker分解方法

随着数据量的爆炸式增长,边缘计算在大数据处理中的作用愈加重要.现实应用中产生的数据通常建模表示成高阶增量式张量的形式,增量式张量Tucker分解是一种高效挖掘高阶海量数据中隐藏信息的方法.针对传统增量式张量分解忽视张量模特征对分解过程的影响、分解结果不能较好保留原始数据特征的问题,提出一种基于模特征的增量式张量Tucker分解方法ITTDMC(incremental tensor tucker decomposition based on mode characteristics).首先,用模长增量决定增量因子矩阵更新顺序,以此降低更新顺序带来的重构误差;其次,根据模熵变化比决定增量因子矩阵更新权重,使分解结果更准确保留各模特征;然后,将过往时刻的模特征和更新参数记录在指导张量中,遇到模特征相似的增量数据时直接使用来指导张量中参数的更新,避免重复计算,降低时间开销;最后,在合成和真实数据集上进行大量的实验,实验结果表明ITTDMC在模特征明显的数据集上能显著降低(最高可达29%)增量式张量的重构误差.     

基于特征复用的卷积神经网络模型压缩方法

为了在不降低准确率的前提下，减小卷积神经网络模型的体积与计算量，提出一种基于特征复用的卷积神经网络压缩模块——特征复用单元（FR-unit）。首先，针对不同类型的卷积神经网络结构，提出不同的优化方法；然后，在对输入特征图进行卷积操作后，将输入特征与输出特征进行结合；最后，将结合后的特征传递给下一层。通过对低层特征的重复使用，使总的提取的特征数量不发生改变，以保证优化后的网络的准确率不会发生改变。在CIFAR10数据集上进行验证，实验结果表明，优化后的VGG模型体积缩小为优化前的75.4%，预测时间缩短为优化前的43.5%；优化后的Resnet模型体积缩小为优化前的53.1%，预测时间缩短为优化前的60.9%，且在测试集上的准确率均未降低。