基于神经网络结构搜索的卷积神经网络剪枝与压缩方法

随着深度神经网络在人工智能领域的广泛应用,其模型参数也越来越庞大,神经网络剪枝就是用于在资源有限设备上部署深度神经网络。该文通过新的优化策略-加速近端梯度（APG）、轻量级网络设计、非结构化剪枝和神经网络结构搜索（NAS）等手段相结合,实现对目标分类和目标检测等常见卷积神经网络模型的压缩剪枝,实验表明压缩剪枝后模型准确率不变,参数量下降91.1%,计算量下降84.0%。最后将压缩剪枝后模型的推断过程在嵌入式架构中实现,为深度学习在边缘端设备平台上的实现奠定了基础。     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量,限制了其在嵌入式系统等资源受限设备上应用的问题,提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法,其核心思想是以均值和方差作为评判权值贡献度的依据。首先,以Lenet5为剪枝模型,网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器,而使用保留的滤波器重构下一层卷积层;然后,将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩,低维卷积层采取剪枝方法,而高维卷积层被分解为三个级联卷积层;最后,将压缩后的模型进行微调,使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明,所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%,同时在树莓派4B系统上达到1.4倍的前向计算加速,有助于深度CNN模型在资源受限的嵌入式设备上的部署。     

卷积神经网络模型剪枝结合张量分解压缩方法

针对卷积神经网络（CNN）拥有巨大的参数量及计算量，限制了其在嵌入式系统等资源受限设备上应用的问题，提出了基于统计量的网络剪枝结合张量分解的神经网络压缩方法，其核心思想是以均值和方差作为评判权值贡献度的依据。首先，以Lenet5为剪枝模型，网络各卷积层的均值和方差分布以聚类方式分离出提取特征较弱的滤波器，而使用保留的滤波器重构下一层卷积层；然后，将剪枝方法结合张量分解对更快的区域卷积神经网络（Faster RCNN）进行压缩，低维卷积层采取剪枝方法，而高维卷积层被分解为三个级联卷积层；最后，将压缩后的模型进行微调，使其在训练集上重新达到收敛状态。在PASCAL VOC测试集上的实验结果表明，所提方法降低了Faster RCNN模型54%的存储空间而精确率仅下降了0.58%，同时在树莓派4B系统上达到1.4倍的前向计算加速，有助于深度CNN模型在资源受限的嵌入式设备上的部署。     

基于权重关联性的卷积神经网络模型剪枝方法

模型剪枝是深度学习领域对模型进行压缩加速的一种有效方法.目前结构化的剪枝方法仅对整个过滤器的权重进行评估,但当一个过滤器被移除后,依赖过滤器而存在的关联权重也会被移除,现有的方法并没有考虑这部分权重的重要性,忽略了权重关联性.同时,通过试错的方式来得到每层的剪枝比例,工作量较大.针对上述问题,本文提出一种基于权重关联性...     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能.提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器.在CIFAR-10、CIFAR-...     

卷积神经网络算法模型的压缩与加速算法比较

随着深度学习网络的不断发展,卷积神经网络在图像识别与处理领域的正确率已达到甚至超越人类水平。但是,越来越复杂的网络结构导致庞大的计算模型体积和计算量,不利于模型的移植利用。基于此,分别介绍了网络压缩加速的典型方法并进行比较,在保证算法准确率损失最少的前提下,尽可能使算法具有可移植性,充分体现卷积神经网络算法的应用价值。     

基于统计分析的卷积神经网络模型压缩方法

针对卷积神经网络中卷积层参数冗余,运算效率低的问题,从卷积神经网络训练过程中参数的统计特性出发,提出了一种基于统计分析裁剪卷积核的卷积神经网络模型压缩方法,在保证卷积神经网络处理信息能力的前提下,通过裁剪卷积层中对整个模型影响较小的卷积核对已训练好的卷积神经网络模型进行压缩,在尽可能不损失模型准确率的情况下减少卷积神经网络的参数,降低运算量.通过实验,证明了本文提出的方法能够有效地对卷积神经网络模型进行压缩.     

基于通道剪枝和量化的卷积神经网络压缩方法

为提升辅助维修技术在实际工程应用中的性能,解决嵌入式设备性能有限,难以实现实时物体识别任务这一问题,以提高轻量级卷积神经网络在嵌入式平台中的识别速度为目标,提出一种基于通道剪枝和量化的综合卷积神经网络压缩方法.以MobileNet V3模型进行实验,其结果表明,该卷积神经网络压缩方法有效压缩了网络结构,在识别精度损失可接受的情况下,实现了目标物体在嵌入式平台上的实时识别.     

基于联合动态剪枝的深度神经网络压缩算法

作为模型压缩的一个分支,网络剪枝算法通过移除深度神经网络中不重要的参数来降低计算消耗;然而,永久性的剪枝会导致模型容量不可逆转的损失.针对该问题,提出了一种联合动态剪枝的算法来综合分析卷积核与输入图像的特征.一方面,将部分卷积核置零,并允许其在训练过程中更新,直到网络收敛之后再永久性移除被置零的卷积核.另一方面,采样输...     

用于肺炎图像分类的优化卷积神经网络方法

目前,卷积神经网络（CNN）开始应用在肺炎分类领域。针对层数较浅、结构较为简单的卷积网络对肺炎识别的准确率难以提高的情况,采用深度学习方法,并针对采用深度学习方法时常常需要消耗大量的系统资源,导致卷积网络难以在用户端部署的问题,提出一种使用优化的卷积神经网络的分类方法。首先,根据肺炎图像的特征,选择具有良好图像分类性能的AlexNet与InceptionV3模型;然后,利用医学影像特点对层次更深、结构更加复杂的InceptionV3模型进行预训练;最后,通过知识蒸馏的方法,将训练好的"知识"（有效信息）提取到AlexNet模型中,从而实现在减少系统资源占用的同时,提高准确率的效果。实验数据表明,使用知识蒸馏后,AlexNet模型的准确率、特异性与灵敏度分别提高了4.1、7.45、1.97个百分点,且对图像处理器（GPU）占用相比InceptionV3模型减小了51个百分点。     

基于FPGA的卷积神经网络定点加速

针对卷积神经网络（CNN）在资源受限的硬件设备上运行功耗高及运行慢的问题,提出一种基于现场可编程门阵列（FPGA）的CNN定点计算加速方法。首先提出一种定点化方法,并且每层卷积设计不同的尺度参数,使用相对散度确定位宽的长度,以减小CNN参数的存储空间,而且研究不同量化区间对CNN精度的影响;其次,设计参数复用方法及流水线计算方法来加速卷积计算。为验证CNN定点化后的加速效果,采用了人脸和船舶两个数据集进行验证。结果表明,相较于传统的浮点卷积计算,所提方法在保证CNN精度损失很小的前提下,当权值参数和输入特征图参数量化到7-bit时,在人脸识别CNN模型上的压缩后的权重参数文件大小约为原来的22%,卷积计算加速比为18.69,同时使FPGA中的乘加器的利用率达94.5%。实验结果表明了该方法可以提高卷积计算速度,并且能够高效利用FPGA硬件资源。     

结合语义扩展和卷积神经网络的中文短文本分类方法

中文新闻标题通常包含一个或几十个词,由于字符数少、特征稀疏,在分类问题中难以提升正确率。为解决此问题,提出了基于Word Embedding的文本语义扩展方法。首先,将新闻标题扩展为（标题、副标题、主题词）构成的三元组,用标题的同义词结合词性过滤方法构造副标题,对多尺度滑动窗口内的词进行语义组合,提取主题词;然后,针对扩展文本构造卷积神经网络（CNN）分类模型,该模型通过max pooling及随机dropout进行特征过滤及防止过拟合;最后,将标题、副标题拼接为双词表示,与多主题词集分别作为模型的输入。在2017自然语言处理与中文计算评测（NLP&CC2017）的新闻标题分类数据集上进行实验。实验结果表明,用三元组扩展结合相应的CNN模型在18个类别新闻标题上分类的正确率为79.42%,比未经扩展的CNN模型提高了9.5%,且主题词扩展加快了模型的收敛速度,验证了三元组扩展方法及所构建CNN分类模型的有效性。     

卷积神经网络研究综述

近年来,卷积神经网络在图像分类、目标检测、图像语义分割等领域取得了一系列突破性的研究成果,其强大的特征学习与分类能力引起了广泛的关注,具有重要的分析与研究价值。首先回顾了卷积神经网络的发展历史,介绍了卷积神经网络的基本结构和运行原理,重点针对网络过拟合、网络结构、迁移学习、原理分析四个方面对卷积神经网络在近期的研究进行了归纳与分析,总结并讨论了基于卷积神经网络的相关应用领域取得的最新研究成果,最后指出了卷积神经网络目前存在的不足以及未来的发展方向。     

改进的卷积神经网络行人检测方法

为了在行人检测任务中使卷积神经网络（CNN）选择出更优模型并获得定位更准确的检测框,提出一种改进的基于卷积神经网络的行人检测方法。改进主要涉及两个方面：如何决定CNN样本迭代学习次数和如何进行重合窗口的合并。首先,关于CNN样本迭代次序问题,在顺序迭代训练多个CNN分类模型的基础上,提出一种基于校验集正确率及其在迭代系列分类器中展现出的稳定性进行更优模型选择的策略,以使最终选择的分类器推广能力更优。其次,提出了一种不同于非极大值抑制（NMS）的多个精确定位回归框合并机制。精确定位回归框的获取以CNN检测过程输出的粗定位框作为输入。然后,对每个粗定位框应用CNN精确定位过程并获得对应的精确定位回归框。最后,对多个精确定位回归框进行合并,合并过程考虑了每个精确定位回归框的正确概率。更精确地说,最终的合并窗口是基于多个相关的精确定位回归框的概率加权求和方式获得。针对提出的两个改进,在国际上广泛使用的行人检测公共测试数据集ETH上进行了一系列实验。实验结果表明,所提的两个改进方法均能有效地提高系统的检测性能,在相同的测试条件下,融合两个改进的方法相比Fast R-CNN算法检测性能提升了5.06个百分点。     

基于特征复用的卷积神经网络模型压缩方法

为了在不降低准确率的前提下，减小卷积神经网络模型的体积与计算量，提出一种基于特征复用的卷积神经网络压缩模块——特征复用单元（FR-unit）。首先，针对不同类型的卷积神经网络结构，提出不同的优化方法；然后，在对输入特征图进行卷积操作后，将输入特征与输出特征进行结合；最后，将结合后的特征传递给下一层。通过对低层特征的重复使用，使总的提取的特征数量不发生改变，以保证优化后的网络的准确率不会发生改变。在CIFAR10数据集上进行验证，实验结果表明，优化后的VGG模型体积缩小为优化前的75.4%，预测时间缩短为优化前的43.5%；优化后的Resnet模型体积缩小为优化前的53.1%，预测时间缩短为优化前的60.9%，且在测试集上的准确率均未降低。     

基于卷积神经网络框架的回声隐藏检测方法

回声隐藏是一种以音频为载体的隐写技术,目前针对回声隐藏的隐写分析方法主要以倒谱系数作为手工特征进行分类。然而,这些传统方法普遍在回声幅度较低时检测性能不高。针对回声幅度较低的情况,提出一种基于卷积神经网络（CNN）的回声隐藏隐写分析方法。首先利用短时傅里叶变换（STFT）提取音频的幅度谱系数矩阵作为浅层特征,然后设计了一个卷积神经网络框架对浅层特征进行进一步的深度特征提取,网络框架中包含了四个卷积模块以及三层全连接层,最后分类结果以Softmax进行输出。在三种经典的回声隐藏算法上对提出的方法进行了隐写分析实验评估,实验结果表明,该方法在低回声幅度条件下的检测率分别为98.62%、98.53%和93.20%,与目前所提出的传统基于手工特征的方法和基于深度学习的方法相比,检测性能提升10%以上。     

基于双微阵列与卷积神经网络的语音识别方法

为解决噪声环境下语音识别率降低以及传统波束形成算法难以处理空间噪声的问题,基于双微阵列结构提出了一种改进的最小方差无畸变响应（MVDR）波束形成方法。首先,采用对角加载提高双微阵列增益,并利用递归矩阵求逆降低计算复杂度;然后,通过后置调制域谱减法对语音作进一步处理,解决了一般谱减法容易产生音乐噪声的问题,有效减小了语音畸变,获得了良好的噪声抑制效果;最后,采用卷积神经网络（CNN）进行语音模型的训练,提取语音深层次的特征,有效地解决了语音信号多样性问题。实验结果表明,提出的方法在经CNN训练的语音识别系统模型中取得了较好的识别效果,在信噪比为10 dB的F16噪声环境下的语音识别率达到了92.3%,具有良好的稳健性。