基于模型剪枝的神经网络压缩技术研究

尽管神经网络在各个领域都取得了长足的进步,但是在移动设备上的应用却受限于巨大模型所需要的计算能力以及存储空间。神经网络剪枝技术可以使训练后的网络参数减少,减少存储需求,提高计算效率。最近一些研究基于权重的绝对值(L1范数)进行剪枝,可以在不损失过多精度的情况下有效地压缩模型。本文在此基础上结合了权重的变化程度进行迭代剪枝,能够对网络模型进一步压缩。文章提出的重要性评估方法分别在结构化与非结构化剪枝策略中在全连接网络以及卷积网络进行了实验,结果表明均优于仅依靠权重绝对值的剪枝方法。     

自学习稀疏密集连接卷积神经网络图像分类方法

通道剪枝是深度模型压缩的主要方法之一。针对密集连接卷积神经网络中,每一层都接收其前部所有卷积层的输出特征图作为输入,但并非每个后部层都需要所有先前层的特征,网络中存在很大冗余的缺点。本文提出一种自学习剪枝密集连接网络中冗余通道的方法,得到稀疏密集连接卷积神经网络。首先,提出了一种衡量每个卷积层中每个输入特征图对输出特征图贡献度大小的方法,贡献度小的输入特征图即为冗余特征图;其次,介绍了通过自学习,网络分阶段剪枝冗余通道的训练过程,得到了稀疏密集连接卷积神经网络,该网络剪枝了密集连接网络中的冗余通道,减少了网络参数,降低了存储和计算量;最后,为了验证本文方法的有效性,在图像分类数据集CIFAR-10/100上进行了实验,在不牺牲准确率的前提下减小了模型冗余。      

基于改进样本驱动的高光谱矿物识别模型压缩方法

针对机载成像高光谱遥感仪器获得的大批量高光谱数据很难实现高效快速的矿物信息提取和识别的问题,提出了一种基于改进样本驱动的高光谱矿物识别模型压缩方法,对神经网络中的冗余神经元进行剪枝,从而获取高效的矿物识别模型。首先,以验证数据集中的正确识别样本为数据驱动,计算各神经元经激活函数后的输出零值频率,并将其作为该神经元重要性判据,探讨各神经元对神经网络正确识别样本的贡献;其次,通过设置重要性阈值对冗余神经元进行剪枝,并对剪枝网络进行再训练,在保留原网络正确识别特性的基础上,提升压缩模型识别精度;最终通过多次迭代剪枝获得高效的压缩矿物识别模型。利用基于改进样本驱动的模型压缩方法对基于多层感知机的矿物识别模型进行压缩改进,并以美国内华达州Cuprite矿区的机载可见光/红外成像光谱仪的高光谱数据作为测试数据,获得了压缩比3.33、矿物识别精度94.35%的高效矿物识别模型。     

基于语义融合的域内相似性分组行人重识别

无监督跨域行人重识别旨在使有标签源域数据集上训练的模型适应目标域数据集。然而,基于聚类的无监督跨域行人重识别算法在网络特征学习过程中常因输入行人图片情况各异而产生噪声,从而影响聚类效果。针对这一问题,提出一种基于语义融合的域内相似性分组行人重识别网络,首先在Baseline网络的基础上添加语义融合层,依次从空间和通道2个方面对中间特征图进行相似特征的语义融合,从而提升网络的自适应感知能力。此外,通过充分利用域内相似性细粒度信息,进而提高网络对全局和局部特征的聚类精准度。通过在DukeMTMC-ReID、Market1501和MSMT17这3个公开数据集上进行实验,结果表明,所提算法的均值平均精度（m AP）和Rank识别准确率与近年无监督跨域行人重识别算法相比有显著提升。     

基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于深度残差网络模型压缩的局部遮挡人脸识别

尽管卷积神经网络使遮挡人脸识别效果有所改善,但随着性能的提高会造成结构复杂、网络参数增加、耗时长的问题。针对此问题,提出一种基于深度残差网络模型压缩的局部遮挡人脸识别方法。首先,采用多任务级联卷积神经网络(MTCNN)对人脸图像进行预处理;其次,选择残差网络作为主体网络,以残差块的卷积层为基本单位,通过结构化剪枝修剪卷积层滤波器,实现对深度残差网络模型压缩的同时移除滤波器输出的特征映射;最后,学习掩码特征去除遮挡损坏的特征元素对人脸进行识别。实验结果表明在准确率影响不大的情况下,网络参数量减少,识别速度有明显的提升。     

基于迭代剪枝VGGNet的火星图像分类

VGGNet能提供高精度的火星图像分类，但需消耗大量内存资源。鉴于器载计算机内存资源有限，为解决这一矛盾，本文提出了基于迭代剪枝VGGNet的火星图像分类方法。首先，采用迁移学习训练网络的连通性，以便评估神经元的重要性；其次，通过迭代剪枝方法修剪不重要的神经元，以便将全连接层的参数量和内存占用量减少；最后，采用K-means++聚类实现权重参数的量化，利用霍夫曼编码压缩迭代剪枝与量化后的VGGNet权重参数，达到减少存储量和浮点数运算量的作用。此外，通过5种数据增强方法进行数据扩充，目的是解决类别不平衡的问题。实验结果表明，压缩后的VGGNet模型的所占内存、Flops和准确率分别为62.63 Mb、150.6 MFlops和96.15%。与ShuffleNet、MobileNet和EfficientNet等轻量级图像分类算法相比，所提模型具有更好的性能。     

基于迁移学习的软件缺陷预测

传统软件缺陷预测方法在解决跨项目缺陷预测过程中适应能力不足,主要是因为源项目和目标项目之间存在不同的特征分布.为了解决这个问题,提出一种新的加权贝叶斯迁移学习算法,算法首先收集训练数据和测试数据的特征信息,然后计算特征差异,将不同项目数据之间差异转化为训练数据权重,最后基于这些权重数据建立预测模型.在8个开源项目数据集上进行实验比较,实验结果表明与其他方法相比本文方法显著提高跨项目缺陷预测性能.     

基于YOLOv3-SPP的遥感图像目标检测压缩模型

近年来，卷积神经网络模型已被广泛应用于遥感图像目标检测任务中，但自然场景图像与遥感图像的目标特性存在差异，针对自然场景设计的模型往往难以在遥感图像任务中取得良好的效果。同时，很多遥感图像处理任务需要在星载、机载等资源有限的平台中进行，难以部署参数量、计算量大的复杂模型。针对以上问题，本文对在自然场景中性能优异的YOLOv3-SPP模型进行适应性改进及参数压缩。首先，对原始的L1范数剪枝算法进行改进，提出基于L1范数和均值差的加权剪枝算法，能够更好地保留重要的通道。其次，对剪枝后的子网集合进行快速评估，选取评估结果最好的子网进行微调。在预训练和微调阶段，本文将SPP模块中的最大池化层替换为softmax加权池化层，着重突出深层网络中权重较大的特征，提高了模型的检测精度。本文在多个公开遥感数据集上进行实验，结果表明改进的YOLOv3-SPP模型在遥感目标检测任务上具有更好的性能，同时本文的剪枝算法可以在相同的参数压缩比例条件下，降低模型的性能损失。     

基于加权非负矩阵分解的链接预测算法

本文针对在线微博，首先，基于带权动态链接预测特征集合，以用户社会关系因子约束目标函数，从用户概要和用户发布内容两个维度利用非负矩阵分解方法预测社会网络中链接的存在性和方向性.然后，在真实的数据集上验证了提出框架的有效性，并通过实验进一步证明了特征权重和时间信息在链接预测问题中的重要性.     

基于可解释机器学习的神经网络软剪枝策略

软剪枝是重要的神经网络剪枝策略，但该策略通常只考虑滤波器参数大小或参数矩阵在空间的分布，忽略了参数编码的语义信息，忽略了滤波器参数与数据的紧密联系。为此，提出一种基于可解释机器学习的神经网络软剪枝策略，该策略通过结合可解释机器学习方法，分析滤波器对数据内容理解的重要程度，以该重要程度为指标进行滤波器的排序和剪枝。实验结果表明，该策略在VGG、ResNet模型、CIFAR10通用数据集上均取得了较好的剪枝效果，并具有可解释性，可充分挖掘滤波器参数与图像信息之间的相关性分布。     

融合子空间共享特征的多尺度跨模态行人重识别方法

跨模态行人重识别(Re-ID)是智能监控系统所面临的一项具有很大挑战的问题,现有的跨模态研究方法中主要基于全局或局部学习表示有区别的模态共享特征。然而,很少有研究尝试融合全局与局部的特征表示。该文提出一种新的多粒度共享特征融合(MSFF)网络,该网络结合了全局和局部特征来学习两种模态的不同粒度表示,从骨干网络中提取多尺度、多层次的特征,全局特征表示的粗粒度信息与局部特征表示的细粒度信息相互协同,形成更具有区别度的特征描述符。此外,为使网络能够提取更有效的共享特征,该文还针对网络中的两种模态的嵌入模式提出了子空间共享特征模块的改进方法,改变传统模态特征权重的特征嵌入方式。将该模块提前放入骨干网络中,使两种模态的各自特征映射到同一子空间中,经过骨干网络产生更丰富的共享权值。在两个公共数据集实验结果证明了所提方法的有效性,SYSU-MM01数据集最困难全搜索单镜头模式下平均精度mAP达到了60.62%。     

融合上下文信息图卷积的中文短文本分类方法

针对中文短文本特征提取存在语义特征稀疏的问题,为了弥补图卷积网络不能捕捉长距离上下文关联性的不足,引入双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM),提出BERT BGCN短文本分类模型.首先利用BERT对文本信息进行字符级编码作为图节点的特征值,其次通过全局共享的点互信息(Pointwise Mutual Information,PMI)关系作为节点间的边为每个文档构建一个单独的文本图,再次,聚合图卷积网络和BiLSTM的输出形成融合上下文信息的特征矩阵并输入到下一层的图卷积网络,最后输出到全连接层得到最终分类结果.本模型在3个中文短文本数据集与其他多个基线模型进行比较,实验结果表明,本模型在准确率方面优于其他基线模型.     

基于域鉴别网络和域自适应的行人重识别

针对行人重识别无监督跨域迁移问题,提出一种 基于域鉴别网络和域自适应的行人重识别算法。首先,使用改 进ResNet-50训练监督域鉴别网络模型,加入共享空间组件得到特征 不变属性,用于区分类间图像,并基 于对比损失和差异损失来提高模型的分类性能。其次,利用域自适应无监督迁移方法由源域 数据集导出特 征不变属性,并应用到未标记的目标域数据集上。最后,匹配查询图像和共享空间中的图库 图像执行跨域 行人重识别。为验证算法有效性,在CUHK03、Market-1501和DukeMTMC-reID数据集上进行了实验,算法 在Rank-1准确度分别达到34.1%、38.1%和28.3%,在mAP分别达到34.2%、17. 1%和17.5%,最后还验证了 模型各个组件在训练阶段的必要性。结果表明本文算法在大规模数据集上的性能优于现有的 一些无监督行人重识别方法,甚至接近于某些传统监督学习方法的性能。     

基于双通道生成对抗网络的镜片缺陷数据增强

针对小样本条件下深度学习缺陷检测算法识别率较低的问题,提出一种基于双通道生成对抗网络的数据增强方法.由全局鉴别层和局部鉴别层两通道组成生成对抗网络,其中局部鉴别器可以增加缺陷类型的置信度损失,实现对局部信息的增强.采用所提方法在镜片缺陷图像数据集上进行实验.实验结果表明,所提方法的最近邻留一指标、最大均值差异和Wasserstein距离分别达到0.52、0.15和2.81;对于麻点、划痕、气泡和异物的缺陷类型图像,生成的图像质量优于条件生成对抗网络、Wasserstein距离生成对抗网络和马尔科夫判别器.双通道生成对抗网络生成的镜片图像有着多样性的全局信息和高质量的细节特征,可以有效增强镜片缺陷数据集.     

基于双通道深度密集特征融合的遥感影像分类

为了提高遥感图像场景分类中特征有效利用率,进而提高遥感影像分类精度,采用基于双通道深度密集特征融合的遥感影像分类方法,进行了理论分析和实验验证。首先通过构建复合密集网络模型, 分别提取图像卷积层特征和全连接层特征;然后为挖掘、利用图像深层信息,通过视觉词袋模型将提取的深层卷积层特征进行重组编码,捕获图像深层局部特征;最后采用线性加权方式将局部和全局特征融合、分类。结果表明,选用数据集UC Merced Land-Use和NWPU-RESISC45进行实验,取得的分类精度分别为93.81%和92.62%。该方法充分利用局部特征和全局特征的互补性,能实现图像深层信息的充分利用和表达。     

基于改进宽度模型迁移学习的不同负载下滚动轴承状态快速分类方法

针对深度学习网络训练耗时以及不同负载下滚动轴承的源域数据和目标域数据分布差异较大的问题,该文提出一种基于改进宽度模型迁移学习的滚动轴承状态快速分类方法。该方法首先对不同负载下滚动轴承振动信号进行快速傅里叶变换,构建频域幅值序列数据集,并选取某种或某些负载数据集作为源域,其他负载数据集作为目标域;其次以循环扩展的方式建立宽度学习系统(BLS)的增强节点窗口,并在增强层引入Maxout激活函数构建改进的BLS网络,同时引入遗传算法优化网络节点结构,建立基于源域数据的预训练模型;最后将预训练模型的网络参数、特征层和增强层的权重参数迁移至目标域网络,并利用少量目标域样本微调网络建立状态分类模型。实验结果表明,所提方法平均训练时间为32.6 s,平均测试准确率为98.9%。对比其他方法,所提方法可以在更短的时间内建立分类模型并获得良好的分类准确率。     

模型剪枝与低精度量化融合的DNN模型压缩算法

拥有庞大参数量的网络模型很难部署在智能手机、可穿戴智能设备等资源受限的移动设备上。从深度神经网络模型的基本原理出发，在现有压缩算法的基础上，采用优化剪枝策略与参数量化的方法相融合，提出了一种结果导向的数据驱动剪枝算法，利用低精度的量化算法来进一步压缩模型。使用VGGNet作为原始模型，在Kaggle猫狗图像和Oxford102植物样本集上进行微调。实验数据表明，使用本实验改进的方法，模型压缩的存储容量下降到113.1 MB，识别率提高到86.74%。     

基于改进YOLOv4的无人机影像路面病害检测方法

针对无人机影像下由于目标特征融合不充分导致的路面病害检测精度较低、检测模型较大,导致无法将其迁移到移动端运行,以及现有无人机路面病害检测数据集数量小且样本不均衡等问题,在YOLOv4模型的基础上做了以下改进：采用深度可分离卷积(DC)作为YOLOv4中卷积方式以减少模型计算的参数量;为了更好地利用各通道之间的有效信息引入了Squeeze-and-Excitation(SE)模块,按照每个通道的重要性分配不同的权重,有效利用通道间的信息;通过引入自适应空间特征融合(Adaptively Spatial Feature Fusian, ASFF)模块,充分学习高低层之间的特征信息,自适应地学习各尺度特征映射融合的空间权重,解决由于YOLOv4中特征金字塔网络(Feature Pyramid Network, FPN)和路径聚合网络(Path Aggregation Network, PANet)特征融合不充分问题;使用Focal Loss损失函数进行训练,解决了现有无人机路面病害检测数据集各种样本之间类别不均衡造成的部分检测结果精度较低的问题;通过自制数据集以及现场实验对所提方法进行验证。...     

跨域注意力特征融合的说话人确认方法

针对目前说话人确认系统中前端特征的语音信号样点间结构信息缺失问题，提出了跨域注意力特征融合的说话人确认方法。首先，提出了一种基于图信号处理的图频域特征提取方法来有效利用语音信号的结构信息，将语音信号帧的每个样点作为图节点，构建语音图信号，通过图傅里叶变换以及滤波器组提取图频域特征。其次，提出了一种由残差模块与挤压-激励模块构成的注意力特征融合网络，对传统时频域特征与图频域特征进行跨域融合，来提升说话人确认系统的性能。最后，在Vox Celeb、SITW和CN-Celeb数据集上进行实验。实验结果表明，所提方法在等错误率以及最小检测代价函数的评价指标上，优于基线模型ECAPA-TDNN。