基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。     

基于彩票假设的软剪枝算法

神经网络层数的不断增加使网络复杂度也呈指数级上升,导致应用场景受到限制。提出一种基于彩票假设的软剪枝算法实现网络加速。通过使用前一阶段的剪枝网络对其进行知识蒸馏来补偿的方法恢复错误参数,并在知识蒸馏的损失函数中加入稀疏约束来保持稀疏性。在此基础上,将当前阶段得到的剪枝网络与知识蒸馏得到的学生网络进行融合。在进行网络融合时,计算剪枝网络与学生网络的相似性,并通过设计特定的融合公式来突出相近的网络参数和抑制相离的网络参数,使得网络在剪枝率提高后仍然表现良好。在CIFAR-10/100数据集上对VGG16、ResNet-18和ResNet-56模型进行实验,结果显示：剪枝率为80%时,VGG16在CIFAR-10数据集上的分类精度下降0.07个百分点;剪枝率为60%时,ResNet-56在CIFAR-10数据集上的分类精度提升0.06个百分点;剪枝率为85%、95%和99%时,ResNet-18在CIFAR-100数据集上的分类精度仅下降1.03、1.51和2.04个百分点。实验结果表明,所提算法在提高网络剪枝率的同时仍能使其保持较高的精度,验证了算法的有效性。     

二值网络的分阶段残差二值化算法

二值网络在速度、能耗、内存占用等方面优势明显，但会对深度网络模型造成较大的精度损失.为了解决上述问题，本文提出了二值网络的"分阶段残差二值化"优化算法，以得到精度更好的二值神经网络模型.本文将随机量化的方法与XNOR-net相结合，提出了两种改进算法"带有近似因子的随机权重二值化"和"确定权重二值化"，以及一种全新的"分阶段残差二值化"的BNN训练优化算法，以得到接近全精度神经网络的识别准确率.实验表明，本文提出的"分阶段残差二值化"算法能够有效提升二值模型的训练精度，而且不会增加相关网络在测试过程中的计算量，从而保持了二值网络速度快、空间小、能耗低的优势.     

基于梯度的深度网络剪枝算法

深度神经网络模型通常存在大量冗余的权重参数,计算深度网络模型需要占用大量的计算资源和存储空间,导致深度网络模型难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝(GDP)算法。GDP算法核心思想是以梯度作为评判权值重要性的依据。首先,通过自适应的方法找出阈值进行权值参数的筛选;然后,剔除那些小于阈值的梯度所对应的权值;最后,重新训练剪枝后的深度网络模型来恢复网络精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高了0.13个百分点,计算量下降了1.1个百分点,具有更优越的深度网络压缩与加速性能。     

基于YOLOv5s剪枝模型的输电线路全景监测研究

随着人工智能技术的快速发展,基于深度学习的目标检测算法在诸多行业得到了应用。针对当前输电线路影像中典型障碍物目标识别对人工要求较高的问题,提出了基于YOLOv5模型剪枝的算法来对输电线路附近典型目标进行检测。首先,算法进行基础训练后得到一个检测精度和推理速度两种性能比较均衡的网络模型,再进行稀疏训练以获得参数较为稀疏的神经网络模型,最后,采取不同剪枝策略对网络进行修剪,达到压缩模型大小提高推理速度的目的。在自制数据集上使用多种算法进行对比试验,实验结果表明：相较于YOLOv4、CenterNet和SSD算法,所提算法在保持相对较高检测精度条件下提高了检测速度,能够满足实际需要。     

分块压缩学习剪枝算法

为压缩网络剪枝过程中较大的搜索空间,从预训练深度神经网络中找到最佳的稀疏网络结构,本文提出一种基于遗传算法和知识蒸馏的分块压缩学习算法(CCLA).首先,在预定义压缩空间中将学生网络初始化为一个稀疏网络结构.然后,将教师网络和学生网络按层划分多个块网络,在教师网络的监督下对学生网络进行逐块压缩.最后,使用遗传算法搜索学生网络中每个块网络的稀疏结构.在CIFAR-10数据集上对VGG-16网络和ResNet-110网络的实验结果表明,本文所提方法性能表现良好,例如,在CIFAR-10数据集上对VGG-16进行压缩,可压缩掉87.82%的参数和70.4%的浮点运算(Floating Point of operations, FLOPs),而精度损失仅为0.37%.     

基于特征聚合的假新闻内容检测模型

针对假新闻内容检测中分类算法模型的检测性能与泛化性能无法兼顾的问题,提出了一种基于特征聚合的假新闻检测模型CCNN。首先,通过双向长短时循环神经网络提取文本的全局时序特征,并采用卷积神经网络（CNN）提取窗口范围内的词语或词组特征;然后,在卷积神经网络池化层之后,采用基于双中心损失训练的特征聚合层;最后,将双向长短时记忆网络（Bi-LSTM）和CNN的特征数据按深度方向拼接成一个向量之后提供给全连接层,采用均匀损失函数uniform-sigmoid训练模型后输出最终的分类结果。实验结果表明,该模型的F1值为80.5%,在训练集和验证集上的差值为1.3个百分点;与传统的支持向量机（SVM）、朴素贝叶斯（NB）和随机森林（RF）模型相比,所提模型的F1值提升了9~14个百分点;与长短时记忆网络（LSTM）、快速文本分类（FastText）等神经网络模型相比,所提模型的泛化性能提升了1.3~2.5个百分点。由此可见,所提模型能够在提高分类性能的同时保证一定的泛化能力,提升整体性能。     

变样本量学习最小二乘支持向量机算法

为增加最小二乘支持向量机(LS-SVM)算法解的稀疏性,提高其运算效率,提出一种变样本量学习LSSVM算法。从训练集中随机抽取部分样本作为初始工作集,在学习阶段将样本训练过程分为样本增量和样本减量2个阶段。在样本增量阶段,按KKT条件选取特定样本加入工作集并进行训练,在样本减量阶段,采用负松弛变量剪枝策略与基于对偶目标函数差的剪枝策略实现剪枝。在此基础上,采用工作集中的剩余样本构造学习分类器。实验结果表明,相对SMO、SMO-new、ISLS-SVM算法,该算法具有稀疏性高、运算速度快、无精度损失等优点。     

基于自适应阈值的循环剪枝算法

针对YOLO系列目标检测算法中复杂的网络模型和大量冗余参数问题,提出了一种基于自适应阈值的循环剪枝算法：在经过基础训练和稀疏化训练后,进入到自适应阈值剪枝模块,该模块针对缩放因子分布情况,通过缩放因子对通道和卷积层的重要性进行评估,自主学习到一个剪枝阈值,再对网络模型进行剪枝,此过程可以循环进行,并在通道剪枝和层剪枝中应用。该算法中的阈值不是人为设定,而是针对当前网络结构学习获得,通过剪枝获得一个更优的精简模型。算法实验基于YOLOv3在三个数据集上验证,结果表明,该算法对不同数据集、不同网络结构表现出较强的适应性,与传统固定阈值相比,通过自适应阈值剪枝的模型在检测精度、压缩效果、推理速度等方面都取得了更优的效果。     

无锚框目标检测模型通道剪枝方法

针对无锚框目标检测模型主干网络参数冗杂度大、计算开销高以及检测速度慢等问题,提出双维度注意力引导的通道剪枝算法(CPDAM),以便对无锚框目标检测模型进行压缩。利用池化层和组归一化操作提升通道注意和空间注意子模块性能;采用通道分组策略融合改进后的通道注意和空间注意子模块,并经过不断训练,为每个通道生成一个尺度值用于表示该通道在分类任务上的重要程度;利用尺度值计算一个全局尺度值,并根据该值评估通道重要性对主干网络进行通道剪枝;在PASCAL VOC、ImageNet、CIFAR-100等常用数据集上对剪枝前后的无锚框目标检测模型进行实验验证,结果表明,在mAP仅损失0.6个百分点的前提下,剪枝前后的CenterNet-ResNet101参数量从6.995×10⁷减少至2.238×10⁷,FPS从27提升至46。     

最小二乘支持向量机的一种稀疏化算法

介绍了一种稀疏化最小二乘支持向量机的剪枝算法。由于支持值图谱中小的支持值所对应的训练样本在算法执行阶段所起的作用较小,所以删除它们不会引起性能的显著下降。仿真实验表明,该算法不但简单、易于实现,而且能够保持良好的分类性能。     

融合基于语言模型的词嵌入和多尺度卷积神经网络的情感分析

针对Word2Vec、GloVe等词嵌入技术对多义词只能产生单一语义向量的问题,提出一种融合基于语言模型的词嵌入（ELMo）和多尺度卷积神经网络（MSCNN）的情感分析模型。首先,该模型利用ELMo学习预训练语料,生成上下文相关的词向量;相较于传统词嵌入技术,ELMo利用双向长短程记忆（LSTM）网络融合词语本身特征和词语上下文特征,能够精确表示多义词的多个不同语义;此外,该模型使用预训练的中文字符向量初始化ELMo的嵌入层,相对于随机初始化,该方法可加快模型的训练速度,提高训练精度;然后,该模型利用多尺度卷积神经网络,对词向量的特征进行二次抽取,并进行特征融合,生成句子的整体语义表示;最后,经过softmax激励函数实现文本情感倾向的分类。实验在公开的酒店评论和NLPCC2014 task2两个数据集上进行,实验结果表明,在酒店评论数据集上与基于注意力的双向LSTM模型相比,该模型正确率提升了1.08个百分点,在NLPCC2014 task2数据集上与LSTM和卷积神经网络（CNN）的混合模型相比,该模型正确率提升了2.16个百分点,证明了所提方法的有效性。     

字符级卷积神经网络短文本分类算法

由于短文本具有长度短、特征稀疏以及上下文依赖性强等特点，传统方法对其直接进行分类精度有限。针对该问题，提出了一种基于字符级嵌入的卷积神经网络（CNN）和长短时记忆网络（LSTM）相结合的神经网络模型进行短文本的分类。该模型同时包括了高速公路网络（Highway networks）框架，用于缓解深度神经网络训练时的困难，提高分类的准确性。通过对几种数据集的测试，结果表明提出的模型在短文本分类任务中优于传统模型和其他基于CNN的分类模型。     

基于生成对抗网络的知识蒸馏数据增强

在图像分类和工业视觉检测过程中,缺陷样本量少导致神经网络分类器训练效率低及检测精度差,直接采用原始的离散标签又无法使网络分类器学习到不同类别间的相似度信息。针对上述问题,在区域丢弃算法的基础上,提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补,减少区域丢弃产生的非信息噪声。在补丁生成网络中,保留生成对抗网络的编码器-解码器结构,利用编码器卷积层提取特征,通过解码器对特征图上采样生成补丁。在样本标签生成过程中,采用知识蒸馏算法中的教师-学生训练模式,按照交叉检验方式训练教师模型,根据教师模型生成的软标签对学生模型的训练进行指导,提高学生模型对特征的学习能力。实验结果表明,与区域丢弃算法相比,该算法在CIFAR-100、CIFAR-10数据集图像分类任务上的Top-1 Err、Top-5 Err分别降低3.1、0.8、0.5、0.6个百分点,在汽车转向器轴承数据集语义分割任务上的平均交并比和识别准确率分别提高2.8、2.3个百分点。     

基于稀疏降噪自编码器的深度置信网络

传统的深度置信网络（DBN）采用随机初始化受限玻尔兹曼机（RBM）的权值和偏置的方法初始化网络。虽然这在一定程度上克服了由BP算法带来的易陷入局部最优和训练时间长的问题,但随机初始化仍然会导致网络重构和原始输入的较大差别,这使得网络无论在准确率还是学习效率上都无法得到进一步提升。针对以上问题,提出一种基于稀疏降噪自编码器（SDAE）的深度网络模型,其核心是稀疏降噪自编码器对数据的特征提取。首先,训练稀疏降噪自编码;然后,用训练后得到的权值和偏置来初始化深度置信网络;最后,训练深度置信网络。在Poker Hand 纸牌游戏数据集和MNIST、USPS手写数据集上测试模型性能,在Poker Hand数据集下,方法的误差率比传统的深度置信网络降低46.4%,准确率和召回率依次提升15.56%和14.12%。实验结果表明,所提方法能有效地改善模型性能。     

基于分离卷积二值化网络的模型压缩方法研究

深度卷积神经网络(DeepConvolutional Neural Networks, DCNNs)在各个领域的应用愈加广泛，而在实际应用中DCNN需要大量的计算和内存资源，在资源有限的移动设备上难以部署。因此提出了一种基于深度可分离卷积二值化网络的模型压缩与优化加速的方法，首先在深度卷积神经网络中使用深度可分卷积代替传统的卷积，其次将网络中的权重和激活值进行二值化，并通过教师网络引导训练，在最大限度的增加计算速度和减少内存资源占用的同时，保持网络的分类精度。实验结果表明，使用上述方法对花卉数据集进行分类识别，在精度仅下降2.2%的情况下，可大幅减少计算时间和内存资源的占用，有利于移动设备的部署。     

基于尺度注意力网络的遥感图像场景分类

针对卷积神经网络（CNN）平等地对待输入图像中潜在的对象信息和背景信息,而遥感图像场景又存在许多小对象和背景复杂的问题,提出一种基于注意力机制和多尺度特征变换的尺度注意力网络模型。首先,开发一个快速有效的注意力模块,基于最优特征选择生成注意力图;然后,在ResNet50网络结构的基础上嵌入注意力图,增加多尺度特征融合层,并重新设计全连接层,构成尺度注意力网络;其次,利用预训练模型初始化尺度注意力网络,并使用训练集对模型进行微调;最后,利用微调后的尺度注意力网络对测试集进行分类预测。该方法在实验数据集AID上的分类准确率达到95.72%,与ArcNet方法相比分类准确率提高了2.62个百分点;在实验数据集NWPU-RESISC上分类准确率达到92.25%,与IORN方法相比分类准确率提高了0.95个百分点。实验结果表明,所提方法能够有效提高遥感图像场景分类准确率。     

基于敏感度的YOLO网络集成剪枝算法

深层卷积神经网络所需的计算量和存储空间严重制约了其在资源有限平台上的应用与部署。针对基于单一参数重要性评价或者特征重建的剪枝算法泛化能力较差的问题,提出基于敏感度的集成剪枝算法,利用BN层的缩放因子稀疏YOLO网络中卷积核个数较多的冗余层,结合3种参数重要性评价方法对卷积核做重要性排序,并根据敏感度确定每一层的剪枝比率。实验结果表明,该剪枝算法对于YOLOv3和YOLOv3-tiny网络分别缩减80.5%和92.6%的参数量,并且相比基于网络轻量化方法的剪枝算法提升了网络模型压缩后的检测精度和泛化能力。     

基于双通道词向量的卷积胶囊网络文本分类

基于向量空间模型的文本分类方法的文本表示具有高纬度、高稀疏的特点,特征表达能力较弱,且特征工程依赖人工提取,成本较高。针对该问题,提出基于双通道词向量的卷积胶囊网络文本分类算法。将Word2Vec训练的词向量与基于特定文本分类任务扩展的语境词向量作为神经网络的2个输入通道,并采用具有动态路由机制的卷积胶囊网络模型进行文本分类。在多个英文数据集上的实验结果表明,双通道的词向量训练方式优于单通道策略,与LSTM、RAE、MV-RNN等算法相比,该算法具有较高的文本分类准确率。     

基于VPRS的决策树算法中处理噪音数据的新方法

噪音数据是影响决策树训练效率和结果集质量的重要因素。目前的树剪枝方法不能消除噪音数据对选择决策树测试节点属性的影响。为改变这种状况,基于变精度Rough集(VPRS)模型,提出了一个在决策树算法中处理噪音数据的新方法---预剪枝法,该方法在进行选择属性的计算之前基于变精度正区域求取属性修正的分类模式,来消除噪音数据的对选择属性以及生成叶节点的影响。利用该方法对基本ID3决策树算法进行了改进。分析和实验表明,与先剪枝方法相比,该方法能进一步减小决策树的规模和训练时间。