基于自适应阈值的循环剪枝算法

针对YOLO系列目标检测算法中复杂的网络模型和大量冗余参数问题,提出了一种基于自适应阈值的循环剪枝算法：在经过基础训练和稀疏化训练后,进入到自适应阈值剪枝模块,该模块针对缩放因子分布情况,通过缩放因子对通道和卷积层的重要性进行评估,自主学习到一个剪枝阈值,再对网络模型进行剪枝,此过程可以循环进行,并在通道剪枝和层剪枝中应用。该算法中的阈值不是人为设定,而是针对当前网络结构学习获得,通过剪枝获得一个更优的精简模型。算法实验基于YOLOv3在三个数据集上验证,结果表明,该算法对不同数据集、不同网络结构表现出较强的适应性,与传统固定阈值相比,通过自适应阈值剪枝的模型在检测精度、压缩效果、推理速度等方面都取得了更优的效果。     

基于GoogLeNet模型的剪枝算法

GoogLeNet包含多个并行的卷积层和池化层,极具表现力,但也导致其参数数量冗余和计算量大,解决该问题的根本途径是将网络稀疏化.剪枝算法通过训练网络、修剪低权重连接和再训练网络三步操作,只保留卷积层和完全连接层中的强相关连接,实现简化网络结构和参数数量的效果,获得近似的网络模型,不影响网络后验概率估计的准确性,达到压缩效果.传统计算方式不适合非均匀稀疏数据结构,所提出的阈值剪枝算法设定合适的阈值,将原始GoogLeNet模型中将近1040万参数减少到65万,大约压缩了16倍.原始网络在进行剪枝处理后,准确率会有所降低,但经过少数次迭代,网络的准确率与原始模型不相上下,达到了压缩模型的效果,验证了阈值剪枝算法对改进GoogLeNet模型训练过程的有效性.     

细菌觅食算法优化卷积神经网络的滚动轴承故障诊断

针对传统深度学习故障诊断方法在滚动轴承中诊断效果不理想的问题，提出一种细菌觅食优化算法(BFO)优化卷积神经网络(CNN)学习率使诊断效果提升的模型。在模型逐次迭代过程中，将CNN中的学习率参数带入BFO中，生成一个自适应的学习率，用于更新CNN的权重和偏置，使模型故障诊断效果达到最佳。通过实验证明基于细菌觅食算法优化的卷积神经网络训练的模型在分类精度上优于CNN训练的模型，并与CNN多种学习率对比，可将故障诊断准确率提升至97.25%,并提高了全局的收敛能力。     

基于中间图特征提取的卷积网络双标准剪枝

卷积神经网络（CNN）在计算和存储上存在大量开销,为了使CNN能够在算力和存储能力较弱的嵌入式等端设备上进行部署和运行,提出一种基于中间图特征提取的卷积核双标准剪枝方法。在卷积层后插入中间图互信息特征提取框架,分析卷积核的特征提取能力,结合批量归一化层的缩放因子对卷积核的综合重要性进行评估,获取更为稀疏的CNN模型。针对全连接层存在大量冗余节点的问题,提出一种基于节点相似度与K-means++聚类的全连接层剪枝方法,聚类相似度较高的节点,并对剪枝后的连接层权重进行融合,在一定程度上弥补因剪枝所造成的精度损失。在CIFAR10和CIFAR100数据集上的实验结果表明,使用该剪枝方法对ResNet56网络进行剪枝,在损失0.19%分类精度的情况下能够剪掉48.2%的参数量以及46.7%的浮点运算量,对于VGG16网络,能够剪掉94.5%的参数量以及64.4%的浮点运算量,分类精度仅下降0.01%。与VCNNP、PF等剪枝方法相比,所提剪枝方法能够在保持模型准确率几乎不变的情况下,对CNN的参数量和计算量进行更大比例的裁剪。     

基于FPGA的卷积神经网络优化压缩技术研究

针对现有卷积神经网络(CNN)模型计算效率低、内存带宽浪费大等问题，提出了一种基于现场可编程门阵列(FPGA)优化压缩策略。对预先训练好的CNN模型进行分层剪枝，采用基于新型的遗传算法进行信道剪枝，同时设计了两步逼近适应度函数，进一步提高了遗传过程的效率。此外，通过对剪枝CNN模型进行数据量化，使得卷积层和全连接层的权值根据各自的数据结构以完全不同的方式存储，从而减少了存储开销。实验结果表明，在输入4 000个训练图像进行压缩过程中，该方法所耗压缩时间仅为15.9 s。     

连续语音解码阈值参数的优化

针对目前连续语音识别解码过程中剪枝阈值的确定不能兼顾解码速度与精度的不足,文中提出一种多维剪枝阈值参数联合优化算法。该算法主要研究全局阈值、词尾阈值、激活模型数、令牌数四维剪枝阈值参数的优化,其优化的主要过程是首先应用多目标优化理论对这四维阈值参数进行联合优化,然后根据优化结果采用分段动态阈值的方法进行后处理。实验结果表明,采用该方法优化后的阈值参数进行一遍解码,解码器的剪枝性能得到明显改善,搜索空间的大小得到有效控制,达到预期的速度与精度权衡的优化效果。     

融合弱层惩罚的卷积神经网络模型剪枝方法

深度卷积神经网络的存储和计算需求巨大,难以在一些资源受限的嵌入式设备上进行部署。为尽可能减少深度卷积神经网络模型在推理过程中的资源消耗,引入基于几何中值的卷积核重要性判断标准,提出一种融合弱层惩罚的结构化非均匀卷积神经网络模型剪枝方法。使用欧式距离计算各层卷积核间的信息距离,利用各卷积层信息距离的数据分布特征识别弱层,通过基于贡献度的归一化函数进行弱层惩罚,消除各层间的差异性。在全局层面评估卷积核重要性,利用全局掩码技术对所有卷积核实现动态剪枝。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,与SFP、PFEC、FPGM和MIL剪枝方法相比,该方法剪枝得到的VGG16单分支、Resnet多分支、Mobilenet-v1轻量化网络模型在保证精度损失较小的情况下,有效地减少了模型参数量和浮点操作数。     

一种剪枝压缩CNN移动设备端图像篡改检测方法

针对现有图像篡改检测方法应用场景单一,检测率不佳的问题,提出了一种适用于移动设备端的篡改检测方法.该方法基于CNN模型实现,考虑到CNN网络层与参数的复杂性过高,设计了剪枝压缩策略.通过激活值与信息熵的融合,有效评判CNN加权的重要程度,裁掉重要程度不高的加权.在其基础上结合逐层裁剪,根据精度和剪枝效果进行反馈调整,控制剪枝压缩的均衡性.针对剪枝压缩CNN设计了相应的卷积层、pooling池化层和调节层,分别从层和篡改方式的角度进行分析优化,并根据图像块相关度确定篡改位置.通过数据集仿真分析,验证了剪枝压缩策略在控制精度损失的同时,对CNN模型采取合理压缩,有效降低了复杂度和处理开销,适于部署在移动设备端;同时整体方法对于图像篡改检测表现出良好的准确性和全面性,能够对篡改区域及其边缘进行准确定位.     

基于敏感度的YOLO网络集成剪枝算法

深层卷积神经网络所需的计算量和存储空间严重制约了其在资源有限平台上的应用与部署。针对基于单一参数重要性评价或者特征重建的剪枝算法泛化能力较差的问题,提出基于敏感度的集成剪枝算法,利用BN层的缩放因子稀疏YOLO网络中卷积核个数较多的冗余层,结合3种参数重要性评价方法对卷积核做重要性排序,并根据敏感度确定每一层的剪枝比率。实验结果表明,该剪枝算法对于YOLOv3和YOLOv3-tiny网络分别缩减80.5%和92.6%的参数量,并且相比基于网络轻量化方法的剪枝算法提升了网络模型压缩后的检测精度和泛化能力。     

基于层融合特征系数的动态网络结构化剪枝

剪枝是一种减少模型复杂度的有效方式,现有的剪枝方法仅考虑卷积层对特征图的影响,无法准确判断冗余滤波器,文中提出基于层融合特征系数的动态网络结构化剪枝方法.同时考虑卷积层和批规范化(BN)层对输出特征图的影响,利用多动态参数确定滤波器的重要性,动态寻找冗余滤波器,获取最优网络结构.在CIFAR-10、CIFAR-100数据集上的实验表明,无论是残差网络还是轻量型网络,文中方法在采用较大剪枝率时仍能保持较高精度.     

基于双通道卷积神经网络的图像单失真类型判定方法

针对图像单失真类型判定算法对部分失真类型判定精度低的问题,提出了一种基于双通道卷积神经网络（CNN）的图像单失真类型判定方法。首先,对图像进行裁剪以得到固定尺寸的图像块,并对图像块进行Haar小波变换从而得到高频信息图;然后,将图像块与对应的高频信息图分别输入到不同通道卷积层中以提取深层特征图后,对深层特征进行融合并输入到全连接层中;最后,将全连接层最后一层的值输入到Softmax函数分类器中得到图像单失真类型概率分布。LIVE数据库上的实验结果表明,所提方法的图像单失真类型判定准确率达到了95.21%,并且对JPEG2000和快速衰落失真这两种失真类型的判定精度相较用于对比的其他五种图像单失真类型判定方法分别提升了至少6.69个百分点和2.46个百分点。所提方法能够准确地判定出图像中存在的单失真类型。     

基于激活-熵的分层迭代剪枝策略的CNN模型压缩

针对卷积神经网络(CNN)模型现有剪枝策略各尽不同和效果一般的情况,提出了基于激活-熵的分层迭代剪枝(AE-LIP)策略,保证模型精度在可控范围内的同时缩减模型的参数量。首先,结合神经元激活值和信息熵,构建基于激活-熵的权重评判准则,计算权值重要性得分;然后,逐层剪枝,根据重要性得分对权值排序,并结合各层剪枝数量筛选出待剪枝权重并将其设置为0;最后,微调模型,重复上述过程,直至迭代结束。实验结果表明,采用基于激活-熵的分层迭代剪枝策略:AlexNet模型压缩了87.5%;相应的准确率下降了2.12个百分点,比采用基于幅度的权重剪枝策略提高了1.54个百分点,比采用基于相关性的权重剪枝策略提高0.91个百分点。VGG-16模型压缩了84.1%;相应的准确率下降了2.62个百分点,比采用上述两个对比策略分别提高了0.62个百分点和0.27个百分点。说明所提策略在保证模型精确度下有效缩减了CNN模型的大小,有助于CNN模型在存储受限的移动设备上的部署。     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。     

一种优化初始点与自适应半径的密度聚类算法

传统DBSCAN算法不能正确聚类密度不均匀的数据集,聚类结果受邻域阈值和密度阈值参数的影响较大。提出一种新的优化初始点和自适应半径的密度聚类算法。利用反向最近邻和相似度矩阵发现当前全局密度最大的数据样本,分析该样本周围密度的分布情况,采用自适应的方法计算当前簇的邻域阈值,并利用DBSCAN算法进行聚类。在人工数据集和UCI数据集上进行测试的结果表明,与经典的DBSCAN、OPTICS、RNN-DBSCAN算法相比,优化初始点和自适应半径的密度聚类算法在ARI、NMI、Homogeneity、Completeness和V-measure 5个评价指标上整体取得最优值,其中在Compound、Jain等数据集上达到1.0,具有较高的聚类效率和准确度。     

改进胶囊网络优化分层卷积的亚健康识别算法

针对传统卷积神经网络(CNN)为获得高准确率不断堆叠卷积层、池化层致使模型结构复杂、训练时间长且数据处理方式单一的问题,提出改进胶囊网络优化分层卷积的亚健康识别算法。首先,对原始振动数据进行小波降噪和小波包降噪两种数据处理,更好地保留原始信号中对亚健康识别有用的信息;其次,CNN采用分层卷积的思想,并行3个不同尺度的卷积核,多角度地进行特征提取;最后,将卷积核提取的特征输入到剪枝策略的胶囊网络中进行亚健康识别,改进的胶囊网络在保证准确率的同时加快亚健康识别时间,解决CNN结构过于复杂以及识别效果不佳的问题。实验结果表明,提出算法识别准确率高且识别时间较少。     

基于梯度的深度网络剪枝算法

深度神经网络模型通常存在大量冗余的权重参数,计算深度网络模型需要占用大量的计算资源和存储空间,导致深度网络模型难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝(GDP)算法。GDP算法核心思想是以梯度作为评判权值重要性的依据。首先,通过自适应的方法找出阈值进行权值参数的筛选;然后,剔除那些小于阈值的梯度所对应的权值;最后,重新训练剪枝后的深度网络模型来恢复网络精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高了0.13个百分点,计算量下降了1.1个百分点,具有更优越的深度网络压缩与加速性能。     

面向“边缘”应用的卷积神经网络量化与压缩方法

针对卷积神经网络（CNN）推理计算所需内存空间和资源过大,限制了其在嵌入式等"边缘"设备上部署的问题,提出结合网络权重裁剪及面向嵌入式硬件平台数据类型的数据量化的神经网络压缩方法。首先,根据卷积神经网络各层权重的分布,采用阈值法对网络精确率影响较小的权重进行裁剪,保留网络中重要连接的同时除去冗余信息;其次,针对嵌入式平台的计算特性分析网络中权重及激活函数所需的数据位宽,采用动态定点量化方法减小权重数据的位宽;最后,对网络进行微调,在保障网络模型识别精度的前提下进一步压缩模型大小并降低计算消耗。实验结果表明,该方法降低了VGG-19网络95.4%的存储空间而精确率仅降低0.3个百分点,几乎实现无损压缩;同时,通过多个网络模型的验证,该方法在平均1.46个百分点精确率变化范围内,最大降低网络模型96.12%的存储空间,能够有效地压缩卷积神经网络。     

基于自适应分层的3D打印成型方向优化

在3D打印中,成型方向的选择是影响产品成型质量的关键因素之一。针对目前算法仅考虑在等厚分层的前提下进行优化的问题,提出基于自适应分层的模型成型方向优化算法。首先结合3D打印层层叠加的特点,在分析不同成型方向对产品表面精度影响的基础上建立了以模型成型方向为变量、最小体积误差为目标的优化函数;然后通过STL模型的坐标变换、自适应分层等步骤并利用遗传算法在全局范围内搜索最优解,得到最佳成型方向。实验结果表明,该算法能够找到在自适应分层前提下的最佳成型方向,与现有算法相比能够进一步降低体积误差,提升表面质量。