基于自适应阈值的循环剪枝算法

针对YOLO系列目标检测算法中复杂的网络模型和大量冗余参数问题,提出了一种基于自适应阈值的循环剪枝算法：在经过基础训练和稀疏化训练后,进入到自适应阈值剪枝模块,该模块针对缩放因子分布情况,通过缩放因子对通道和卷积层的重要性进行评估,自主学习到一个剪枝阈值,再对网络模型进行剪枝,此过程可以循环进行,并在通道剪枝和层剪枝中应用。该算法中的阈值不是人为设定,而是针对当前网络结构学习获得,通过剪枝获得一个更优的精简模型。算法实验基于YOLOv3在三个数据集上验证,结果表明,该算法对不同数据集、不同网络结构表现出较强的适应性,与传统固定阈值相比,通过自适应阈值剪枝的模型在检测精度、压缩效果、推理速度等方面都取得了更优的效果。     

基于梯度的深度网络剪枝算法

深度神经网络模型通常存在大量冗余的权重参数,计算深度网络模型需要占用大量的计算资源和存储空间,导致深度网络模型难以部署在一些边缘设备和嵌入式设备上。针对这一问题,提出了一种基于梯度的深度网络剪枝(GDP)算法。GDP算法核心思想是以梯度作为评判权值重要性的依据。首先,通过自适应的方法找出阈值进行权值参数的筛选;然后,剔除那些小于阈值的梯度所对应的权值;最后,重新训练剪枝后的深度网络模型来恢复网络精度。实验结果表明:在CIFAR-10数据集上,GDP算法在精度仅下降0.14个百分点的情况下,计算量减少了35.3个百分点;与当前流行的PFEC算法相比,GDP算法使网络模型精度提高了0.13个百分点,计算量下降了1.1个百分点,具有更优越的深度网络压缩与加速性能。     

基于深度神经网络二阶信息的结构化剪枝算法

现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法.采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提...     

自适应图像复原模型梯度阈值选取研究

自适应图像复原模型,能满足中高噪声强度下进行图像复原的要求,但在选取图像梯度阈值时,通过交互迭代,运算量大,耗费时间长。本文基于对图像边缘灰度突变特性的考虑,通过引入图像梯度幅值直方图的方法,利用像素点梯度模值来区分边缘区和平滑区,开辟了在图像复原中选取梯度阈值参数的新途径,取得了很好的降噪复原效果,而且,选取梯度阈值的过程,耗时少,运算简单,选取过程直观快捷。     

模型剪枝算法综述

模型剪枝算法利用不同的标准或方式对深度神经网络中冗余神经元进行裁剪,在不损失模型精度的情况下对模型进行最大程度的压缩,从而可以减少存储并提升速度。首先,对模型剪枝算法的研究现状与主要研究方向进行总结并归类。主要研究方向包括剪枝的尺度、剪枝元素重要性评估的方法、剪枝的稀疏度、剪枝的理论基础及对于不同任务的剪枝等方面。然后对近年来具有代表性的剪枝算法进行详细描述。最后对此领域的研究提出未来展望。     

基于混合梯度的硬阈值追踪算法

针对压缩感知（CS）中迭代硬阈值类算法迭代次数多、重构时间长的问题,提出了一种基于混合梯度的硬阈值追踪（HGHTP）算法。首先,在每次迭代中计算当前迭代点处的梯度和共轭梯度,将梯度域与共轭梯度域下的支撑集混合取并集作为下一次迭代的候选支撑集,充分利用共轭梯度在支撑集选择策略中的有用信息,优化支撑集选择策略;然后,采用最小二乘法对候选支撑集进行二次筛选,快速精确地定位正确的支撑并更新稀疏系数。一维随机信号重构实验结果表明,HGHTP算法相较于同类迭代硬阈值算法,在保证重构成功率的前提下,需要的迭代次数更少。二维图像重构实验结果表明,HGHTP算法的重构精度和抗噪性能优于同类迭代阈值类算法,在保证重构精度的情况下,HGHTP算法的重构时间相比同类算法减少了32%以上。     

基于特征归因和泰勒展开引导重要度评价的梯度流剪枝

卷积神经网络压缩是近年来研究的热点.本文将模型存在冗余的原因归结为部分卷积核未学到任务相关特征.为去除这部分冗余,本文基于剪枝框架,从卷积核学习任务相关特征的程度和卷积核对损失函数的影响两个角度出发,提出一种新颖的重要度评价标准.此评价标准能准确量化卷积核的重要度,并以此指导卷积核剪枝操作.此外,本文还将梯度流策略引入...     

利用KL散度度量通道冗余度的深度神经网络剪枝方法

提出一种基于KL散度的结构化剪枝方法,用KL散度来衡量通道之间的差异性,并定义通道的重要因子,通过删减重要因子较小的通道来进行结构化剪枝.在CIFAR-10和CIFAR-100数据集上,对ResNet进行结构化剪枝,并对比几种较为先进的硬剪枝方法,发现KL散度能发掘出卷积层中的冗余通道,剪枝后精度可能不会下降太多,在减少10％～30％网络参数与浮点运算的情况下,甚至比原始网络准确率要高0.4到0.6百分点.     

基于贝叶斯优化的无标签网络剪枝算法

针对深度神经网络（DNN）的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率;其次,在网络剪枝过程中不依赖数据样本标签,并通过最小化剪枝网络与基线网络输出特征的距离对网络每层的压缩率进行优化;最后,利用贝叶斯优化算法寻找网络每一层的最优剪枝率,以提高子网搜索的效率和精度。实验结果表明,使用所提算法在CIFAR-10数据集上对VGG-16网络进行压缩,参数压缩率为85.32%,每秒浮点运算次数（FLOPS）压缩率为69.20%,而精度损失仅为0.43%。可见,所提算法可以有效地压缩DNN模型,且压缩后的模型仍能保持良好的精度。     

基于信息融合策略的卷积神经网络剪枝方法

针对现有结构化剪枝方法过度依赖预训练模型和直接丢弃不重要卷积核的信息造成了明显的性能下降的问题,提出一种基于信息融合策略的卷积神经网络剪枝方法（APBM）,以较小精度损失降低模型复杂度、实现模型加速。首先APBM方法引入信息熵概念以表示卷积核的相似度分布,并使用分布之间的相对熵动态衡量卷积核的重要程度;同时在训练的前向传播中采用信息融合策略：融合非重要卷积核信息与重要卷积核信息,以减少剪枝过程中的信息损失和提高剪枝的容错性。在CIFAR10和CIFAR100数据集上进行验证和对比实验。实验结果表明：相对于HRank、Polarization、SWP等剪枝算法,APBM方法训练时间更少、模型压缩率更高,精度保持最佳。在基于CIFAR10的剪枝任务中,对VGG16和ResNet56分别剪掉92.74%和48.84%的参数量;在基于CIFAR100的剪枝任务中,对VGG16和ResNet56分别剪掉72.91%和44.18%的参数量。     

基于自适应阈值的船舶轨迹异常点检测算法

定位技术的快速发展催生了轨迹大数据,轨迹数据中总是存在着明显偏离轨迹的异常点。检测出轨迹中的异常点对提高数据质量和后续知识发现精度至关重要。目前轨迹异常点检测算法主要为恒定速度阈值法,没有考虑目标在不同时刻运动状态的变化,仅能检测出速度超出指定阈值的一部分异常点,甚至出现检测错误的情况,算法鲁棒性较差。针对现有问题,本文提出一种基于自适应阈值的轨迹异常点检测算法（Trajectory Outlier Detection Algorithm based on adaptive Threshold, TODAT）。TODAT算法充分考虑了目标在一段时间内的运动信息和观测噪声的影响,采用局部阈值窗和均值滤波窗来计算阈值和速度,同时又引入了经济航速阈值和连续异常点放回机制。基于真实船舶数据的实验结果表明,本文算法可根据轨迹数据得到自适应的阈值,有效检测出全部异常点,大幅度提高轨迹数据的质量。     

融合剪枝与量化的目标检测网络压缩方法

针对目标检测网络参数量冗余、模型复杂、推理速度缓慢以及难以部署在资源受限的嵌入式设备等问题,提出一种融合剪枝与量化的目标检测网络压缩方法。首先对目标检测网络模型进行稀疏化训练得到缩放因子,并根据缩放因子的分布计算卷积层中通道重要性的占比,根据缩放因子计算动态阈值将对网络模型贡献小的卷积层剪除。然后通过均匀映射的方式将32位浮点型数据量化成8位整型数据,减少网络计算量的同时压缩网络模型的大小。最后采用YOLO系列目标检测网络对行人与车辆数据集、Hands数据集和VOC2012数据集进行压缩方法验证。实验表明,目标检测网络经过动态阈值剪枝和均匀映射量化后在精度损失4%的前提下,将网络模型从234 MB压缩至10 MB以内,检测速度提升5倍,有效解决了部署应用难的问题。     

基于自适应分层阈值判断的神经网络模型压缩

面对多样化的应用环境,卷积神经网络（CNN）的架构深度不断增加以提升精度,但同时需要大量的计算参数和网络存储。针对CNN卷积层参数冗余和运算效率低的问题,提出一种基于分层阈值的自适应动态剪枝方法。设计自适应分层阈值判断算法,对批归一化层的尺度因子进行聚类分析,自适应地找到每层的分类断点并据此确定最终阈值,利用该阈值修剪正则化后的输入模型,从而避免根据经验人为定义固定阈值,减小模型尺寸和运行时占用的内存。分别采用该方法和LIU等提出的使用固定阈值且全局修剪的方法对VGGNet、ResNet、DenseNet和LeNet模型进行压缩,并在CIFAR、SVHN和MNIST数据集上测试模型性能。实验结果表明,该方法能够在模型精度与剪枝率之间找到最优平衡,剪枝后模型的测试错误率较对比方法降低0.02~1.52个百分点,同时自适应分层阈值判断算法也能避免对比方法在全局修剪时减去整个层的问题。     

基于邻域粗糙集自适应调整剪枝门限的免疫网络故障诊断算法

通过在形态空间中建立抗体和抗原的邻域关系,阐述了抗体与抗原的匹配过程,论述了基于免疫网络模型(aiNet)的故障诊断算法中剪枝门限与故障诊断漏诊概率和误诊概率的关系.文中引入粗糙集理论,定义了基于抗体邻域的故障模式边界和故障模式包含关系,给出了自适应调整剪枝门限的观测指标和具体算法.仿真结果表明,本文所提出的故障诊断算法具有优良性能,提高了故障诊断正确率和新故障识别率.     

修剪算法的信息几何分析

修剪法是确定和优化神经网络结构的重要方法之一．当前对修剪法的研究大多集中在方法描述上，对于修剪法内在机理的研究尚不多见，而研究修剪的内在机理可以为修剪策略提供理论基础和依据．从信息几何的角度研究了修剪法的内在机理，给出了神经网络结构修剪法的信息几何理论解释，利用神经流形参数结构的层次性，将修剪法表述为一系列从当前模型流形到其子流形的信息投影过程，在此基础上提出了新的修剪算法，并给出了算法可行性与有效性的实验验证．     

一类基于LMK准则的自适应格形梯度算法

本文将最小平均四次方、最小平均六次方等误差准则延拓到格形结构,提出了一类LMK自适应格形梯度算法,文中分析了这类算法的收敛性能,推导出滤波器系数均值、方差的近似表示法和自适应格形滤波器的输出均方误差,计算机模拟结果表明了这类算法的合理性.     

基于参数子空间和缩放因子的YOLO剪枝算法

为保证YOLO网络在嵌入式设备上正常运行,需采用剪枝算法精简滤波器以减小网络存储空间和计算量,而现有剪枝算法耗时较长且剪枝精度较低。提出一种基于参数子空间和批量归一化(BN)层缩放因子的双准则剪枝算法。将卷积层滤波器通过k均值聚类得到不同参数子空间,在子空间内使滤波器按权重排序并去除权重较低的滤波器,同时采用BN层缩放因子剪枝算法避免剪枝精度下降。实验结果表明,采用该算法剪枝后的YOLOv3网络在精度不变的情况下,占用的内存减少5/6且计算时间缩短1/3,与PF、CP等剪枝算法相比,该算法在保持较高网络精度的情况下计算量更少。