基于无效卷积核权值回退的神经网络优化方法

在神经网络模型训练过程中,存在部分卷积核退化为无效卷积核,在神经网络推理过程失去作用的问题。针对该问题,提出了一种仅使用单个模型就能在训练过程中激活无效卷积核,提高模型性能的方法。首先将初始模型训练至收敛时刻;然后通过L1正则和卷积核相关性两种方式衡量卷积核的有效性;最后将无效卷积核的权值回退到模型训练的初期阶段并对模型进行重训练。在CIFAR-10、CIFAR-100等图像分类的数据集上的实验结果表明,无论是在残差网络还是在轻量级网络上,提出的方法都能有效地恢复无效卷积核,提高神经网络模型精度。相比之前的方法,该方法在低代价下达到了最佳效果,在图像分类任务上平均提高了0.93%的准确率。     

基于特征脸及人工神经网络的人脸识别

人脸是一个复杂的多维可见模型,开发人脸识别的计算模型是比较复杂的。介绍了一种基于信息理论的编译人脸图像的识别方法。该方法涉及两个方面:一是使用主成分分析进行特征提取;二是使用前馈反向神经网络进行识别。并使用400张人脸图片(40类)测试了该方法,识别率高达97.018%。     

结合批归一化的直通卷积神经网络图像分类算法

为解决深度卷积神经网络由于梯度消失而导致训练困难的问题,提出一种基于批归一化的直通卷积神经网络算法.首先对网络所有卷积层的激活值进行批归一化处理,然后利用可学习的重构参数对归一化后的数据进行还原,最后对重构参数进行训练.在CIFAR-10,CIFAR-100和MNIST这3个标准图像数据集上进行实验的结果表明,文中算法分别取得了94.53%,73.40%和99.74%的分类准确率,明显优于其他深度神经网络算法;该算法能够有效地克服传统卷积神经网络中梯度消失的问题.     

改进的基于多路径特征的胶囊网络

针对胶囊网络(CapsNet)在复杂数据集上的分类效果差，而且在路由过程中参数数量过大等问题，提出一种基于多路径特征的胶囊网络(MCNet)，包含新的胶囊特征提取器和新的胶囊池化方法。该胶囊特征提取器从多个不同路径中并行地提取不同层次、不同位置的特征，然后将特征编码为包含更多语义信息的胶囊特征；胶囊池化方法则在胶囊特征图的每个位置选取最活跃的胶囊，用少量的胶囊表示有效的胶囊特征。在4个数据集(CIFAR-10、SVHN、Fashion-MNIST、MNIST)上与CapsNet等模型进行了对比。实验结果显示，MCNet在CIFAR-10数据集上的分类准确率为79.27%，可训练的参数数量为6.25×10⁶，与CapsNet相比，MCNet的分类准确率提升了8.7%，参数数量减少了46.8%。MCNet能够有效提升分类准确率，同时减少可训练的参数数量。     

一种基于SVM的网络不良图像过滤方法

针对网络不良图像过滤的需求,提出一种基于SVM的不良图片快速过滤方法。该方法利用混合肤色模型实现裸露肤色区域的检测,提取人脸位置、形状和图像背景等特征,组成特征向量。用SVM分类器训练得到检测模型,利用这个模型进行判决,有效提高了不良图片的平均识别率。选取实际网络应用中的正常图像与不良图像,其中不良图像的识别率为83.9%,正常图像的识别率为93.4%,误检率为6.6%,平均识别率达到86.6%,实验显示该方法满足实际应用的需求。     

基于区域分解的快速卷积神经网络学习策略研究

为加快卷积神经网络的训练,该研究提出一种受区域分解方法启发的新型学习策略。将该方 法应用于残差网络(ResNet)进行图像分类时,使用 ResNet32 可获得最佳结果。进一步地,将 ResNet32 分成 4 个子网络,其中每个子网具有 0.47 M 参数,此为原始 ResNet32 的 1/16,从而简化了学习过程。 此外,由于可以并行训练子网络,因此在使用 CIFAR-10 数据集进行分类任务时,计算时间可以从 8.53 h (通过常规学习策略)减少到 5.65 h,分类准确性从 92.82％ 提高到 94.09％。CIFAR-100 和 Food-101 数 据集也实现了类似的改进。实验结果显示,所提出的学习策略可以大大减少计算时间,并提高分类的 准确性。这表明所提出的策略可以潜在地应用于训练带有大量参数的卷积神经网络。     

基于深度学习的人脸识别

人脸识别是图像领域的经典问题。为解决目前人脸识别中普遍存在的识别精度不高、特征点估计较为粗糙等问题,提出一种基于ResNet卷积神经网络(R-CNN)的人脸识别方法。该方法利用人脸特征探测器有效地提取了人脸特征,同时将R-CNN用于二维人脸识别,建立了人脸识别模型。实验采集了400张目标脸图片,并将其与人脸库中的1 000张样本进行混合。R-CNN模型共训练了130轮,能在摄像头中识别目标脸。在训练了80轮之后,模型准确率达到了90%以上,识别效果较好。相较于传统的人脸识别方法,该方法结合了深度学习方法,具有较高的识别率。     

基于改进MnasNet网络的低分辨率图像分类算法

针对MnasNet网络在CIFAR-10等低分辨率图像数据集上识别率较低的问题,提出一种基于金字塔型的轻量化卷积瓶颈块取代原网络中的倒置残差瓶颈块,构建改进的MnasNet网络(PSMnasNet).首先,基于图片的分辨率,调整部分瓶颈块的下采样;然后结合空间金字塔池化方法构建金字塔结构瓶颈(PSBottleneck)...     

基于彩票假设的软剪枝算法

神经网络层数的不断增加使网络复杂度也呈指数级上升,导致应用场景受到限制。提出一种基于彩票假设的软剪枝算法实现网络加速。通过使用前一阶段的剪枝网络对其进行知识蒸馏来补偿的方法恢复错误参数,并在知识蒸馏的损失函数中加入稀疏约束来保持稀疏性。在此基础上,将当前阶段得到的剪枝网络与知识蒸馏得到的学生网络进行融合。在进行网络融合时,计算剪枝网络与学生网络的相似性,并通过设计特定的融合公式来突出相近的网络参数和抑制相离的网络参数,使得网络在剪枝率提高后仍然表现良好。在CIFAR-10/100数据集上对VGG16、ResNet-18和ResNet-56模型进行实验,结果显示：剪枝率为80%时,VGG16在CIFAR-10数据集上的分类精度下降0.07个百分点;剪枝率为60%时,ResNet-56在CIFAR-10数据集上的分类精度提升0.06个百分点;剪枝率为85%、95%和99%时,ResNet-18在CIFAR-100数据集上的分类精度仅下降1.03、1.51和2.04个百分点。实验结果表明,所提算法在提高网络剪枝率的同时仍能使其保持较高的精度,验证了算法的有效性。     

基于负学习的样本重加权鲁棒学习方法

噪声标记学习方法能够有效利用含有噪声标记的数据训练模型,显著降低大规模数据集的标注成本。现有的噪声标记学习方法通常假设数据集中各个类别的样本数目是平衡的,但许多真实场景下的数据往往存在噪声标记,且数据的真实分布具有长尾现象,这导致现有方法难以设计有效的指标,如训练损失或置信度区分尾部类别中的干净样本和噪声样本。为了解决噪声长尾学习问题,提出一种基于负学习的样本重加权鲁棒学习(NLRW)方法。具体来说,根据模型对头部类别和尾部类别样本的输出分布,提出一种新的样本权重计算方法,能够使干净样本的权重接近1,噪声样本的权重接近0。为了保证模型对样本的输出准确,结合负学习和交叉熵损失使用样本加权的损失函数训练模型。实验结果表明,在多种不平衡率和噪声率的CIFAR-10以及CIFAR-100数据集上,NLRW方法相较于噪声长尾分类的最优基线模型TBSS(Two stage Bi-dimensional Sample Selection),平均准确率分别提升4.79%和3.46%。     

基于信息融合策略的卷积神经网络剪枝方法

针对现有结构化剪枝方法过度依赖预训练模型和直接丢弃不重要卷积核的信息造成了明显的性能下降的问题,提出一种基于信息融合策略的卷积神经网络剪枝方法（APBM）,以较小精度损失降低模型复杂度、实现模型加速。首先APBM方法引入信息熵概念以表示卷积核的相似度分布,并使用分布之间的相对熵动态衡量卷积核的重要程度;同时在训练的前向传播中采用信息融合策略：融合非重要卷积核信息与重要卷积核信息,以减少剪枝过程中的信息损失和提高剪枝的容错性。在CIFAR10和CIFAR100数据集上进行验证和对比实验。实验结果表明：相对于HRank、Polarization、SWP等剪枝算法,APBM方法训练时间更少、模型压缩率更高,精度保持最佳。在基于CIFAR10的剪枝任务中,对VGG16和ResNet56分别剪掉92.74%和48.84%的参数量;在基于CIFAR100的剪枝任务中,对VGG16和ResNet56分别剪掉72.91%和44.18%的参数量。     

改进型的batch normalization:BNalpha

针对提高卷积神经网络(convolutional neural network,CNN)在图像识别方向的训练速度和识别准确率进行了研究.从BN(batch normalization)着手,通过新增参数对BN的仿射变换进行具体调节,并提出一种改进型的BN——BNalpha.除去带有某些特定结构的神经网络,相对于原始的BN,BNalpha可以在不增加运算复杂度的前提下,提升神经网络的训练速度和识别准确度.通过对BN仿射变换的参数进行分析和对比,尝试解释BN在网络中的运行机理,并以此说明BNalpha相对于BN的改进为何生效.最后通过CIFAR-10和CIFAR-100数据集以及不同类型的卷积神经网络结构对BNalpha和BN进行对比实验分析,实验结果表明BNalpha能够进一步提升训练速度和识别准确度.     

基于稀疏正则化的卷积神经网络模型剪枝方法

现有卷积神经网络模型剪枝方法仅依靠自身参数信息难以准确评估参数重要性,容易造成参数误剪且影响网络模型整体性能。提出一种改进的卷积神经网络模型剪枝方法,通过对卷积神经网络模型进行稀疏正则化训练,得到参数较稀疏的深度卷积神经网络模型,并结合卷积层和BN层的稀疏性进行结构化剪枝去除冗余滤波器。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,该方法能有效压缩网络模型规模并降低计算复杂度,尤其在SVHN数据集上,压缩后的VGG-16网络模型在参数量和浮点运算量分别减少97.3%和91.2%的情况下,图像分类准确率仅损失了0.57个百分点。     

Shallow and wide fractional max-pooling network for image classification

Convolutional network (ConvNet) has been shown to be able to increase the depth as well as improve performance. Deep net, however, is not perfect yet because of vanishing/exploding gradients and some weights avoid learning anything during the training. To avoid this, can we just keep the depth shallow and simply make network wide enough to achieve a similar or better performance? To answer this question, we empirically investigate the architecture of popular ConvNet models and try to widen the network enough in the fixed depth. Following this method, we carefully design a shallow and wide ConvNet configured with fractional max-pooling operation with a reasonable number of parameters. Based on our technical approach, we achieve 6.43% test error on CIFAR-10 classification dataset. At the same time, optimal performances are also achieved on benchmark datasets MNIST (0.25% test error) and CIFAR-100 (25.79% test error) compared with related methods.

     

基于关系型蒸馏的分步神经网络压缩方法

针对关系型知识蒸馏方法中教师网络与学生网络的层数差距过大导致蒸馏效果下降的问题,提出一种基于关系型蒸馏的分步神经网络压缩方法.该方法的要点在于,在教师网络和学生网络之间增加一个中间网络分步进行关系型蒸馏,同时在每一次蒸馏过程中都增加额外的单体信息来进一步优化和增强学生模型的学习能力,实现神经网络压缩.实验结果表明,本文的方法在CIFAR-10和CIFAR-100图像分类数据集上的分类准确度相较于原始的关系型知识蒸馏方法均有0.2％左右的提升.     

基于剪枝技术和鲁棒蒸馏融合的轻量对抗攻击防御方法

对抗训练是一类常用的对抗攻击防御方法,其通过将对抗样本纳入训练过程,从而有效抵御对抗攻击。然而,对抗训练模型的鲁棒性通常依赖于网络容量的提升,即对抗训练所获得的网络为防御对抗攻击而大幅提升网络的模型容量,对其可用性造成较大约束。因此,如何在保证对抗训练模型鲁棒性的同时,降低模型容量,提出轻量对抗攻击防御方法是一大挑战。为解决以上问题,提出一种基于剪枝技术和鲁棒蒸馏融合的轻量对抗攻击防御方法。该方法以对抗鲁棒准确率为优化条件,在对预训练的鲁棒对抗模型进行分层自适应剪枝压缩的基础上,再对剪枝后的网络进行基于数据过滤的鲁棒蒸馏,实现鲁棒对抗训练模型的有效压缩,降低其模型容量。在CIFAR-10和CIFAR-100数据集上对所提出的方法进行性能验证与对比实验,实验结果表明,在相同 TRADES 对抗训练下,所提出的分层自适应剪枝技术相较于现有剪枝技术,其剪枝所得到的网络结构在多种 FLOPs 下均表现出更强的鲁棒性。此外,基于剪枝技术和鲁棒蒸馏融合的轻量对抗攻击防御方法相较于其他鲁棒蒸馏方法表现出更高的对抗鲁棒准确率。因此,实验结果证明所提方法在降低对抗训练模型容量的同时,相较于现有方法具有更强的鲁棒性,提升了对抗训练模型在物联网边缘计算环境的适用性。     

基于对比学习的标签带噪图像分类

标签噪声会极大地降低深度网络模型的性能. 针对这一问题, 本文提出了一种基于对比学习的标签带噪图像分类方法. 该方法包括自适应阈值、对比学习模块和基于类原型的标签去噪模块. 首先采用对比学习最大化一幅图像的两个增强视图的相似度来提取图像鲁棒特征; 接下来通过一种新颖的自适应阈值过滤训练样本, 在模型训练过程中根据各个类别的学习情况动态调整阈值; 然后创新性地引入基于类原型的标签去噪模块, 通过计算样本特征向量与原型向量的相似度更新伪标签, 从而避免标签中噪声的影响; 在公开数据集CIFAR-10、CIFAR-100和真实数据集ANIMAL10上进行对比实验, 实验结果表明, 在人工合成噪声的条件下, 本文方法实验结果均高于常规方法, 通过计算图像鲁棒的特征向量与各个原型向量的相似度更新伪标签的方式, 降低了噪声标签的负面影响, 在一定程度上提高模型的抗噪声能力, 验证了该模型的有效性.     

Data fusing and joint training for learning with noisy labels

It is well known that deep learning depends on a large amount of clean data. Because of high annotation cost, various methods have been devoted to annotating the data automatically. However, a larger number of the noisy labels are generated in the datasets, which is a challenging problem. In this paper, we propose a new method for selecting training data accurately. Specifically, our approach fits a mixture model to the per-sample loss of the raw label and the predicted label, and the mixture model is utilized to dynamically divide the training set into a correctly labeled set, a correctly predicted set, and a wrong set. Then, a network is trained with these sets in the supervised learning manner. Due to the confirmation bias problem, we train the two networks alternately, and each network establishes the data division to teach the other network. When optimizing network parameters, the labels of the samples fuse respectively by the probabilities from the mixture model. Experiments on CIFAR-10, CIFAR-100 and Clothing1M demonstrate that this method is the same or superior to the state-of-the-art methods.