基于ECA-Net与多尺度结合的细粒度图像分类方法

针对细粒度图像分类问题提出了一种有效的算法以实现端到端的细粒度图像分类.ECA-Net中ECA(efficient channel attention)模块是一种性能优势显著的通道注意力机制,将其与经典网络ResNet-50进行融合构成新的基础卷积神经网络ResEca;通过物体级图像定位模块与部件级图像生成模块生成物体级图像和部件级图像,并结合原始图像作为网络的输入,构建以ResEca为基础的三支路网络模型Tb-ResEca-Net(three branch of ResEca network).该算法在公有数据集CUB-200-2011、FGVC-aircraft和Stanford cars datasets上进行测试训练,分别取得了89.9％、95.1％和95.3％的准确率.实验结果表明,该算法相较于其他传统的细粒度分类算法具有较高的分类准确率以及较强的鲁棒性,是一种有效的细粒度图像分类方法.     

细粒度图像分类的深度学习方法

细粒度图像分类旨在从某一类别的图像中区分出其子类别,通常细粒度数据集具有类间相似和类内差异大的特点,这使得细粒度图像分类任务更加具有挑战性.随着深度学习的不断发展,基于深度学习的细粒度图像分类方法表现出更强大的特征表征能力和泛化能力,能够获得更准确、稳定的分类结果,因此受到了越来越多研究人员的关注和研究.首先,从细粒度...     

基于多通道视觉注意力的细粒度图像分类

视觉注意力机制在细粒度图像分类中得到了广泛的应用。现有方法多是构建一个注意力权重图对特征进行简单加权处理。对此,本文提出了一种基于可端对端训练的深度神经网络模型实现的多通道视觉注意力机制,首先通过多视觉注意力图描述对应于视觉物体的不同区域,然后提取对应高阶统计特性得到相应的视觉表示。在多个标准的细粒度图像分类测试任务中,基于多通道视觉注意的视觉表示方法均优于近年主流方法。     

基于深度模型迁移的细粒度图像分类方法

针对细粒度图像分类方法中存在模型复杂度较高、难以利用较深模型等问题,提出深度模型迁移（DMT）分类方法。首先,在粗粒度图像数据集上进行深度模型预训练;然后,使用细粒度图像数据集对预训练模型logits层进行不确切监督学习,使其特征分布向新数据集特征分布方向迁移;最后,将迁移模型导出,在对应的测试集上进行测试。实验结果表明,在STANFORD DOGS、CUB-200-2011、OXFORD FLOWER-102细粒度图像数据集上,DMT分类方法的分类准确率分别达到72.23%、73.33%和96.27%,验证了深度模型迁移方法在细粒度图像分类领域的有效性。     

细粒度图像分类综述

细粒度图像具有类内方差大、类间方差小的特点,致使细粒度图像分类（FGIC）的难度远高于传统的图像分类任务。介绍了FGIC的应用场景、任务难点、算法发展历程和相关的常用数据集,主要概述相关算法：基于局部检测的分类方法通常采用连接、求和及池化等操作,模型训练较为复杂,在实际应用中存在较多局限;基于线性特征的分类方法模仿人类视觉的两个神经通路分别进行识别和定位,分类效果相对较优;基于注意力机制的分类方法模拟人类观察外界事物的机制,先扫描全景,后锁定重点关注区域并形成注意力焦点,分类效果有进一步的提高。最后针对目前研究的不足,展望FGIC下一步的研究方向。     

基于深度卷积特征的细粒度图像分类研究综述

细粒度图像分类问题是计算机视觉领域一项极具挑战的研究课题,其目标是对子类进行识别,如区分不同种类的鸟.由于子类别间细微的类间差异和较大的类内差异,传统的分类算法不得不依赖于大量的人工标注信息.近年来,随着深度学习的发展,深度卷积神经网络为细粒度图像分类带来了新的机遇.大量基于深度卷积特征算法的提出,促进了该领域的快速发展.本文首先从该问题的定义以及研究意义出发,介绍了细粒度图像分类算法的发展现状.之后,从强监督与弱监督两个角度对比分析了不同算法之间的差异,并比较了这些算法在常用数据集上的性能表现.最后,我们对这些算法进行了总结,并讨论了该领域未来可能的研究方向及其面临的挑战.     

结合注意力与双线性网络的细粒度图像分类

如何对识别物体进行精确定位并提取更具有表达力的特征,是细粒度图像分类算法的核心问题之一.为此,本文提出了一种基于注意力机制的双线性卷积神经网络细粒度图像分类算法(BAM B-CNN),主要工作如下:1)通过VGG-16网络获得原始图像的激活映射图,选取大于平均值的最大联通区域作为物体图像;2)使用区域建议网络(RPN)...     

基于剪枝网络的知识蒸馏对遥感卫星图像分类方法

针对目前遥感图像在应用卷积神经网络分类时需要大量计算,并占用大量内存的问题,提出了一种基于剪枝网络的知识蒸馏对遥感图像分类方法.以模型剪枝理论为基础,在网络结构中引入注意力机制,加强对重要特征的提取之后,并对网络进行模型剪枝,然后引入知识蒸馏技术对模型进行迁移学习,补偿模型剪枝之后分类精度的损失.为了证明方法的先进性与可靠性,利用在NWPU-RESISC45遥感卫星数据集上,与同类算法进行对比实验.实验结果表明,所提方法不仅在分类精度有更好的表现,并且在模型大小上更具有优势.     

多层次知识自蒸馏联合多步骤训练的细粒度图像识别

细粒度图像识别具有类内差异大、类间差异小的特点,在智能零售、生物多样性检测和智慧交通等领域中有着广阔的应用场景.提取到判别性强的多粒度特征是提升细粒度图像识别精度的关键,而已有工作大多只在单一层次进行知识获取,忽略了多层次信息交互对于提取鲁棒性特征的有效性.另外一些工作通过引入注意力机制来找到局部判别区域,但这不可避免地增加了网络复杂度.为了解决这些问题,提出了多层次知识自蒸馏联合多步骤训练的细粒度图像识别（multi-level knowledge self-distillation with multi-step training for fine-grained image recognition, MKSMT）模型.该模型首先在网络浅层进行特征学习,然后在深层网络再次进行特征学习,并利用知识自蒸馏将深层网络知识迁移至浅层网络中,优化后的浅层网络又能帮助深层网络提取到更鲁棒的特征,进而提高整个模型的性能.实验结果表明,MKSMT在CUB-200-2011、 NA-Birds和Stanford Dogs这3个公开细粒度图像数据集上分别达到了92.8%、 92.6%和91.1%的分类...     

基于知识蒸馏的宫颈细胞图像分类研究

宫颈癌筛查对宫颈癌预防和早期宫颈癌诊断具有重要意义。针对现有宫颈细胞图像分类模型泛化能力不足、参数量大、对硬件要求高且难以部署终端等问题,提出一种基于知识蒸馏的宫颈细胞图像分类方法。使用残差网络为骨干网络,以ResNet18为基础学生网络,引入知识蒸馏机制使用ResNet34作为教师网络进行指导学习。采用迁移学习方法提高教师模型基准精度;将教师网络概率预测知识通过知识蒸馏传递给学生网络进行学习,以提升学生模型分类准确率。实验结果表明：知识蒸馏优化后的学生网络ResNet18精度高达95.59%,相比未优化前精度91.13%提升了4.46个百分点。蒸馏优化后的模型参数量小、精度高,网络的整体性能优秀,为建立临床轻量级宫颈细胞图像分类模型研究提供了参考。     

基于多粒度空间混乱的细粒度图像分类算法

细粒度图像分类是计算机视觉领域一个具有挑战性的任务,在实际场景中具有很高的应用价值。其中不同子类别的物体整体轮廓差异较小,微小的判别性局部区域是分类的关键。然而,这些重要的局部区域的尺度可能不同, 不能用单一的标准去衡量它们。为了解决这个问题,本文提出了多粒度空间混乱模块来帮助神经网络学习如何寻找到不同尺度的判别性细节。该模块首先将图片划分为不同粒度的局部区域,然后随机打乱并重组构成新的输入图片。经过处理的图片具有区域无关性,从而迫使网络更好地在不同粒度层次下寻找有判别力的局部区域并从中学习特征。在3个广泛使用的细粒度图像分类数据集上的实验证明本文提出的模块可以有效地帮助网络寻找判别性局部区域从而提升了准确率并且网络不需要图片的任何部位标注信息。     

基于模态相关性学习的细粒度分类

针对单模态细粒度分类方法难以区分图像间细微差异的问题,将多模态融合方法引入到细粒度分类任务中,充分利用多模态数据的相关性和互补性,提出了一种基于模态相关性学习的细粒度分类方法。该方法分为两个阶段,首先考虑到图像和文本数据之间的对应关系,利用它们的匹配程度作为约束来进行模型的预训练;接着,加载上一步得到的网络参数,先提取多模态特征,再利用文本特征指导图像特征的生成;最后,基于融合后的特征进行细粒度分类。该方法在UPMC-Food101、MEP-3M-MEATS和MEP-3M-OUTDOORS数据集上进行训练测试,分别达到91.13%、82.39%和93.17%的准确率。实验结果表明,该方法相对于传统的多模态融合方法具有更好的性能,是一种有效的细粒度分类方法。     

基于知识蒸馏的特定知识学习

在传统知识蒸馏框架中,教师网络将自身的知识全盘传递给学生网络,而传递部分知识或者特定知识的研究几乎没有。考虑到工业现场具有场景单一、分类数目少的特点,需要重点评估神经网络模型在特定类别领域的识别性能。基于注意力特征迁移蒸馏算法,提出了三种特定知识学习算法来提升学生网络在特定类别分类中的分类性能。首先,对训练数据集作特定类筛选以排除其他非特定类别的训练数据;在此基础上,将其他非特定类别视为背景并在蒸馏过程中抑制背景知识,从而进一步减少其他无关类知识对特定类知识的影响;最后,更改网络结构,即仅在网络高层抑制背景类知识,而保留网络底层基础图形特征的学习。实验结果表明,通过特定知识学习算法训练的学生网络在特定类别分类中能够媲美甚至超越参数规模六倍于它的教师网络的分类性能。     

基于多维特征图知识蒸馏的对抗样本防御方法

计算机视觉领域倾向使用深度神经网络完成识别任务,但对抗样本会导致网络决策异常。为了防御对抗样本,主流的方法是对模型进行对抗训练。对抗训练存在算力高、训练耗时长的缺点,其应用场景受限。提出一种基于知识蒸馏的对抗样本防御方法,将大型数据集学习到的防御经验复用到新的分类任务中。在蒸馏过程中,教师模型和学生模型结构一致,利用模型特征图向量作为媒介进行经验传递,并只使用干净样本训练。使用多维度特征图强化语义信息的表达,并且提出一种基于特征图的注意力机制,将特征依据重要程度赋予权重,增强蒸馏效果。所提算法在Cifar100、Cifar10等开源数据集上进行实验,使用FGSM(fast gradient sign method)、PGD(project gradient descent)、C&W(Carlini-Wagner attack)等算法进行白盒攻击,测试实验效果。所提方法在Cifar10干净样本的准确率超过对抗训练,接近模型在干净样本正常训练的准确率。在L2距离的PGD攻击下,所提方法效果接近对抗训练,显著高于正常训练。而且其学习成本小,即使添加注意力机制和多维度特征图等优化方案,...     

基于全局与局部标签关系的多标签图像分类方法

针对多标签图像分类任务中存在的难以对标签间的相互作用建模和全局标签关系固化的问题,结合自注意力机制和知识蒸馏（KD）方法,提出了一种基于全局与局部标签关系的多标签图像分类方法（ML-GLLR）。首先,局部标签关系（LLR）模型使用卷积神经网络（CNN）、语义模块和双层自注意力（DLSA）模块对局部标签关系建模;然后,利用KD方法使LLR学习全局标签关系。在公开数据集MSCOCO2014和VOC2007上进行实验,LLR相较于基于图卷积神经网络多标签图像分类（ML-GCN）方法,在平均精度均值（mAP）上分别提高了0.8个百分点和0.6个百分点,ML-GLLR相较于LLR在mAP上分别进一步提高了0.2个百分点和1.3个百分点。实验结果表明,所提ML-GLLR不仅能对标签间的相互关系进行建模,也能避免全局标签关系固化的问题。     

区域建议网络的细粒度车型识别

目的 细粒度车型识别旨在通过任意角度及场景下的车辆外观图像识别出其生产厂家、品牌型号、年款等信息,在智慧交通、安防等领域具有重要意义。针对该问题,目前主流方法已由手工特征提取向卷积神经网络为代表的深度学习方法过渡。但该类方法仍存在弊端,首先是识别时须指定车辆的具体位置,其次是无法充分利用细粒度目标识别其视觉差异主要集中在关键的目标局部的特点。为解决这些问题,提出基于区域建议网络的细粒度识别方法,并成功应用于车型识别。方法 区域建议网络是一种全卷积神经网络,该方法首先通过卷积神经网络提取图像深层卷积特征,然后在卷积特征上滑窗产生区域候选,之后将区域候选的特征经分类层及回归层得到其为目标的概率及目标的位置,最后将这些区域候选通过目标检测网络获取其具体类别及目标的精确位置,并通过非极大值抑制算法得到最终识别结果。结果 该方法在斯坦福BMW-10数据集的识别准确率为76.38%,在斯坦福Cars-196数据集识别准确率为91.48%,不仅大幅领先于传统手工特征方法,也取得了与目前最优的方法相当的识别性能。该方法同时在真实自然场景中取得了优异的识别效果。结论 区域建议网络不仅为目标检测提供了目标的具体位置,而且提供了具有区分度的局部区域,为细粒度目标识别提供了一种新的思路。该方法克服了传统目标识别对于目标位置的依赖,并且能够实现一图多车等复杂场景下的车型细粒度识别,具有更好的鲁棒性及实用性。     

基于空间注意力图的知识蒸馏算法

知识蒸馏算法对深度神经网络的精简具有很大的推动作用。当前基于特征的知识蒸馏算法或只关注单个部分进行改进,忽视了其他有益部分,或是对小模型应重点关注的部分提供有效指导,这使得蒸馏的效果有所欠缺。为了充分利用大模型的有益信息并处理,提升小模型知识转换率,提出一种新型蒸馏算法。该算法首先使用条件概率分布对大模型中间层进行特征空间分布拟合,提取拟合后趋于相似的空间注意力图,将其与其他有益信息一起,通过用于缩小模型间差距的小型卷积层,将转换后的信息传递给小模型,实现蒸馏。实验结果表明,该算法具有多师生组合适用性与多数据集通用性,相比于当前较为先进的蒸馏算法,性能提升约1.19%,用时缩短0.16 h。对大型网络的优化与深度学习部署在低资源设备上的应用具有着重要的工程意义与广泛的应用前景。