基于判别性特征增强的小样本细粒度图像识别

小样本细粒度图像识别是深度学习领域中一个热门的研究课题,其基本任务是在学习有限数量样本的情况下识别出某一大类下的子类别的图像。得益于卷积神经网络的快速发展,小样本细粒度图像识别在精度方面取得了显著的成果,但其性能仍受限于同一子类图像间的高方差以及不同分类任务中判别性特征的差异性。针对上述问题,提出了一种基于判别性特征增强的小样本细粒度图像识别算法(DFENet)。DFENet设计了对称注意力模块来增强类内视觉一致性学习,从而减少背景的影响,提高同类样本之间共享的特征表示的权重。此外,DFENet引入通道维度的判别性特征增强模块,利用支持集样本中同类样本内和不同类样本之间的通道关系进一步挖掘适合于当前任务的判别性特征,以提高识别准确率。在三个经典的细粒度数据集CUB-200-2011,Stanford Dogs, Stanford Cars上进行了广泛的实验。实验结果表明,该方法均取得了有竞争性的结果。     

CNN和Transformer在细粒度图像识别中的应用综述

细粒度图像识别旨在从类别图像中辨别子类别。由于图像间只有细微差异,这使得识别任务具有挑战性。随着深度学习技术的不断进步,基于深度学习的方法定位局部和表示特征的能力越来越强,其中以卷积神经网络（CNN）和Transformer为基础的各类算法大大提高了细粒度图像识别精度,细粒度图像领域得到了显著发展。为了整理两类方法在细粒度图像识别领域的发展历程,对该领域近年来只运用类别标签的方法进行了综述。介绍了细粒度图像识别的概念,详细阐述了主流细粒度图像数据集;介绍了基于CNN和Transformer的细粒度图像识别方法及其性能;最后,总结了细粒度图像识别未来的研究方向。     

多层次知识自蒸馏联合多步骤训练的细粒度图像识别

细粒度图像识别具有类内差异大、类间差异小的特点,在智能零售、生物多样性检测和智慧交通等领域中有着广阔的应用场景.提取到判别性强的多粒度特征是提升细粒度图像识别精度的关键,而已有工作大多只在单一层次进行知识获取,忽略了多层次信息交互对于提取鲁棒性特征的有效性.另外一些工作通过引入注意力机制来找到局部判别区域,但这不可避免地增加了网络复杂度.为了解决这些问题,提出了多层次知识自蒸馏联合多步骤训练的细粒度图像识别（multi-level knowledge self-distillation with multi-step training for fine-grained image recognition, MKSMT）模型.该模型首先在网络浅层进行特征学习,然后在深层网络再次进行特征学习,并利用知识自蒸馏将深层网络知识迁移至浅层网络中,优化后的浅层网络又能帮助深层网络提取到更鲁棒的特征,进而提高整个模型的性能.实验结果表明,MKSMT在CUB-200-2011、 NA-Birds和Stanford Dogs这3个公开细粒度图像数据集上分别达到了92.8%、 92.6%和91.1%的分类...     

细粒度图像分类的深度学习方法

细粒度图像分类旨在从某一类别的图像中区分出其子类别,通常细粒度数据集具有类间相似和类内差异大的特点,这使得细粒度图像分类任务更加具有挑战性.随着深度学习的不断发展,基于深度学习的细粒度图像分类方法表现出更强大的特征表征能力和泛化能力,能够获得更准确、稳定的分类结果,因此受到了越来越多研究人员的关注和研究.首先,从细粒度图像分类的研究背景出发,介绍了细粒度图像分类的难点和研究意义.其次,从基于强监督和弱监督两个角度,综述了基于深度学习的细粒度图像分类算法的研究进展,并介绍了多种典型的分类性能优秀的算法.此外,进一步论述了目前关于YOLO、多尺度CNN和生成对抗网络(GAN)等前沿深度学习模型在细粒度图像识别方面的应用,并且对比了最新的相关细粒度图像的数据增强方法的分类效果以及在复杂场景下不同类型的细粒度识别方法的性能特点分析.最后,通过对算法的分类性能进行对比和总结,探讨了未来发展方向和面临的挑战.     

基于自适应三线性池化网络的细粒度图像分类

细粒度图像分类的关键在于提取图像中微妙的特征。现有基于弱监督方式的细粒度图像识别方法大多使用专家标注的边界注释辅助定位关键区域,存在标注成本高、训练过程复杂等问题。基于弱监督的双线性卷积神经网络方法因其学习到的特征空间更符合细粒度图像特性而具有一定的有效性,但忽略了层间的相互作用。针对细粒度图像识别领域存在的关键区域识别困难和层间交互关联弱的问题,融合二阶协方差通道注意力机制、自适应特征掩码与自适应三线性池化,提出自适应三线性池化网络ATP-Net,用于细粒度图像分类任务。通过二阶协方差通道注意力机制学习通道上的注意力向量,构建自适应特征掩码模块学习空间维上的注意力矩阵,设计自适应三线性池化模块学习特征的最终表示,以充分利用空间维、通道维上的信息。在CUB-200、Cars-196和Aircraft-100 3个细粒度图像分类数据集上的实验结果表明,ATP-Net的分类精度分别为89.30%、94.20%和91.80%。     

结合前景特征增强与区域掩码自注意力的细粒度图像分类

为解决细粒度图像分类中不相关背景信息干扰以及子类别差异特征难以提取等问题,提出了一种结合前景特征增强和区域掩码自注意力的细粒度图像分类方法。首先,利用ResNet50提取输入图片的全局特征;然后通过前景特征增强网络定位前景目标在输入图片中的位置,在消除背景信息干扰的同时对前景目标进行特征增强,有效突出前景物体;最后,将特征增强的前景目标通过区域掩码自注意力网络学习丰富、多样化且区别于其他子类的特征信息。在训练模型的整个过程,建立多分支损失函数约束特征学习。实验表明,该模型在细粒度图像数据集CUB-200-2011、Stanford Cars和FGVC-Aircraft的准确率分别达到了88.0%、95.3%和93.6%,优于其他主流方法。     

基于注意力金字塔与监督哈希的细粒度图像检索

大规模细粒度图像检索是一项极具挑战性的任务。由于图像间具有类间距离小、类内距离大的特点,传统的深度神经网络学习到的图像特征存在高度冗余,导致检索速度慢、存储成本高昂。为解决该问题,提出了一种基于注意力金字塔与监督哈希的深度神经网络模型。在特征提取网络中,针对细粒度图像的特点,采用了双通路金字塔结构,并设计了自上而下的特征通路及自下而上的注意力通路,借此更好地融合高层与低层特征。在分类网络中,为压缩存储空间、提高检索效率,在深度哈希的基础上使用tanh(x)代替sign(x)作为激活函数,使学习到的哈希函数更容易达到平稳分布;同时结合量化损失与分类损失,使生成的哈希码更好地与原始输入图像的特征匹配。在FGVC-Aircraft及Stanford Cars两个标准细粒度数据集上的准确率分别达到82.3%、83.3%,均优于其他对比算法,证明了算法的有效性。     

基于深度学习的车联网图像识别系统设计

由于传统系统在车联网图像识别应用中的漏识率较高,基于深度学习设计车联网图像识别系统。硬件方面,设计了高清摄像机和发光二极管（Light Emitting Diode,LED）补光灯,获取道路车辆图像信息;软件方面,根据图像对比结果将车辆图像分成两类,对亮度较低的一类进行增强处理,利用深度学习网络模型对图像特征进行深度挖掘,并对提取的图像特征进行降维处理,根据图像特征与车联网数据库中的车辆图像进行对比,计算出图像相似度,识别到图像属性信息,从而实现基于深度学习的车联网图像识别系统设计。实验结果表明,设计系统对于车联网图像识别的漏识率低于传统系统,能够为图像识别提供精准的依据。     

细粒度图像分类的通道自适应判别性学习方法

由于类内差异大且类间差异小,因此细粒度图像分类极具挑战性。鉴于深层特征具有很强的特征表示能力,而中层特征又能有效地补充全局特征在图像细粒度识别中的缺失信息,因此,为了充分利用卷积层的特征,本文提出细粒度图像分类的通道自适应判别性学习方法:首先在通道方向上聚集中级特征以获取目标位置;然后对通过感兴趣区域特征交互级联得到的信息进行分类;最后进行端到端的训练,无需任何边界框和零件注释。在CUB-200-2011、Stanford Cars和FGVC-Aircraft这3个公共数据集上开展大量实验,与其他方法相比,本文方法既可以保持简单性和推理效率又可提升分类准确度。     

选择并融合粗细粒度特征的细粒度图像识别

目的 在细粒度图像识别任务中,类内图像姿势方差大,需要找到类内变化小的共性,决定该任务依赖于鉴别性局部的细粒度特征;类间图像局部差异小,需要找到类间更全面的不同,决定该任务还需要多样性局部的粗粒度特征。现有方法主要关注粗细粒度下的局部定位,没有考虑如何选择粗细粒度的特征及如何融合不同粒度的特征。为此,提出一种选择并融合粗细粒度特征的细粒度图像识别方法。方法 设计一个细粒度特征选择模块,通过空间选择和通道选择来突出局部的细粒度鉴别性特征;构建一个粗粒度特征选择模块,基于细粒度模块选择后的局部,挖掘各局部间的语义和位置关系,从而获得为细粒度局部提供补充信息的粗粒度多样性特征;融合这两个模块中提取到的细粒度特征和粗粒度特征,形成互补的粗细粒度表示,以提高细粒度图像识别方法的准确性。结果 在CUB-200-2011（caltech-UCSD birds-200-2011）、Stanford Cars和FGVC-Aircraft（fine-grained visual classification aircraft） 3个公开的标准数据集上进行广泛实验,结果表明,所提方法的识别准确率分别达到90.3%、95.6%和94.8%,明显优于目前主流的细粒度图像识别方法,相较于对比方法中的最好结果,准确率相对提升0.7%、0.5%和1.4%。结论 提出的方法能够提取粗粒度和细粒度两种类型的视觉特征,同时保证特征的鉴别性和多样性,使细粒度图像识别的结果更加精准。     

联合语义部件的鸟类图像细粒度识别

由于子类别的高度相似性引起的类间微小差异,以及姿态、尺度和旋转方面的类内变化,使得细粒度图像识别成为一个具有挑战性的计算机视觉问题.为了对鸟类图像进行细粒度识别,提出一种联合语义部件的深度卷积神经网络模型.该模型由2个子网络组成:一个是语义部件检测子网,使用深度残差网络对鸟类图像语义部件进行精确定位;另一个是分类子网,使用三路深度残差网络对检测子网检测到的语义部件进行联合分类.收集了一个新的鸟类图像数据集YUB-200-2017,用于鸟类图像细粒度识别实验.结果表明,在YUB-200-2017和CUB-200-2011数据集上,文中方法具有较高的语义部件检测精度和识别准确率.     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

面向跨模态检索的协同注意力网络模型

随着图像、文本、声音、视频等多模态网络数据的急剧增长,人们对多样化的检索需求日益强烈,其中的跨模态检索受到广泛关注。然而,由于其存在异构性差异,在不同的数据模态之间寻找内容相似性仍然具有挑战性。现有方法大都将异构数据通过映射矩阵或深度模型投射到公共子空间,来挖掘成对的关联关系,即图像和文本的全局信息对应关系,而忽略了数据内局部的上下文信息和数据间细粒度的交互信息,无法充分挖掘跨模态关联。为此,文中提出文本-图像协同注意力网络模型(CoAN),通过选择性地关注多模态数据的关键信息部分来增强内容相似性的度量。CoAN利用预训练的VGGNet模型和循环神经网络深层次地提取图像和文本的细粒度特征,利用文本-视觉注意力机制捕捉语言和视觉之间的细微交互作用;同时,该模型分别学习文本和图像的哈希表示,利用哈希方法的低存储特性和计算的高效性来提高检索速度。在实验得出,在两个广泛使用的跨模态数据集上,CoAN的平均准确率均值(mAP)超过所有对比方法,文本检索图像和图像检索文本的mAP值分别达到0.807和0.769。实验结果说明,CoAN有助于检测多模态数据的关键信息区域和数据间细粒度的交互信息,充分挖掘跨模态数据的内容相似性,提高检索精度。     

递归深度混合关注网络的细粒度图像分类方法

在细粒度图像的大量局部特征中,只有少量特征具有判别性,其提取较为困难。为此,提出递归深度混合关注网络方法。通过在卷积结构单元中添加通道关注模块和空间关注模块,实现网络的混合关注。以第1路网络输出特征的空间响应值为依据切割原图,并将切割后的图像放大输入第2路网络,进行由粗到细的网络递归。将2路网络提取的特征进行级联融合。在公开数据集Stanford Dogs、Stanford Cars中进行对比实验,结果表明,该方法的分类精度分别为87.1%、92.4%,优于FCAN、HIHCA等方法。     

基于伪成对标签的深度无监督哈希学习

无监督的深度哈希学习方法由于缺少相似性监督信息,难以获取高质量的哈希编码.因此,文中提出端到端的基于伪成对标签的深度无监督哈希学习模型.首先对由预训练的深度卷积神经网络得到的图像特征进行统计分析,用于构造数据的语义相似性标签.再进行基于成对标签的有监督哈希学习.在两个常用的图像数据集CIFAR-10、NUS-WIDE上的实验表明,经文中方法得到的哈希编码在图像检索上的性能较优.     

一种结合非局部和多区域注意力机制的细粒度图像识别方法

细粒度图像识别的目标是对细粒度级别的物体子类进行分类,由于不同子类间的差异非常细微,使得细粒度图像识别具有非常大的挑战性.目前细粒度图像识别算法的难度在于如何定位细粒度目标中具有分辨性的部位以及如何更好地提取细粒度级别的细微特征.为此,提出了一种结合非局部和多区域注意力机制的细粒度识别方法.Navigator只利用图像...     

基于ViT的细粒度图像分类

为解决细粒度图像分类任务存在类内差异性和类间相似性大的问题，提出一种基于Vision Transformer(ViT)的细粒度图像分类方法。采取ViT作为特征编码网络，获取图像的全局特征表示；设计多级区域选择模块，捕捉细微的具有可判别性的层级化信息；利用一个简单且有效的中心损失函数，缩短深层特征与相应类中心在特征空间中的距离。在图像级标签的监督下，实现端到端的训练。结果在CUB-200-2011、NABirds以及Stanford Cars数据集上分别达到90.1%、90.2%和93.7%的分类准确率，超越当前最优算法。     

基于知识蒸馏与目标区域选取的细粒度图像分类方法

细粒度图像分类任务由于自身存在的细微的类间差别和巨大的类内差别使其极具挑战性,为了更好地学习细粒度图像的潜在特征,该算法将知识蒸馏引入到细粒度图像分类任务中,提出基于知识蒸馏与目标区域选取的细粒度图像分类方法（TRS-DeiT）,能使其兼具CNN模型和Transformer模型的各自优点。此外,TRS-DeiT的新型目标区域选取模块能够获取最具区分性的区域;为了区分任务中的易混淆类,引入对抗损失函数计算不同类别图像间的相似度。最终,在三个经典细粒度数据集CUB-200-2011、Stanford Cars和Stanford Dogs上进行训练测试,分别达到90.8%、95.0%、95.1%的准确率。实验结果表明,该算法相较于传统模型具有更高的准确性,通过可视化结果进一步证实该算法的注意力主要集中在识别对象,从而使其更擅长处理细粒度图像分类任务。     

基于迁移学习和批归一化的菜肴图像识别方法

菜肴图像识别属于图像细粒度识别。针对菜肴子类之间差距小、外观差异大且受外界因素影响难以识别问题,提出一种基于迁移学习和批归一化结合的深度学习模型菜肴图像识别方法。以预训练的VGG-16为迁移学习基础,对部分卷积层以及全连接层输出做批归一化处理,最终得到尺度变换和平移后的特征集合。通过迁移学习解决深度学习所带来的过拟合问题,获取比人工特征更具有鉴别性的深度特征;通过批归一化处理缓解深度学习中存在的梯度消失问题。迁移学习的相关实验中以loss、top1、top5准确率为指标;批归一化相关实验中以top1准确率和top5准确率为指标。实验表明,在VireoFood172和UEC-Food100数据集上,所提出的模型与原始模型相比,loss明显下降,准确率有大幅提升,并且与现有方法相比在菜肴图像识别的top1和top5准确率上均有所提升。     

网络监督数据下的细粒度图像识别综述

细粒度图像识别旨在对某一传统语义类别下细粒度级别的不同子类类别进行视觉识别,在智慧新经济和工业物联网等领域（如智慧城市、公共安全、生态保护、农业生产与安全保障）具有重要的科学意义和应用价值。细粒度图像识别在深度学习的助力下取得了长足进步,但其对大规模优质细粒度图像数据的依赖成为制约细粒度图像识别推广和普及的瓶颈。随着互联网和大数据的快速发展,网络监督图像数据作为免费的数据来源成为缓解深度学习对大数据依赖的可行解决方案,如何有效利用网络监督数据成为提升细粒度图像识别推广性和泛化性的热门课题。本文围绕细粒度图像识别主题,以网络监督数据下的细粒度识别为重点,先后对细粒度识别数据集、传统细粒度识别方法、网络监督下细粒度识别特点与方法进行介绍,并回顾了全球首届网络监督下的细粒度图像识别竞赛的相关情况及冠军解决方案。最后,在上述内容基础上总结和讨论了该领域的未来发展趋势。