基于自适应三线性池化网络的细粒度图像分类

细粒度图像分类的关键在于提取图像中微妙的特征。现有基于弱监督方式的细粒度图像识别方法大多使用专家标注的边界注释辅助定位关键区域,存在标注成本高、训练过程复杂等问题。基于弱监督的双线性卷积神经网络方法因其学习到的特征空间更符合细粒度图像特性而具有一定的有效性,但忽略了层间的相互作用。针对细粒度图像识别领域存在的关键区域识别困难和层间交互关联弱的问题,融合二阶协方差通道注意力机制、自适应特征掩码与自适应三线性池化,提出自适应三线性池化网络ATP-Net,用于细粒度图像分类任务。通过二阶协方差通道注意力机制学习通道上的注意力向量,构建自适应特征掩码模块学习空间维上的注意力矩阵,设计自适应三线性池化模块学习特征的最终表示,以充分利用空间维、通道维上的信息。在CUB-200、Cars-196和Aircraft-100 3个细粒度图像分类数据集上的实验结果表明,ATP-Net的分类精度分别为89.30%、94.20%和91.80%。     

基于判别性特征增强的小样本细粒度图像识别

小样本细粒度图像识别是深度学习领域中一个热门的研究课题,其基本任务是在学习有限数量样本的情况下识别出某一大类下的子类别的图像。得益于卷积神经网络的快速发展,小样本细粒度图像识别在精度方面取得了显著的成果,但其性能仍受限于同一子类图像间的高方差以及不同分类任务中判别性特征的差异性。针对上述问题,提出了一种基于判别性特征增强的小样本细粒度图像识别算法(DFENet)。DFENet设计了对称注意力模块来增强类内视觉一致性学习,从而减少背景的影响,提高同类样本之间共享的特征表示的权重。此外,DFENet引入通道维度的判别性特征增强模块,利用支持集样本中同类样本内和不同类样本之间的通道关系进一步挖掘适合于当前任务的判别性特征,以提高识别准确率。在三个经典的细粒度数据集CUB-200-2011,Stanford Dogs, Stanford Cars上进行了广泛的实验。实验结果表明,该方法均取得了有竞争性的结果。     

选择并融合粗细粒度特征的细粒度图像识别

目的 在细粒度图像识别任务中,类内图像姿势方差大,需要找到类内变化小的共性,决定该任务依赖于鉴别性局部的细粒度特征;类间图像局部差异小,需要找到类间更全面的不同,决定该任务还需要多样性局部的粗粒度特征。现有方法主要关注粗细粒度下的局部定位,没有考虑如何选择粗细粒度的特征及如何融合不同粒度的特征。为此,提出一种选择并融合粗细粒度特征的细粒度图像识别方法。方法 设计一个细粒度特征选择模块,通过空间选择和通道选择来突出局部的细粒度鉴别性特征;构建一个粗粒度特征选择模块,基于细粒度模块选择后的局部,挖掘各局部间的语义和位置关系,从而获得为细粒度局部提供补充信息的粗粒度多样性特征;融合这两个模块中提取到的细粒度特征和粗粒度特征,形成互补的粗细粒度表示,以提高细粒度图像识别方法的准确性。结果 在CUB-200-2011（caltech-UCSD birds-200-2011）、Stanford Cars和FGVC-Aircraft（fine-grained visual classification aircraft） 3个公开的标准数据集上进行广泛实验,结果表明,所提方法的识别准确率分别达到90.3%、95.6%和94.8%,明显优于目前主流的细粒度图像识别方法,相较于对比方法中的最好结果,准确率相对提升0.7%、0.5%和1.4%。结论 提出的方法能够提取粗粒度和细粒度两种类型的视觉特征,同时保证特征的鉴别性和多样性,使细粒度图像识别的结果更加精准。     

基于中层细微特征提取与多尺度特征融合细粒度图像识别

在细粒度视觉识别领域,由于高度近似的类别之间差异细微,图像细微特征的精确提取对识别的准确率有着至关重要的影响。现有的相关热点研究算法中使用注意力机制提取类别特征已经成为一种趋势,然而这些算法忽略了不明显但可区分的细微部分特征,并且孤立了对象不同判别性区域之间的特征关系。针对这些问题,提出了基于中层细微特征提取与多尺度特征融合的图像细粒度识别算法。首先,利用通道与位置信息融合中层特征的权重方差度量提取图像显著特征,之后通过通道平均池化获得掩码矩阵抑制显著特征,并增强其他判别性区域细微特征的提取;然后,通过通道权重信息与像素互补信息获得通道与像素多尺度融合特征,以增强不同判别性区域特征的多样性与丰富性。实验结果表明,所提算法在数据集CUB-200-2011上达到89.52%的Top-1准确率、98.46%的Top-5准确率;在Stanford Cars数据集上达到94.64%的Top-1准确率、98.62%的Top-5准确率;在飞行器细粒度分类（FGVCAircraft）数据集上达到93.20%的Top-1准确率、97.98%的Top-5准确率。与循环协同注意力特征学习网络PCA-Net(...     

结合双语义数据增强与目标定位的细粒度图像分类

细粒度图像分类旨在对属于同一基础类别的图像进行更细致的子类划分,其较大的类内差异和较小的类间差异使得提取局部关键特征成为关键所在。提出一种结合双语义数据增强与目标定位的细粒度图像分类算法。为充分提取具有区分度的局部关键特征,在训练阶段基于双线性注意力池化和卷积块注意模块构建注意力学习模块和信息增益模块,分别获取目标局部细节信息和目标重要轮廓这2类不同语义层次的数据,以双语义数据增强的方式提高模型准确率。同时,在测试阶段构建目标定位模块,使模型聚焦于分类目标整体,从而进一步提高分类准确率。实验结果表明,该算法在CUB-200-2011、FGVC Aircraft和Stanford Cars数据集中分别达到89.5%、93.6%和94.7%的分类准确率,较基准网络Inception-V3、双线性注意力池化特征聚合方式以及B-CNN、RA-CNN、MA-CNN等算法具有更好的分类性能。     

基于注意力机制的弱监督细粒度图像分类

针对细粒度图像分类任务中难以对图中具有鉴别性对象进行有效学习的问题,本文提出了一种基于注意力机制的弱监督细粒度图像分类算法.该算法能有效定位和识别细粒度图像中语义敏感特征.首先在经典卷积神经网络的基础上通过线性融合特征得到对象整体信息的表达,然后通过视觉注意力机制进一步提取特征中具有鉴别性的细节部分,获得更完善的细粒度特征表达.所提算法实现了线性融合和注意力机制的结合,可看作是多网络分支合作训练共同优化的网络模型,从而让网络模型对整体信息和局部信息都有更好的表达能力.在3个公开可用的细粒度识别数据集上进行了验证,实验结果表明,所提方法有效性均优于基线方法,且达到了目前先进的分类水平.     

CNN和Transformer在细粒度图像识别中的应用综述

细粒度图像识别旨在从类别图像中辨别子类别。由于图像间只有细微差异,这使得识别任务具有挑战性。随着深度学习技术的不断进步,基于深度学习的方法定位局部和表示特征的能力越来越强,其中以卷积神经网络（CNN）和Transformer为基础的各类算法大大提高了细粒度图像识别精度,细粒度图像领域得到了显著发展。为了整理两类方法在细粒度图像识别领域的发展历程,对该领域近年来只运用类别标签的方法进行了综述。介绍了细粒度图像识别的概念,详细阐述了主流细粒度图像数据集;介绍了基于CNN和Transformer的细粒度图像识别方法及其性能;最后,总结了细粒度图像识别未来的研究方向。     

基于知识蒸馏与目标区域选取的细粒度图像分类方法

细粒度图像分类任务由于自身存在的细微的类间差别和巨大的类内差别使其极具挑战性,为了更好地学习细粒度图像的潜在特征,该算法将知识蒸馏引入到细粒度图像分类任务中,提出基于知识蒸馏与目标区域选取的细粒度图像分类方法（TRS-DeiT）,能使其兼具CNN模型和Transformer模型的各自优点。此外,TRS-DeiT的新型目标区域选取模块能够获取最具区分性的区域;为了区分任务中的易混淆类,引入对抗损失函数计算不同类别图像间的相似度。最终,在三个经典细粒度数据集CUB-200-2011、Stanford Cars和Stanford Dogs上进行训练测试,分别达到90.8%、95.0%、95.1%的准确率。实验结果表明,该算法相较于传统模型具有更高的准确性,通过可视化结果进一步证实该算法的注意力主要集中在识别对象,从而使其更擅长处理细粒度图像分类任务。     

多尺度拼图重构网络的食品图像识别

近年来,食品图像识别由于在健康饮食管理、无人餐厅等领域的广泛应用而受到了越来越多的关注.不同于其他物体识别任务,食品图像属于细粒度图像,具有较高的类内差异性和类间相似性,而且食品图像没有固定的语义模式和空间布局,这些特点使得食品图像识别更具挑战性.为此,提出了一种用于食品图像识别的多尺度拼图重构网络（multi-scale jigsaw and reconstruction network,MJR-Net）.MJR-Net由拼图重构模块、特征金字塔模块和通道注意力模块这3部分组成.拼图重构模块使用破坏重构学习方法将原始图像进行破坏和重构,以提取局部的判别性细节特征;特征金字塔模块可以融合不同尺寸的中层特征,以捕获多尺度的局部判别性特征;通道注意力模块对不同特征通道的重要程度进行建模,以增强判别性的视觉模式,减弱噪声干扰.此外,还使用A-softmax和Focal损失,分别从增大类间差异和修正分类样本的角度优化网络.MJR-Net在ETH Food-101,Vireo Food-172和ISIA Food-500这3个食品数据集上进行实验,分别取得了90.82%,91.37%和64.95%的识别准确率.实验结果表明,与其他食品图像识别方法相比,MJR-Net表现出较大的竞争力,并在Vireo Food-172和ISIA Food-500上取得了最优识别性能.全面的消融实验和可视化分析证明了该方法的有效性.     

多尺度显著特征双线注意力细粒度分类方法

针对细粒度图像分类任务中存在的区分性特征太过细微难以捕捉、无法有效地定位感兴趣的区域等问题,提出一种多尺度显著特征双线注意力分类方法.首先设计区域显著特征增强模块,通过区域切片操作放大并捕获细微可区分特征,增强特征图表达能力;然后提出多分支双线注意力池化策略,以弱监督方式层次化表征对象的显著部位特征,提高不同尺度局部信息的关注能力;最后利用反事实学习思想量化注意力质量,将真实的注意力和无关注意力对最终预测结果的差异作为衡量指标,通过差异最大化迫使双线注意力池化策略学习更有效特征.在CUB-200-2011,StanfordCars和StanfordDogs这3个公开数据集上,所提方法的准确率分别达到89.3%,95.0%和87.6%,相比其他方法的性能有较大幅度的提升.     

自上而下注意图分割的细粒度图像分类

目的 针对细粒度图像分类中的背景干扰问题,提出一种利用自上而下注意图分割的分类模型。方法 首先,利用卷积神经网络对细粒度图像库进行初分类,得到基本网络模型。再对网络模型进行可视化分析,发现仅有部分图像区域对目标类别有贡献,利用学习好的基本网络计算图像像素对相关类别的空间支持度,生成自上而下注意图,检测图像中的关键区域。再用注意图初始化GraphCut算法,分割出关键的目标区域,从而提高图像的判别性。最后,对分割图像提取CNN特征实现细粒度分类。结果 该模型仅使用图像的类别标注信息,在公开的细粒度图像库Cars196和Aircrafts100上进行实验验证,最后得到的平均分类正确率分别为86.74%和84.70%。这一结果表明,在GoogLeNet模型基础上引入注意信息能够进一步提高细粒度图像分类的正确率。结论 基于自上而下注意图的语义分割策略,提高了细粒度图像的分类性能。由于不需要目标窗口和部位的标注信息,所以该模型具有通用性和鲁棒性,适用于显著性目标检测、前景分割和细粒度图像分类应用。     

A collaborative gated attention network for fine-grained visual classification

Fine-grained image classification aims at subdividing large coarse-grained categories into finer-grained subcategories. Most existing fine-grained research methods use a single attention mechanism or multiple sub-networks to zoom in and find distinguishable local feature regions. These models seldom explore the intrinsic connections between cross-layer features with similar semantic features. This tends to show erratic performance in images with complex backgrounds. To this end, we propose a feature-semantic fusion module to enhance the diversity of global feature information. Second, we employ cross-layer spatial attention and channel attention modules, which can accurately locate local key regions of images. Finally, we propose a cross-gate attention module that can find rich discriminative features from key object regions of images to guide the final classification. Experiments show that the proposed model performs well on three datasets: CUB-200-2011, Stanford cars, and FGVC aircraft.     

多级卷积特征金字塔的细粒度食物图片识别

目的 食物图片具有结构多变、背景干扰大、类间差异小、类内差异大等特点,比普通细粒度图片的识别难度更大。目前在食物图片识别领域,食物图片的识别与分类仍存在精度低、泛化性差等问题。为了提高食物图片的识别与分类精度,充分利用食物图片的全局与局部细节信息,本文提出了一个多级卷积特征金字塔的细粒度食物图片识别模型。方法 本文模型从整体到局部逐级提取特征,将干扰较大的背景信息丢弃,仅针对食物目标区域提取特征。模型主要由食物特征提取网络、注意力区域定位网络和特征融合网格3部分组成,并采用3级食物特征提取网络的级联结构来实现特征由全局到局部的转移。此外,针对食物图片尺度变化大的特点,本文模型在每级食物特征提取网络中加入了特征金字塔结构,提高了模型对目标大小的鲁棒性。结果 本文模型在目前主流公开的食物图片数据集Food-101、ChineseFoodNet和Food-172上进行实验,分别获得了91.4%、82.8%、90.3%的Top-1正确率,与现有方法相比提高了1%~8%。结论 本文提出了一种多级卷积神经网络食物图片识别模型,可以自动定位食物图片区分度较大的区域,融合食物图片的全局与局部特征,实现了食物图片的细粒度识别,有效提高了食物图片的识别精度。实验结果表明,该模型在目前主流食物图片数据集上取得了最好的结果。     

聚焦—识别网络架构的细粒度图像分类

目的 细粒度图像分类是指对一个大类别进行更细致的子类划分,如区分鸟的种类、车的品牌款式、狗的品种等。针对细粒度图像分类中的无关信息太多和背景干扰问题,本文利用深度卷积网络构建了细粒度图像聚焦—识别的联合学习框架,通过去除背景、突出待识别目标、自动定位有区分度的区域,从而提高细粒度图像分类识别率。方法 首先基于Yolov2（youonly look once v2）的网络快速检测出目标物体,消除背景干扰和无关信息对分类结果的影响,实现聚焦判别性区域,之后将检测到的物体（即Yolov2的输出）输入双线性卷积神经网络进行训练和分类。此网络框架可以实现端到端的训练,且只依赖于类别标注信息,而无需借助其他的人工标注信息。结果 在细粒度图像库CUB-200-2011、Cars196和Aircrafts100上进行实验验证,本文模型的分类精度分别达到84.5%、92%和88.4%,与同类型分类算法得到的最高分类精度相比,准确度分别提升了0.4%、0.7%和3.9%,比使用两个相同D（dence）-Net网络的方法分别高出0.5%、1.4%和4.5%。结论 使用聚焦—识别深度学习框架提取有区分度的区域对细粒度图像分类有积极作用,能够滤除大部分对细粒度图像分类没有贡献的区域,使得网络能够学习到更多有利于细粒度图像分类的特征,从而降低背景干扰对分类结果的影响,提高模型的识别率。     

融合判别式深度特征学习的图像识别算法

目的 卷积神经网络在图像识别算法中得到了广泛应用。针对传统卷积神经网络学习到的特征缺少更有效的鉴别能力而导致图像识别性能不佳等问题,提出一种融合线性判别式思想的损失函数LDloss（linear discriminant loss）并用于图像识别中的深度特征提取,以提高特征的鉴别能力,进而改善图像识别性能。方法 首先利用卷积神经网络搭建特征提取所需的深度网络,然后在考虑样本分类误差最小化的基础上,对于图像多分类问题,引入LDA（linear discriminant analysis）思想构建新的损失函数参与卷积神经网络的训练,来最小化类内特征距离和最大化类间特征距离,以提高特征的鉴别能力,从而进一步提高图像识别性能,分析表明,本文算法可以获得更有助于样本分类的特征。其中,学习过程中采用均值分批迭代更新的策略实现样本均值平稳更新。结果 该算法在MNIST数据集和CK+数据库上分别取得了99.53%和94.73%的平均识别率,与现有算法相比较有一定的提升。同时,与传统的损失函数Softmax loss和Hinge loss对比,采用LDloss的深度网络在MNIST数据集上分别提升了0.2%和0.3%,在CK+数据库上分别提升了9.21%和24.28%。结论 本文提出一种新的融合判别式深度特征学习算法,该算法能有效地提高深度网络的可鉴别能力,从而提高图像识别精度,并且在测试阶段,与Softmax loss相比也不需要额外的计算量。     

融合弱监督目标定位的细粒度小样本学习

目的 小样本学习旨在通过一幅或几幅图像来学习全新的类别。目前许多小样本学习方法基于图像的全局表征,可以很好地实现常规小样本图像分类任务。但是,细粒度图像分类需要依赖局部的图像特征,而基于全局表征的方法无法有效地获取图像的局部特征,导致很多小样本学习方法不能很好地处理细粒度小样本图像分类问题。为此,提出一种融合弱监督目标定位的细粒度小样本学习方法。方法 在数据量有限的情况下,目标定位是一个有效的方法,能直接提供最具区分性的区域。受此启发,提出了一个基于自注意力的互补定位模块来实现弱监督目标定位,生成筛选掩膜进行特征描述子的筛选。基于筛选的特征描述子,设计了一种语义对齐距离来度量图像最具区分性区域的相关性,进而完成细粒度小样本图像分类。结果 在miniImageNet数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法高出0.56%和5.02%。在细粒度数据集Stanford Dogs和Stanford Cars数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法分别提高了4.18%,7.49%和16.13,5.17%。在CUB 200-2011（Caltech-UCSD birds）数据集中,本文方法在5-shot下的分类精度相较性能第2的方法提升了1.82%。泛化性实验也显示出本文方法可以更好地同时处理常规小样本学习和细粒度小样本学习。此外,可视化结果显示出所提出的弱监督目标定位模块可以更完整地定位出目标。结论 融合弱监督目标定位的细粒度小样本学习方法显著提高了细粒度小样本图像分类的性能,而且可以同时处理常规的和细粒度的小样本图像分类。     

FFDNet:复杂环境中的细粒度面部表情识别

针对面部表情识别在复杂环境中遮挡和姿态变化问题,提出一种稳健的识别模型FFDNet（feature fusion and feature decomposition net）。该算法针对人脸区域尺度的差异,采用多尺度结构进行特征融合,通过细粒度模块分解和细化特征差异,同时使用编码器捕捉具有辨别力和微小差异的特征。此外还提出一种多样性特征损失函数,驱动模型挖掘更丰富的细粒度特征。实验结果显示,FFDNet在RAF-DB和FERPlus数据集上分别获得了88.50%和88.75%的精度,同时在遮挡和姿态变化数据集上的性能都优于一些先进模型。实验结果验证了该算法的有效性。     

结合注意力与局部特征融合的行人重识别算法

行人重识别是指从一堆候选图片中找到与目标最相似的行人图片,本质上是一个图像检索的子问题。为了进一步增强网络提取关键特征的能力以及抑制噪声的干扰,通过对基于注意力机制和局部特征的行人重识别算法的研究,提出了结合注意力与局部特征融合的行人重识别算法。该算法将ResNeSt-50作为骨干网络,联合软注意力与非局部注意力机制,采用双流结构分别提取行人细粒度全局特征和细粒度局部特征,通过关注不同特征之间共享的空间域信息以及同一特征不同水平区域的潜在语义相关性,创建了空间感知特征融合模块（spatial-aware feature fusion module）以及跨区域特征融合模块（cross-region feature fusion module）。在Market-1501、DukeMTMC-reID以及CUHK03数据集上的实验结果表明该算法极大程度上提升了网络的检索能力,同时与现有算法进行比较,凸显出优越性能。