基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

基于中层细微特征提取与多尺度特征融合细粒度图像识别

在细粒度视觉识别领域,由于高度近似的类别之间差异细微,图像细微特征的精确提取对识别的准确率有着至关重要的影响。现有的相关热点研究算法中使用注意力机制提取类别特征已经成为一种趋势,然而这些算法忽略了不明显但可区分的细微部分特征,并且孤立了对象不同判别性区域之间的特征关系。针对这些问题,提出了基于中层细微特征提取与多尺度特征融合的图像细粒度识别算法。首先,利用通道与位置信息融合中层特征的权重方差度量提取图像显著特征,之后通过通道平均池化获得掩码矩阵抑制显著特征,并增强其他判别性区域细微特征的提取;然后,通过通道权重信息与像素互补信息获得通道与像素多尺度融合特征,以增强不同判别性区域特征的多样性与丰富性。实验结果表明,所提算法在数据集CUB-200-2011上达到89.52%的Top-1准确率、98.46%的Top-5准确率;在Stanford Cars数据集上达到94.64%的Top-1准确率、98.62%的Top-5准确率;在飞行器细粒度分类（FGVCAircraft）数据集上达到93.20%的Top-1准确率、97.98%的Top-5准确率。与循环协同注意力特征学习网络PCA-Net(...     

基于融合池化和注意力增强的细粒度视觉分类网络

细粒度视觉分类核心是提取图像判别式特征.目前大多数方法引入注意力机制,使网络聚焦于目标物体的重要区域.然而,这种方法只定位到目标物体的显著特征,无法囊括全部判别式特征,容易混淆具有相似特征的不同类别.因此,文中提出基于融合池化和注意力增强的细粒度视觉分类网络,旨在获得全面判别式特征.在网络末端,设计融合池化模块,包括全局平均池化、全局top-k池化和两者融合的三分支结构,获得多尺度判别式特征.此外,提出注意力增强模块,在注意力图的引导下通过注意力网格混合模块和注意力裁剪模块,获得2幅更具判别性的图像参与网络训练.在细粒度图像数据集CUB-200-2011、Stanford Cars、FGVC-Aircraft上的实验表明文中网络准确率较高,具有较强的竞争力.     

概念驱动的小样本判别特征学习方法

小样本学习旨在让模型能够在仅有少量标记数据的新类中进行分类。基于度量学习的方法是小样本学习的一种有效方法,该类方法利用有标签的支持集样本构建类表示,再基于查询样本和类表示的相似性进行分类。因此,如何构建判别性更强的类表示是这类方法的关键所在。多数工作在构建类表示时,忽略了类概念相关信息的挖掘,这样容易引入样本中类别无关信息,从而降低类表示的判别性。为此本文提出一种概念驱动的小样本判别特征学习方法。该方法首先利用类别的语义信息来指导模型挖掘样本中类概念相关信息,进而构建更具判别性的类表示。其次,设计了随机掩码混合机制增加样本的多样性和识别难度,进一步提升类表示的质量。最后对处于决策边界附近的查询样本赋予更大的权重,引导模型关注难样本,从而更好地进行类表示学习。大量实验的结果表明本文提出的方法能够有效提升小样本分类任务的准确率,并且在多个数据集上优于当前先进的算法。     

基于注意力机制和图卷积的小样本分类网络

深度神经网络在有着大量标注数据的图像识别任务上已经占据了统治地位,但是在只有少量标注数据的数据集上训练一个好的网络仍然是一个据有挑战性的任务.如何从有限的标注数据中学习已经成为了一个有着很多应用场景的热点问题.目前有很多解决小样本分类任务的方法,但是仍然存在识别准确率低的问题,根本原因是在小样本学习中,神经网络只能接收...     

基于增强多重注意力机制的深度神经网络的细粒度检测

现有的基于注意力机制的细粒度图像识别方法大多都没有考虑目标局部的相关性,而且以往大多数方法都用多阶段或者多尺度机制,导致效率不高且难以端到端训练。本文提出的方法能调节不同输入图像的不同部位的关系。基于上述思路的注意力机制的方法去学习每幅图的每个关注区域特征,再用增强多重注意力机制强化这一效果,让同类别图像具有类似的注意力机制,而不同类别的图像具有不一样的注意力机制,同时也能够进行端到端训练。     

基于原型网络的小样本图像识别方法

当前的图像识别领域,大部分的分类或者识别方法都建立在已有大量数据的基础上,将大量数据投入训练,经过采样分析、特征提取后做判别分类。然而在现实世界中,大多数目标分类问题并没有大量的标注数据。为了解决基于小样本数据集的图像识别问题,本文首先使用数据增强方法扩充数据集,然后利用多层卷积神经网络将图像映射到高维嵌入空间中,再使用原型网络得到每个类的原型点,根据嵌入空间中测试图像与各个类原型点之间的距离将其分类。实验结果表明,该方法在小样本条件下具有较高的识别准确率和较强的鲁棒性。     

基于特征融合的小样本目标检测

小样本目标检测旨在通过少量的样本学习来训练目标检测模型,现有的小样本目标检测方法大多基于经典的目标检测算法。在二阶段的检测方法中,由于新类别样本数量少,产生了许多无关的边界框,导致候选区域的准确率较低。为了解决这个问题,提出了一种基于特征融合的小样本目标检测算法FF-FSOD。该方法采用特征融合的方法进行数据增强,对新类别样本进行补充,扩大样本的覆盖范围,同时引入FPN网络进行多尺度特征提取,再对RPN网络进行改进,引入支持集图像分支,计算支持集图像特征与查询集图像特征的深度互相关性,得到注意力特征图,进而获得更精确的候选框。所提模型的有效性在MS COCO和FSOD数据集上得到了验证,实验结果表明,该方法获得了更精准的候选框,进而提升了检测精度。     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。     

CNN和Transformer在细粒度图像识别中的应用综述

细粒度图像识别旨在从类别图像中辨别子类别。由于图像间只有细微差异,这使得识别任务具有挑战性。随着深度学习技术的不断进步,基于深度学习的方法定位局部和表示特征的能力越来越强,其中以卷积神经网络（CNN）和Transformer为基础的各类算法大大提高了细粒度图像识别精度,细粒度图像领域得到了显著发展。为了整理两类方法在细粒度图像识别领域的发展历程,对该领域近年来只运用类别标签的方法进行了综述。介绍了细粒度图像识别的概念,详细阐述了主流细粒度图像数据集;介绍了基于CNN和Transformer的细粒度图像识别方法及其性能;最后,总结了细粒度图像识别未来的研究方向。     

基于注意力编码网络的细粒度文本情感分析研究

传统文本情感分析,通常从文本(可以是文档、段落或句子)整体出发,只能给出一整句话的情感值,无法准确表达用户对不同目标(情感附着物)的情感倾向.因此,本文以深度学习算法为基础进行细粒度情感分析研究.通过分析注意力编码网络的结构和算法原理,提出相应的情感分析框架,以及文本预处理和文本表示方法.该模型在公开数据集SemEval 2014上进行了实验,结果显示基于注意力编码网络的情感分析模型可以获得更高的准确率.     

基于特征融合的小样本学习

深度学习是通过大量标注数据训练模型,从而使得模型能够准确预测未知目标.样本数据的收集与标注需要耗费大量时间,并且在某些特殊场景下难以获取大量的标注数据,因此如何基于小样本训练模型变得至关重要.针对这一问题,提出基于特征融合的模型,融合方式主要体现在两方面,一是在特征提取模块融合多层次特征,二是样本融合模块综合多个样本特...     

细粒度图像分类综述

细粒度图像具有类内方差大、类间方差小的特点,致使细粒度图像分类（FGIC）的难度远高于传统的图像分类任务。介绍了FGIC的应用场景、任务难点、算法发展历程和相关的常用数据集,主要概述相关算法：基于局部检测的分类方法通常采用连接、求和及池化等操作,模型训练较为复杂,在实际应用中存在较多局限;基于线性特征的分类方法模仿人类视觉的两个神经通路分别进行识别和定位,分类效果相对较优;基于注意力机制的分类方法模拟人类观察外界事物的机制,先扫描全景,后锁定重点关注区域并形成注意力焦点,分类效果有进一步的提高。最后针对目前研究的不足,展望FGIC下一步的研究方向。     

基于特征重加权的小样本遥感图像目标检测算法

针对遥感图像具有目标尺度多变、目标模糊、背景复杂的特点,提出了一种基于特征重加权的遥感小样本目标检测算法RE-FSOD。该模型包括3部分:元特征提取器、特征重加权提取器、预测模块,其中元特征提取器由CSPDarknet-53、FPN以及PAN构成,负责提取数据的元特征;特征重加权提取器用于生成特征重加权向量,用于调整元特征来强化对于检测新类有帮助的特征;预测模块由YOLOv3的预测模块构成,在此基础上将定位损失函数替换为CIOU损失函数,提升模型的定位精度。最后在NWPU VHR-10遥感数据集上进行了训练和测试,实验结果表明,该方法相较于基线方法FSODM的在3-shot、5-shot、10-shot情况下分别提升了约19%、11%、8%。     

小样本困境下的深度学习图像识别综述

图像识别是图像研究领域的核心问题,解决图像识别问题对人脸识别、自动驾驶、机器人等各领域研究都有重要意义.目前广泛使用的基于深度神经网络的机器学习方法,已经在鸟类分类、人脸识别、日常物品分类等图像识别数据集上达到了超过人类的水平,同时越来越多的工业界应用开始考虑基于深度神经网络的方法,以完成一系列图像识别业务.但是深度学...     

融合多粒度注意力特征的小样本分类模型

在小样本分类任务中,现有的CNN模型存在特征提取不足、特征单一和小样本数据集类间差异化较弱的问题,导致分类精度较低。针对以上问题,提出一种融合多粒度注意力特征（fusion multi-granular attention feature,FMAF）的小样本分类模型。首先,该方法借鉴多粒度思想,重新设计CNN特征提取网络的架构来增强特征多样性;其次,在多粒度特征提取网络后添加自注意力层,提取多粒度图像特征中的关键特征,在多粒度注意力特征的基础上,借助特征融合方法融合多粒度注意力特征信息,突出关键特征,提高特征的表征力;最后,在两个经典的小样本数据集miniImageNet和tieredImageNet上进行了评估。实验结果表明,FMAF方法能有效提升分类的准确度和效率。     

结合前景特征增强与区域掩码自注意力的细粒度图像分类

为解决细粒度图像分类中不相关背景信息干扰以及子类别差异特征难以提取等问题,提出了一种结合前景特征增强和区域掩码自注意力的细粒度图像分类方法。首先,利用ResNet50提取输入图片的全局特征;然后通过前景特征增强网络定位前景目标在输入图片中的位置,在消除背景信息干扰的同时对前景目标进行特征增强,有效突出前景物体;最后,将特征增强的前景目标通过区域掩码自注意力网络学习丰富、多样化且区别于其他子类的特征信息。在训练模型的整个过程,建立多分支损失函数约束特征学习。实验表明,该模型在细粒度图像数据集CUB-200-2011、Stanford Cars和FGVC-Aircraft的准确率分别达到了88.0%、95.3%和93.6%,优于其他主流方法。     

采用特征图增强原型的小样本图像分类方法

在基于度量学习的小样本图像分类方法中,由于标注样本的稀缺,仅用支持集样本得到的类原型往往难以代表整个类别的真实分布;同时,同类样本间也可能在多个方面存在较大差异,较大的类内差异可能使样本特征偏离类别中心。针对上述可能严重影响图像分类性能的问题,提出一种采用特征图增强原型的小样本图像分类方法（FMEP）。首先,用余弦相似度从查询集样本特征图中选择部分相似特征加入类原型中,得到更具代表性的特征图增强原型;其次,对相似的查询集样本特征进行聚合,缓解类内差异大导致的问题,使同类样本的特征分布更接近;最后,用在特征空间中与真实类别分布都更接近的特征图增强原型和聚合查询特征进行相似度比较得到更优的分类结果。所提方法在MiniImageNet、TieredImageNet、CUB-200和CIFAR-FS等常用的小样本图像分类数据集上进行了实验,结果表明所提方法获得了比基线模型更优的分类性能,同时也优于同类型的小样本图像分类方法。     

一种结合非局部和多区域注意力机制的细粒度图像识别方法

细粒度图像识别的目标是对细粒度级别的物体子类进行分类,由于不同子类间的差异非常细微,使得细粒度图像识别具有非常大的挑战性.目前细粒度图像识别算法的难度在于如何定位细粒度目标中具有分辨性的部位以及如何更好地提取细粒度级别的细微特征.为此,提出了一种结合非局部和多区域注意力机制的细粒度识别方法.Navigator只利用图像...     

基于VAE和注意力机制的小样本图像分类方法

小样本图像识别是人工智能中具有挑战性的新兴领域。传统的深度学习方法无法解决样本匮乏带来的问题,模型易出现过拟合导致训练效果不佳的情况。针对以上问题,提出结合表征学习和注意力机制的小样本学习方法。通过预训练VAE(Variational Auto-encoder)从任务中学习丰富的隐特征;对提取出的隐特征构建注意力机制,使得元学习器能快速地注意到对当前任务重要的特征;将注意力模块增强之后的特征使用分类器进行图像分类。实验表明,该算法在Mini-ImageNet和Omniglot数据集上达到72.5%和98.8%的准确率,显著优于现有元学习算法的性能。