基于知识蒸馏与目标区域选取的细粒度图像分类方法

细粒度图像分类任务由于自身存在的细微的类间差别和巨大的类内差别使其极具挑战性,为了更好地学习细粒度图像的潜在特征,该算法将知识蒸馏引入到细粒度图像分类任务中,提出基于知识蒸馏与目标区域选取的细粒度图像分类方法（TRS-DeiT）,能使其兼具CNN模型和Transformer模型的各自优点。此外,TRS-DeiT的新型目标区域选取模块能够获取最具区分性的区域;为了区分任务中的易混淆类,引入对抗损失函数计算不同类别图像间的相似度。最终,在三个经典细粒度数据集CUB-200-2011、Stanford Cars和Stanford Dogs上进行训练测试,分别达到90.8%、95.0%、95.1%的准确率。实验结果表明,该算法相较于传统模型具有更高的准确性,通过可视化结果进一步证实该算法的注意力主要集中在识别对象,从而使其更擅长处理细粒度图像分类任务。     

图神经网络的类别解耦小样本分类

现有的基于度量的小样本图像分类模型展现了一定的小样本学习性能,然而这些模型往往忽略了原始数据被分类关键特征的提取。图像数据中与分类无关的冗余信息被融入小样本模型的网络参数中,容易造成基于度量方法的小样本图像分类性能瓶颈。针对这个问题,提出一种基于图神经网络的类别解耦小样本图像分类模型（VT-GNN）,该模型结合图像自注意力与分类任务监督的变分自编码器作为图像嵌入模块,得到原始图像类别解耦特征信息,成为图结构中的一个图节点。通过一个多层感知机为节点之间构建具有度量信息的边特征,将一组小样本训练数据构造为图结构数据,借助图神经网络的消息传递机制实现小样本学习。在公开数据集Mini-Imagenet上,VT-GNN在分别5-way1-shot与5-way 5-shot设置中相较于基线图神经网络模型分别获得了17.9个百分点和16.25个百分点的性能提升。     

基于判别性特征增强的小样本细粒度图像识别

小样本细粒度图像识别是深度学习领域中一个热门的研究课题,其基本任务是在学习有限数量样本的情况下识别出某一大类下的子类别的图像。得益于卷积神经网络的快速发展,小样本细粒度图像识别在精度方面取得了显著的成果,但其性能仍受限于同一子类图像间的高方差以及不同分类任务中判别性特征的差异性。针对上述问题,提出了一种基于判别性特征增强的小样本细粒度图像识别算法(DFENet)。DFENet设计了对称注意力模块来增强类内视觉一致性学习,从而减少背景的影响,提高同类样本之间共享的特征表示的权重。此外,DFENet引入通道维度的判别性特征增强模块,利用支持集样本中同类样本内和不同类样本之间的通道关系进一步挖掘适合于当前任务的判别性特征,以提高识别准确率。在三个经典的细粒度数据集CUB-200-2011,Stanford Dogs, Stanford Cars上进行了广泛的实验。实验结果表明,该方法均取得了有竞争性的结果。     

基于多分辨率自蒸馏网络的小样本图像分类

因图像数据具有大量的空间冗余信息,传统的多分辨率网络在处理图像数据时会产生较高的计算成本。而自蒸馏学习方法能够在精度与计算成本之间实现动态平衡,使模型在不增加网络深度和宽度的基础上,有效地提高模型精度。提出一种多分辨率自蒸馏网络（MRSDN）,用于解决小样本学习中输入样本的空间冗余问题。从原始网络中分出一个浅层子网络以识别图像的低分辨率表示,并且保持该原始网络识别高分辨率图像特征的能力。同时,在多分辨率网络中引入改进的全局注意力机制,以减少信息损失且放大全局交互表示。利用自蒸馏学习方法将网络中更深层的知识压缩到浅层子网络中,以提升浅层子网络的泛化能力。在此基础上,将低分辨率网络中的粗粒度特征融合到高分辨率网络中,从而提高模型提取图像特征的能力。实验结果表明,在Mini-ImageNet数据集上MRSDN网络对5-way 1-shot与5-way 5-shot任务的准确率分别为56.34%和74.35%,在Tiered-ImageNet数据集上对5-way 1-shot与5-way 5-shot任务的准确率分别为59.56%和78.96%,能有效缓解高分辨率图像输入时的空间冗余问题,提高小样本图像分类的准确率。     

面向深度网络的小样本学习综述

深度学习以数据为驱动,被广泛应用于各个领域,但由于数据隐私、标记昂贵等导致样本少、数据不完备性等问题,同时小样本难于准确地表示数据分布,使得分类模型误差较大,且泛化能力差。为此,小样本学习被提出,旨在利用较少目标数据训练模型快速学习的能力。系统梳理了近几年来小样本学习领域的相关工作,主要整理和总结了基于数据增强、基于元学习和基于转导图小样本学习方法的研究进展。首先,从基于监督增强和基于无监督增强阐述数据增强的主要特点。其次,从基于度量学习和基于参数优化两方面对基于元学习的方法进行分析。接着,详细总结转导图小样本学习方法,介绍常用的小样本数据集,并通过实验阐述分析具有代表性的小样本学习模型。最后总结现有方法的局限性,并对小样本学习的未来研究方向进行展望。     

多级度量网络的小样本学习

小样本学习的分类结果依赖于模型对样本特征的表达能力,为了进一步挖掘图像所表达的语义信息,提出一种多级度量网络的小样本学习方法。将输入图像的特征向量放入嵌入模块进行特征提取;将经过第二层卷积及第三层卷积得到的特征描述子分别进行图像-类的度量以获得图像关系得分,对第四层卷积得到的特征向量进行全连接并将其做图像-图像的度量从而得到图像从属概率;通过交叉验证对2个图像关系得分以及1个图像从属概率进行加权融合并输出分类结果。实验结果表明在miniImageNet数据集上,该方法 5-way 1-shot准确率为56.77%,5-way 5-shot准确率为75.83%。在CUB数据集上,该方法 5-way 1-shot及5-way 5-shot准确率分别上升到55.34%及76.32%。在Omniglot数据集上准确率同传统方法相比也有一定提升。因此,该方法可有效挖掘图像中所表达的语义信息,显著提高小样本图像分类的准确率。     

局部特征融合的小样本分类

目的 小样本学习是一项具有挑战性的任务,旨在利用有限数量的标注样本数据对新的类别数据进行分类。基于度量的元学习方法是当前小样本分类的主流方法,但往往仅使用图像的全局特征,且模型分类效果很大程度上依赖于特征提取网络的性能。为了能够充分利用图像的局部特征以及提高模型的泛化能力,提出一种基于局部特征融合的小样本分类方法。方法 首先,将输入图像进行多尺度网格分块处理后送入特征提取网络以获得局部特征;其次,设计了一个基于Transformer架构的局部特征融合模块来得到包含全局信息的局部增强特征,以提高模型的泛化能力;最后,以欧几里得距离为度量,计算查询集样本特征向量与支持集类原型之间的距离,实现分类。结果 在小样本分类中常用的3个数据集上与当前先进的方法进行比较,在5-way 1-shot和5-way 5-shot的设置下相对次优结果,所提方法在MiniImageNet数据集上的分类精度分别提高了2.96%和2.9%,在CUB（Caltech-UCSD Birds-200-2011）数据集上的分类精度分别提高了3.22%和1.77%,而在TieredImageNet数据集上的分类精度与最优结果相当,实验结果表明了所提方法的有效性。结论 提出的小样本分类方法充分利用了图像的局部特征,同时改善了模型的特征提取能力和泛化能力,使小样本分类结果更为准确。     

面向小样本学习的轻量化知识蒸馏

小样本学习旨在模拟人类基于少数样例快速学习新事物的能力, 对解决样本匮乏情境下的深度学习任务具有重要意义. 但是, 在诸多计算资源有限的现实任务中, 模型规模仍可能限制小样本学习的广泛应用. 这对面向小样本学习的轻量化任务提出了现实的需求. 知识蒸馏作为深度学习领域广泛使用的辅助策略, 通过额外的监督信息实现模型间知识迁移, 在提升模型精度和压缩模型规模方面都有实际应用. 首先验证知识蒸馏策略在小样本学习模型轻量化中的有效性. 并结合小样本学习任务的特点, 针对性地设计两种新的小样本蒸馏方法: (1)基于图像局部特征的蒸馏方法; (2)基于辅助分类器的蒸馏方法. 在miniImageNet和TieredImageNet数据集上的相关实验证明所设计的新的蒸馏方法相较于传统知识蒸馏在小样本学习任务上具有显著优越性.     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。     

细粒度图像分类的深度学习方法

细粒度图像分类旨在从某一类别的图像中区分出其子类别,通常细粒度数据集具有类间相似和类内差异大的特点,这使得细粒度图像分类任务更加具有挑战性.随着深度学习的不断发展,基于深度学习的细粒度图像分类方法表现出更强大的特征表征能力和泛化能力,能够获得更准确、稳定的分类结果,因此受到了越来越多研究人员的关注和研究.首先,从细粒度图像分类的研究背景出发,介绍了细粒度图像分类的难点和研究意义.其次,从基于强监督和弱监督两个角度,综述了基于深度学习的细粒度图像分类算法的研究进展,并介绍了多种典型的分类性能优秀的算法.此外,进一步论述了目前关于YOLO、多尺度CNN和生成对抗网络(GAN)等前沿深度学习模型在细粒度图像识别方面的应用,并且对比了最新的相关细粒度图像的数据增强方法的分类效果以及在复杂场景下不同类型的细粒度识别方法的性能特点分析.最后,通过对算法的分类性能进行对比和总结,探讨了未来发展方向和面临的挑战.     

面向元余弦损失的少样本图像分类

目的 度量学习是少样本学习中一种简单且有效的方法,学习一个丰富、具有判别性和泛化性强的嵌入空间是度量学习方法实现优秀分类效果的关键。本文从样本自身的特征以及特征在嵌入空间中的分布出发,结合全局与局部数据增强实现了一种元余弦损失的少样本图像分类方法(a meta-cosine loss for few-shot image classification,AMCL-FSIC)。方法 首先,从数据自身特征出发,将全局与局部的数据增广方法结合起来,利于局部信息提供更具区别性和迁移性的信息,使训练模型更多关注图像的前景信息。同时,利用注意力机制结合全局与局部特征,以得到更丰富更具判别性的特征。其次,从样本特征在嵌入空间中的分布出发,提出一种元余弦损失(meta-cosine loss,MCL)函数,优化少样本图像分类模型。使用样本与类原型间相似性的差调整不同类的原型,扩大类间距,使模型测试新任务时类间距更加明显,提升模型的泛化能力。结果 分别在5个少样本经典数据集上进行了实验对比,在FC100(Few-shot Cifar100)和CUB(Caltech-UCSD Birds-200-2011)数据集上,本文方法均达到了目前最优分类效果;在MiniImageNet、TieredImageNet和Cifar100数据集上与对比模型的结果相当。同时,在MiniImageNet,CUB和Cifar100数据集上进行对比实验以验证MCL的有效性,结果证明提出的MCL提升了余弦分类器的分类效果。结论 本文方法能充分提取少样本图像分类任务中的图像特征,有效提升度量学习在少样本图像分类中的准确率。     

元迁移学习在少样本跨域图像分类中的研究

目的 现有基于元学习的主流少样本学习方法假设训练任务和测试任务服从相同或相似的分布,然而在分布差异较大的跨域任务上,这些方法面临泛化能力弱、分类精度差等挑战。同时,基于迁移学习的少样本学习方法没有考虑到训练和测试阶段样本类别不一致的情况,在训练阶段未能留下足够的特征嵌入空间。为了提升模型在有限标注样本困境下的跨域图像分类能力,提出简洁的元迁移学习（compressed meta transfer learning,CMTL）方法。方法 基于元学习,对目标域中的支持集使用数据增强策略,构建新的辅助任务微调元训练参数,促使分类模型更加适用于域差异较大的目标任务。基于迁移学习,使用自压缩损失函数训练分类模型,以压缩源域中基类数据所占据的特征嵌入空间,微调阶段引导与源域分布差异较大的新类数据有更合适的特征表示。最后,将以上两种策略的分类预测融合视为最终的分类结果。结果 使用mini-ImageNet作为源域数据集进行训练,分别在EuroSAT(EuropeanSatellite)、ISIC(InternationalSkinImagingCollaboration)、CropDiseas(Cr...     

基于原型网络的细粒度实体分类方法

细粒度实体分类任务作为命名实体识别任务的扩展,其目的是根据指称及其上下文,发掘实体更细粒度的类别含义。由于细粒度实体语料的标注代价较大,标注错误率较高,因此该文研究了在少量样本情况下的细粒度实体分类方法。该文首先提出了一种特征提取模型,能够分别从单词层面以及字符层面提取实体信息,随后结合原型网络将多标签分类任务转化为单标签分类任务,通过缩小空间中同类样本与原型的距离实现分类。该文使用少样本学习以及零样本学习两种设置在公开数据集FIGER(GOLD)上进行了实验,在少样本学习的设置下,较基线模型在三个指标中均有提升,其中macro-F₁的提升最大,为2.4%。     

基于模糊推理的模糊原型网络

针对真实数据具有的模糊性和不确定性会严重影响小样本学习分类结果这一问题,改进并优化了传统的小样本学习原型网络,提出了基于模糊推理的模糊原型网络(FPN).首先,从卷积神经网络(CNN)和模糊神经网络两个方向分别获取图像特征信息;然后,对获得的两部分信息进行线性知识融合,得到最终的图像特征;最后,度量各个类别原型到查询集...     

自监督学习下小样本遥感图像场景分类

目的 卷积神经网络(convolutional neural network, CNN)在遥感场景图像分类中广泛应用,但缺乏训练数据依然是不容忽视的问题。小样本遥感场景分类是指模型只需利用少量样本训练即可完成遥感场景图像分类任务。虽然现有基于元学习的小样本遥感场景图像分类方法可以摆脱大数据训练的依赖,但模型的泛化能力依然较弱。为了解决这一问题,本文提出一种基于自监督学习的小样本遥感场景图像分类方法来增加模型的泛化能力。方法 本文方法分为两个阶段。首先,使用元学习训练老师网络直到收敛;然后,双学生网络和老师网络对同一个输入进行预测。老师网络的预测结果会通过蒸馏损失指导双学生网络的训练。另外,在图像特征进入分类器之前,自监督对比学习通过度量同类样本的类中心距离,使模型学习到更明确的类间边界。两种自监督机制能够使模型学习到更丰富的类间关系,从而提高模型的泛化能力。结果 本文在NWPU-RESISC45(North Western Polytechnical University-remote sensing image scene classification)、AID(aerial ima...     

基于语义增强的多特征融合小样本关系抽取

关系抽取是自然语言处理和知识图谱构建的一项关键任务,现有小样本关系抽取方法无法有效获取和充分利用更多的文本语义信息,为此给出一个基于语义增强的多特征融合关系抽取方法（SMPC）并应用于小样本任务中。该方法构建了一个融合位置、词性和句法依存等信息的分段卷积神经网络最大化表示语义特征,并从维基百科中抽取细粒度语义信息,将其融入词嵌入,提高模型上下文共性学习。在两种场景下对不同基线方法进行实验,分别取得最高4%和10%的准确率提升,证明了该方法的有效性。     

任务相关的图像小样本深度学习分类方法研究

传统基于度量学习的图像小样本分类方法与任务无关,这导致模型对新查询任务的泛化能力 较差。针对该问题,该研究提出一种任务相关的图像小样本深度学习方法——可以根据查询任务自适 应地调整支持集样本特征,从而有效形成任务相关的度量分类器。同时,该研究通过引入多种正则化 方法,解决了数据量严重不足所带来的过拟合问题。基于 miniImageNet 和 tieredImageNet 两个常用标 准数据集,在特征提取网络相同的前提下,所提出方法在 miniImageNe 中 1-shot 上获得了 66.05% 的 准确率,较目前最好的模型提高了 4.29%。     

选择性卷积特征融合的花卉图像分类

目的 针对花卉图像标注样本缺乏、标注成本高、传统基于深度学习的细粒度图像分类方法无法较好地定位花卉目标区域等问题,提出一种基于选择性深度卷积特征融合的无监督花卉图像分类方法。方法 构建基于选择性深度卷积特征融合的花卉图像分类网络。首先运用保持长宽比的尺寸归一化方法对花卉图像进行预处理,使得图像的尺寸相同,且目标不变形、不丢失图像细节信息;之后运用由ImageNet预训练好的深度卷积神经网络VGG-16模型对预处理的花卉图像进行特征学习,根据特征图的响应值分布选取有效的深度卷积特征,并将多层深度卷积特征进行融合;最后运用softmax分类层进行分类。结果 在Oxford 102 Flowers数据集上做了对比实验,将本文方法与传统的基于深度学习模型的花卉图像分类方法进行对比,本文方法的分类准确率达85.55%,较深度学习模型Xception高27.67%。结论 提出了基于选择性卷积特征融合的花卉图像分类方法,该方法采用无监督的方式定位花卉图像中的显著区域,去除了背景和噪声部分对花卉目标的干扰,提高了花卉图像分类的准确率,适用于处理缺乏带标注的样本时的花卉图像分类问题。