基于特征融合的小样本学习

深度学习是通过大量标注数据训练模型,从而使得模型能够准确预测未知目标.样本数据的收集与标注需要耗费大量时间,并且在某些特殊场景下难以获取大量的标注数据,因此如何基于小样本训练模型变得至关重要.针对这一问题,提出基于特征融合的模型,融合方式主要体现在两方面,一是在特征提取模块融合多层次特征,二是样本融合模块综合多个样本特...     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

融合多粒度注意力特征的小样本分类模型

在小样本分类任务中,现有的CNN模型存在特征提取不足、特征单一和小样本数据集类间差异化较弱的问题,导致分类精度较低。针对以上问题,提出一种融合多粒度注意力特征（fusion multi-granular attention feature,FMAF）的小样本分类模型。首先,该方法借鉴多粒度思想,重新设计CNN特征提取网络的架构来增强特征多样性;其次,在多粒度特征提取网络后添加自注意力层,提取多粒度图像特征中的关键特征,在多粒度注意力特征的基础上,借助特征融合方法融合多粒度注意力特征信息,突出关键特征,提高特征的表征力;最后,在两个经典的小样本数据集miniImageNet和tieredImageNet上进行了评估。实验结果表明,FMAF方法能有效提升分类的准确度和效率。     

基于特征融合的小样本目标检测

小样本目标检测旨在通过少量的样本学习来训练目标检测模型,现有的小样本目标检测方法大多基于经典的目标检测算法。在二阶段的检测方法中,由于新类别样本数量少,产生了许多无关的边界框,导致候选区域的准确率较低。为了解决这个问题,提出了一种基于特征融合的小样本目标检测算法FF-FSOD。该方法采用特征融合的方法进行数据增强,对新类别样本进行补充,扩大样本的覆盖范围,同时引入FPN网络进行多尺度特征提取,再对RPN网络进行改进,引入支持集图像分支,计算支持集图像特征与查询集图像特征的深度互相关性,得到注意力特征图,进而获得更精确的候选框。所提模型的有效性在MS COCO和FSOD数据集上得到了验证,实验结果表明,该方法获得了更精准的候选框,进而提升了检测精度。     

采用特征图增强原型的小样本图像分类方法

在基于度量学习的小样本图像分类方法中,由于标注样本的稀缺,仅用支持集样本得到的类原型往往难以代表整个类别的真实分布;同时,同类样本间也可能在多个方面存在较大差异,较大的类内差异可能使样本特征偏离类别中心。针对上述可能严重影响图像分类性能的问题,提出一种采用特征图增强原型的小样本图像分类方法（FMEP）。首先,用余弦相似度从查询集样本特征图中选择部分相似特征加入类原型中,得到更具代表性的特征图增强原型;其次,对相似的查询集样本特征进行聚合,缓解类内差异大导致的问题,使同类样本的特征分布更接近;最后,用在特征空间中与真实类别分布都更接近的特征图增强原型和聚合查询特征进行相似度比较得到更优的分类结果。所提方法在MiniImageNet、TieredImageNet、CUB-200和CIFAR-FS等常用的小样本图像分类数据集上进行了实验,结果表明所提方法获得了比基线模型更优的分类性能,同时也优于同类型的小样本图像分类方法。     

基于多尺度标签传播的小样本图像分类

在小样本条件下,由于低数据问题,即标记数据较少且难以收集,采用传统的深度学习很难训练出一个好的分类器.最近的研究中,基于低维局部信息度量方法和标签传播网络(transductive propagation network, TPN)算法取得了较好的分类效果,并且局部信息可以很好地度量特征与特征之间的关系,但是低数据问题依然存在.为了解决低数据问题,提出基于多尺度的标签传播网络(multi-scale label propagation network, MSLPN)方法,其核心思想在于利用多尺度生成器生成多个尺度的图像特征,通过关系度量模块获得多个不同尺度特征下的样本相似性得分,并通过集成不同尺度的相似性得分获得分类结果,具体地,方法首先通过多尺度生成器生成不同尺度的图像特征,然后利用多尺度信息的相似性得分进行标签传播,最后通过多尺度标签传播结果计算获得分类结果.与TPN相比,在数据集miniImageNet上,5-way 1-shot和5-way 5-shot设置中的分类准确率分别提高了2.77%和4.02%;在数据集tieredImageNet上,5-way 1-shot和5-way 5-shot设置中分类准确率分别提高了1.16%和1.27%.实验结果表明,利用多尺度特征信息可有效提高分类准确率.     

基于度量的小样本分类方法研究综述

小样本学习旨在让机器像人类一样通过对少量样本的学习达到对事物认知和概括的能力.基于度量的小样本学习方法希望学习一个低维嵌入空间,直接对比查询集合和支持类之间的相似性,分类测试样本.文中针对基于度量的小样本学习方法,尝试从这类方法需要解决的关键问题、类表示学习和相似性度量入手,梳理相关文献.与已有相关综述不同,文中只针对基于度量的小样本学习方法进行更详尽全面的分类,而且从关键问题角度进行分类.最后总结目前代表性工作在常用的图像分类任务数据集上的实验结果,分析现有方法存在的问题,并展望未来工作.     

代表特征网络的小样本学习方法

目的 小样本学习任务旨在仅提供少量有标签样本的情况下完成对测试样本的正确分类。基于度量学习的小样本学习方法通过将样本映射到嵌入空间,计算距离得到相似性度量以预测类别,但未能从类内多个支持向量中归纳出具有代表性的特征以表征类概念,限制了分类准确率的进一步提高。针对该问题,本文提出代表特征网络,分类效果提升显著。方法 代表特征网络通过类代表特征的度量学习策略,利用类中支持向量集学习得到的代表特征有效地表达类概念,实现对测试样本的正确分类。具体地说,代表特征网络包含两个模块,首先通过嵌入模块提取抽象层次高的嵌入向量,然后堆叠嵌入向量经过代表特征模块得到各个类代表特征。随后通过计算测试样本嵌入向量与各类代表特征的距离以预测类别,最后使用提出的混合损失函数计算损失以拉大嵌入空间中相互类别间距减少相似类别错分情况。结果 经过广泛实验,在Omniglot、miniImageNet和Cifar100数据集上都验证了本文模型不仅可以获得目前已知最好的分类准确率,而且能够保持较高的训练效率。结论 代表特征网络可以从类中多个支持向量有效地归纳出代表特征用于对测试样本的分类,对比直接使用支持向量进行分类具有更好的鲁棒性,进一步提高了小样本条件下的分类准确率。     

基于特征融合的小样本抽象画图像情感预测

绘画图像情感预测是目前情感计算中的一个研究热点。目前抽象画来源少,样本量小,其情感分析大多数采用的是图像低层特征,而且准确率不高。为此,提出一种基于特征融合的小样本抽象画图像情感预测方法。首先,分析了抽象艺术理论中组成绘抽象画的基本元素（点、线、面和颜色）与人类情感的关系,依据这些理论量化出抽象画图像的低层特征;然后,采用迁移学习算法,基于大样本数据在预训练网络上得到参数,并迁移至目标模型,再在小样本数据上对目标模型进行微调,得到图像高层特征;最后,将低层与高层特征进行线性融合,采用多分类支持向量机（SVM）实现抽象画图像的情感预测。在3个小样本抽象画数据集上进行实验,结果表明,与直接采用低层特征的方法相比,所提方法的分类准确率有所提高,证实了它在小样本抽象画的情感研究中的有效性。     

小样本SAR图像分类方法综述

合成孔径雷达（synthetic aperture radar,SAR）图像分类作为SAR图像应用的重要底层任务受到了广泛关注与研究。SAR图像分类是处理和分析遥感图像的重要手段,在环境监测、目标侦察和地质勘探等任务中发挥着关键作用,但是目前基于深度学习的SAR图像分类任务存在小样本问题。本文针对小样本SAR图像分类方法进行全面的论述和分析。1）介绍了SAR图像分类任务的重要性和早期的SAR图像分类方法,并阐述了小样本SAR图像分类任务的必要性。2）介绍了小样本SAR图像分类任务的定义、常用的数据集、评价指标和应用。3）整理了各类方法的贡献点和使用的数据集,将已有的小样本SAR图像分类方法分为基于迁移学习的方法、基于元学习的方法、基于度量学习的方法和综合性方法4类。根据分类总结了4类方法存在的缺陷,为后续工作提供了一定的参考。在统一的框架内测试了16种可见光数据集方法迁移到SAR图像数据集上的分类性能,并从分类精度和运行时间两个方面综合评估了小样本学习模型迁移效果。该项工作利用SAR图像分类通用数据集MSTAR（moving and stationary target acquisition and recognition）完成,极大地补充了小样本SAR图像分类任务的测评基准。4）对小样本SAR图像分类方法的发展趋势进行了展望,提出了未来可能的一些严峻挑战。     

Multiscale attention for few-shot image classification

In recent years, the application of traditional deep learning methods in the agricultural field using remote sensing techniques, such as crop area and growth monitoring, crop classification, and agricultural disaster monitoring, has been greatly facilitated by advancements in deep learning. The accuracy of image classification plays a crucial role in these applications. Although traditional deep learning methods have achieved significant success in remote sensing image classification, they often involve convolutional neural networks with a large number of parameters that require extensive optimization using numerous remote sensing images for training purposes. To address these challenges, we propose a novel approach called multiscale attention network (MAN) for sample-based remote sensing image classification. This method consists primarily of feature extractors and attention modules to effectively utilize different scale features through multiscale feature training during the training phase. We evaluate our proposed method on three datasets comprising agricultural remote sensing images and observe superior performance compared to existing approaches. Furthermore, we validate its generalizability by testing it on an oil well indicator diagram specifically designed for classification tasks.     

面向元余弦损失的少样本图像分类

目的 度量学习是少样本学习中一种简单且有效的方法,学习一个丰富、具有判别性和泛化性强的嵌入空间是度量学习方法实现优秀分类效果的关键。本文从样本自身的特征以及特征在嵌入空间中的分布出发,结合全局与局部数据增强实现了一种元余弦损失的少样本图像分类方法(a meta-cosine loss for few-shot image classification,AMCL-FSIC)。方法 首先,从数据自身特征出发,将全局与局部的数据增广方法结合起来,利于局部信息提供更具区别性和迁移性的信息,使训练模型更多关注图像的前景信息。同时,利用注意力机制结合全局与局部特征,以得到更丰富更具判别性的特征。其次,从样本特征在嵌入空间中的分布出发,提出一种元余弦损失(meta-cosine loss,MCL)函数,优化少样本图像分类模型。使用样本与类原型间相似性的差调整不同类的原型,扩大类间距,使模型测试新任务时类间距更加明显,提升模型的泛化能力。结果 分别在5个少样本经典数据集上进行了实验对比,在FC100(Few-shot Cifar100)和CUB(Caltech-UCSD Birds-200-2011)数据集上,本文方法均达到了目前最优分类效果;在MiniImageNet、TieredImageNet和Cifar100数据集上与对比模型的结果相当。同时,在MiniImageNet,CUB和Cifar100数据集上进行对比实验以验证MCL的有效性,结果证明提出的MCL提升了余弦分类器的分类效果。结论 本文方法能充分提取少样本图像分类任务中的图像特征,有效提升度量学习在少样本图像分类中的准确率。     

多尺度特征融合与交叉指导的小样本语义分割

目的 构建支持分支和查询分支间的信息交互对于提升小样本语义分割的性能具有重要作用,提出一种多尺度特征融合与交叉指导的小样本语义分割算法。方法 利用一组共享权重的主干网络将双分支输入图像映射到深度特征空间,并将输出的低层、中间层和高层特征进行尺度融合,构造多尺度特征;借助支持分支的掩码将支持特征分解成目标前景和背景特征图;设计了一种特征交互模块,在支持分支的目标前景和整个查询分支的特征图上建立信息交互,增强任务相关特征的表达能力,并利用掩码平均池化策略生成目标前景和背景区域的原型集;利用无参数的度量方法分别计算支持特征和原型集、查询特征与原型集之间的余弦相似度值,并根据相似度值给出对应图像的掩码。结果 通过在PASCAL-5（i pattern analysis,statistical modeling and computational learning）和COCO-20i（common objects in context）开源数据集上进行实验,结果表明,利用VGG-16（Visual Geometry Group）、ResNet-50（residual neural network）和ResNet-101作为主干网络时,所提模型在1-way 1-shot任务中,分别获得50.2%、53.2%、57.1%和23.9%、35.1%、36.4%的平均交并比（mean intersection over union,mIoU）,68.3%、69.4%、72.3%/和60.1%、62.4%、64.1%的前景背景二分类交并比（foreground and background intersection over union,FB-IoU）;在1-way 5-shot任务上,分别获得52.9%、55.7%、59.7%和32.5%、37.3%、38.3%的mIoU,69.7%、72.5%、74.6%和64.2%、66.2%、66.7%的FB-IoU。结论 相比当前主流的小样本语义分割模型,所提模型在1-way 1-shot和1-way5-shot任务中可以获得更高的mIoU和FB-IoU,综合性能提升效果显著。     

基于局部特征的智能图像融合

对衡量图像清晰程度的局部特征参数进行了对比研究,得出了拉普拉斯能量（EOL）最优参数。提出一种使用拉普拉斯局部特征的智能化图像融合算法。算法首先对已配准的图像集进行分割,对分割图像分块并计算EOL,将EOL作为网络输入进行训练,根据EOL比对自动决定训练的目标向量。将测试图像进行分割并计算局部EOL,将EOL作为测试输入进行粗融合,最后进行一致性校验得到最终融合结果。实验研究表明,本算法对不同传感器的图像均取得了良好的融合效果。     

基于语义增强的多特征融合小样本关系抽取

关系抽取是自然语言处理和知识图谱构建的一项关键任务,现有小样本关系抽取方法无法有效获取和充分利用更多的文本语义信息,为此给出一个基于语义增强的多特征融合关系抽取方法（SMPC）并应用于小样本任务中。该方法构建了一个融合位置、词性和句法依存等信息的分段卷积神经网络最大化表示语义特征,并从维基百科中抽取细粒度语义信息,将其融入词嵌入,提高模型上下文共性学习。在两种场景下对不同基线方法进行实验,分别取得最高4%和10%的准确率提升,证明了该方法的有效性。     

元迁移学习在少样本跨域图像分类中的研究

目的 现有基于元学习的主流少样本学习方法假设训练任务和测试任务服从相同或相似的分布,然而在分布差异较大的跨域任务上,这些方法面临泛化能力弱、分类精度差等挑战。同时,基于迁移学习的少样本学习方法没有考虑到训练和测试阶段样本类别不一致的情况,在训练阶段未能留下足够的特征嵌入空间。为了提升模型在有限标注样本困境下的跨域图像分类能力,提出简洁的元迁移学习（compressed meta transfer learning,CMTL）方法。方法 基于元学习,对目标域中的支持集使用数据增强策略,构建新的辅助任务微调元训练参数,促使分类模型更加适用于域差异较大的目标任务。基于迁移学习,使用自压缩损失函数训练分类模型,以压缩源域中基类数据所占据的特征嵌入空间,微调阶段引导与源域分布差异较大的新类数据有更合适的特征表示。最后,将以上两种策略的分类预测融合视为最终的分类结果。结果 使用mini-ImageNet作为源域数据集进行训练,分别在EuroSAT(EuropeanSatellite)、ISIC(InternationalSkinImagingCollaboration)、CropDiseas(Cr...     

基于特征融合的室外天气图像分类

天气状况对室外视频设备的成像效果有很大影响。为实现成像设备在恶劣天气下的自适应调整,从而提升智能监控系统的效果,同时针对传统的天气图像判别方法分类效果差且对相近天气现象不易分类的不足,以及深度学习方法识别天气准确率不高的问题,提出了一个将传统方法与深度学习方法相结合的特征融合模型。融合模型采用4种人工设计算法提取传统特征,采用AlexNet提取深层特征,利用融合后的特征向量进行图像天气状况的判别。融合模型在多背景数据集上的准确率达到93.90%,优于对比的3种常用方法,并且在平均精准率（AP）和平均召回率（AR）指标上也表现良好;在单背景数据集上的准确率达到96.97%,AP和AR均优于其他模型,且能很好识别特征相近的天气图像。实验结果表明提出的特征融合模型可以结合传统方法和深度学习方法的优势,提升现有天气图像分类方法的准确度,同时提高在特征相近的天气现象下的识别率。     

多层自适应聚合的自监督小样本图像分类

目的 在图像分类领域,小样本学习旨在利用从大规模数据集中训练到的知识来处理仅包含少量有标记训练样本的下游分类任务。通常情况下,下游任务只涉及新类样本,由于元训练阶段会构造大量任务随机抽取训练集中不同类别的样本且训练集与测试集类别间存在领域间隙,因此模型训练周期长且可能对训练集过拟合,以致元知识无法迁移到测试集,进而导致模型泛化性差。针对以上问题,提出一种多层自适应聚合的自监督小样本图像分类模型。方法 首先使用分组卷积对残差块进行改进,减少神经网络参数量,降低训练难度,缩短训练时间;然后采用多层自适应聚合的方法改进骨干网络,对网络各层语义信息加以提炼聚合,自适应分配各层权重,将聚合后的特征图作为后续分类的依据;最后加入自监督对比学习结合有监督学习挖掘样本自身潜在的信息,从而提升样本特征表达能力。结果 在mini-ImageNet数据集和CUB(Caltech-UCSD birds-200-2011)数据集上与当前主流模型进行分类效果对比实验,与baseline相比,所提模型的准确率在mini-ImageNet数据集的5-way 1-shot与5-way 5-shot实验上分别提升了6.3...     

基于多核学习的多特征融合图像分类研究

图像分类任务是计算机视觉中的一个重要研究方向。组合多种特征在一定程度上能够使得图像分类准确度得到提高。然而,如何组合多种图像特征是一个悬而未决的难题。提出了一种基于多类多核学习的多特征融合算法,并应用到图像分类任务。算法在有效地利用多核学习自动选取对当前任务有价值特征的优势的同时,避免了在多核学习中将多类问题分解为多个二分问题。在图像特征表示方面,使用字典自学习方法。实验结果表明,提出的算法能够有效地提高图像分类的准确度。