自监督学习下小样本遥感图像场景分类

目的 卷积神经网络(convolutional neural network, CNN)在遥感场景图像分类中广泛应用,但缺乏训练数据依然是不容忽视的问题。小样本遥感场景分类是指模型只需利用少量样本训练即可完成遥感场景图像分类任务。虽然现有基于元学习的小样本遥感场景图像分类方法可以摆脱大数据训练的依赖,但模型的泛化能力依然较弱。为了解决这一问题,本文提出一种基于自监督学习的小样本遥感场景图像分类方法来增加模型的泛化能力。方法 本文方法分为两个阶段。首先,使用元学习训练老师网络直到收敛;然后,双学生网络和老师网络对同一个输入进行预测。老师网络的预测结果会通过蒸馏损失指导双学生网络的训练。另外,在图像特征进入分类器之前,自监督对比学习通过度量同类样本的类中心距离,使模型学习到更明确的类间边界。两种自监督机制能够使模型学习到更丰富的类间关系,从而提高模型的泛化能力。结果 本文在NWPU-RESISC45(North Western Polytechnical University-remote sensing image scene classification)、AID(aerial ima...     

基于自适应特征融合的小样本细粒度图像分类

现有的小样本学习算法未能充分提取细粒度图像的特征,导致细粒度图像分类准确率较低。为了更好地对基于度量的小样本细粒度图像分类算法中提取的特征进行建模,提出了一种基于自适应特征融合的小样本细粒度图像分类算法。在特征提取网络上设计了一种自适应特征融合嵌入网络,可以同时提取深层的强语义特征和浅层的位置结构特征,并使用自适应算法和注意力机制提取关键特征。在训练特征提取网络上采用单图训练和多图训练方法先后训练,在提取样本特征的同时关注样本之间的联系。为了使得同一类的特征向量在特征空间中的距离更加接近,不同类的特征向量的距离更大,对所提取的特征向量做特征分布转换、正交三角分解和归一化处理。提出的算法与其他9种算法进行实验对比,在多个细粒度数据集上评估了5 way 1 shot的准确率和5 way 5 shot的准确率。在Stanford Dogs数据集上的准确率提升了5.27和2.90个百分点,在Stanford Cars数据集上的准确率提升了3.29和4.23个百分点,在CUB-200数据集上的5 way 1 shot的准确率只比DLG略低0.82个百分点,但是5 way 5 shot上提升了1.55个百分点。     

融合多注意力机制的自监督小样本医学图像分割

主流的基于全监督的深度学习分割模型在丰富的标记数据上训练时可以取得良好的效果,但医疗图像领域的图像分割存在标注成本高、分割目标种类多的问题,且往往缺少足够的标注数据。提出一个模型,通过融合自监督从数据中提取标签,利用超像素表征图像特性,进行小样本标注条件下的图像分割。引入多注意力机制使得模型更多关注图像的空间特征,位置注意模块和通道注意模块致力于单一图像内部的多尺度特征融合,而外部注意力模块显著突出了不同样本间的联系。在CHAOS健康腹部器官数据集上进行实验,1-shot极端情况下DSC达0.76,相较baseline分割结果提升3%左右。通过调整N-way-K-shot任务数来探讨小样本学习的意义,在7-shot设置下DSC有显著提升,与基于全监督的深度学习分割效果的差距在可接受范围内。     

基于元学习的小样本遥感图像分类

为改善传统分类算法在小样本遥感图像分类上效果差的缺陷,提升模型的快速学习能力,提出融合迁移学习和元学习的小样本分类算法.设计基于长短期记忆网络的元学习器,通过门控结构拟合网络参数更新方式最下化损失下界,具有自动学习分类器参数更新方式的机制,相比于传统方法,能够有效扩展优化算法的搜索空间;考虑样本的跨类别知识转移和训练时...     

基于自监督聚类算法的小样本医学图像分类

基于深度学习的医学图像分析是智慧医疗的一个重要方向。但是通常情况下,医学图像数据集数据量很小,而且由于医学图像的标注困难,耗费大量人力物力,所以带标签的训练数据很难获取。如何使用极少的带标签数据和无标签的数据得到一个较好的网络模型是本文的主要研究内容。该文提出基于深度聚类的自监督网络模型作为特征提取器,并且使用标签传播算法对特征进行分类,解决了只有极少量标签(例如1张,5张或者10张)即小样本情况下的医学图像分类问题,在BreakHis数据集上取得了比传统机器学习算法更好的效果,并且接近于全监督学习方法。     

小样本SAR图像分类方法综述

合成孔径雷达（synthetic aperture radar,SAR）图像分类作为SAR图像应用的重要底层任务受到了广泛关注与研究。SAR图像分类是处理和分析遥感图像的重要手段,在环境监测、目标侦察和地质勘探等任务中发挥着关键作用,但是目前基于深度学习的SAR图像分类任务存在小样本问题。本文针对小样本SAR图像分类方法进行全面的论述和分析。1）介绍了SAR图像分类任务的重要性和早期的SAR图像分类方法,并阐述了小样本SAR图像分类任务的必要性。2）介绍了小样本SAR图像分类任务的定义、常用的数据集、评价指标和应用。3）整理了各类方法的贡献点和使用的数据集,将已有的小样本SAR图像分类方法分为基于迁移学习的方法、基于元学习的方法、基于度量学习的方法和综合性方法4类。根据分类总结了4类方法存在的缺陷,为后续工作提供了一定的参考。在统一的框架内测试了16种可见光数据集方法迁移到SAR图像数据集上的分类性能,并从分类精度和运行时间两个方面综合评估了小样本学习模型迁移效果。该项工作利用SAR图像分类通用数据集MSTAR（moving and stationary target acquisition and recognition）完成,极大地补充了小样本SAR图像分类任务的测评基准。4）对小样本SAR图像分类方法的发展趋势进行了展望,提出了未来可能的一些严峻挑战。     

基于空频域特征提取的小样本图像分类算法

小样本学习的目的是使用极少的样本训练模型,并在有限的数据集上构建一种有效的模型,以实现对新样本的准确预测。关于小样本图像分类的研究大多只从空域的角度去提取图像的特征进行学习,且在计算相似性分数时采用单一的度量模式,极大地降低了图像分类的准确性。为此,提出了一种基于空频域特征提取的小样本图像分类算法网络（FENet）,从空域和频域角度出发,提取图像特征,并结合图像到图像的度量与图像到类的度量方式,引入干扰因子,提高模型的鲁棒性和泛化性。在CUB-200-2011、Stanford-Cars、Stanford-Dogs 3个数据集上进行了大量的实验,结果表明,FENet在一定程度上能提升小样本图像分类的准确性。     

基于自监督增强特征的直推式零样本图像分类

图像的视觉特征对实现零样本图像分类有至关重要的作用.尽管目前VGG、GoogLeNet和ResNet等网络提取的深度特征在图像分类领域获得了广泛的应用,但其在零样本图像分类问题上的表现并不理想,仍旧存在较大的提升空间.此外,由于零样本学习场景下训练集与测试集不相交的设定,导致分类网络不可避免地存在领域偏移问题.为此,提出一种基于自监督增强特征的直推式零样本图像分类框架.首先,通过辅助任务构造伪标签,利用自监督学习获得图像的自监督特征并将其与无监督深度特征进行特征融合;然后,将融合特征嵌入语义空间中进行零样本图像分类,并获得未见类的初始预测标签;最后,利用未见类特征和预测标签迭代地优化视觉-语义映射.所提出框架组件可选择,框架组件自监督网络、主干网络和降维网络分别选用CFN、VGG16和PCA构成网络.在CUB、SUN和AwA2数据集上的实验结果表明,所提出网络能够增强特征的判别能力,在零样本图像分类问题上表现良好.     

面向图像分类的小样本学习算法综述

目前,以深度学习为代表的人工智能算法凭借超大规模数据集以及强大的计算资源,在图像分类、生物特征识别、医疗辅助诊断等领域取得了优秀的成果并成功落地.然而,在许多实际的应用场景中,因诸多限制,研究人员无法获取到大量样本或者获取样本的代价过高,因此研究图像分类任务在小样本情形下的学习算法成为了推动智能化进程的核心动力,同时也...     

基于VAE和注意力机制的小样本图像分类方法

小样本图像识别是人工智能中具有挑战性的新兴领域。传统的深度学习方法无法解决样本匮乏带来的问题,模型易出现过拟合导致训练效果不佳的情况。针对以上问题,提出结合表征学习和注意力机制的小样本学习方法。通过预训练VAE(Variational Auto-encoder)从任务中学习丰富的隐特征;对提取出的隐特征构建注意力机制,使得元学习器能快速地注意到对当前任务重要的特征;将注意力模块增强之后的特征使用分类器进行图像分类。实验表明,该算法在Mini-ImageNet和Omniglot数据集上达到72.5%和98.8%的准确率,显著优于现有元学习算法的性能。     

元迁移学习在少样本跨域图像分类中的研究

目的 现有基于元学习的主流少样本学习方法假设训练任务和测试任务服从相同或相似的分布,然而在分布差异较大的跨域任务上,这些方法面临泛化能力弱、分类精度差等挑战。同时,基于迁移学习的少样本学习方法没有考虑到训练和测试阶段样本类别不一致的情况,在训练阶段未能留下足够的特征嵌入空间。为了提升模型在有限标注样本困境下的跨域图像分类能力,提出简洁的元迁移学习（compressed meta transfer learning,CMTL）方法。方法 基于元学习,对目标域中的支持集使用数据增强策略,构建新的辅助任务微调元训练参数,促使分类模型更加适用于域差异较大的目标任务。基于迁移学习,使用自压缩损失函数训练分类模型,以压缩源域中基类数据所占据的特征嵌入空间,微调阶段引导与源域分布差异较大的新类数据有更合适的特征表示。最后,将以上两种策略的分类预测融合视为最终的分类结果。结果 使用mini-ImageNet作为源域数据集进行训练,分别在EuroSAT(EuropeanSatellite)、ISIC(InternationalSkinImagingCollaboration)、CropDiseas(Cr...     

Multiscale attention for few-shot image classification

In recent years, the application of traditional deep learning methods in the agricultural field using remote sensing techniques, such as crop area and growth monitoring, crop classification, and agricultural disaster monitoring, has been greatly facilitated by advancements in deep learning. The accuracy of image classification plays a crucial role in these applications. Although traditional deep learning methods have achieved significant success in remote sensing image classification, they often involve convolutional neural networks with a large number of parameters that require extensive optimization using numerous remote sensing images for training purposes. To address these challenges, we propose a novel approach called multiscale attention network (MAN) for sample-based remote sensing image classification. This method consists primarily of feature extractors and attention modules to effectively utilize different scale features through multiscale feature training during the training phase. We evaluate our proposed method on three datasets comprising agricultural remote sensing images and observe superior performance compared to existing approaches. Furthermore, we validate its generalizability by testing it on an oil well indicator diagram specifically designed for classification tasks.     

面向元余弦损失的少样本图像分类

目的 度量学习是少样本学习中一种简单且有效的方法,学习一个丰富、具有判别性和泛化性强的嵌入空间是度量学习方法实现优秀分类效果的关键。本文从样本自身的特征以及特征在嵌入空间中的分布出发,结合全局与局部数据增强实现了一种元余弦损失的少样本图像分类方法(a meta-cosine loss for few-shot image classification,AMCL-FSIC)。方法 首先,从数据自身特征出发,将全局与局部的数据增广方法结合起来,利于局部信息提供更具区别性和迁移性的信息,使训练模型更多关注图像的前景信息。同时,利用注意力机制结合全局与局部特征,以得到更丰富更具判别性的特征。其次,从样本特征在嵌入空间中的分布出发,提出一种元余弦损失(meta-cosine loss,MCL)函数,优化少样本图像分类模型。使用样本与类原型间相似性的差调整不同类的原型,扩大类间距,使模型测试新任务时类间距更加明显,提升模型的泛化能力。结果 分别在5个少样本经典数据集上进行了实验对比,在FC100(Few-shot Cifar100)和CUB(Caltech-UCSD Birds-200-2011)数据集上,本文方法均达到了目前最优分类效果;在MiniImageNet、TieredImageNet和Cifar100数据集上与对比模型的结果相当。同时,在MiniImageNet,CUB和Cifar100数据集上进行对比实验以验证MCL的有效性,结果证明提出的MCL提升了余弦分类器的分类效果。结论 本文方法能充分提取少样本图像分类任务中的图像特征,有效提升度量学习在少样本图像分类中的准确率。     

融合弱监督目标定位的细粒度小样本学习

目的 小样本学习旨在通过一幅或几幅图像来学习全新的类别。目前许多小样本学习方法基于图像的全局表征,可以很好地实现常规小样本图像分类任务。但是,细粒度图像分类需要依赖局部的图像特征,而基于全局表征的方法无法有效地获取图像的局部特征,导致很多小样本学习方法不能很好地处理细粒度小样本图像分类问题。为此,提出一种融合弱监督目标定位的细粒度小样本学习方法。方法 在数据量有限的情况下,目标定位是一个有效的方法,能直接提供最具区分性的区域。受此启发,提出了一个基于自注意力的互补定位模块来实现弱监督目标定位,生成筛选掩膜进行特征描述子的筛选。基于筛选的特征描述子,设计了一种语义对齐距离来度量图像最具区分性区域的相关性,进而完成细粒度小样本图像分类。结果 在mini Image Net数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法高出0.56%和5.02%。在细粒度数据集Stanford Dogs和Stanford Cars数据集上,本文方法在1-shot和5-shot下的分类精度相较性能第2的方法分别提高了4.18%,7.49%和16.13,5.17%。在CUB 200-...     

Few-shot node classification via local adaptive discriminant structure learning

Node classification has a wide range of application scenarios such as citation analysis and social network analysis. In many real-world attributed networks, a large portion of classes only contain limited labeled nodes. Most of the existing node classification methods cannot be used for few-shot node classification. To train the model effectively and improve the robustness and reliability of the model with scarce labeled samples, in this paper, we propose a local adaptive discriminant structure learning (LADSL) method for few-shot node classification. LADSL aims to properly represent the nodes in the attributed graphs and learn a metric space with a strong discriminating power by reducing the intra-class variations and enlarging inter-class differences. Extensive experiments conducted on various attributed networks datasets demonstrate that LADSL is superior to the other methods on few-shot node classification task.     

局部特征融合的小样本分类

目的 小样本学习是一项具有挑战性的任务,旨在利用有限数量的标注样本数据对新的类别数据进行分类。基于度量的元学习方法是当前小样本分类的主流方法,但往往仅使用图像的全局特征,且模型分类效果很大程度上依赖于特征提取网络的性能。为了能够充分利用图像的局部特征以及提高模型的泛化能力,提出一种基于局部特征融合的小样本分类方法。方法 首先,将输入图像进行多尺度网格分块处理后送入特征提取网络以获得局部特征;其次,设计了一个基于Transformer架构的局部特征融合模块来得到包含全局信息的局部增强特征,以提高模型的泛化能力;最后,以欧几里得距离为度量,计算查询集样本特征向量与支持集类原型之间的距离,实现分类。结果 在小样本分类中常用的3个数据集上与当前先进的方法进行比较,在5-way 1-shot和5-way 5-shot的设置下相对次优结果,所提方法在MiniImageNet数据集上的分类精度分别提高了2.96%和2.9%,在CUB（Caltech-UCSD Birds-200-2011）数据集上的分类精度分别提高了3.22%和1.77%,而在TieredImageNet数据集上的分类精度与最优结果相当,实验结果表明了所提方法的有效性。结论 提出的小样本分类方法充分利用了图像的局部特征,同时改善了模型的特征提取能力和泛化能力,使小样本分类结果更为准确。     

基于自监督学习的社交网络用户轨迹预测模型

针对当前用户轨迹数据建模中存在的签到点稀疏性、长时间依赖性和移动模式复杂等问题,提出基于自监督学习的社交网络用户轨迹预测模型SeNext,对用户轨迹进行建模和训练来预测用户的下一个兴趣点(POI).首先,使用数据增强的方式来丰富训练数据样本,以解决数据不足及个别用户足迹太少导致的模型泛化能力不足的问题;其次,将循环神经...     

基于自监督学习的病理图像层次分割

在苏木精-伊红(HE)染色病理图像中，细胞染色分布的不均匀和各类组织形态的多样性给病理图像的自动分割带来极大挑战。为解决该问题，提出了一种基于自监督学习的病理图像三步层次分割方法，对病理图像中各类组织进行由粗略到精细的全自动逐层分割。首先，根据互信息的计算结果在RGB色彩空间中进行特征选择；其次，采用K-means聚类将图像初步分割为各类组织结构的色彩稳定区域与模糊区域；然后，以色彩稳定区域为训练集采用朴素贝叶斯分类对模糊区域进行进一步分割，得到完整的细胞核、细胞质和胞外间隙这三类组织结构；最后，对细胞核部分进行结合形状和色彩强度的混合分水岭分割得到细胞核间的精确边界，进而量化计算细胞核个数、核占比、核质比等指标。对脑膜瘤HE染色病理图像的分割实验结果表明，所提方法对于染色和细胞形态差异保持较高的鲁棒性，各类组织区域分割误差在5%以内，在细胞核分割精度的对比实验中平均正确率在96%以上，满足临床自动图像分析的要求，其量化结果可以为定量病理分析提供依据。     

深度掩膜布朗距离协方差小样本分类方法

针对小样本学习中,布朗距离协方差通过改善特征嵌入提升分类精度,但未聚焦分类中样本相关性特征的问题,提出了深度掩膜布朗距离协方差方法。该方法通过每对查询集与支持集之间的高维语意关系,生成查询引导掩膜,并将掩膜后的布朗距离协方差矩阵用作图像特征表示。分别在5way-1shot和5way-5shot情形下,对CUB-200-211、Mini-ImageNet及Tiered-ImageNet数据集进行评估验证,实验表明,深度掩膜布朗距离协方差方法取得了更优的分类精度。