自监督学习下小样本遥感图像场景分类

目的 卷积神经网络(convolutional neural network, CNN)在遥感场景图像分类中广泛应用,但缺乏训练数据依然是不容忽视的问题。小样本遥感场景分类是指模型只需利用少量样本训练即可完成遥感场景图像分类任务。虽然现有基于元学习的小样本遥感场景图像分类方法可以摆脱大数据训练的依赖,但模型的泛化能力依然较弱。为了解决这一问题,本文提出一种基于自监督学习的小样本遥感场景图像分类方法来增加模型的泛化能力。方法 本文方法分为两个阶段。首先,使用元学习训练老师网络直到收敛;然后,双学生网络和老师网络对同一个输入进行预测。老师网络的预测结果会通过蒸馏损失指导双学生网络的训练。另外,在图像特征进入分类器之前,自监督对比学习通过度量同类样本的类中心距离,使模型学习到更明确的类间边界。两种自监督机制能够使模型学习到更丰富的类间关系,从而提高模型的泛化能力。结果 本文在NWPU-RESISC45(North Western Polytechnical University-remote sensing image scene classification)、AID(aerial ima...     

面向深度网络的小样本学习综述

深度学习以数据为驱动,被广泛应用于各个领域,但由于数据隐私、标记昂贵等导致样本少、数据不完备性等问题,同时小样本难于准确地表示数据分布,使得分类模型误差较大,且泛化能力差。为此,小样本学习被提出,旨在利用较少目标数据训练模型快速学习的能力。系统梳理了近几年来小样本学习领域的相关工作,主要整理和总结了基于数据增强、基于元学习和基于转导图小样本学习方法的研究进展。首先,从基于监督增强和基于无监督增强阐述数据增强的主要特点。其次,从基于度量学习和基于参数优化两方面对基于元学习的方法进行分析。接着,详细总结转导图小样本学习方法,介绍常用的小样本数据集,并通过实验阐述分析具有代表性的小样本学习模型。最后总结现有方法的局限性,并对小样本学习的未来研究方向进行展望。     

面向小样本数据的机器学习方法研究综述

小样本学习是面向小样本数据的机器学习,旨在利用较少的有监督样本数据去构建能够解决实际问题的机器学习模型。小样本学习能够解决传统机器学习方法在样本数据不充分时性能严重下降的问题,可以为新型小样本任务实现低成本和快速的模型部署,缩小人类智能与人工智能之间的距离,对推动发展通用型人工智能具有重要意义。从小样本学习的概念、基础模型和实际应用入手,系统梳理当前小样本学习的相关工作,将小样本学习方法分类为基于模型微调、基于数据增强、基于度量学习和基于元学习,并具体阐述这4大类方法的核心思想、基本模型、细分领域和最新研究进展,以及每一类方法在科学研究或实际应用中存在的问题,总结目前小样本学习研究的常用数据集和评价指标,整理基于部分典型小样本学习方法在Omniglot和Mini-ImageNet数据集上的实验结果。最后对各种小样本学习方法及其优缺点进行总结,分别从数据层面、理论研究和应用研究3个方面对小样本学习的未来研究方向进行展望。     

多模态引导的局部特征选择小样本学习方法

深度学习模型取得了令人瞩目的成绩,但其训练依赖于大量的标注样本,在标注样本匮乏的场景下模型表现不尽人意.针对这一问题,近年来以研究如何从少量样本快速学习的小样本学习被提了出来,方法主要采用元学习方式对模型进行训练,取得了不错的学习效果.但现有方法:1)通常仅基于样本的视觉特征来识别新类别,信息源较为单一; 2)元学习的使用使得模型从大量相似的小样本任务中学习通用的、可迁移的知识,不可避免地导致模型特征空间趋于一般化,存在样本特征表达不充分、不准确的问题.为解决上述问题,将预训练技术和多模态学习技术引入小样本学习过程,提出基于多模态引导的局部特征选择小样本学习方法.所提方法首先在包含大量样本的已知类别上进行模型预训练,旨在提升模型的特征表达能力;而后在元学习阶段,方法利用元学习对模型进行进一步优化,旨在提升模型的迁移能力或对小样本环境的适应能力,所提方法同时基于样本的视觉特征和文本特征进行局部特征选择来提升样本特征的表达能力,以避免元学习过程中模型特征表达能力的大幅下降;最后所提方法利用选择后的样本特征进行小样本学习.在MiniImageNet、CIFAR-FS和FC-100这3个基准数...     

元迁移学习在少样本跨域图像分类中的研究

目的 现有基于元学习的主流少样本学习方法假设训练任务和测试任务服从相同或相似的分布,然而在分布差异较大的跨域任务上,这些方法面临泛化能力弱、分类精度差等挑战。同时,基于迁移学习的少样本学习方法没有考虑到训练和测试阶段样本类别不一致的情况,在训练阶段未能留下足够的特征嵌入空间。为了提升模型在有限标注样本困境下的跨域图像分类能力,提出简洁的元迁移学习（compressed meta transfer learning,CMTL）方法。方法 基于元学习,对目标域中的支持集使用数据增强策略,构建新的辅助任务微调元训练参数,促使分类模型更加适用于域差异较大的目标任务。基于迁移学习,使用自压缩损失函数训练分类模型,以压缩源域中基类数据所占据的特征嵌入空间,微调阶段引导与源域分布差异较大的新类数据有更合适的特征表示。最后,将以上两种策略的分类预测融合视为最终的分类结果。结果 使用mini-ImageNet作为源域数据集进行训练,分别在EuroSAT(EuropeanSatellite)、ISIC(InternationalSkinImagingCollaboration)、CropDiseas(Cr...     

代表特征网络的小样本学习方法

目的 小样本学习任务旨在仅提供少量有标签样本的情况下完成对测试样本的正确分类。基于度量学习的小样本学习方法通过将样本映射到嵌入空间,计算距离得到相似性度量以预测类别,但未能从类内多个支持向量中归纳出具有代表性的特征以表征类概念,限制了分类准确率的进一步提高。针对该问题,本文提出代表特征网络,分类效果提升显著。方法 代表特征网络通过类代表特征的度量学习策略,利用类中支持向量集学习得到的代表特征有效地表达类概念,实现对测试样本的正确分类。具体地说,代表特征网络包含两个模块,首先通过嵌入模块提取抽象层次高的嵌入向量,然后堆叠嵌入向量经过代表特征模块得到各个类代表特征。随后通过计算测试样本嵌入向量与各类代表特征的距离以预测类别,最后使用提出的混合损失函数计算损失以拉大嵌入空间中相互类别间距减少相似类别错分情况。结果 经过广泛实验,在Omniglot、miniImageNet和Cifar100数据集上都验证了本文模型不仅可以获得目前已知最好的分类准确率,而且能够保持较高的训练效率。结论 代表特征网络可以从类中多个支持向量有效地归纳出代表特征用于对测试样本的分类,对比直接使用支持向量进行分类具有更好的鲁棒性,进一步提高了小样本条件下的分类准确率。     

任务相关的图像小样本深度学习分类方法研究

传统基于度量学习的图像小样本分类方法与任务无关,这导致模型对新查询任务的泛化能力 较差。针对该问题,该研究提出一种任务相关的图像小样本深度学习方法——可以根据查询任务自适 应地调整支持集样本特征,从而有效形成任务相关的度量分类器。同时,该研究通过引入多种正则化 方法,解决了数据量严重不足所带来的过拟合问题。基于 miniImageNet 和 tieredImageNet 两个常用标 准数据集,在特征提取网络相同的前提下,所提出方法在 miniImageNe 中 1-shot 上获得了 66.05% 的 准确率,较目前最好的模型提高了 4.29%。     

Combat data shift in few-shot learning with knowledge graph

Many few-shot learning approaches have been designed under the meta-learning framework, which learns from a variety of learning tasks and generalizes to new tasks. These meta-learning approaches achieve the expected performance in the scenario where all samples are drawn from the same distributions (i.i.d. observations). However, in real-world applications, few-shot learning paradigm often suffers from data shift, i.e., samples in different tasks, even in the same task, could be drawn from various data distributions. Most existing few-shot learning approaches are not designed with the consideration of data shift, and thus show downgraded performance when data distribution shifts. However, it is non-trivial to address the data shift problem in few-shot learning, due to the limited number of labeled samples in each task. Targeting at addressing this problem, we propose a novel metric-based meta-learning framework to extract task-specific representations and task-shared representations with the help of knowledge graph. The data shift within/between tasks can thus be combated by the combination of task-shared and task-specific representations. The proposed model is evaluated on popular benchmarks and two constructed new challenging datasets. The evaluation results demonstrate its remarkable performance.     

MAML2: meta reinforcement learning via meta-learning for task categories

Meta-learning has been widely applied to solving few-shot reinforcement learning problems, where we hope to obtain an agent that can learn quickly in a new task. However, these algorithms often ignore some isolated tasks in pursuit of the average performance, which may result in negative adaptation in these isolated tasks, and they usually need sufficient learning in a stationary task distribution. In this paper, our algorithm presents a hierarchical framework of double meta-learning, and the whole framework includes classification, meta-learning, and re-adaptation. Firstly, in the classification process, we classify tasks into several task subsets, considered as some categories of tasks, by learned parameters of each task, which can separate out some isolated tasks thereafter. Secondly, in the meta-learning process, we learn category parameters in all subsets via meta-learning. Simultaneously, based on the gradient of each category parameter in each subset, we use meta-learning again to learn a new meta-parameter related to the whole task set, which can be used as an initial parameter for the new task. Finally, in the re-adaption process, we adapt the parameter of the new task with two steps, by the meta-parameter and the appropriate category parameter successively. Experimentally, we demonstrate our algorithm prevents the agent from negative adaptation without losing the average performance for the whole task set. Additionally, our algorithm presents a more rapid adaptation process within re-adaptation. Moreover, we show the good performance of our algorithm with fewer samples as the agent is exposed to an online meta-learning setting.     

基于深度神经网络的少样本学习综述

如何从少数训练样本中学习并识别新的类别对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题,全面总结了现有的基于深度神经网络的少样本学习方法,涵盖了方法所用模型、数据集及评估结果等各个方面。具体地,针对基于深度神经网络的少样本学习方法,提出将其分为数据增强方法、迁移学习方法、度量学习方法和元学习方法四种类别;对于每个类别,进一步将其分为几个子类别,并且在每个类别与方法之间进行一系列比较,以显示各种方法的优劣和各自的特点。最后强调了现有方法的局限性,并指出了少样本学习研究领域未来的研究方向。     

基于多样真实任务生成的鲁棒小样本分类方法

随着大数据、计算机与互联网等技术的不断进步,以机器学习和深度学习为代表的人工智能技术取得了巨大成功,尤其是最近不断涌现的各种大模型,极大地加速了人工智能技术在各个领域的应用.但这些技术的成功离不开海量训练数据和充足的计算资源,大大限制了这些方法在一些数据或计算资源匮乏领域的应用.因此,如何利用少量样本进行学习,也就是小样本学习成为以人工智能技术引领新一轮产业变革中一个十分重要的研究问题.小样本学习中最常用的方法是基于元学习的方法,这类方法通过在一系列相似的训练任务上学习解决这类任务的元知识,在新的测试任务上利用元知识可以进行快速学习.虽然这类方法在小样本分类任务上取得了不错的效果,但是这类方法的一个潜在假设是训练任务和测试任务来自同一分布.这意味着训练任务需要足够多才能使模型学到的元知识泛化到不断变化的测试任务中.但是在一些真正数据匮乏的应用场景,训练任务的数量也是难以保证的.为此,提出一种基于多样真实任务生成的鲁棒小样本分类方法(DATG).该方法通过对已有少量任务进行Mixup,可以生成更多的训练任务帮助模型进行学习.通过约束生成任务的多样性和真实性,该方法可以有效提高小样本分类方...     

基于元学习的小样本遥感图像分类

为改善传统分类算法在小样本遥感图像分类上效果差的缺陷,提升模型的快速学习能力,提出融合迁移学习和元学习的小样本分类算法.设计基于长短期记忆网络的元学习器,通过门控结构拟合网络参数更新方式最下化损失下界,具有自动学习分类器参数更新方式的机制,相比于传统方法,能够有效扩展优化算法的搜索空间;考虑样本的跨类别知识转移和训练时...     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。     

Augmented domain agreement for adaptable Meta-Learner on Few-Shot classification

Meta-learning approaches are recently introduced to obtain a proficient model in the problem of few-shot learning. The existing state-of-the-art methods can resolve the training difficulty to achieve the model generalization with limited instances by incorporating several tasks containing various drawn classes. However, during the fast-adaptation stage, the characteristics of instances in meta-training and meta-test sets are assumed to be similar. In contrast, most meta-learning algorithms are implemented in challenging settings where those are drawn from different populations. This critical assumption can cause the model to exhibit degraded performance. We propose an Augmented Domain Agreement for Adaptable Meta-Learner (AD2AML), which augments the domain adaptation framework in meta-learning to overcome this problem. We minimize the latent representation divergence of the inputs drawn from different distributions to enhance the model at obtaining more general features. Therefore, the trained network can be more transferable at shifted domain conditions. Furthermore, we extend our main idea by augmenting the image reconstruction network with cross-consistency loss to encourage the shared network to extract a similar input representation. We demonstrate our proposed method’s effectiveness on the benchmark datasets of few-shot classification and few-shot domain adaptation problems. Our experiment shows that our proposed idea can improve generalization performance. Moreover, the extension with image reconstruction and cross-consistency loss can stabilize domain loss minimization during training.

     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

一种基于群等变卷积的度量元学习算法

传统机器学习方法泛化性能不佳,需要通过大规模数据训练才能得到较好的拟合结果,因此不能快速学习训练集外的少量数据,对新种类任务适应性较差,而元学习可实现拥有类似人类学习能力的强人工智能,能够快速适应新的数据集,弥补机器学习的不足。针对传统机器学习中的自适应问题,利用样本图片的局部旋转对称性和镜像对称性,提出一种基于群等变卷积神经网络（G-CNN）的度量元学习算法,以提高特征提取能力。利用G-CNN构建4层特征映射网络,根据样本图片中的局部对称信息,将支持集样本映射到合适的度量空间,并以每类样本在度量空间中的特征平均值作为原型点。同时,通过同样的映射网络将查询机映射到度量空间,根据查询集中样本到原型点的距离完成分类。在Omniglot和miniImageNet数据集上的实验结果表明,该算法相比孪生网络、关系网络、MAML等传统4层元学习算法,在平均识别准确率和模型复杂度方面均具有优势。     

Physics-informed few-shot learning for wind pressure prediction of low-rise buildings

This research proposes a physics-informed few-shot learning model to predict the wind pressures on full-scale specimens based on scaled wind tunnel experiments. Existing machine learning approaches in the wind engineering domain are incapable of accurately extrapolating the prediction from scaled data to full-scale data. The model presented in this research, on the other hand, is capable of extrapolating prediction from large-scale or small-scale models to full-scale measurements. The proposed ML model combines a few-shot learning model with the existing physical knowledges in the design standards related to the zonal information. This physical information helps in clustering the few-shot learning model and improves prediction performance. Using the proposed techniques, the scaling issue observed in wind tunnel tests can be partially resolved. A low mean-squared error, mean absolute error, and a high coefficient of determination were observed when predicting the mean and standard deviation wind pressure coefficients of the full-scale dataset. In addition, the benefit of incorporating physical knowledge is verified by comparing the results with a baseline few-shot learning model. This method is the first of its type as it is the first time to extrapolate in wind performance prediction by combining prior physical knowledge with a few-shot learning model in the field of wind engineering. With the benefit of the few-shot learning model, only a low-resolution of the measuring tap configuration is required, and the reliance on physical wind tunnel experiments can be reduced. The physics-informed few-shot learning model is an efficient, robust, and accurate alternate solution to predicting wind pressures on full-scale structures based on various modeled scale experiments.     

基于深度网络的快速少样本学习算法

少样本学习方法模拟人类从少量样本中学习的认知过程,已成为机器学习研究领域的热点.针对目前少样本学习迭代过程的任务量较大、过拟合现象严重等问题,文中提出基于深度网络的快速少样本学习算法.首先,利用核密度估计和图像滤波方法向训练集加入多种类型的随机噪声,生成支持集和查询集.再利用原型网络提取支持集和查询集图像特征,并根据Bregman散度,以每类支持集支持样本的中心点作为类原型.然后,使用L2范数度量支持集与查询图像的距离,利用交叉熵反馈损失,生成多个异构的基分类器.最后,采用投票机制融合基分类器的非线性分类结果.实验表明,文中算法能加快少样本学习收敛速度,分类准确率较高,鲁棒性较强.     

Teachers cooperation: team-knowledge distillation for multiple cross-domain few-shot learning

Although few-shot learning (FSL) has achieved great progress, it is still an enormous challenge especially when the source and target set are from different domains, which is also known as cross-domain few-shot learning (CD-FSL). Utilizing more source domain data is an effective way to improve the performance of CD-FSL. However, knowledge from different source domains may entangle and confuse with each other, which hurts the performance on the target domain. Therefore, we propose team-knowledge distillation networks (TKD-Net) to tackle this problem, which explores a strategy to help the cooperation of multiple teachers. Specifically, we distill knowledge from the cooperation of teacher networks to a single student network in a meta-learning framework. It incorporates task-oriented knowledge distillation and multiple cooperation among teachers to train an efficient student with better generalization ability on unseen tasks. Moreover, our TKD-Net employs both response-based knowledge and relation-based knowledge to transfer more comprehensive and effective knowledge. Extensive experimental results on four fine-grained datasets have demonstrated the effectiveness and superiority of our proposed TKD-Net approach.     

融合多模态数据的小样本命名实体识别方法

作为自然语言处理领域的关键子任务,命名实体识别通过提取文本中的关键信息,帮助机器翻译、文本生成、知识图谱构建以及多模态数据融合等许多下游任务深度理解文本蕴含的复杂语义信息,有效地完成任务.在实际生活中,由于时间和人力等成本问题,命名实体识别任务常常受限于标注样本的稀缺.尽管基于文本的小样本命名实体识别方法已取得较好的泛化表现,但由于样本量有限,使得模型能提取的语义信息也十分受限,进而导致模型预测效果依然不佳.针对标注样本稀缺给基于文本的小样本命名实体识别方法带来的挑战,提出了一种融合多模态数据的小样本命名实体识别模型,借助多模态数据提供额外语义信息,帮助模型提升预测效果,进而可以有效提升多模态数据融合、建模效果.该方法将图像信息转化为文本信息作为辅助模态信息,有效地解决了由文本与图像蕴含语义信息粒度不一致导致的模态对齐效果不佳的问题.为了有效地考虑实体识别中的标签依赖关系,使用CRF框架并使用最先进的元学习方法分别作为发射模块和转移模块.为了缓解辅助模态中的噪声样本对模型的负面影响,提出一种基于元学习的通用去噪网络.该去噪网络在数据量十分有限的情况下,依然可以有效地评估辅助模态中不同样...