基于深度元学习的小样本图像分类研究综述

深度元学习是解决小样本分类问题的流行范式。对近年来基于深度元学习的小样本图像分类算法进行了详细综述。从问题的描述出发对基于深度元学习的小样本图像分类算法进行概括,并介绍了常用小样本图像分类数据集及评价准则;分别从基于模型的深度元学习方法、基于优化的深度元学习方法以及基于度量的深度元学习方法三个方面对其中的典型模型以及最新研究进展进行详细阐述。最后,给出了现有算法在常用公开数据集上的性能表现,总结了该课题中的研究热点,并讨论了未来的研究方向。     

面向深度网络的小样本学习综述

深度学习以数据为驱动,被广泛应用于各个领域,但由于数据隐私、标记昂贵等导致样本少、数据不完备性等问题,同时小样本难于准确地表示数据分布,使得分类模型误差较大,且泛化能力差。为此,小样本学习被提出,旨在利用较少目标数据训练模型快速学习的能力。系统梳理了近几年来小样本学习领域的相关工作,主要整理和总结了基于数据增强、基于元学习和基于转导图小样本学习方法的研究进展。首先,从基于监督增强和基于无监督增强阐述数据增强的主要特点。其次,从基于度量学习和基于参数优化两方面对基于元学习的方法进行分析。接着,详细总结转导图小样本学习方法,介绍常用的小样本数据集,并通过实验阐述分析具有代表性的小样本学习模型。最后总结现有方法的局限性,并对小样本学习的未来研究方向进行展望。     

小样本困境下的深度学习图像识别综述

图像识别是图像研究领域的核心问题,解决图像识别问题对人脸识别、自动驾驶、机器人等各领域研究都有重要意义.目前广泛使用的基于深度神经网络的机器学习方法,已经在鸟类分类、人脸识别、日常物品分类等图像识别数据集上达到了超过人类的水平,同时越来越多的工业界应用开始考虑基于深度神经网络的方法,以完成一系列图像识别业务.但是深度学...     

小样本关系分类研究综述

关系分类作为构建结构化知识的重要一环,在自然语言处理领域备受关注.但在很多应用领域中(如医疗、金融等领域)收集充足的用于训练关系分类模型的数据十分困难.近年来,仅需要少量训练样本的小样本学习逐渐应用于关系分类研究中.该文对近期小样本关系分类模型与方法进行了系统的综述.根据度量方法的不同,将现有方法分为原型式和分布式两大...     

融合多模态数据的小样本命名实体识别方法

作为自然语言处理领域的关键子任务,命名实体识别通过提取文本中的关键信息,帮助机器翻译、文本生成、知识图谱构建以及多模态数据融合等许多下游任务深度理解文本蕴含的复杂语义信息,有效地完成任务.在实际生活中,由于时间和人力等成本问题,命名实体识别任务常常受限于标注样本的稀缺.尽管基于文本的小样本命名实体识别方法已取得较好的泛化表现,但由于样本量有限,使得模型能提取的语义信息也十分受限,进而导致模型预测效果依然不佳.针对标注样本稀缺给基于文本的小样本命名实体识别方法带来的挑战,提出了一种融合多模态数据的小样本命名实体识别模型,借助多模态数据提供额外语义信息,帮助模型提升预测效果,进而可以有效提升多模态数据融合、建模效果.该方法将图像信息转化为文本信息作为辅助模态信息,有效地解决了由文本与图像蕴含语义信息粒度不一致导致的模态对齐效果不佳的问题.为了有效地考虑实体识别中的标签依赖关系,使用CRF框架并使用最先进的元学习方法分别作为发射模块和转移模块.为了缓解辅助模态中的噪声样本对模型的负面影响,提出一种基于元学习的通用去噪网络.该去噪网络在数据量十分有限的情况下,依然可以有效地评估辅助模态中不同样...     

基于影响函数的跨领域小样本的行人重识别方法

在行人重识别领域,如何快速在一个新城市进行行人重识别系统的部署为行人重识别领域带来了巨大的挑战。一般情况下,在新城市中没有足够的标注数据来训练一个强大的行人重识别模型,只能依赖少量由目击者提供的罪犯照片。首次对该实际应用场景进行正式研究,将其定义为跨领域小样本行人重识别问题,并仔细讨论分析其与现有行人重识别场景的异同。随后,提出一种基于影响函数的样本权重法来指导模型的训练,并在三个公开数据集Market、Duke和CUHK上对方法进行实验对比。实验结果表明,该方法可以有效地处理不同数据集之间的偏置,性能也超过了已有的方法。     

基于小样本度量迁移学习的表面缺陷检测

将小样本学习中的度量学习方法引入缺陷检测领域,提出小样本度量迁移学习方法,用于解决深度学习方法中需要大量学习样本的问题.方法主要分为两个阶段:第一阶段使用公开或便于获得的大型数据集预训练深度网络;第二阶段将网络学习到的相关知识通过度量学习模块迁移到表面缺陷检测领域.实验表明,小样本学习在缺陷检测领域的可行性.     

基于特征聚合网络的小样本学习方法

针对深度学习中使用少量样本完成模型训练的小样本学习问题,构建一种双路的特征聚合网络,并提出一种新的综合损失函数对网络模型的参数更新过程加以控制.通过综合损失函数,特征聚合网络可将样本映射到更具代表性的特征空间中,从而获得更优的特征分布.实验结果表明,与MN、PN等方法相比,该特征聚合网络能有效降低特征空间的复杂性,提升...     

基于TPH-YOLOv5和小样本学习的害虫识别方法

深度卷积目标检测算法可自动识别农田害虫,实现对害虫的监测和预警,确保农业稳产、增产,在智慧农业中有着重要的应用。针对小目标害虫漏检率高和小样本害虫识别精度低的问题,首先,设计有针对性的小目标和小样本害虫数据增强方法,采用复制粘贴、裁剪、过采样等技术,保证样本规模及位置多样性特性,进而提升其对训练损失的贡献度;其次,构建基于微调的二阶段小样本学习策略,兼顾分阶段学习基类和新类害虫特征,确保在识别新类害虫的同时,不降低基类害虫的识别能力,以满足不断更新害虫数据的实际农业应用场景需求;最后,引入TPH-YOLOv5作为害虫识别算法。在28类害虫图像数据集上进行实验,结果表明,所提方法具有较高的学习效率和识别正确率,其精度、召回率、平均精度均值分别为87.6%,84.9%和85.7%。     

小样本目标检测研究综述

目标检测是计算机视觉方向的热点领域,其通常需要大量的标注图像用于模型训练,这将花费大量的人力和物力来实现。同时,由于真实世界中的数据存在固有的长尾分布,大部分对象的样本数量都比较稀少,比如众多非常见疾病等,很难获得大量的标注图像。小样本目标检测只需要提供少量的标注信息,就能够检测出感兴趣的对象,对小样本目标检测方法做了详细综述。首先回顾了通用目标检测的发展及其存在的问题,从而引出小样本目标检测的概念,对同小样本目标检测相关的其他任务做了区分阐述。之后介绍了现有小样本目标检测基于迁移学习和基于元学习的两种经典范式。根据不同方法的改进策略,将小样本目标检测分为基于注意力机制、图卷积神经网络、度量学习和数据增强四种类型,对这些方法中使用到的公开数据集和评估指标进行了说明,对比分析了不同方法的优缺点、适用场景以及在不同数据集上的性能表现。最后讨论了小样本目标检测的实际应用领域和未来的研究趋势。     

基于语义增强的多特征融合小样本关系抽取

关系抽取是自然语言处理和知识图谱构建的一项关键任务,现有小样本关系抽取方法无法有效获取和充分利用更多的文本语义信息,为此给出一个基于语义增强的多特征融合关系抽取方法（SMPC）并应用于小样本任务中。该方法构建了一个融合位置、词性和句法依存等信息的分段卷积神经网络最大化表示语义特征,并从维基百科中抽取细粒度语义信息,将其融入词嵌入,提高模型上下文共性学习。在两种场景下对不同基线方法进行实验,分别取得最高4%和10%的准确率提升,证明了该方法的有效性。     

语义匹配网络的小样本学习

针对深度学习领域内通过少量样本难以实现视觉识别的小样本学习问题,提出一种新的语义匹配网络.利用双注意力机制匹配图像的语义信息,并在多尺度分类网络下匹配图像的相似度,提升同类别样本之间的语义相关性,从而获得更加准确的样本类别.实验结果表明,与Siamese Net、Matching Net等网络相比,该语义匹配网络可有效...     

基于图像变形网络的小样本图像分类算法研究

传统的图像分类算法在数据集过小的情况下分类准确率不高,且传统的图像变形方法容易破坏数据主体语义信息。基于图像变形网络的小样本图像分类算法研究中,采用端对端的方式结合图像变形网络和小样本图像分类网络,通过加权融合训练图像和相似图像的方式实现了对原有数据集的有效扩充,利用数据增强提高了小样本图像分类的准确率。实验数据表明,提出的方法在mini-ImageNet数据集上对小样本图像分类网络的性能有较好的提升效果。     

融合小样本元学习和原型对齐的点云分割算法

目的 针对点云分割需要大量监督信息所造成的时间成本高、计算效率低的问题，采用融合原型对齐的小样本元学习算法对点云进行语义分割，使模型能够在监督信息很少的情况下完成分割任务。方法 首先，为了避免小样本训练时易导致的过拟合问题，采用2个边缘卷积层（edge convolution layer，EdgeConv）与6个MLP （multilayer perceptron）交叉构造DGCNN （dynamic graph convolutional neural network），同时还保证了能充分学习到点云信息；然后，以N-way K-shot的形式将数据集输入上述网络学习支持集与查询集的特征，通过average pooling feature获取类别原型并融合原型对齐算法得到更为鲁棒的支持集原型；最后，通过计算查询集点云特征与支持集原型的欧氏距离实现点云分割。结果 在S3DIS （Stanford large-scale 3D indoor spaces dataset）、ScanNet和闽南古建筑数据集上进行点云语义分割实验，与原型网络和匹配网络在S3DIS数据集上进行比较。分割1-way时，平均交并比（mean intersection over union，mIoU）相比原型网络和匹配网络分别提高了0.06和0.33，最高类别的mIoU达到0.95；分割2-way时，mIoU相比原型网络提高了0.04；将DGCNN网络与PointNet++做特征提取器的对比时，分割ceiling和floor的mIoU分别提高了0.05和0.30。方法应用在ScanNet数据集和闽南古建筑数据集上的分割mIoU分别为0.63和0.51。结论 提出的方法可以在少量标记数据的情况下取得良好的点云分割效果。相比于此前需用大量标记数据所训练的模型而言，只需要很少的监督信息，便能够分割出该新类，提高了模型的泛化能力。当面临样本的标记数据难以获得的情况时，提出的方法更能够发挥关键作用。     

基于自适应特征融合与转换的小样本图像分类

小样本学习中数据采样不断变化的特点使得模型特征提取不充分,同时,模型对提取的特征也难以进行相应操作;数据分布的变化也影响着小样本模型的性能。针对这些问题,提出一种基于自适应加权多路分支小样本图像分类模型。多路特征处理模块对输入数据进行特征提取和融合,以便充分利用少量数据;自适应的支路权重使得特征信号随特征进行相应的放缩;特征转换模块对多变的数据分布进行适应性变化,以便更好地聚合同类,提高分类效果。通过使用Caltech-UCSD Birds-200-2011数据集和mini-ImageNet数据集,对所提模型在不同场景下进行分类效果测试。实验结果表明,所提模型在5-Way 1-Shot和5-Way 5-Shot任务中的准确率分别比baseline相比分别提升9.81、8.16个百分点和9.16、9.21个百分点,验证了模型的有效性。     

基于时空残差张量学习的城市路网交通数据修复

针对城市道路网络环境下各种软/硬件故障导致的交通数据缺失问题,提出了一种基于时空残差张量学习（spatial-temporal residual tensor learning,ST-RTL）的交通数据修复方法。该方法通过构造带缺失值的三维交通张量以最大程度表征原始路网时空信息;并在高斯分布假设基础上,采用Gibbs采样完成对缺失数据的CANDECOMP/PARAFAC（CP）张量分解与低秩重构。考虑到张量修复过程产生的残差值,研究设计一种可动态迭代的双向残差优化结构以捕捉剩余时空依赖特性,实现对缺失交通数据的精准修复。采用公开的杭州地铁客流数据进行模型构建与验证。结果表明,当缺失率为10%~80%时,三种缺失场景（随机、聚类和混合缺失）对张量结构破坏存在较大差异,其中聚类缺失的破坏程度最大,此时,ST-RTL的评估指标MAPE、RMSE和MAE分别位于3.1071~7.0371、16.3779~58.4286、3.7434~8.0135之间;且随着缺失率递增,ST-RTL模型各指标呈加速增加趋势。与HaLRTC、GAIN和BGCP等代表性基准模型相比,所建立的ST-RTL模型在可接受计算代价范围内具有更低的性能指标和更强的稳定性,能为智能交通系统提供高质量的基础数据。     

小样本关系下的时序知识图谱推理

在各大知识推理应用场景下,知识图谱中时序的缺失、知识图谱构建时实体关系的不完善,已然成为研究者们亟需解决的问题。为此,构造了一种融合时序信息与小样本关系的知识图谱推理模型,该模型将知识图谱的三元组表示扩展到含有时序信息的四元组表示,并通过时序信息来提高推理路径的准确性。此外,通过元学习从高频关系中学习元参数,并使用元参数适配小样本关系任务,提高模型在小样本关系中的泛化能力。实验表明,所提出的方法在Hits@1、Hits@3、Hits@10和MRR上均高于对比方法,并且均提高5%以上,表明所提出的方法可以完成知识图谱的推理,并且在小样本关系下具有较好的效果。     

嵌入标签语义的元特征再学习和重加权小样本目标检测

小样本目标检测(Few-Shot Object Detection,FSOD)中新类相对基类样本少,且新类和基类目标类别不同,导致FSOD方法存在学习到的新类特征判别性不强的问题.为了增强新类元特征的可分性,本文提出了一种嵌入标签语义的元特征再学习和重加权小样本目标检测方法.在小样本训练阶段,本文构建了一个词向量标签语义图产生模块.该产生模块引入标签语义信息生成了词向量标签语义图,用于建模基类和新类间的语义关联.同时,本文构建了一个标签语义嵌入模块.该嵌入模块融入基类和新类间的语义关联,对支持集样本的元特征进行再学习.该再学习过程能够将基类中与新类相关联的特征传递给新类,从而在只有少量新类样本的情况下学习到较好的新类元特征.通过端到端(End-to-End)的训练模型,本文方法增强了新类元特征的可分性,从而提升了新类目标的检测精度.在PASCAL VOC和COCO数据集上的对比和消融实验表明了本文方法的可行性与有效性.与FSODFR方法相比,在PASCAL VOC数据集上2-shot和5-shot下,我们方法的目标检测精度分别提高了2.2%和4.3%.     

小样本学习研究综述

小样本学习旨在通过少量样本学习到解决问题的模型.近年来,在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为目前人们需要关注的问题.系统地梳理了当前小样本学习...     

基于负边距损失的小样本目标检测

现有的大部分目标检测算法都依赖于大规模的标注数据集来保证检测的正确率,但某些场景往往很难获得大量标注数据,且耗费大量人力、物力。针对这一问题,提出了基于负边距损失的小样本目标检测方法(NM-FSTD),将小样本学习(FSL)中属于度量学习的负边距损失方法引入目标检测,负边距损失可以避免将同一新类的样本错误地映射到多个峰值或簇,有助于小样本目标检测中新类的分类。首先采用大量训练样本和基于负边距损失的目标检测框架训练得到具有良好泛化性能的模型,之后通过少量具有标签的目标类别的样本对模型进行微调,并采用微调后的模型对目标类别的新样本进行目标检测。为了验证NM-FSTD的检测效果,使用MS COCO进行训练和评估。实验结果表明,所提方法 AP₅₀达到了22.8%,与Meta R-CNN和MPSR相比,准确率分别提高了3.7和4.9个百分点。NM-FSTD能有效提高在小样本情况下对目标类别的检测性能,解决目前目标检测领域中数据不足的问题。