基于小样本学习的图像分类技术综述

图像分类的应用场景非常广泛, 很多场景下难以收集到足够多的数据来训练模型, 利用小样本学习进行图像分类可解决训练数据量小的问题. 本文对近年来的小样本图像分类算法进行了详细综述, 根据不同的建模方式, 将现有算法分为卷积神经网络模型和图神经网络模型两大类, 其中基于卷积神经网络模型的算法包括四种学习范式: 迁移学习、元学习、对偶学习和贝叶斯学习; 基于图神经网络模型的算法原本适用于非欧几里得结构数据, 但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务, 有关的研究成果目前相对较少. 此外, 本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较. 最后, 讨论了小样本图像分类技术的难点及未来研究趋势.     

类别严重不均衡应用的在线数据流学习算法

集成式数据流挖掘是对存在概念漂移的数据流进行学习的重要方法。对于类别分布严重不均衡的应用,集成式数据流挖掘中数据块的学习方式导致样本数多的类别的分类精度高,样本数少的类别的分类精度低的问题,现有算法无法满足此类应用的需求。针对上述问题,对基于回忆机制的集成式数据流学习算法MAE(Memorizing based Adaptive Ensemble)进行改进,提出面向类别严重不均衡应用的在线数据流学习算法UMAE(Unbalanced data Lear-ning based on MAE)。UMAE算法为每个类别设置了一个样本滑动窗口,对于新到达的数据块,其样本依据自身的类别分别进入相应的滑动窗口,最后利用各类别滑动窗口内的样本构建用于在线学习的数据块。与5种典型的数据流挖掘算法的比较结果表明,UMAE算法在满足实时性的同时,不仅整体分类精度高,而且对于样本数很少的小类别的分类精度有大幅度提高;对于异常检测等类别分布严重不均衡的应用,UMAE算法的实用性明显优于其他算法。     

基于信息对齐的半监督少样本学习方法

针对深度学习中遇到数据样本不足，数据获取难度大的问题，提出一种基于信息对齐的半监督少样本学习方法。将支持集和查询集输入到特征提取网络得到特征向量，通过类原型计算查询集与支持集的每个局部区域对的距离用于信息对齐；采用注意力机制得到重新加权后的联合关系矩阵，利用关系模块将联合关系矩阵映射成类别的相似度分数；采用伪标签的半监督训练方法，辅助模型训练。理论和实验分析结果表明，与主流少样本学习方法相比，该方法具有更强的区分差异性的能力和更好的泛化能力。     

基于深度元学习的小样本图像分类研究综述

深度元学习是解决小样本分类问题的流行范式。对近年来基于深度元学习的小样本图像分类算法进行了详细综述。从问题的描述出发对基于深度元学习的小样本图像分类算法进行概括,并介绍了常用小样本图像分类数据集及评价准则;分别从基于模型的深度元学习方法、基于优化的深度元学习方法以及基于度量的深度元学习方法三个方面对其中的典型模型以及最新研究进展进行详细阐述。最后,给出了现有算法在常用公开数据集上的性能表现,总结了该课题中的研究热点,并讨论了未来的研究方向。     

深度神经网络的小样本学习综述

随着最近深度学习技术的蓬勃发展,深度神经网络（DNN）在大规模的图像分类与识别任务中取得了突破性的进展,但其在解决小样本学习问题时仍面临巨大挑战。小样本学习（FSL）是指在少量有监督样本的情况下学习一个能解决实际问题的模型,在深度学习领域具有重要意义。这促使该系统梳理了已有的DNN下的小样本学习工作,根据它们在解决小样本学习问题时所采用的技术,将DNN下的小样本学习解决方案分为四种策略：数据增强、度量学习、外部记忆、参数优化。根据这些策略,对现有的DNN下的小样本学习方法进行了全面的综述,同时总结了每一种策略在相关基准上的表现。强调了现有技术存在的局限性并对其未来的发展方向进行了展望,为今后的研究工作提供参考。     

基于深度学习的人体行为识别综述

人体行为识别旨在对视频监控中的人体行为进行检索并识别,是人工智能领域的研究热点。基于传统方法的人体行为识别算法存在对样本数据依赖大、易受环境噪声影响等不足。为解决此问题,许多适用于不同应用场景的基于深度学习的人体行为识别算法被提出。介绍了人体行为识别任务中传统特征提取方法和基于深度学习的特征提取方法;从性能和应用两方面对基于深度学习的人体行为识别算法进行总结,重点分析了基于3D卷积神经网络、混合网络、双流卷积神经网络和少样本学习（few-shot learning,FSL）的人体行为识别方法及其在UCF101和HMDB51数据集上的表现;在深度学习的基础上,归纳了主流模型迁移方法的优缺点及其有效性;总结了现有基于深度学习的人体行为识别算法存在的不足,并讨论了以元学习（meta-learning）和transformer为代表的FSL算法将成为未来模型主流算法的可能性,同时对未来基于深度学习的人体行为识别算法的发展方向进行展望。     

基于AlexNet的小样本水面漂浮物识别

针对水面漂浮物识别中图像数据量少、噪声影响多,导致识别精度低的问题,采用一种基于深度学习的小样本水面漂浮物识别方法进行水面常见污染物塑料袋与塑料瓶的识别。采用现有大型数据集中的普通塑料袋与塑料瓶图像构建并训练卷积神经网络模型AlexNet;采用梯度下降法对模型进行微调,并用融合的光照矫正法处理待识别图像;将网络识别结果与传统的HOG特征提取方法进行比较。实验结果表明,该方法相较于传统的提取特征方法,对于水面漂浮物的识别率提高近15%。     

基于可攻击空间假设的陷阱式集成对抗防御网络

如今,深度神经网络在各个领域取得了广泛的应用.然而研究表明,深度神经网络容易受到对抗样本的攻击,严重威胁着深度神经网络的应用和发展.现有的对抗防御方法大多需要以牺牲部分原始分类精度为代价,且强依赖于已有生成的对抗样本所提供的信息,无法兼顾防御的效力与效率.因此基于流形学习,从特征空间的角度提出可攻击空间对抗样本成因假设,并据此提出一种陷阱式集成对抗防御网络Trap-Net. Trap-Net在原始模型的基础上向训练数据添加陷阱类数据,使用陷阱式平滑损失函数建立目标数据类别与陷阱数据类别间的诱导关系以生成陷阱式网络.针对原始分类精度损失问题,利用集成学习的方式集成多个陷阱式网络以在不损失原始分类精度的同时,扩大陷阱类标签于特征空间所定义的靶标可攻击空间.最终, Trap-Net通过探测输入数据是否命中靶标可攻击空间以判断数据是否为对抗样本.基于MNIST、K-MNIST、F-MNIST、CIFAR-10和CIFAR-100数据集的实验表明, Trap-Net可在不损失干净样本分类精确度的同时具有很强的对抗样本防御泛化性,且实验结果验证可攻击空间对抗成因假设.在低扰动的白盒攻击场景中, T...     

基于改进动态ReLU和注意力机制模型的中药材粉末显微图像识别研究

中药材粉末显微特征图像数据量少、样本类别分布不均衡、类间差异小,传统的图像识别方法分类效果不佳.针对以上问题提出一种基于动态ReLU和注意力机制模型的深度卷积神经网络改进方法.首先,采用对小样本数据分类效果明显的Xception作为基础网络;其次,将网络中的静态ReLU激活函数替换为改进的动态ReLU函数,让每个样本具有自己独特的ReLU参数;最后,在网络中嵌入改进的SE模块,使网络能够更好地自动学习到每个特征通道的重要程度.以上方法可以使网络更加注重于图像中的细节信息,能很好地解决样本类别分布不均衡、类间差异小的问题.实验结果表明,对56种中药材粉末导管图像进行分类识别,其准确率提升了约1.5％,达到93.8％,证明了所提研究方法相比于其他图像分类方法具有一定的优越性.     

基于DCNN和数据增强的固体发动机烧蚀预示方法

针对固体发动机烧蚀率的预示,现有传统建模方法存在复杂度高、计算需求大、试验数据少、样本不平衡等问题,提出了一种基于深度卷积神经网络和数据增强的固体发动机烧蚀率预示方法。将传感器数据处理为长度相同、特征相近的序列数据,并使用自适应高斯噪声和随机漂移这2种数据增强方法扩充数据样本,再将扩充后的试验样本和伪样本作为深度卷积神经网络的输入进行训练,将训练得到的模型与传统方法计算得到的烧蚀率预示值进行对比。结果表明,该方法下烧蚀率预示值误差低至0.013 5 m/s,预示精度可达95%。     

面向小样本数据的机器学习方法研究综述

小样本学习是面向小样本数据的机器学习,旨在利用较少的有监督样本数据去构建能够解决实际问题的机器学习模型。小样本学习能够解决传统机器学习方法在样本数据不充分时性能严重下降的问题,可以为新型小样本任务实现低成本和快速的模型部署,缩小人类智能与人工智能之间的距离,对推动发展通用型人工智能具有重要意义。从小样本学习的概念、基础模型和实际应用入手,系统梳理当前小样本学习的相关工作,将小样本学习方法分类为基于模型微调、基于数据增强、基于度量学习和基于元学习,并具体阐述这4大类方法的核心思想、基本模型、细分领域和最新研究进展,以及每一类方法在科学研究或实际应用中存在的问题,总结目前小样本学习研究的常用数据集和评价指标,整理基于部分典型小样本学习方法在Omniglot和Mini-ImageNet数据集上的实验结果。最后对各种小样本学习方法及其优缺点进行总结,分别从数据层面、理论研究和应用研究3个方面对小样本学习的未来研究方向进行展望。     

小样本关系分类研究综述

关系分类作为构建结构化知识的重要一环,在自然语言处理领域备受关注.但在很多应用领域中(如医疗、金融等领域)收集充足的用于训练关系分类模型的数据十分困难.近年来,仅需要少量训练样本的小样本学习逐渐应用于关系分类研究中.该文对近期小样本关系分类模型与方法进行了系统的综述.根据度量方法的不同,将现有方法分为原型式和分布式两大...     

小样本学习研究综述

小样本学习旨在通过少量样本学习到解决问题的模型.近年来在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为了目前人们需要关注的问题.本文系统梳理了当前小样本学习的相关工作,具体介绍了基于模型微调、基于数据增强和基于迁移学习三大类小样本学习模型与算法的研究进展;本文将基于数据增强的方法细分为基于无标签数据、基于数据合成和基于特征增强三类,将基于迁移学习的方法细分为基于度量学习、基于元学习和基于图神经网络三类.本文还总结了目前常用的小样本数据集,以及代表性的小样本学习模型在这些数据集上的实验结果,随后对小样本学习的现状和挑战进行了概述,最后展望了小样本学习的未来发展方向.     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。     

深度学习在医学影像中的应用综述

深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述,特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。     

磁共振影像深度学习在精神分裂症诊断中的应用综述

精神分裂症是一种大脑存在结构和功能异常的严重精神疾病,目前尚无十分有效的诊疗手段。许多研究者尝试采用基于磁共振影像的机器学习方法辅助诊断精神分裂症。深度学习由于其强大的特征表示能力,在医学影像等领域得到了广泛的应用,表现出比传统机器学习方法更优异的性能。目前已有论文对深度学习在医学影像领域内的应用进行了详细的总结和分析,却很少有论文对其在具体某一疾病（例如精神分裂症）诊断中的应用进行系统的梳理和总结。因此,本文主要关注深度学习在基于磁共振影像的精神分裂症诊断中的应用。首先介绍了基于磁共振影像的精神分裂症诊断中常用的几种深度学习模型;其次按照数据的不同模态将相关研究划分为：基于结构磁共振成像的方法、基于功能磁共振成像的方法以及基于多模态数据的方法,并对各类方法的具体应用进行了总结;最后针对目前的研究现状,进一步分析和总结出样本量偏小、样本类别不均衡、模型可解释性低、多模态分析中缺失模态数据以及缺少有效融合策略等,是目前该领域研究中存在的主要问题。多中心及纵向数据分析以及针对不同症状亚型的个体化精准诊断模型的构建,是未来该领域研究发展的趋势。本文系统地总结了深度学习在基于磁共振影像的精神分裂症诊断中的应用,分析了该领域面临的问题和下一步的研究方向,对该领域的研究具有一定的参考和指导意义。     

基于多样真实任务生成的鲁棒小样本分类方法

随着大数据、计算机与互联网等技术的不断进步,以机器学习和深度学习为代表的人工智能技术取得了巨大成功,尤其是最近不断涌现的各种大模型,极大地加速了人工智能技术在各个领域的应用.但这些技术的成功离不开海量训练数据和充足的计算资源,大大限制了这些方法在一些数据或计算资源匮乏领域的应用.因此,如何利用少量样本进行学习,也就是小样本学习成为以人工智能技术引领新一轮产业变革中一个十分重要的研究问题.小样本学习中最常用的方法是基于元学习的方法,这类方法通过在一系列相似的训练任务上学习解决这类任务的元知识,在新的测试任务上利用元知识可以进行快速学习.虽然这类方法在小样本分类任务上取得了不错的效果,但是这类方法的一个潜在假设是训练任务和测试任务来自同一分布.这意味着训练任务需要足够多才能使模型学到的元知识泛化到不断变化的测试任务中.但是在一些真正数据匮乏的应用场景,训练任务的数量也是难以保证的.为此,提出一种基于多样真实任务生成的鲁棒小样本分类方法(DATG).该方法通过对已有少量任务进行Mixup,可以生成更多的训练任务帮助模型进行学习.通过约束生成任务的多样性和真实性,该方法可以有效提高小样本分类方...     

小样本困境下的图像语义分割综述

近年来,由于大规模数据集的出现,图像语义分割技术得到快速发展。但在实际场景中,并不容易获取到大规模、高质量的图像,图像的标注也需要消耗大量的人力和时间成本。为了摆脱对样本数量的依赖,小样本语义分割技术逐渐成为研究热点。当前小样本语义分割的方法主要利用了元学习的思想,按照不同的模型结构可划分为基于孪生神经网络、基于原型网络和基于注意力机制三大类。基于近年来小样本语义分割的发展现状,介绍了小样本语义分割各类方法的发展及优缺点,以及小样本语义分割任务中常用的数据集及实验设计。在此基础上,总结了小样本语义分割技术的应用场景及未来的发展方向。     

基于少样本学习的通用隐写分析方法

近年来,深度学习在图像隐写分析任务中表现出了优越的性能.目前,大多数基于深度学习的图像隐写分析模型为专用型隐写分析模型,只适用于特定的某种隐写术.使用专用隐写分析模型对其他隐写算法的隐写图像进行检测,则需要该隐写算法的大量载密图像作为数据集对模型进行重新训练.但在实际的通用隐写分析任务中,隐写算法的大量载密图像数据集是难以得到的.如何在极少隐写图像样本的情况下训练通用隐写分析模型是一个极大的挑战.对此,受少样本学习领域研究成果的启发,提出了基于转导传播网络的通用隐写分析方法.首先,在已有的少样本学习分类框架上改进了特征提取部分,设计了多尺度特征融合网络,使少样本分类模型能够提取到更多的隐写分析特征,使其可用于基于秘密噪声残差等弱信息的分类任务;其次,针对少样本隐写分析模型难收敛的问题,提出了预训练初始化的方式得到具有先验知识的初始模型;然后,分别训练了频域和空域的少样本通用隐写分析模型,通过自测和交叉测试,结果表明,检测平均准确率在80%以上;接着,在此基础上,采用数据集增强的方式重新训练了频域、空域少样本通用隐写分析模型,使少样本通用隐写分析模型检测准确率与之前相比提高到87%以上;最后,将得到的少样本通用隐写分析模型分别与现有的频域和空域隐写分析模型的检测性能进行比较,结果显示,空域上少样本通用隐写分析模型在常用的少样本环境下的检测准确率稍低于SRNet和ZhuNet,频域上少样本通用隐写分析模型在常见的少样本环境下的检测准确率已超越现有的频域隐写分析模型.实验结果表明,基于少样本学习的通用隐写分析方法对未知隐写算法的检测具有高效性和鲁棒性.