融合多尺度和注意力机制的小样本目标检测

现有基于微调的二阶段小样本目标检测方法对新类特征不敏感,易将新类别误判成与它相似度高的基类,影响模型的检测性能。针对上述问题,提出一种融合多尺度和注意力机制的小样本目标检测(MA-FSOD)算法。首先在骨干网络使用分组卷积和大卷积核提取更具类别区分性的特征,并加入卷积注意力模块(CBAM)实现特征的自适应增强;再通过改进的金字塔网络实现多尺度的特征融合,使候选框生成网络(RPN)可以准确找到感兴趣区域(RoI),从多个尺度向分类头提供更丰富的高质量正样本;最后在微调阶段采用余弦分类头进行分类,降低类内方差。在PASCAL-VOC 2007/2012数据集上与基于候选框编码对比损失的小样本目标检测(FSCE)算法相比,MA-FSOD算法对新类的AP50提升了5.6个百分点;在更具挑战性的MSCOCO数据集中,与Meta-Faster-RCNN相比,10-shot和30-shot对应的AP则分别提升了0.1个百分点和1.6个百分点。实验结果表明,相较于一些主流的小样本目标检测算法,MA-FSOD算法能更有效地缓解误分类问题,实现更高精度的小样本目标检测。     

基于改进Faster R-CNN的小目标检测算法

针对图像纹理细节等高频特征在基于卷积神经网络模型的特征提取过程中丢失，从而导致小目标检测效果较差的问题，提出一种多层频域特征融合的目标检测算法。算法以Faster R-CNN为基础框架，使用高频增强后的图像和对比度增强后的图像作为算法输入样本，提高了待检测图像质量；针对总像素面积较小的目标，更改RPN网络中的锚点尺度，并利用多尺度卷积特征融合的方法，融合来自不同特征层的特征，解决了小目标在深层特征图中特征信息丢失的问题。实验结果表明，所提算法在DAGM 2007数据集上具有良好的性能，平均精度均值mAP达到了97.9%,在PASCAL VOC 2007测试集上对小目标的mAP也明显优于原始Faster R-CNN的。     

面向光学遥感图像典型目标检测的SSD模型优化

本文面向光学遥感图像目标检测应用,针对光学遥感图像中的典型目标一飞机和汽车,提出一种改进的SSD模型:首先在SSD (Single Shot multibox Detector)网络模型基础上引入多尺度特征融合模块,实现深层特征与浅层特征的融合以获得更多的特征上下文信息,增强网络对目标特征的提取能力;其次根据数据集目标样本尺寸分布特征进行聚类分析获得更准确的默认目标框参数,从而有效提升网络对目标位置信息的提取能力.将本文模型与SSD及YOLOv3模型在常用遥感图像目标检测数据集上进行对比,目标检测精度均有较大提升,验证了该模型的有效性.     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题，提出了一种基于深度学习的遥感图像目标检测与识别算法。首先，构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试；其次，基于原始的多尺度单发射击（SSD）网络模型，融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块；最后，在训练策略上引入聚焦分类损失函数，以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验，结果表明所提算法的检测平均精度均值（mAP）达到77.95%，相较于SSD网络模型提高了3.99个百分点，同时检测速度为33.8 frame/s。此外，在拓展实验中，改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明，所提改进算法能够有效地提高遥感图像目标检测的精度。     

局部特征融合的小样本分类

目的 小样本学习是一项具有挑战性的任务,旨在利用有限数量的标注样本数据对新的类别数据进行分类。基于度量的元学习方法是当前小样本分类的主流方法,但往往仅使用图像的全局特征,且模型分类效果很大程度上依赖于特征提取网络的性能。为了能够充分利用图像的局部特征以及提高模型的泛化能力,提出一种基于局部特征融合的小样本分类方法。方法 首先,将输入图像进行多尺度网格分块处理后送入特征提取网络以获得局部特征;其次,设计了一个基于Transformer架构的局部特征融合模块来得到包含全局信息的局部增强特征,以提高模型的泛化能力;最后,以欧几里得距离为度量,计算查询集样本特征向量与支持集类原型之间的距离,实现分类。结果 在小样本分类中常用的3个数据集上与当前先进的方法进行比较,在5-way 1-shot和5-way 5-shot的设置下相对次优结果,所提方法在MiniImageNet数据集上的分类精度分别提高了2.96%和2.9%,在CUB（Caltech-UCSD Birds-200-2011）数据集上的分类精度分别提高了3.22%和1.77%,而在TieredImageNet数据集上的分类精度与最优结果相当,实验结果表明了所提方法的有效性。结论 提出的小样本分类方法充分利用了图像的局部特征,同时改善了模型的特征提取能力和泛化能力,使小样本分类结果更为准确。     

基于反馈机制与空洞卷积的道路小目标检测网络

随着卷积神经网络与特征金字塔的发展,目标检测在大、中目标上取得了突破,但对于小目标存在漏检、检测精度低等问题。在YOLOv4算法的基础上进行改进,提出YOLOv4-RF算法,进一步提高模型对小目标的检测性能。使用空洞卷积替换YOLOv4中Neck部分的池化金字塔,在网络更深处减少语义丢失的同时获得更大的感受野。在此基础上,对主干网络进行轻量化并增加特征金字塔到主干网络的反馈机制,对来自浅层与深层融合的特征再次处理,保留更多小目标的特征信息,提高网络分类和定位的有效性。鉴于小目标物体属于困难检测样本,引入Focal Loss损失函数,增大困难样本的损失权重,形成YOLOv4-RF算法。在KITTI数据集上的实验数据表明,YOLOv4-RF在各个类别上的检测精度均高于YOLOv4,并在模型缩小138 MB的基础上提高了1.4%的平均精度均值(MAP@0.5)。     

小样本问题下培训弱教师网络的模型蒸馏模型

针对深度神经网络在图像识别中存在的训练数据不足,以及多模型蒸馏中存在的细节特征丢失和蒸馏计算量大的问题,提出一种小样本问题下培训弱教师网络的模型蒸馏模型。首先通过集成学习算法中的引导聚集（Bagging）算法培训弱教师网络集,在保留图像数据集细节特征的同时进行并行计算以提升网络生成效率;然后融合知识合并算法,并基于弱教师网络特征图形成单个高质量、高复杂度的教师网络,从而获得细节重点更突出的图像特征图;最后在目前先进的模型蒸馏基础上提出了针对组合特征图改进元网络的集成蒸馏模型,该算法在减少了元网络训练计算量的同时实现了小样本数据集对目标网络的训练。实验结果表明,所提模型在准确率上相较于单纯以优质网络为教师网络的蒸馏方案有6.39%的相对改进;比较自适应增强（AdaBoost）算法训练教师网络再加以蒸馏得到的模型和集成蒸馏模型的模型准确率,二者相差在给定误差范围内,而集成蒸馏模型比AdaBoost算法的网络生成速率提升了4.76倍。可见所提模型能有效提高目标模型在小样本问题下的准确率和训练效率。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题,提出了一种基于深度学习的遥感图像目标检测与识别算法。首先,构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试;其次,基于原始的多尺度单发射击（SSD）网络模型,融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块;最后,在训练策略上引入聚焦分类损失函数,以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验,结果表明所提算法的检测平均精度均值（mAP）达到77.95%,相较于SSD网络模型提高了3.99个百分点,同时检测速度为33.8 frame/s。此外,在拓展实验中,改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明,所提改进算法能够有效地提高遥感图像目标检测的精度。     

采用特征图增强原型的小样本图像分类方法

在基于度量学习的小样本图像分类方法中,由于标注样本的稀缺,仅用支持集样本得到的类原型往往难以代表整个类别的真实分布;同时,同类样本间也可能在多个方面存在较大差异,较大的类内差异可能使样本特征偏离类别中心。针对上述可能严重影响图像分类性能的问题,提出一种采用特征图增强原型的小样本图像分类方法（FMEP）。首先,用余弦相似度从查询集样本特征图中选择部分相似特征加入类原型中,得到更具代表性的特征图增强原型;其次,对相似的查询集样本特征进行聚合,缓解类内差异大导致的问题,使同类样本的特征分布更接近;最后,用在特征空间中与真实类别分布都更接近的特征图增强原型和聚合查询特征进行相似度比较得到更优的分类结果。所提方法在MiniImageNet、TieredImageNet、CUB-200和CIFAR-FS等常用的小样本图像分类数据集上进行了实验,结果表明所提方法获得了比基线模型更优的分类性能,同时也优于同类型的小样本图像分类方法。     

基于小样本学习融合随机深度和多尺度卷积的SDM-RNET网络

针对神经网络难以利用少量标注数据获取足够的信息来正确分类图像的问题,提出了一种融合随机深度网络和多尺度卷积的关系网络——SDM-RNET.首先在模型嵌入模块引入随机深度网络用于加深模型深度,然后在特征提取阶段采用多尺度深度可分离卷积替代普通卷积进行特征融合,经过骨干网络后再采用深浅层特征融合获取更丰富的图像特征,最终学习预测出图像的类别.在mini-ImageNet、RP2K、Omniglot这3个数据集上对比该方法与其他小样本图像分类方法,结果表明在5-way 1-shot和5-way 5-shot分类任务上该方法准确率最高.     

类别语义相似性监督的小样本图像识别

目的 现有的深度学习模型往往需要大规模的训练数据,而小样本分类旨在识别只有少量带标签样本的目标类别。作为目前小样本学习的主流方法,基于度量的元学习方法在训练阶段大多没有使用小样本目标类的样本,导致这些模型的特征表示不能很好地泛化到目标类。为了提高基于元学习的小样本图像识别方法的泛化能力,本文提出了基于类别语义相似性监督的小样本图像识别方法。方法 采用经典的词嵌入模型GloVe（global vectors for word representation）学习得到图像数据集每个类别英文名称的词嵌入向量,利用类别词嵌入向量之间的余弦距离表示类别语义相似度。通过把类别之间的语义相关性作为先验知识进行整合,在模型训练阶段引入类别之间的语义相似性度量作为额外的监督信息,训练一个更具类别样本特征约束能力和泛化能力的特征表示。结果 在miniImageNet和tieredImageNet两个小样本学习基准数据集上进行了大量实验,验证提出方法的有效性。结果显示在miniImageNet数据集5-way 1-shot和5-way 5-shot设置上,提出的方法相比原型网络（prototypical networks）分类准确率分别提高1.9%和0.32%;在tieredImageNet数据集5-way 1-shot设置上,分类准确率相比原型网络提高0.33%。结论 提出基于类别语义相似性监督的小样本图像识别模型,提高小样本学习方法的泛化能力,提高小样本图像识别的准确率。     

基于雷达与图像数据融合的人体目标检测方法

三维人体目标检测在智能安防、机器人、自动驾驶等领域具有重要的应用价值。目前基于雷达与图像数据融合的三维人体目标检测方法主要采用两阶段网络结构,分别完成目标概率较高的候选边界框的选取以及对目标候选框进行分类和边界框回归。目标候选边界框的预先选取使两阶段网络结构的检测准确率和定位精度得到提高,但相对复杂的网络结构导致运算速度受到限制,难以满足实时性要求较高的应用场景。针对以上问题,研究了一种基于改进型RetinaNet的三维人体目标实时检测方法,将主干网络与特征金字塔网络结合用于雷达点云和图像特征的提取,并将两者融合的特征锚框输入到功能网络从而输出三维边界框和目标类别信息。该方法采用单阶段网络结构直接回归目标的类别概率和位置坐标值,并且通过引入聚焦损失函数解决单阶段网络训练过程中存在的正负样本不平衡问题。在KITTI数据集上进行的实验表明,本文方法在三维人体目标检测的平均精度和耗时方面均优于对比算法,可有效实现目标检测的准确性和实时性之间的平衡。     

基于特征融合的小样本抽象画图像情感预测

绘画图像情感预测是目前情感计算中的一个研究热点。目前抽象画来源少,样本量小,其情感分析大多数采用的是图像低层特征,而且准确率不高。为此,提出一种基于特征融合的小样本抽象画图像情感预测方法。首先,分析了抽象艺术理论中组成绘抽象画的基本元素（点、线、面和颜色）与人类情感的关系,依据这些理论量化出抽象画图像的低层特征;然后,采用迁移学习算法,基于大样本数据在预训练网络上得到参数,并迁移至目标模型,再在小样本数据上对目标模型进行微调,得到图像高层特征;最后,将低层与高层特征进行线性融合,采用多分类支持向量机（SVM）实现抽象画图像的情感预测。在3个小样本抽象画数据集上进行实验,结果表明,与直接采用低层特征的方法相比,所提方法的分类准确率有所提高,证实了它在小样本抽象画的情感研究中的有效性。     

嵌入标签语义的元特征再学习和重加权小样本目标检测

小样本目标检测(Few-Shot Object Detection,FSOD)中新类相对基类样本少,且新类和基类目标类别不同,导致FSOD方法存在学习到的新类特征判别性不强的问题.为了增强新类元特征的可分性,本文提出了一种嵌入标签语义的元特征再学习和重加权小样本目标检测方法.在小样本训练阶段,本文构建了一个词向量标签语义图产生模块.该产生模块引入标签语义信息生成了词向量标签语义图,用于建模基类和新类间的语义关联.同时,本文构建了一个标签语义嵌入模块.该嵌入模块融入基类和新类间的语义关联,对支持集样本的元特征进行再学习.该再学习过程能够将基类中与新类相关联的特征传递给新类,从而在只有少量新类样本的情况下学习到较好的新类元特征.通过端到端(End-to-End)的训练模型,本文方法增强了新类元特征的可分性,从而提升了新类目标的检测精度.在PASCAL VOC和COCO数据集上的对比和消融实验表明了本文方法的可行性与有效性.与FSODFR方法相比,在PASCAL VOC数据集上2-shot和5-shot下,我们方法的目标检测精度分别提高了2.2%和4.3%.     

概念驱动的小样本判别特征学习方法

小样本学习旨在让模型能够在仅有少量标记数据的新类中进行分类。基于度量学习的方法是小样本学习的一种有效方法,该类方法利用有标签的支持集样本构建类表示,再基于查询样本和类表示的相似性进行分类。因此,如何构建判别性更强的类表示是这类方法的关键所在。多数工作在构建类表示时,忽略了类概念相关信息的挖掘,这样容易引入样本中类别无关信息,从而降低类表示的判别性。为此本文提出一种概念驱动的小样本判别特征学习方法。该方法首先利用类别的语义信息来指导模型挖掘样本中类概念相关信息,进而构建更具判别性的类表示。其次,设计了随机掩码混合机制增加样本的多样性和识别难度,进一步提升类表示的质量。最后对处于决策边界附近的查询样本赋予更大的权重,引导模型关注难样本,从而更好地进行类表示学习。大量实验的结果表明本文提出的方法能够有效提升小样本分类任务的准确率,并且在多个数据集上优于当前先进的算法。     

基于双注意力机制的遥感图像目标检测

针对遥感图像在复杂背景下小目标检测精度较低的问题,提出一种基于双注意力机制模型的SSD检测算法。该算法在前端特征提取网络中引入双注意力机制模型,强化低层特征图中小目标的有效特征信息并抑制冗余的语义信息,实现自适应特征学习;并在空间注意力模型中引入空洞卷积,保证卷积核感受野的同时减少了网络参数。引入Focal loss损失函数作为改进算法的分类损失函数,改善网络在训练过程中样本失衡的问题,增加正样本与难样本在训练时的权重比例,提升算法的检测性能。对遥感图像数据集NWPU VHR-10进行检测的结果表明,本文的改进算法在保证检测速度的同时提高了检测精度。与传统SSD算法相比,改进SSD算法的mAP提高了2.25个百分点,达到79.65%。     

融合分类校正与样本扩增的小样本目标检测

现有小样本目标检测方法在扩增样本时往往存在数据分布偏移问题，同时分类任务性能容易受定位任务影响。针对上述问题，提出一种新的小样本目标检测算法。该算法在Faster R-CNN框架基础上引入分类校正模块（CCB）、样本扩增模块（SAB）和梯度限制层（GCL）改善性能。CCB使用离线的强分类网络对检测器最终结果进行校正；SAB在特征域利用基类样本信息修正新类样本分布，从而在修正的分布中进行采样完成新类样本扩增；在梯度反向传播中通过GCL限制主干网络接收的基类和新类信息。在PASCAL VOC和COCO数据集上的实验结果表明，相较于目前已知的最新算法结果，提出的小样本目标检测算法在样本数量很小的情况下提升了检测效果，在公共数据集PASCAL VOC上最高提升可以达到5.1%，更难的数据集COCO上最高提升可达到1.9%，同时拥有很好的鲁棒性和泛化能力。     

基于孪生网络的小样本目标检测算法

基于深度学习的目标检测算法如YOLO(YouOnlyLookOnce)和FasterR-CNN(FasterRegionConvolutional Neural Network)需要大量训练数据以保证模型的精度，而在很多场景下获取数据以及标注数据的成本较高；并且由于缺少海量的训练数据，导致检测的范围受限。针对以上问题，提出了一种基于孪生网络的小样本目标检测算法（SiamDet），旨在使用少量标注图像训练具有一定泛化能力的目标检测模型。首先，提出了基于深度可分离卷积的孪生网络，并使用深度可分离卷积设计了特征提取网络ResNet-DW，从而解决了样本不充足带来的过拟合问题；其次，基于孪生网络，提出了目标检测算法SiamDet，并在ResNet-DW的基础上，引入区域建议网络（RPN）来定位感兴趣目标；然后，引入二值交叉熵损失进行训练，并使用对比训练策略，从而增加了类别之间的区分度。实验结果表明，SiamDet在小样本条件下具有良好的目标检测能力，且相较于次优的算法DeFRCN(Decoupled Faster R-CNN),SiamDet在MS-COCO数据集20-way 2-shot和P...     

基于负边距损失的小样本目标检测

现有的大部分目标检测算法都依赖于大规模的标注数据集来保证检测的正确率,但某些场景往往很难获得大量标注数据,且耗费大量人力、物力。针对这一问题,提出了基于负边距损失的小样本目标检测方法(NM-FSTD),将小样本学习(FSL)中属于度量学习的负边距损失方法引入目标检测,负边距损失可以避免将同一新类的样本错误地映射到多个峰值或簇,有助于小样本目标检测中新类的分类。首先采用大量训练样本和基于负边距损失的目标检测框架训练得到具有良好泛化性能的模型,之后通过少量具有标签的目标类别的样本对模型进行微调,并采用微调后的模型对目标类别的新样本进行目标检测。为了验证NM-FSTD的检测效果,使用MS COCO进行训练和评估。实验结果表明,所提方法 AP₅₀达到了22.8%,与Meta R-CNN和MPSR相比,准确率分别提高了3.7和4.9个百分点。NM-FSTD能有效提高在小样本情况下对目标类别的检测性能,解决目前目标检测领域中数据不足的问题。     

融合强化学习和关系网络的样本分类

针对少量训练样本在深度学习算法中难以实现高精度分类的问题,提出一种融合强化学习和关系网络的小样本分类算法。采用图像预处理过程中基于强化学习的美学意识图像自动裁剪模型,通过构建美学意识奖励函数来输出最佳裁剪图像,从而保留图像最具特征部分。利用关系网络模型,将自动裁剪后的小样本图像中的训练样本图像与测试图像通过关系网络中的嵌入模块进行特征提取。将提取后的特征进行特征映射级联,并将级联后的特征映射馈送到关系网络中的关系模块中进行比较,将最终产生的0到1范围内的关系评分作为比较结果,从而判断测试图像所属的类别。在小样本数据集上进行实验并与现有方法进行对比,实验表明该方法能够实现较高精度的小样本分类。