小样本图像目标检测研究综述

近年来,以深度学习为基础的图像目标检测技术取得了显著成就,并涌现了许多成熟的检测模型,但这些模型均需要利用大量的标注样本进行训练,而在实际场景当中,往往很难获取到相应规模的高质量标注样本,从而限制了其在特定领域的应用和推广.由于对样本数量的依赖性小,小样本条件下的图像目标检测技术逐渐得到研究和发展.基于小样本图像目标检...     

基于特征融合的小样本学习

深度学习是通过大量标注数据训练模型,从而使得模型能够准确预测未知目标.样本数据的收集与标注需要耗费大量时间,并且在某些特殊场景下难以获取大量的标注数据,因此如何基于小样本训练模型变得至关重要.针对这一问题,提出基于特征融合的模型,融合方式主要体现在两方面,一是在特征提取模块融合多层次特征,二是样本融合模块综合多个样本特...     

金字塔频率特征融合目标检测网络

针对深度学习网络在特征提取过程中运用上采样操作而致使细节纹理等高频特征缺失的问题,提出一种金字塔频率特征融合目标检测网络.网络由3个深度学习金字塔网络构成,输入图像经初级金字塔提取深度特征后,分别通过高频、低频增强金字塔形成不同的频率特征,利用特征融合来凸显深度学习网络在信息逐层传递过程中对细节信息的保护能力,提高目标...     

基于多尺度特征融合的小目标行人检测

针对SSD当前存在的小目标漏检以及误检问题,结合反卷积与特征融合思想,提出hgSSD模型。将原SSD特征层反卷积后与较浅层特征结合,实现复杂场景下小目标行人检测。为了保留浅层网络特征,提高算法实时性,节省计算资源,hgSSD模型基础网络使用VGG16,而非更深层的ResNet101。为了加强对小目标的检测,将VGG16中的Conv3_3改进为特征层加入训练。融合后的网络相对于SSD较为复杂,但基本保证实时性,且成功检测到大部分SSD网络漏检的小目标,检测精度相比于SSD模型也有提升。在选择框置信度得分阈值为0.3的情况下,基本检测到SSD漏检小目标。在VOC2007+2012中相对于SSD行人检测的Average Precision值从0.765提升为0.83。     

改进特征金字塔的小目标深度学习模型

现有的目标检测模型常采用特征金子塔的多尺度特征融合来提升小目标检测性能。然而,在特征金字塔的浅层特征层,大目标的存在会削弱模型对小目标的检测,侧向连接会丢失高层特征层的语义信息。针对以上问题,提出了I-FPN特征金字塔。在浅层特征层,抹去大目标信息让模型更关注小目标;在高层特征层,使用残差特征增强模块减少信息损失。此外,模型还使用数据增广技术提升鲁棒性。I-FPN特征金字塔使用Resnet为主干网络,在VEDAI小目标数据集和PASCAL VOC通用目标数据集上进行了实验。实验结果表明,在不影响检测速度的条件下,在VEDAI测试集上较原特征金字塔的mAP指标提升了2.4%,在VOC测试集上mAP指标提升了0.5%。     

融合分类校正与样本扩增的小样本目标检测

现有小样本目标检测方法在扩增样本时往往存在数据分布偏移问题，同时分类任务性能容易受定位任务影响。针对上述问题，提出一种新的小样本目标检测算法。该算法在Faster R-CNN框架基础上引入分类校正模块（CCB）、样本扩增模块（SAB）和梯度限制层（GCL）改善性能。CCB使用离线的强分类网络对检测器最终结果进行校正；SAB在特征域利用基类样本信息修正新类样本分布，从而在修正的分布中进行采样完成新类样本扩增；在梯度反向传播中通过GCL限制主干网络接收的基类和新类信息。在PASCAL VOC和COCO数据集上的实验结果表明，相较于目前已知的最新算法结果，提出的小样本目标检测算法在样本数量很小的情况下提升了检测效果，在公共数据集PASCAL VOC上最高提升可以达到5.1%，更难的数据集COCO上最高提升可达到1.9%，同时拥有很好的鲁棒性和泛化能力。     

基于特征重加权的小样本遥感图像目标检测算法

针对遥感图像具有目标尺度多变、目标模糊、背景复杂的特点,提出了一种基于特征重加权的遥感小样本目标检测算法RE-FSOD。该模型包括3部分:元特征提取器、特征重加权提取器、预测模块,其中元特征提取器由CSPDarknet-53、FPN以及PAN构成,负责提取数据的元特征;特征重加权提取器用于生成特征重加权向量,用于调整元特征来强化对于检测新类有帮助的特征;预测模块由YOLOv3的预测模块构成,在此基础上将定位损失函数替换为CIOU损失函数,提升模型的定位精度。最后在NWPU VHR-10遥感数据集上进行了训练和测试,实验结果表明,该方法相较于基线方法FSODM的在3-shot、5-shot、10-shot情况下分别提升了约19%、11%、8%。     

局部特征融合的小样本分类

目的 小样本学习是一项具有挑战性的任务,旨在利用有限数量的标注样本数据对新的类别数据进行分类。基于度量的元学习方法是当前小样本分类的主流方法,但往往仅使用图像的全局特征,且模型分类效果很大程度上依赖于特征提取网络的性能。为了能够充分利用图像的局部特征以及提高模型的泛化能力,提出一种基于局部特征融合的小样本分类方法。方法 首先,将输入图像进行多尺度网格分块处理后送入特征提取网络以获得局部特征;其次,设计了一个基于Transformer架构的局部特征融合模块来得到包含全局信息的局部增强特征,以提高模型的泛化能力;最后,以欧几里得距离为度量,计算查询集样本特征向量与支持集类原型之间的距离,实现分类。结果 在小样本分类中常用的3个数据集上与当前先进的方法进行比较,在5-way 1-shot和5-way 5-shot的设置下相对次优结果,所提方法在MiniImageNet数据集上的分类精度分别提高了2.96%和2.9%,在CUB（Caltech-UCSD Birds-200-2011）数据集上的分类精度分别提高了3.22%和1.77%,而在TieredImageNet数据集上的分类精度与最优结果相当,实验结果表明了所提方法的有效性。结论 提出的小样本分类方法充分利用了图像的局部特征,同时改善了模型的特征提取能力和泛化能力,使小样本分类结果更为准确。     

基于相邻特征融合的目标检测

随着智能驾驶领域的发展,人们对目标检测的精度要求越来越高,尤其是针对高速行驶时对距离较远的小目标的检测和低速行驶时对密集目标的检测.在当前的两阶段检测框架的特征融合部分,使用bottom-up的双向融合方法虽然能够更有效地对大目标进行语义信息和位置信息的特征融合,但会给几个或几十个像素的小目标造成很大的信息损失.当检测网络特征融合部分使用top-down的单向融合方法时,则对大目标检测的效果欠佳.为此,文中提出了相邻特征融合(Neighbour Fea-ture Pyramid Network,NFPN)方法、Double RoI(Region of Interest)方法和递归特征金字塔(Recursive Feature Pyramid,RFP)的方法.以Faster RCNN 50为基准,同时使用提出的NFPN,Double RoI和RFP后,在Lisa交通数据集中平均精度(mAP)提升了2.6个百分点.在VOC2007数据集上,以VOC07+12 train数据集为训练集,VOC2007 test为测试集,以Faster RC-NN101为基准,同时使用提出的3个模型,mAP提升了6个百分点,同时小、中、大目标的精度也得到提高.     

基于自适应特征融合的场景文本检测

基于深度学习的自然场景文本检测发展快速,其中基于分割的文本检测算法因其对多方向和弯曲文本检测效果好而备受关注。目前大多数基于分割的文本检测方法为了更加充分利用高层语义特征和底层细粒度特征,特征提取部分通常采用ResNet+特征金字塔（FPN）结构,特征融合部分多用concat或者add进行融合,但FPN存在的不同特征尺度不一致问题可能导致融合结果冲突,进而影响后续分割效果。因此,基于目前快速高效的DBnet网络,对其特征融合方式进行改进,提出了一种基于自适应特征融合的场景文本检测网络。在公开数据集Icdar2015和ICDAR 2017-MLT上的实验结果均表明：文本改进网络与经典的DBnet相比,准确率、召回率、F分数均有所提升,仅FPS稍有降低。     

双向特征融合与注意力机制结合的目标检测

目标检测使用特征金字塔检测不同尺度的物体时,忽略了高层信息和低层信息之间的关系,导致检测效果差;此外,针对某些尺度的目标,检测中容易出现漏检。本文提出双向特征融合与注意力机制结合的方法进行目标检测。首先,对SSD(single shot multibox detector)模型深层特征层与浅层特征层进行特征融合,然后将得到的特征与深层特征层进行融合。其次,在双向融合中加入了通道注意力机制,增强了语义信息。最后,提出了一种改进的正负样本判定策略,降低目标的漏检率。将本文提出的算法与当前主流算法在VOC数据集上进行了比较,结果表明,本文提出的算法在对目标进行检测时,目标平均准确率有较大提高。     

多尺度深层特征加强的CME小样本目标检测模型

针对现有的小样本目标检测模型存在对图像全局语义信息考虑不足、输入图像大小不一而导致检测器性能下降的问题,提出了多尺度深层特征加强的CME小样本目标检测模型。利用大量有标签的基类数据和基于残差跳跃的多层卷积神经网络及多尺度特征增强模块训练一个泛化性良好的模型,经过少量有标签的新类数据和基类数据对模型微调,利用微调后的模型进行目标检测。为验证模型的有效性,使用VOC2007和VOC2012数据集对模型进行训练和评估,相关消融实验证明了引入残差跳跃结构的多层卷积神经网络和多尺度特征增强模块的单独使用和组合使用均可进一步增加模型的准确率。在与6个具有代表性的小样本目标检测模型的对比实验中表明,多尺度深层特征加深的CME比最先进的检测器得分平均提高4.75个百分点。     

基于Bi-SSD的小目标检测算法

针对目前目标检测技术中小目标检测困难问题,提出了一种基于SSD (Single Shot multibox Detector)改进的小目标检测算法Bi-SSD (Bi-directional Single Shot multibox Detector).该算法为SSD的浅层特征设计了小目标特征提升模块,在网络的分类和回归部分结合多尺度特征融合方法和BiFPN (Bi-directional Feature Pyramid Network)结构,设计了6尺度BiFPN分类回归子网络.实验结果表明,在PASCAL VOC和MS COCO目标检测数据集上Bi-SSD相比原始的SSD算法有更好的检测性能.其中VOC2007+2012上Bi-SSD算法的mAP指标达到了78.47%相较SSD算法提升了1.34%,在COCO2017上Bi-SSD算法的m AP达到26.4%提升了接近2.4%.     

基于深度分割模型的小目标检测

小目标检测广泛应用于视频监控等各种任务,在各领域均有着重要作用.由于待测目标尺寸小、特征弱等原因,目前的检测算法对小目标的检测性能仍值得进一步提升.现有基于设计特征的传统方法在复杂背景的应用场景下检测精度低、鲁棒性弱,基于深度学习的检测算法存在数据集难获取、小目标特征难提取等问题.面向解决低信杂比图像中小目标因面积占比小导致的特征提取难的问题,提出了一个深度分割模型用于小目标检测.为进一步提升检测性能、降低漏检率,充分应用多波段图像信息,设计了一个基于深度分割模型的多波段融合小目标检测方法.在仿真数据集上的实验结果表明,该方法有效提高了小目标检测的准确率,为小目标检测的后续研究提供了新的思路.     

基于环境上下文和语义特征融合的小目标检测算法

针对现阶段目标检测领域中小目标由于特征信息匮乏而难以检测的问题,提出了一种基于SSD(Single Shot multibox Detector)算法的改进小目标检测算法（CS-SSD）。首先,以特征金字塔中不同大小的感受野表达出的不同特征信息为基础,在SSD算法的主干框架上增加了环境上下文特征融合模块以及自顶向下的语义特征融合模块,为小目标提供环境上下文和语义特征信息;然后,在SSD算法的检测层上增加基于残差结构的检测头,从而充分利用融合后的特征以提高检测精度;最后,使用一种受人类学习方式启发的分阶段网络训练算法来缓解小目标与中大型目标在网络训练中损失不平衡问题。在VOC07+12数据集上进行实验,CS-SSD算法的平均检测精度（mAP）达到了82.00%,相较于SSD算法提升了2.08个百分点;同时小目标平均检测精度相较于SSD算法提升了7.87个百分点。实验结果表明,CS-SSD算法能充分融合网络中的环境上下文和语义特征信息以达到提高小目标检测精度的效果。     

嵌入标签语义的元特征再学习和重加权小样本目标检测

小样本目标检测(Few-Shot Object Detection,FSOD)中新类相对基类样本少,且新类和基类目标类别不同,导致FSOD方法存在学习到的新类特征判别性不强的问题.为了增强新类元特征的可分性,本文提出了一种嵌入标签语义的元特征再学习和重加权小样本目标检测方法.在小样本训练阶段,本文构建了一个词向量标签语义图产生模块.该产生模块引入标签语义信息生成了词向量标签语义图,用于建模基类和新类间的语义关联.同时,本文构建了一个标签语义嵌入模块.该嵌入模块融入基类和新类间的语义关联,对支持集样本的元特征进行再学习.该再学习过程能够将基类中与新类相关联的特征传递给新类,从而在只有少量新类样本的情况下学习到较好的新类元特征.通过端到端(End-to-End)的训练模型,本文方法增强了新类元特征的可分性,从而提升了新类目标的检测精度.在PASCAL VOC和COCO数据集上的对比和消融实验表明了本文方法的可行性与有效性.与FSODFR方法相比,在PASCAL VOC数据集上2-shot和5-shot下,我们方法的目标检测精度分别提高了2.2%和4.3%.     

基于改进Faster R-CNN的小目标检测算法

针对图像纹理细节等高频特征在基于卷积神经网络模型的特征提取过程中丢失,从而导致小目标检测效果较差的问题,提出一种多层频域特征融合的目标检测算法。算法以Faster R-CNN为基础框架,使用高频增强后的图像和对比度增强后的图像作为算法输入样本,提高了待检测图像质量;针对总像素面积较小的目标,更改RPN网络中的锚点尺度,并利用多尺度卷积特征融合的方法,融合来自不同特征层的特征,解决了小目标在深层特征图中特征信息丢失的问题。实验结果表明,所提算法在DAGM 2007数据集上具有良好的性能,平均精度均值mAP达到了97.9%,在PASCAL VOC 2007测试集上对小目标的mAP也明显优于原始Faster R-CNN的。     

融合上下文信息特征的小目标检测方法

由于小目标有限的分辨率和表观信息,其检测任务一直是计算机视觉领域的挑战性工作。在解决这一问题时,现有大多数方法为了提高精度而牺牲了速度。在论文中,为了提高小目标检测精度,同时保证检测速度,提出了一种在卷积网络中引入上下文信息的特征融合方法,即Contextual Fused Network（简称CF-Net）。CF-Net引入了上下文信息,并且只在浅层进行特征融合,这样既能提高小目标的检测精度,又能保证检测速度。实验结果表明,在小目标检测上,CF-Net在PASCAL VOC2007上获得的mAP为78.9,比目前主流的单点检测器SSD提高了2%。CF-Net模型测试速度为40 fps,比现有小目标检测器DSSD高26.4 fps。     

基于特征融合的SSD视觉小目标检测

针对SSD算法在检测目标过程中对小目标检测效果差的缺陷,提出了特征融合的SSD方法。该方法充分融合深浅层特征信息以提升网络模型对小目标的检测能力,为更好地检测小目标,将先验框尺寸相对原图比列进行调整,同时对SSD模型相应超参数值进行调整。实验结果表明,检测精度mAP较SSD提高3.4个百分点,对小目标Bottle、Chair、Plant检测精度分别提升8.7个百分点、3.4个百分点和7.1个百分点。检测精度mAP较当前一系列性能优异的目标检测算法有显著提高。通过拓展实验进一步证明改进算法成功检测到了大多数SSD算法没有检测到的小目标,提高了平均检测准确率。