小样本目标检测研究综述

目标检测是计算机视觉方向的热点领域,其通常需要大量的标注图像用于模型训练,这将花费大量的人力和物力来实现。同时,由于真实世界中的数据存在固有的长尾分布,大部分对象的样本数量都比较稀少,比如众多非常见疾病等,很难获得大量的标注图像。小样本目标检测只需要提供少量的标注信息,就能够检测出感兴趣的对象,对小样本目标检测方法做了详细综述。首先回顾了通用目标检测的发展及其存在的问题,从而引出小样本目标检测的概念,对同小样本目标检测相关的其他任务做了区分阐述。之后介绍了现有小样本目标检测基于迁移学习和基于元学习的两种经典范式。根据不同方法的改进策略,将小样本目标检测分为基于注意力机制、图卷积神经网络、度量学习和数据增强四种类型,对这些方法中使用到的公开数据集和评估指标进行了说明,对比分析了不同方法的优缺点、适用场景以及在不同数据集上的性能表现。最后讨论了小样本目标检测的实际应用领域和未来的研究趋势。     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架。利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器。在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU（Intersection-Over-Union）值自动确定目标的位置,并利用跟踪器的响应输出判断目标消失,从而自动停止当前目标标注。采用一种基于目标显著性的关键帧提取算法选择关键帧。采用自建舰船目标数据集进行了改进YOLO v3检测性能对比实验,并采用舰船视频序列验证了提出的视频目标半自动标注方法的有效性。实验结果表明,该方法可以显著提高标注效率,能够快速生成标注数据,适用于海上舰船等场景的视频目标标注任务。     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

基于负边距损失的小样本目标检测

现有的大部分目标检测算法都依赖于大规模的标注数据集来保证检测的正确率,但某些场景往往很难获得大量标注数据,且耗费大量人力、物力。针对这一问题,提出了基于负边距损失的小样本目标检测方法(NM-FSTD),将小样本学习(FSL)中属于度量学习的负边距损失方法引入目标检测,负边距损失可以避免将同一新类的样本错误地映射到多个峰值或簇,有助于小样本目标检测中新类的分类。首先采用大量训练样本和基于负边距损失的目标检测框架训练得到具有良好泛化性能的模型,之后通过少量具有标签的目标类别的样本对模型进行微调,并采用微调后的模型对目标类别的新样本进行目标检测。为了验证NM-FSTD的检测效果,使用MS COCO进行训练和评估。实验结果表明,所提方法 AP₅₀达到了22.8%,与Meta R-CNN和MPSR相比,准确率分别提高了3.7和4.9个百分点。NM-FSTD能有效提高在小样本情况下对目标类别的检测性能,解决目前目标检测领域中数据不足的问题。     

基于主动学习的遥感图像地块目标分类

在传统的机器学习中，模型的准确度往往由已标记的数据样本规模所决定。但是在实际情况中，海量数据中往往只有极小部分获得了准确标记，而大部分数据未经标记，如果通过专业人员对数据逐个进行标记，将耗费大量的时间成本和经济成本。主动学习是从大量未标记的数据集中检索出最有用的未标记数据，交由专业人员进行标记，然后用该类样本来训练模型以期提高模型的准确率。本文设计一种对遥感图像的目标检测的方法，首先构建一个深度学习网络模型，通过使用已标注数据对该模型进行预训练，然后使用度量学习的技术，筛选出未标注数据集中的最有标注价值的图像数据进行标注，对此过程反复迭代，直至准确率达到设置的阈值。实验分别由已标注数据占总数据量的14.2%、21.4%、28.6%这3种数据标记量对该方法进行测试，结果表明，通过主动学习结合U-Net网络的方法，可以有效地减少数据的标记量而达到模型的预期效果。     

基于深度学习的抓取目标姿态检测与定位

机器人对抓取目标进行高准确的姿态检测与定位依然是一个开放性的难题.本文提出了一种基于卷积神经网络对抓取目标快速姿态检测与精确定位的方法.该方法采用Faster R-CNN Inception-V2网络模型,在网络中将抓取目标的姿态角度采用分类标签方式输出,位置坐标采用回归方法,对Cornell公开数据集重新标注并训练端到端模型.模型在实例检测和对象检测测试集上分别取得96.18%和96.32%的准确率,对于每一幅图像的处理时间小于0.06 s.实验结果表明模型能够实时地对图像中单个或多个抓取目标进行快速地姿态检测与定位,准确度高并具有很强的鲁棒性和稳定性.     

基于孪生网络的小样本目标检测算法

基于深度学习的目标检测算法如YOLO(YouOnlyLookOnce)和FasterR-CNN(FasterRegionConvolutional Neural Network)需要大量训练数据以保证模型的精度，而在很多场景下获取数据以及标注数据的成本较高；并且由于缺少海量的训练数据，导致检测的范围受限。针对以上问题，提出了一种基于孪生网络的小样本目标检测算法（SiamDet），旨在使用少量标注图像训练具有一定泛化能力的目标检测模型。首先，提出了基于深度可分离卷积的孪生网络，并使用深度可分离卷积设计了特征提取网络ResNet-DW，从而解决了样本不充足带来的过拟合问题；其次，基于孪生网络，提出了目标检测算法SiamDet，并在ResNet-DW的基础上，引入区域建议网络（RPN）来定位感兴趣目标；然后，引入二值交叉熵损失进行训练，并使用对比训练策略，从而增加了类别之间的区分度。实验结果表明，SiamDet在小样本条件下具有良好的目标检测能力，且相较于次优的算法DeFRCN(Decoupled Faster R-CNN),SiamDet在MS-COCO数据集20-way 2-shot和P...     

基于注意力机制和元特征二次重加权的小样本目标检测

在基于迁移学习的小样本目标检测任务中,由于缺乏关注图像中待检测目标的注意力机制,所以现有模型对于待检测目标周边背景区域的抑制能力不强,且在迁移学习过程中通常需要对元特征进行微调来实现跨域共享,这将引起元特征偏移,从而导致模型对大样本图像检测能力的下降。针对上述问题,基于注意力机制和元特征二次重加权机制,提出改进的元特征迁移模型Up-YOLOv3。首先,在原始元特征迁移模型Base-YOLOv2中引入基于卷积块注意力模块（CBAM）的注意力机制,使特征提取网络聚焦于图像中的目标区域并关注图像目标类别的细节特征,从而提升模型对小样本图像目标的检测性能;其次,引入基于压缩?激励（SE）的元特征二次重加权模块（SE-SMFR）对大样本图像的元特征进行二次重加权,以获取二次重加权元特征,使模型在提升小样本目标检测性能的同时也能减小大样本图像元特征信息的权重偏移。实验结果表明,在PASCAL VOC2007/2012数据集上,相较于Base-YOLOv2,Up-YOLOv3针对小样本图像检测的平均准确率均值（mAP）提升了2.3~9.1个百分点;相较于原始的基于YOLOv3元特征迁移模型Base-YOLOv3,Up-YOLOv3针对大样本图像的mAP提升了1.8~2.4个百分点。可见,改进后模型对不同类别的大样本图像和小样本图像均具有良好的泛化能力和鲁棒性。     

基于特征融合的小样本目标检测

小样本目标检测旨在通过少量的样本学习来训练目标检测模型，现有的小样本目标检测方法大多基于经典的目标检测算法。在二阶段的检测方法中，由于新类别样本数量少，产生了许多无关的边界框，导致候选区域的准确率较低。为了解决这个问题，提出了一种基于特征融合的小样本目标检测算法FF-FSOD。该方法采用特征融合的方法进行数据增强，对新类别样本进行补充，扩大样本的覆盖范围，同时引入FPN网络进行多尺度特征提取，再对RPN网络进行改进，引入支持集图像分支，计算支持集图像特征与查询集图像特征的深度互相关性，得到注意力特征图，进而获得更精确的候选框。所提模型的有效性在MS COCO和FSOD数据集上得到了验证，实验结果表明，该方法获得了更精准的候选框，进而提升了检测精度。     

基于Faster-RCNN的结核杆菌自动检测方法研究与应用

染色处理可使结核杆菌在显微镜拍摄的医学图像中显现,医生通过检测图像中的 结核杆菌辅助诊断结核病。近年来卷积神经网络(CNN)在目标检测上取得了突破性进展,但结 核杆菌存在图像上尺度小,构造标注数据难,不适用迁移学习等问题,使得基于 CNN 的目标 检测方法在结核杆菌检测方面尚存在一定的困难。为此,以 Faster-RCNN 目标检测算法为基 础,研究在医学图像上的结核杆菌检测问题。针对结核杆菌尺度小,提出重叠子图划分策略; 针对标注数据构造难,提出分块、迭代标注策略。实践证明,该方法有较高的准确度以及可 接受的速度,已构建了 13 261 个结核杆菌的训练数据,应用于合作单位的医疗检测产品,能 满足实际应用需求。     

基于模型微调的空中无人机小样本目标识别方法

空中无人机目标识别是现代军事、航空领域的迫切需求,由于目前无人机的功能和种类繁多,对于新机型很难采集大量的无人机样本用于训练目标识别模型;针对该问题,提出了一种基于模型微调的空中无人机小样本目标识别方法;方法以Faster R-CNN为基础架构,首先采用具有大量标记样本的常见机型数据预训练Faster R-CNN模型;然后将基础架构最后的分类层替换为余弦度量,构建联合新机型与常见机型的小样本平衡数据集以较小的学习率微调分类层。实验结果表明,在标记样本数量为5、10和50的情况下,基于模型微调的小样本目标识别模型的mAP分别为88.6%,89.2%和90.8%,能够满足空中无人机小样本目标识别任务需求,且优于其它小样本目标识别方法。     

面向遥感图像实时目标检测任务的轻量级神经网络设计与实现

神经网络的表征能力给遥感图像目标检测任务提供了一个的便捷工具。然而,目前主流神经网络模型计算代价高限制了其在遥感图像实时目标检测任务的应用。提出一种轻量级神经网络模型用于遥感图像实时目标检测。实验结果表明,文中提出的方法在保持与Yolov3检测精度相当的情况下,模型大小约为Yolov3的十五分之一,网络模型在目标检测精度以及计算开销上可达到更好的均衡。     

深度学习目标检测方法综述

随着深度学习在目标检测领域的大规模应用,目标检测技术的精度和速度得到迅速提高,已被广泛应用于行人检测、人脸检测、文字检测、交通标志及信号灯检测和遥感图像检测等领域.本文在基于调研国内外相关文献的基础上对目标检测方法进行了综述.首先介绍了目标检测领域的研究现状以及对目标检测算法进行检验的数据集和性能指标.对两类不同架构的...     

基于深度学习的目标检测框架进展研究

在R-CNN框架提出后，基于深度学习的目标检测框架逐渐成为主流，可分为基于候选窗口和基于回归两类。近两年来，在Faster R-CNN、YOLO、SSD等经典的基于深度学习目标检测框架的基础上，出现了大量的优秀框架。根据优化方法对近几年提出的框架进行了梳理和总结。在PASCAL_VOC和MS COCO等主流测试集上对目标检测方法的性能及优缺点进行了对比分析。讨论了目标检测领域当前面临的困难与挑战，对可能的发展方向进行了展望。     

适于少样本缺陷检测的两阶段缺陷增强网络

缺陷检测模型一般需要大量样本来学习缺陷的特征,但实际场景中一些重要缺陷的样本难以收集,如何用少量样本来学习罕见缺陷的特征成为一个具有挑战性的问题。为了促进少样本缺陷检测的研究,构建了一个新的工业表面缺陷数据集,包括缺陷样本和无缺陷样本。同时提出了一个两阶段缺陷增强网络以提升少样本场景下的缺陷检测性能,它利用了无缺陷样本,并将整个训练过程分为两个阶段。第一阶段的训练需要大量缺陷样本,而第二阶段的训练只需要少量缺陷样本和无缺陷样本。此外,还提出了一个缺陷突显模块,可以更好地利用无缺陷样本来增强缺陷区域的特征。在新数据集上的实验表明,该缺陷检测模型的性能优于其他的少样本目标检测模型,在工业表面缺陷检测中具有更好的应用前景。     

小样本学习研究综述

小样本学习旨在通过少量样本学习到解决问题的模型.近年来,在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为目前人们需要关注的问题.系统地梳理了当前小样本学习...     

基于少样本学习的通用隐写分析方法

近年来,深度学习在图像隐写分析任务中表现出了优越的性能.目前,大多数基于深度学习的图像隐写分析模型为专用型隐写分析模型,只适用于特定的某种隐写术.使用专用隐写分析模型对其他隐写算法的隐写图像进行检测,则需要该隐写算法的大量载密图像作为数据集对模型进行重新训练.但在实际的通用隐写分析任务中,隐写算法的大量载密图像数据集是难以得到的.如何在极少隐写图像样本的情况下训练通用隐写分析模型是一个极大的挑战.对此,受少样本学习领域研究成果的启发,提出了基于转导传播网络的通用隐写分析方法.首先,在已有的少样本学习分类框架上改进了特征提取部分,设计了多尺度特征融合网络,使少样本分类模型能够提取到更多的隐写分析特征,使其可用于基于秘密噪声残差等弱信息的分类任务;其次,针对少样本隐写分析模型难收敛的问题,提出了预训练初始化的方式得到具有先验知识的初始模型;然后,分别训练了频域和空域的少样本通用隐写分析模型,通过自测和交叉测试,结果表明,检测平均准确率在80%以上;接着,在此基础上,采用数据集增强的方式重新训练了频域、空域少样本通用隐写分析模型,使少样本通用隐写分析模型检测准确率与之前相比提高到87%以上;...     

目标检测难点问题最新研究进展综述

目标检测是计算机视觉领域最基本的问题之一,已经被广泛地探讨和研究.虽然近年来基于深度卷积神经网络的目标检测方法使得检测精度有了很大提升,但是在实际应用中仍然存在较多挑战.综述了目标检测领域的最新研究趋势,针对不同的目标检测挑战和难题:目标尺度变化范围大、实时检测问题、弱监督检测问题和样本不均衡问题,从四个方面综述了最近...     

融合多尺度多头自注意力和在线难例挖掘的小样本硅藻检测

硅藻训练样本量较少时,检测精度偏低,为此在小样本目标检测模型TFA（Two-stage Fine-tuning Approach）的基础上提出一种融合多尺度多头自注意力（MMS）和在线难例挖掘（OHEM）的小样本硅藻检测模型（MMSOFDD）。首先,结合ResNet-101与多头自注意力机制构造一个基于Transformer的特征提取网络BoTNet-101,以充分利用硅藻图像的局部和全局信息;然后,改进多头自注意力为MMS,消除了原始多头自注意力的处理目标尺度单一的局限性;最后,引入OHEM到模型预测器中,并对硅藻进行识别与定位。把所提模型与其他小样本目标检测模型在自建硅藻数据集上进行消融及对比实验。实验结果表明：与TFA相比,MMSOFDD的平均精度均值（mAP）为69.60%,TFA为63.71%,MMSOFDD提高了5.89个百分点;与小样本目标检测模型Meta R-CNN和FSIW相比,Meta R-CNN和FSIW的mAP分别为61.60%和60.90%,所提模型的mAP分别提高了8.00个百分点和8.70个百分点。而且,MMSOFDD在硅藻训练样本量少的条件下能够有效地提高检测模型对硅藻的检测精度。