小样本图像目标检测研究综述

近年来,以深度学习为基础的图像目标检测技术取得了显著成就,并涌现了许多成熟的检测模型,但这些模型均需要利用大量的标注样本进行训练,而在实际场景当中,往往很难获取到相应规模的高质量标注样本,从而限制了其在特定领域的应用和推广.由于对样本数量的依赖性小,小样本条件下的图像目标检测技术逐渐得到研究和发展.基于小样本图像目标检...     

基于负边距损失的小样本目标检测

现有的大部分目标检测算法都依赖于大规模的标注数据集来保证检测的正确率,但某些场景往往很难获得大量标注数据,且耗费大量人力、物力。针对这一问题,提出了基于负边距损失的小样本目标检测方法(NM-FSTD),将小样本学习(FSL)中属于度量学习的负边距损失方法引入目标检测,负边距损失可以避免将同一新类的样本错误地映射到多个峰值或簇,有助于小样本目标检测中新类的分类。首先采用大量训练样本和基于负边距损失的目标检测框架训练得到具有良好泛化性能的模型,之后通过少量具有标签的目标类别的样本对模型进行微调,并采用微调后的模型对目标类别的新样本进行目标检测。为了验证NM-FSTD的检测效果,使用MS COCO进行训练和评估。实验结果表明,所提方法 AP₅₀达到了22.8%,与Meta R-CNN和MPSR相比,准确率分别提高了3.7和4.9个百分点。NM-FSTD能有效提高在小样本情况下对目标类别的检测性能,解决目前目标检测领域中数据不足的问题。     

基于特征融合的小样本目标检测

小样本目标检测旨在通过少量的样本学习来训练目标检测模型，现有的小样本目标检测方法大多基于经典的目标检测算法。在二阶段的检测方法中，由于新类别样本数量少，产生了许多无关的边界框，导致候选区域的准确率较低。为了解决这个问题，提出了一种基于特征融合的小样本目标检测算法FF-FSOD。该方法采用特征融合的方法进行数据增强，对新类别样本进行补充，扩大样本的覆盖范围，同时引入FPN网络进行多尺度特征提取，再对RPN网络进行改进，引入支持集图像分支，计算支持集图像特征与查询集图像特征的深度互相关性，得到注意力特征图，进而获得更精确的候选框。所提模型的有效性在MS COCO和FSOD数据集上得到了验证，实验结果表明，该方法获得了更精准的候选框，进而提升了检测精度。     

基于孪生网络的小样本目标检测算法

基于深度学习的目标检测算法如YOLO(YouOnlyLookOnce)和FasterR-CNN(FasterRegionConvolutional Neural Network)需要大量训练数据以保证模型的精度，而在很多场景下获取数据以及标注数据的成本较高；并且由于缺少海量的训练数据，导致检测的范围受限。针对以上问题，提出了一种基于孪生网络的小样本目标检测算法（SiamDet），旨在使用少量标注图像训练具有一定泛化能力的目标检测模型。首先，提出了基于深度可分离卷积的孪生网络，并使用深度可分离卷积设计了特征提取网络ResNet-DW，从而解决了样本不充足带来的过拟合问题；其次，基于孪生网络，提出了目标检测算法SiamDet，并在ResNet-DW的基础上，引入区域建议网络（RPN）来定位感兴趣目标；然后，引入二值交叉熵损失进行训练，并使用对比训练策略，从而增加了类别之间的区分度。实验结果表明，SiamDet在小样本条件下具有良好的目标检测能力，且相较于次优的算法DeFRCN(Decoupled Faster R-CNN),SiamDet在MS-COCO数据集20-way 2-shot和P...     

基于改进PVANet的实时小目标检测方法

现有目标检测算法主要以图像中的大目标作为研究对象,针对小目标的研究比较少且存在检测精确度低、无法满足实时性要求的问题,基于此,提出一种基于深度学习目标检测框架PVANet的实时小目标检测方法。首先,构建一个专用于小目标检测的基准数据集,它包含的目标在一幅图像中的占比非常小且存在截断、遮挡等干扰,可以更好地评估小目标检测方法的优劣;其次,结合区域建议网络（RPN）提出一种生成高质量小目标候选框的方法以提高算法的检测精确度和速度;选用step和inv两种新的学习率策略以改善模型性能,进一步提升检测精确度。在构建的小目标数据集上,相比原PVANet算法平均检测精确度提高了10.67%,速度提升了约30%。实验结果表明,该方法是一个有效的小目标检测算法,达到了实时检测的效果。     

基于主动学习的遥感图像地块目标分类

在传统的机器学习中，模型的准确度往往由已标记的数据样本规模所决定。但是在实际情况中，海量数据中往往只有极小部分获得了准确标记，而大部分数据未经标记，如果通过专业人员对数据逐个进行标记，将耗费大量的时间成本和经济成本。主动学习是从大量未标记的数据集中检索出最有用的未标记数据，交由专业人员进行标记，然后用该类样本来训练模型以期提高模型的准确率。本文设计一种对遥感图像的目标检测的方法，首先构建一个深度学习网络模型，通过使用已标注数据对该模型进行预训练，然后使用度量学习的技术，筛选出未标注数据集中的最有标注价值的图像数据进行标注，对此过程反复迭代，直至准确率达到设置的阈值。实验分别由已标注数据占总数据量的14.2%、21.4%、28.6%这3种数据标记量对该方法进行测试，结果表明，通过主动学习结合U-Net网络的方法，可以有效地减少数据的标记量而达到模型的预期效果。     

少样本条件下基于自监督改进SimDet模型的消毒场景目标检测

日常消毒工作已经成了常态化的工作,智能消毒机器人是非常有效的一种方式.机器人通常通过视觉来感知周围环境,但是基于监督学习的检测算法通常需要大量的标注数据进行训练,当标注数据量多时,标注成本非常高,当标注数据量少时,模型容易陷入过拟合,因此少样本目标检测是一种有效的解决途径.本文以SimDet模型为基础,提出了SimDet+模型.第一,针对消毒场景中的目标检测任务的特点,增加了自监督预训练的过程,第二,因为存在查询图片可供参考,对分类层进行了改进,使用余弦相似度代替全连接层来计算置信度,通过非参数化计算有效避免了过拟合现象.针对消毒场景,制作了一份22 min的视频数据集和包含8类物体的检测数据集,分别用于两个阶段训练.通过自监督预训练,有效减少了数据标注成本,同时下游任务的mAP从0.216 2提升到了0.530 2.     

基于改进Faster RCNN与Grabcut的商品图像检测

近年来,图像检测方法已经被应用于很多领域.然而,这些方法都需要在目标任务上进行大量边框标注数据的重新训练.本文基于Faster RCNN方法,并对其进行改进,解决了在小数据且无需边框标注的情况下的商品图像检测问题.首先对Faster RCNN的边框回归层进行改进,提出了一种非类别特异性的边框回归层,仅使用公开数据集训练,无需在目标数据集上进行再训练,并将其用于数据预标定与商品检测.然后结合Grabcut与非类别特异性Faster RCNN提出了一种样本增强方法,用来生成包含多个商品的训练图像;并为Faster RCNN添加了重识别层,提高了检测精度.     

主动迁移学习的海上任意方向船只目标检测

在基于深度学习的遥感图像目标检测任务中,船只目标通常呈现出任意方向排列的特性,而常见的水平框目标检测算法一般不能满足此类场景的应用需求。因此本文在单阶段Anchor-Free目标检测器CenterNet的基础上加入旋转角度预测分支,使其能输出旋转边界框,以用于海上船只目标的检测。同时针对海上船只遥感数据集仅有水平边界框标注,无法直接适用于旋转框目标检测,且人工手动标注旋转框标签成本较高的问题,提出一种主动迁移学习的旋转框标签生成方法。首先,提出一种水平框-旋转框约束筛选算法,通过水平真值边界框来对旋转预测框进行监督约束,筛选出检测精度较高的图像加入训练集,然后通过迭代这一过程筛选出更多的图像,最后通过标签类别匹配,完成对数据集的旋转框自动化标注工作。本文最终对海上船只遥感图像数据集BDCI中约65.59%的图片进行旋转框标注,并手动标注部分未标注的图片作为测试集,将本文方法标注的图片作为训练集进行验证,评估指标AP50达到90.41%,高于其他旋转框检测器,从而表明本文方法的有效性。     

小样本困境下的图像语义分割综述

近年来,由于大规模数据集的出现,图像语义分割技术得到快速发展。但在实际场景中,并不容易获取到大规模、高质量的图像,图像的标注也需要消耗大量的人力和时间成本。为了摆脱对样本数量的依赖,小样本语义分割技术逐渐成为研究热点。当前小样本语义分割的方法主要利用了元学习的思想,按照不同的模型结构可划分为基于孪生神经网络、基于原型网络和基于注意力机制三大类。基于近年来小样本语义分割的发展现状,介绍了小样本语义分割各类方法的发展及优缺点,以及小样本语义分割任务中常用的数据集及实验设计。在此基础上,总结了小样本语义分割技术的应用场景及未来的发展方向。     

深度学习中的单阶段小目标检测方法综述

随着深度学习的不断发展,目标检测技术逐步从基于传统的手工检测方法向基于深度神经网络的检测方法转变。在众多基于深度学习的目标检测方法中,基于深度学习的单阶段目标检测方法因其网络结构较简单、运行速度较快以及具有更高的检测效率而被广泛运用。但现有的基于深度学习的单阶段目标检测方法由于小目标物体包含的特征信息较少、分辨率较低、背景信息较复杂、细节信息不明显以及定位精度要求较高等原因,导致在检测过程中对小目标物体的检测效果不理想,使得模型检测精度降低。针对目前基于深度学习的单阶段目标检测方法存在的问题,研究了大量基于深度学习的单阶段小目标检测技术。首先从单阶段目标检测方法的AnchorBox、网络结构、交并比函数以及损失函数等几个方面,系统地总结了针对小目标检测的优化方法;其次列举了常用的小目标检测数据集及其应用领域,并给出在各小目标检测数据集上的检测结果图;最后探讨了基于深度学习的单阶段小目标检测方法的未来研究方向。     

一种面向目标检测的部件学习方法

基于部件的目标检测模型主要研究如何利用部件获得目标的局部判别特征,而极少关注部件形式及选取策略对检测性能的影响.首先从特征学习的角度分析了部件选取策略对学习弱部件模型的影响,提出了一种自适应的部件学习方法.该方法无须部件层标注,在搜索判别部件的同时利用样本自身的图像分布特点自动定位到语义相关的部件,从而保证特征学习的判别性和有效性.其次,针对训练集的标注样本经常存在不完整或部分遮挡等事实,提出了一种简单有效的部件剪技策略以降低噪声部件的比例.实验面向PASCAL VOC 2007/2010数据集评估了4种形式的部件模型.实验结果验证了自适应部件学习算法在模型检测上的有效性,同时表明了弱部件模型经过剪技策略优化后具有更快的学习收敛性.     

结合长尾数据解决方法的野生动物目标检测

基于红外相机图像的野生动物目标检测有利于研究和保护野生动物。由于不同种类的野生动物数量差别大,红外相机采集到的野生动物数据集存在种类数量分布不均的长尾数据问题,进而影响目标检测神经网络模型的整体性能提升。针对野生动物的长尾数据导致的目标检测精度低的问题,提出了一种基于两阶段学习和重加权相结合的长尾数据解决方法,并将该方法用于基于YOLOv4-Tiny的野生动物目标检测。首先,采集、标注并构建了一个新的野生动物数据集,该数据集具有明显的长尾数据特征;其次,采用基于迁移学习的两阶段方法训练神经网络,第一阶段在分类损失函数中采用无加权方式进行训练,而在第二阶段提出了两种改进的重加权方法,并以第一阶段所得权重作为预训练权重进行重加权训练;最后,对野生动物测试集进行测试。实验结果表明,在分类损失采用交叉熵损失函数和焦点损失函数下,所提出的长尾数据解决方法达到了60.47%和61.18%的平均精确率均值（mAP）,相较于无加权方法在两种损失函数下分别提高了3.30个百分点和5.16个百分点,相较于所提改进的有效样本加权方法在焦点损失函数下提高了2.14个百分点,说明该方法能提升YOLOv4-Tiny网络对具有长尾数据特征的野生动物数据集的目标检测性能。     

基于对比学习和伪异常合成的无监督火灾检测

传统的火灾检测方法大多基于目标检测技术, 存在火灾样本获取难度高、人工标注成本高的问题. 为解决该问题, 本研究提出了一种基于对比学习和伪异常合成的无监督火灾检测模型. 为了实现无监督图像特征学习, 提出了交叉输入对比学习模块. 然后, 引入了一个记忆原型学习正常场景图像的特征分布, 通过特征重建实现对火灾场景的判别. 并且, 提出了伪异常火灾场景合成方法和基于欧氏距离的异常特征区分损失, 使模型对于火灾场景具有针对性. 根据实验表明, 我们的方法在Fire-Flame-Dataset和Fire-Detection-Image-Dataset两个公开火灾检测数据集上的图像级AUC分别达到89.86%和89.56%, 优于PatchCore、PANDA、Mean-Shift等主流图像异常检测算法.     

多任务自主学习的肺癌诊断方法

针对实际任务中肺部CT图像标注数据集稀少的问题,提出一种基于自主学习的U-Net模型与C3D多任务学习网络相结合的肺癌诊断方法。对LUNA16数据集和DSB数据集进行预处理,确保切片图像体素、方向一致,利用C3D多任务学习网络模型构建肺结节检测模型,使用165张LUNA16的切片图像和161张DSB的切片图像训练改进的U-Net网络模型,并采用自主学习方式扩充标注样本,构建肿块检测模型。在此基础上,综合结节与肿块检测结果得到最终的肺癌诊断结果。实验结果表明,该方法的肺癌检测精度为85.3%±0.3%,达到了监督学习策略的检测精度。     

基于YOLOv3算法的训练集优化和检测方法的研究

YOLOv3是一种单步目标检测算法,不需要产生区域候选网络(RPN)来提取目标信息,相对于双步目标检测算法具有更快的检测速度。但是,现有算法在小目标检测上存在精度不高和漏检现象的问题,为此提出了一种基于YOLOv3算法的训练集优化和图层处理的检测方法。首先在标准数据集VOC2007+2012和自建的举手行为数据集上采用K-means算法做聚类分析,以得到适应数据集训练尺寸的anchor大小;然后通过调整训练参数及选择合理的标签标注方式进行训练;最后对输入图像进行图层处理并进行目标检测。实验结果表明,聚类分析后VOC2007验证集的平均准确度(mAP)提高了1.4%,并有效解决了原算法在检测过程中较高卷积层上感受野小的问题,从而使YOLOv3算法在小目标物体的检测上精度提高,漏检率也相对下降。     

BioTrHMM:基于迁移学习的生物医学命名实体识别算法

传统的生物医学命名实体识别方法需要大量目标领域的标注数据,但是标注数据代价高昂。为了降低生物医学文本中命名实体识别对目标领域标注数据的需求,将生物医学文本中的命名实体识别问题化为基于迁移学习的隐马尔可夫模型问题。对要进行命名实体识别的目标领域数据集无须进行大量数据标注,通过迁移学习的方法实现对目标领域的识别分类。以相关领域数据为辅助数据集,利用数据引力的方法评估辅助数据集的样本在目标领域学习中的贡献程度,在辅助数据集和目标领域数据集上计算权值进行迁移学习。基于权值学习模型,构建基于迁移学习的隐马尔可夫模型算法BioTrHMM。在GENIA语料库的数据集上的实验表明,BioTrHMM算法比传统的隐马尔可夫模型算法具有更好的性能;仅需要少量的目标领域标注数据,即可具有较好的命名实体识别性能。     

嵌入标签语义的元特征再学习和重加权小样本目标检测

小样本目标检测(Few-Shot Object Detection,FSOD)中新类相对基类样本少,且新类和基类目标类别不同,导致FSOD方法存在学习到的新类特征判别性不强的问题.为了增强新类元特征的可分性,本文提出了一种嵌入标签语义的元特征再学习和重加权小样本目标检测方法.在小样本训练阶段,本文构建了一个词向量标签语义图产生模块.该产生模块引入标签语义信息生成了词向量标签语义图,用于建模基类和新类间的语义关联.同时,本文构建了一个标签语义嵌入模块.该嵌入模块融入基类和新类间的语义关联,对支持集样本的元特征进行再学习.该再学习过程能够将基类中与新类相关联的特征传递给新类,从而在只有少量新类样本的情况下学习到较好的新类元特征.通过端到端(End-to-End)的训练模型,本文方法增强了新类元特征的可分性,从而提升了新类目标的检测精度.在PASCAL VOC和COCO数据集上的对比和消融实验表明了本文方法的可行性与有效性.与FSODFR方法相比,在PASCAL VOC数据集上2-shot和5-shot下,我们方法的目标检测精度分别提高了2.2%和4.3%.     

基于深度学习的抓取目标姿态检测与定位

机器人对抓取目标进行高准确的姿态检测与定位依然是一个开放性的难题.本文提出了一种基于卷积神经网络对抓取目标快速姿态检测与精确定位的方法.该方法采用Faster R-CNN Inception-V2网络模型,在网络中将抓取目标的姿态角度采用分类标签方式输出,位置坐标采用回归方法,对Cornell公开数据集重新标注并训练端到端模型.模型在实例检测和对象检测测试集上分别取得96.18%和96.32%的准确率,对于每一幅图像的处理时间小于0.06 s.实验结果表明模型能够实时地对图像中单个或多个抓取目标进行快速地姿态检测与定位,准确度高并具有很强的鲁棒性和稳定性.     

深度卷积网络卫星图像水泥厂目标检测

目的 水泥厂作为重要的污染源企业需要对其进行统计和监管,近几年随着卫星遥感技术的发展和遥感影像分辨率的提高,使得基于卫星影像进行水泥厂目标检测成为可能。但是由于遥感图像中建筑目标的环境复杂多变,同时各个水泥厂在生产规模、设备构成、厂区结构、坐落方位上存在较大差异,图像表观上的形态各异和复杂环境干扰使得传统图像识别方法难以设计和提取有效特征。鉴于深度学习在视觉目标检测领域的成功应用,本文将研究应用深度卷积神经网络方法,实现在卫星图像上识别与定位水泥厂目标,为环保部门提供一种高效便捷的水泥厂目标检测和统计方法。方法 基于面向目标检测与定位的Faster R-CNN深度学习框架,以准确检测与定位水泥厂区域为目的,以京津冀地区的水泥厂位置作为训练和测试数据集,选用3种结构不同的提取特征卷积神经网络模型进行了对比实验。并针对小样本训练容易出现的过拟合和误检问题,采用图像去雾预处理、数据扩充、引入负样本等技术进一步提升模型能力。结果 测试集实验结果表明ResNet特征提取网络效果最好,准确率达到74%。为了进一步提高检出率并降低误检率,引入3种模型能力提升方法,在扩充检测数据集中的检出率达到94%,误检率降低到14%;在全球水泥厂数据集中的图像检出率达到96%,万幅随机图像的误检数量为30幅（0.3%）。对上海地区的卫星图像进行扫描检测,结果检测出11个已登记的水泥厂（共登记16个）,另外还检测出17个未登记的水泥厂。结论 对于卫星地图上水泥厂这种具有特殊建筑构造但也存在厂区几何形状各异、所处地理环境复杂、随季节性变化等特点,本文提出的基于深度卷积网络的卫星图像水泥厂检测方法,能够自动学习提取有效的图像特征并对目标进行准确检测。针对小样本训练问题,引入3种方法显著提高了模型的检测精度。在模型泛化能力测试中,经过优化后的模型在水泥厂建筑目标检测任务中表现良好,具有重要的应用价值。