面向深度卷积神经网络的小目标检测算法综述

小目标检测是计算机视觉领域最具挑战性的问题之一。相比大目标,小目标覆盖面积小,空间分辨率低,可用特征少,检测效果通常不理想。近年来,基于深度卷积神经网络的小目标检测算法蓬勃发展,并在卫星遥感、无人驾驶等领域取得了重大成就。文中对国内外现有的小目标检测算法进行了归类、分析和比较。首先介绍小目标检测的难点和常用的数据集;接着分别从骨干网络、金字塔结构、锚框设计、优化目标、增益组件5个方面系统地梳理了已有检测算法,为进一步改进小目标检测算法的性能提供了思路;然后对现有小目标检测算法进行全面总结,并比较分析了列举算法在常用数据集上的性能;最后介绍了小目标检测的应用前景,并对该领域未来的研究方向做出了展望。     

小目标检测研究综述

随着计算机视觉和人工智能技术的快速发展,目标检测受到了更加广泛的关注。由于小目标像素占比小、语义信息少、易受复杂场景干扰以及易聚集遮挡等问题,导致小目标检测一直是目标检测领域中的一大难点。目前,视觉的小目标检测在生活的各个领域中日益重要。为了进一步促进小目标检测的发展,提高小目标检测的精度与速度,优化其算法模型,本文针对小目标检测中存在的问题,梳理了国内外研究现状及成果。首先,分别从小目标可视化特征、目标分布情况和检测环境等角度对小目标检测的难点进行了分析,同时从数据增强、超分辨率、多尺度特征融合、上下文语义信息、锚框机制、注意力机制以及特定的检测场景等方面系统总结了小目标检测方法,并整理了在框架结构、损失函数、预测和匹配机制等方面发展的较为成熟的单阶段小目标检测方法。其次,本文对小目标检测的评价指标以及可用于小目标检测的各类数据集进行了详细介绍,并针对部分经典的小目标检测方法在MS-COCO（Microsoft common objects in context）、VisDrone2021（vision meets drones2021）和Tsinghua-Tencent100K等数据集上的检测结果及其可视化检测效果进行了对比与分析。最后,对未来小目标检测面临的挑战,包括如何解决小目标定位困难、网络模型下采样对小目标的影响、交并比阈值的设置对小目标不合理等问题和其对应的研究方向进行了分析与展望。     

面向小目标检测的并行高分辨率网络设计

当前目标检测算法对小目标检测存在特征信息易丢失的问题;利用网络处理高分辨率特征图数据可以缓解;但存在语义信息不足和计算负担大的缺点。为弥补这些缺点;提出一种有效处理高分辨率特征图、多深度子网并行连接的特征提取网络。构建输入图像金字塔;搭建多深度分支子网并行连接的结构;使用浅层网络处理图像金字塔中高分辨率特征图;深层网络处理低分辨率特征图;多分支同时运行并在中间位置进行两次特征融合;充分结合高分辨率特征信息和低分辨率语义信息;使用融合因子构建对小目标针对性强的多尺度特征融合结构;增强对小目标检测能力;使用注意力机制进一步提高特征提取能力。在公开数据集AI-TOD上进行实验表明;所设计的特征提取网络相较于其他常用特征提取网络对小目标的检测能力更强;在two-stage经典模型Faster-RCNN、one-stage经典模型SSD、YOLOv3以及anchor-free经典模型CenterNet上替换上原主干网络;检测平均精度mAP与原来相比分别提升了2.7、3.4、3.3、1.7个百分点;证明了所提网络结构的适用性和有效性。     

基于上下文增强和特征提纯的小目标检测网络

微小目标的纹理模糊、包含特征少,是目标检测领域的难点.针对小目标检测提出一种新的上下文增强模块（context augmentation module, CAM）和特征提纯模块（feature refinement module, FRM）相结合的特征金字塔复合结构. 利用多尺度空洞卷积的特征融合,补充网络中的上下文信息;引入通道和空间的特征提纯机制来抑制多尺度特征融合后的冲突信息,防止小目标淹没在冲突信息中;同时,引入复制—缩小—粘贴（copy-reduce-paste）的数据增强方法提高小目标的占比,使训练时小目标对损失值的贡献更大,训练更加平衡.由实验结果可知,所提出的算法在VOC数据集上目标检测的平均精度均值（Mean Average Precision, mAP）达到了83.6%（交并比为0.5）;对小目标检测的AP值达到了16.9%（交并比为0.5~0.95）,比YOLOV4,CenterNet,RefineDet的分别提高3.9%,7.7%和5.3%.在TinyPerson数据集上小目标检测的AP值为55.1%,比YOLOV5,DSFD的分别提高0.8%和 3.5%.     

基于深度学习的小目标检测与识别

[目的]目前,现有的基于深度学习的检测算法针对小目标的检测效果较差.本文旨在通过充分考虑小目标的特点来提升小目标的检测与识别性能.[方法]本文从不同方面来提升小目标检测与识别,其中包括特征融合、上下文学习和注意力机制.针对小目标特征难以提取问题,提出一种双向特征融合的方法.另外,鉴于小目标特征不明显问题,提出一种利用上...     

融合注意力和上下文信息的遥感图像小目标检测算法

对多尺度的遥感图像进行小目标检测时,基于深度学习的目标检测算法容易出现误检和漏检的情况。这是因为此类算法的特征提取模块进行了多次的下采样操作;而且未能根据不同类别、不同尺度的目标关注所需的上下文信息。为了解决该问题,提出一种融合注意力和上下文信息的遥感图像小目标检测算法ACM-YOLO(AttentionContext-Multiscale YOLO)。首先,应用细粒度的查询感知稀疏注意力以减少小目标特征信息的丢失,从而避免漏检;其次,设计局部上下文增强（LCE）函数以更好地关注不同类别的遥感目标所需的上下文信息,从而避免误检;最后,使用加权双向特征金字塔网络（BiFPN）强化特征融合模块对遥感图像小目标的多尺度特征融合能力,从而改善算法检测效果。在DOTA数据集和NWPU VHR-10数据集上进行对比实验和消融实验,以验证所提算法的有效性和泛化性。实验结果表明,在2个数据集上所提算法的平均精确率均值（mAP）分别达到了77.33%和96.12%,而相较于YOLOv5算法,召回率分别提升了10.00和7.50个百分点。可见,所提算法能有效提升mAP和召回率,减少误检和漏检。     

改进YOLOv3遥感小目标检测算法

针对目前在遥感目标检测领域广泛使用的YOLOv3算法存在对小目标物体的特征表达能力不足,检测效果不好的问题,本文提出一种改进的YOLOv3小目标检测算法.首先,引入全局信息注意力机制并改进特征提取网络和特征金字塔结构,提高模型小目标特征提取能力和检测能力;其次,对数据集进行单尺度Retinex融合特征增强,提高模型对小目标特征的学习效果;最后,使用自适应锚框优化算法对anchors进行优化,提高anchors和目标的匹配程度.选用遥感数据集RSOD进行实验,本文算法的全类平均精度为92.5%,相比经典YOLOv3算法,提高10.1%,对遥感小目标的检测效果得到明显提升.     

基于Bi-SSD的小目标检测算法

针对目前目标检测技术中小目标检测困难问题,提出了一种基于SSD(Single Shot multibox Detector)改进的小目标检测算法Bi-SSD(Bi-directional Single Shot multibox Detector).该算法为SSD的浅层特征设计了小目标特征提升模块,在网络的分类和回归部...     

融合多尺度特征与注意力的小样本目标检测

针对现有小样本目标检测模型存在的尺度变化问题,支持集与查询集之间的外观变化、遮挡导致的误检与漏检问题,本文提出一种融合多尺度特征与注意力的小样本目标检测模型.首先,采用ResNet-101网络进行特征提取,同时引入ASPP(Atrous Spatial Pyramid Pooling)模块获取不同的感受野,以捕获目标细节信息的多尺度特征.其次,采用Bi-FPN网络进行多尺度特征融合,获得更具代表性的查询特征与支持特征,有效缓解尺度变化问题.然后,利用提出的注意力引导特征增强模块对查询特征与支持特征进行自身关注,使得它们具有更好的判别能力,由此促进查询特征与支持特征的融合,以更好地应对外观变化和遮挡带来的挑战,从而缓解误检、漏检问题.最后,将分类头与边界框回归头进行解耦,分别对RPN网络基于细粒度查询特征产生的候选区域进行目标分类与目标定位.在PASCAL VOC与MS COCO数据集上的实验结果表明,所提模型的检测性能优于主流的小样本目标检测模型,相较于基线模型DCNet, mAP平均分别提升了3.5%与2.1%.     

一种基于生成对抗网络模型的工件图像数据增广方法

生成对抗网络(generative adversarial network,GAN)往往需要大量的训练数据才能生成高质量图像,而制造业工件训练数据严重匮乏,难以利用传统GAN模型进行数据增广。为此,提出一种能够以小规模工件数据集训练生成高质量工件图像的GAN模型,作为少样本工件数据集的增广方法。对生成器和鉴别器融入自注意力机制,依据工件孔洞分布特点创建注意力掩码与注意力映射进行加权,以提高工件孔洞区域与周围像素点的相关性,在一定程度上减少对大规模训练数据的依赖。重新设计残差结构并应用于生成器,利用上采样和卷积组合的方式改善生成图像的“棋盘格伪影”现象,以提高生成图像的逼真度。损失函数采用Wasserstein距离和特征匹配损失加权相结合的形式。与传统GAN对比,所提模型生成工件图像的FID分数降低至100. 91,SSIM分数提升至0. 906。经所提GAN模型数据增广后,基于YOLOv8算法的工件缺陷检测模型的mAP值提升至92. 7%,可为工业检测训练样本不足提供解决方案。     

基于注意力及生成对抗网络的遥感影像目标检测

针对传统目标检测算法在环境多变、背景复杂、目标聚集、小目标过多的航空遥感影像目标检测上效果不理想的问题, 本文提出了一种基于注意力机制及生成对抗网络的遥感影像目标检测模型Attention-GAN-Mask R-CNN. 该模型将注意力、生成对抗网络和Mask R-CNN结合起来, 用以解决遥感影像目标检测中存在的问题. 实验结果表明, 在复杂的遥感影像数据集中, 该方法提升了目标检测的效率和准确率.     

基于生成对抗网络的人脸表情数据增强方法

基于深度学习的方法已经在人脸表情识别中取得了重大进展;然而人脸表情数据库的规模普遍不大。为了解决数据量不足的问题;提出了一种静态图像数据增强方法。在StarGAN的基础上修改重构误差实现多风格人脸表情图像转换;利用生成器由某一表情下的面部图像生成同一人其他表情的面部图像。在CK+表情库上的实验表明;该方法有利于提高人脸表情识别模型的识别率和泛化能力;同时对解决数据量不平衡的问题也有借鉴作用。     

基于多尺度上下文信息的遮挡行人检测

在遮挡场景下的行人检测一直是计算机视觉中的一个棘手问题,由于被遮挡的行人尺度差异大,可见率低,通常会给检测带来极大的挑战。针对这一问题,提出了一种针对行人遮挡检测的模型结构,对基于anchor-free的行人检测方法进行改进。设计了一种提取多尺度上下文信息的结构,通过级联多个不同扩张率的卷积层,使用密集连接实现多尺度特征共享,提取各个区域的上下文信息来解决遮挡问题。此外,为了提高特征的可分辨性,使用通道注意力机制对多尺度特征融合进行自适应的调整。实验结果表明,该方法在Caltech行人数据集的遮挡子集上实现了41.73%的MR?2,性能优于其他检测算法。     

结合自监督学习和生成对抗网络的小样本人脸属性识别

目的 人脸属性识别是计算机视觉和情感感知等领域一个重要的研究课题。随着深度学习的不断发展,人脸属性识别取得了巨大的进步。目前基于深度学习的人脸属性识别方法大多依赖于包含完整属性标签信息的大规模数据集。然而,对于小样本数据集的属性标签缺失问题,人脸属性识别方法的准确率依然较低。针对上述问题,本文提出了一种结合自监督学习和生成对抗网络的方法来提高在小样本数据集上的人脸属性识别准确率。方法 使用基于旋转的自监督学习技术进行预训练得到初始的属性识别网络;使用基于注意力机制的生成对抗网络得到人脸属性合成模型,对人脸图像进行属性编辑从而扩充训练数据集;使用扩充后的训练数据集对属性识别网络进行训练得到最终模型。结果 本文在小样本数据集UMD-AED（University of Maryland attribute evaluation dataset）上进行了实验并与传统的有监督学习方法进行了比较。传统的有监督学习方法达到了63.24%的平均准确率,而所提方法达到了69.01%的平均准确率,提高了5.77%。同时,本文在CelebA（CelebFaces attributes dataset）、LFWA（labeled faces in the wild attributes dataset）和UMD-AED数据集上进行了使用自监督学习和未使用自监督学习的对比实验,验证了自监督学习在小样本数据集上的有效性。结论 本文所提出的结合自监督学习和生成对抗网络的人脸属性识别方法有效提高了小样本数据集上属性识别的准确率。     

基于生成对抗网络的高照度可见光图像生成

为解决夜间低照度条件下目标检测准确率偏低的问题,提出一种基于循环生成对抗网络的高照度可见光图像生成方法。为提高生成器提取特征的能力,在转换器模块引入CBAM注意力模块;为避免在生成图像中产生伪影的噪声干扰,把生成器解码器的反卷积方式改为最近邻插值加卷积层的上采样方式;为了提高网络训练的稳定性,把对抗损失函数由交叉熵函数换为最小二乘函数。生成的可见光图像与红外图像、夜间可见光图像相比,在光谱信息、细节信息丰富和可视性方面取得好的优势提升,能够有效地获取目标和场景的信息。分别通过图像生成指标和目标检测指标验证该方法的有效性,其中对生成可见光图像测试得到的mAP较红外图像和真实可见光图像分别提高了11.7个百分点和30.2个百分点,可以有效提高对夜间目标的检测准确率和抗干扰能力。     

基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题(例如,背景遮挡、行人互相遮挡等).由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

改进CenterNet的无人机小目标捕获检测方法

小目标因浅层特征语义不足而深层特征信息缺失导致极难检测,而无人机视角场景复杂,检测难度进一步增大。普遍提升小目标检测精度的方法是进行不同层级的特征融合,但这会导致特征高冗余问题,并非所有特征层都值得被激活传递到后方的数据预测中去。针对上述问题对CenterNet进行改造,首次将其与自适应特征激活相结合,提出自适应基础模块（MSA）,抑制冗余特征的表达;在主干输出处引入升维全局上下文注意力模块（GC-Block）,强化关键点语义信息;用深度可分离卷积与Mish激活搭建高质量解码块（DW）,在不增加模型复杂度的情况下提升解码精度。在公开的无人机捕获小目标数据集上进行对比实验,改进算法的AP较原始算法提升了2.2个百分点,召回率提升了2.4个百分点,验证了改进算法对小目标检测任务的有效性。     

融合注意力机制的模糊图像多尺度复原

目的 去模糊任务通常难以进行对图像纹理细节的学习,所复原图像的细节信息不丰富,图像边缘不够清晰,并且需要耗费大量时间。本文通过对图像去模糊方法进行分析,同时结合深度学习和对抗学习的方法,提出一种新型的基于生成对抗网络(generative adversarial network, GAN)的模糊图像多尺度复原方法。方法 使用多尺度级联网络结构,采用由粗到细的策略对模糊图像进行复原,增强去模糊图像的纹理细节;同时采用改进的残差卷积结构,在不增加计算量的同时,加入并行空洞卷积模块,增加了感受野,获得更大范围的特征信息;并且加入通道注意力模块,通过对通道之间的相关性进行建模,加强有效特征权重,并抑制无效特征;在损失函数方面,结合感知损失(perceptual loss)以及最小均方差(mean squared error, MSE)损失,保证生成图像和清晰图像内容一致性。结果 通过全参考图像质量评价指标峰值信噪比(peak signal to noise ratio, PSNR)、结构相似性(structural similarity,SSIM)以及复原时间来评价算法优劣。与其他方法的对比结...