小目标检测研究进展

小目标检测长期以来是计算机视觉中的一个难点和研究热点。在深度学习的驱动下,小目标检测已取得了重大突破,并成功应用于国防安全、智能交通和工业自动化等领域。为了进一步促进小目标检测的发展,本文对小目标检测算法进行了全面的总结,并对已有算法进行了归类、分析和比较。首先,对小目标进行了定义,并概述小目标检测所面临的挑战。然后,重点阐述从数据增强、多尺度学习、上下文学习、生成对抗学习以及无锚机制等方面来提升小目标检测性能的方法,并分析了这些方法的优缺点和关联性。之后,全面介绍小目标数据集,并在一些常用的公共数据集上对已有算法进行了性能评估。最后本文对小目标检测技术的未来发展方向进行了展望。     

融合视觉显著性再检测的孪生网络无人机目标跟踪算法

针对旋翼飞行器在跟踪过程中目标尺度变化、快速运动、视角变化等问题,本文提出了一种基于MobileNetV2的孪生网络目标跟踪算法,可在无人机机载处理器上实时运行。该算法主要包含目标得分估计模块与目标尺度估计模块两个部分。结合多特征融合的策略,可准确预测出目标位置与目标框IoU,同时以目标框IoU为指导,利用梯度上升法对目标框进行迭代修正,进一步提升预测精度。针对完全遮挡而导致的目标跟丢问题,本文设计了一个基于视觉显著性的目标再检测算法,该算法可实时高效地预测出图像的显著性区域,以指导对目标的再检测,进而恢复跟踪。最后,通过标准无人机跟踪数据集测试与实际无人机跟踪实验,验证了算法的可行性。     

基于改进YOLOv2和迁移学习的管道巡检航拍图像第三方施工目标检测

针对传统目标检测算法应用在无人机航拍图像上第三方施工目标检测和违章占压建筑检测的数据集少、检测率低等问题,提出基于Aerial-YOLOv2和迁移学习的航拍图像目标检测算法。首先,利用结合数据增强的迁移学习策略训练的网络来扩大数据集规模,并利用K均值聚类分析得到符合所提数据集特点的锚点框数量和尺寸;其次,通过自适应对比度增强的方法对图像进行预处理;最后,提出改进卷积模块替代YOLOv2中的卷积块并结合特征融合的多尺度预测方式进行目标检测。用不同的算法和训练策略在无人机航拍图像上进行对比实验,实验结果表明,Aerial-YOLOv2算法结合多种训练策略后,其准确率、召回率分别能达到95%、91%,每张图像检测时间为14 ms。由此可知,该算法适用于无人机航拍图像第三方施工目标及违章占压建筑的智能检测。     

基于深度学习的小目标检测算法综述

随着人工智能技术的发展,深度学习技术在人脸识别、行人检测、无人驾驶等领域得到了广泛的应用。而目标检测作为机器视觉中最基本、最具有挑战性的问题之一,近年来受到了广泛的关注。针对目标检测特别是小目标检测问题,归纳了常用的数据集和性能评价指标,并对各类常见数据集的特点、优势及检测难度进行对比,系统性地总结了常用的目标检测方法和小目标检测面临的挑战,梳理了基于深度学习的小目标检测方法的最新工作,重点介绍了基于多尺度的小目标检测方法和基于超分辨率的小目标检测方法等,同时介绍了针对目标检测方法的轻量化策略和一些轻量化模型的性能,并总结了各类方法的特点、优势和局限性等,展望了基于深度学习的小目标检测方法的未来发展方向。     

DY-YOLOv5：基于多重注意力机制的航拍图像目标检测

针对无人机航拍图像中目标小、尺度不一和背景复杂等导致检测精度低的问题,提出一种基于改进YOLOv5的无人机航拍图像目标检测算法DY-YOLOv5。该算法在检测头部分利用具有多重注意力机制的目标检测头方法Dynamic Head,提升检测头在复杂背景下的检测表现。在原模型neck部分增加一次上采样和Concat操作,并执行一个包含极小、小、中目标的多尺度特征检测,提升模型对中、小目标的特征提取能力。引入密集卷积网络DenseNet,将其与YOLOv5s主干网络的C3模块进行融合,提出C3＿DenseNet模块,以加强特征传递并预防模型过拟合。在VisDrone2019数据集上应用DY-YOLOv5算法,平均精度均值（mAP）达到了43.9%,较原YOLOv5算法提升了11.4个百分点。召回率（Recall）为41.7%,较原算法提升了9.0个百分点。实验结果证明,改进算法显著提高了无人机航拍图像目标检测的精度。     

融合改进FPN与关联网络的Faster R-CNN目标检测

在无人机场景下,目标检测存在样本数量不足、成像视角不同的问题,导致检测精度低。提出一种结合改进特征金字塔网络（FPN）与关联网络的Faster R-CNN目标检测算法。通过在传统FPN结构中以自下而上的特征融合方式提取特征图的语义信息和位置信息,最大程度地保留特征图的多尺度信息。同时利用候选区域之间的形状特征和位置特征构造区域之间的关联特征,并与深度特征相融合进行分类回归,从而充分提取特征图的整体信息,实现目标检测。在PASCAL VOC 2007和NWPU VHR-10数据集上的实验结果表明,相比FPN+Faster R-CNN算法,该算法的交并比和平均检测精度分别提高了10和2.7个百分点,具有较优的目标检测性能。     

基于多尺度建议框的目标跟踪误差修正方法

随着深度学习技术引入视觉目标跟踪领域,目标跟踪算法的精度和鲁棒性有了很大的提高。但在低空无人机跟踪目标的实际场景中,情况比较复杂,如相机的抖动、大量的遮挡、视角和焦距的改变等,使得跟踪算法的准确性受到极大挑战。目前的算法大多建立在目标外观变化缓慢的前提假设下,在跟踪的过程中不具备检测和修复漂移（跟踪误差）的能力。针对该问题,提出了一种基于多尺度建议框的目标跟踪误差修正方法。离线阶段,利用大量的已标注的目标样本训练基于多尺度建议框的目标跟踪修正模型,获取不同类别目标的先验知识。在线阶段在核相关滤波跟踪的基础上,依据相关响应置信度自适应评价的结果,通过目标跟踪修正模型不定期重新初始化目标的位置,避免了因为误差累积而导致跟踪失败。算法在无人机航拍数据集上进行了测试,结果表明,该跟踪算法在目标发生较大形变的情况下能较好的修正跟踪漂移问题。相比于其他几种算法,目标跟踪的成功率和精度分别提高了14.3%和3.1%。     

目标检测中的尺度变换应用综述

目标检测试图用给定的标签标记自然图像中出现的对象实例,已经广泛用于自动驾驶、监控安防等领域。随着深度学习技术的普及,基于卷积神经网络的通用目标检测框架获得了远好于其他方法的目标检测结果。然而,由于卷积神经网络的特性限制,通用目标检测依然面临尺度、光照和遮挡等许多问题的挑战。本文的目的是对卷积神经网络架构中针对尺度的目标检测策略进行全面综述。首先,介绍通用目标检测的发展概况及使用的主要数据集,包括通用目标检测框架的两种类别及发展,详述基于候选区域的两阶段目标检测算法的沿革和结构层面的创新,以及基于一次回归的目标检测算法的3个不同的流派。其次,对针对检测问题中影响效果的尺度问题的优化思路进行简单分类,包括多特征融合策略、针对感受野的卷积变形和训练策略的设计等。最后,给出了各个不同检测框架在通用数据集上对不同尺寸目标的检测准确度,以及未来可能的针对尺度变换的发展方向。     

遥感影像小目标检测研究进展

独特的拍摄视角和多变的成像高度使得遥感影像中包含大量尺寸极其有限的目标,如何准确有效地检测这些小目标对于构建智能的遥感图像解译系统至关重要。本文聚焦于遥感场景,对基于深度学习的小目标检测进行全面调研。首先,根据小目标的内在特质梳理了遥感影像小目标检测的3个主要挑战,包括特征表示瓶颈、前背景混淆以及回归分支敏感。其次,通过深入调研相关文献,全面回顾了基于深度学习的遥感影像小目标检测算法。选取3种代表性的遥感影像小目标检测任务,即光学遥感图像小目标检测、SAR图像小目标检测和红外图像小目标检测,系统性总结了3个领域内的代表性方法,并根据每种算法使用的技术思路进行分类阐述。再次,总结了遥感影像小目标检测常用的公开数据集,包括光学遥感图像、SAR图像及红外图像3种数据类型,借助于3种领域的代表性数据集SODA-A（small object detection datasets）、AIR-SARShip和NUAA-SIRST（Nanjing University of Aeronautics and Astronautics,single-frame infrared small target）,进一步对主流的遥感影像目标检测算法在面对小目标时的性能表现进行横向对比及深入评估。最后,对遥感影像小目标检测的应用现状进行总结,并展望了遥感场景下小目标检测的发展趋势。     

深度学习行人检测方法综述

行人检测技术在智能交通系统、智能安防监控和智能机器人等领域均表现出了极高的应用价值,已经成为计算机视觉领域的重要研究方向之一。得益于深度学习的飞速发展,基于深度卷积神经网络的通用目标检测模型不断拓展应用到行人检测领域,并取得了良好的性能。但是由于行人目标内在的特殊性和复杂性,特别是考虑到复杂场景下的行人遮挡和尺度变化等问题,基于深度学习的行人检测方法也面临着精度及效率的严峻挑战。本文针对上述问题,以基于深度学习的行人检测技术为研究对象,在充分调研文献的基础上,分别从基于锚点框、基于无锚点框以及通用技术改进（例如损失函数改进、非极大值抑制方法等）3个角度,对行人检测算法进行详细划分,并针对性地选取具有代表性的方法进行详细结合和对比分析。本文总结了当前行人检测领域的通用数据集,从数据构成角度分析各数据集应用场景。同时讨论了各类算法在不同数据集上的性能表现,对比分析各算法在不同数据集中的优劣。最后,对行人检测中待解决的问题与未来的研究方法做出预测和展望。如何缓解遮挡导致的特征缺失问题、如何应对单一视角下尺度变化问题、如何提高检测器效率以及如何有效利用多模态信息提高行人检测精度,均是值得进一步研究的方向。     

光学遥感图像目标检测算法综述

目标检测技术是光学遥感图像理解的基础问题, 具有重要的应用价值. 本文对遥感图像目标检测算法发展进行了梳理和分析. 首先阐述了遥感图像目标检测的特点和挑战; 之后系统总结了典型的检测方法, 包括早期的基于手工设计特征的算法和现阶段基于深度学习的方法, 对于深度学习方法首先介绍了典型的目标检测模型, 进而针对遥感图像本身的难点详细梳理了优化改进方案; 接着介绍了常用的检测数据集, 并对现有方法的性能进行比较; 最后对现阶段问题进行总结并对未来发展趋势进行展望.     

Unmanned aerial vehicle based low carbon monitoring planning

Instead of physically visiting all locations of concern by manpower, unmanned aerial vehicles (UAVs) equipped with cameras are a low-cost low-carbon alternative to carry out monitoring tasks. When a UAV flies to conduct monitoring tasks, it does not have to fly at a fixed speed; instead, it should fly at lower speeds over objects of higher concerns and vice versa. This paper addresses the UAV planning problem with a focus on optimizing the speed profile. We propose an infinite-dimensional optimization model for the problem and transform the model into a linear programming formulation based on characteristics of the problem. Our case study shows the managerial insight that the UAV flies at low speeds on important segments of the path and at its highest speeds on less-important segments. This means more durable batteries should be designed for drones that need to carry out elaborated monitoring tasks. This finding further provides guidance for drone users when purchasing and renting drones.     

一种Anchor Free的无人机检测方法

目前几乎所有最先进的目标检测方法都依赖于预先定义的anchor,但是由于anchor的存在,网络会增加与anchor相关的计算开销,而且在现实世界中,目标尺度多种多样,比如地对空拍摄的无人机目标,预先定义的anchor不可能穷举所有的无人机尺度。因此,该文抛弃预先定义的anchor,采用anchor free的方法来检测无人机。该anchor free方法以目标中心区域的像素为训练样本来逐像素预测边界框的偏移量。针对地对空拍摄的无人机目标大部分都是小尺度的情况,采用高分辨率网络HRNet作为主干网络来提取小目标细粒度的特征,从而提高小目标检测的精度。相对于基于anchor的目标检测方法,该网络框架简单、灵活,并且可以自适应地预测无人机目标的边界框。在自己设计的无人机数据集上,该方法获得了更高的召回率和精确率。     

基于模型微调的空中无人机小样本目标识别方法

空中无人机目标识别是现代军事、航空领域的迫切需求,由于目前无人机的功能和种类繁多,对于新机型很难采集大量的无人机样本用于训练目标识别模型;针对该问题,提出了一种基于模型微调的空中无人机小样本目标识别方法;方法以Faster R-CNN为基础架构,首先采用具有大量标记样本的常见机型数据预训练Faster R-CNN模型;然后将基础架构最后的分类层替换为余弦度量,构建联合新机型与常见机型的小样本平衡数据集以较小的学习率微调分类层。实验结果表明,在标记样本数量为5、10和50的情况下,基于模型微调的小样本目标识别模型的mAP分别为88.6%,89.2%和90.8%,能够满足空中无人机小样本目标识别任务需求,且优于其它小样本目标识别方法。     

基于多目标算法合理配置火灾中的无人机组合

为了提高火灾救援的效率,消防人员逐渐使用无人机来进行火灾态势感知和监视;但无人机的费用造价高昂;一台配备了无线电中继器或视频和遥测功能的混合动力无人机预计成本约为1万美元;因此为了达到经济最大化和效率最优,文章采用多目标规划模型进行优化;该模型主要考虑经济和效率两个目标,然后设置约束条件来进行求解;遗传算法和基于数学规划的方法是国内求解帕累托前沿解的主流算法[1];应用NSGA-Ⅱ算法解决无人机排列问题;以决策变量无人机的数量组合编码作为运算对象,可以直接对集合、序列、矩阵、树、图等结构对象进行运算操作[2];这样的方式一方面有助于模拟生物的基因、染色体和遗传进化的过程,方便遗传操作算子的运用,合理且准确地给出了无人机配置方案,为有关消防部门规划提供参考,另一方面也使得遗传算法具有广泛的应用领域,如函数优化、生产调度等领域.     

无人机影像目标检测技术研究进展

无人机影像目标检测技术是无人机影像智能化分析中的关键技术，开展无人机影像目标检测技术的研究有着广阔的应用前景和价值。介绍了无人机影像中目标检测技术的发展历程，简述了无人机影像目标检测技术在森林防火、农业信息采集、电力线路检测、路桥损害检测以及军事侦察等5种特定领域的应用情况，总结归纳了目标检测性能评价时常用的数据集和标准，并对未来无人机影像目标检测技术的发展态势进行了展望。     

Drone mapping of damage information in GPS-Denied disaster sites

The increasing number and severity of natural hazard events in recent years, and their devastating impact on human life, local economies, and the built environment has called governments around the world into action and created a new mandate for a paradigm shift in disaster management and mitigation policies. To this end, new affordable technologies with mobile connectivity (e.g., smartphones, unmanned systems, reality capture devices) have scaled up tasks such as data collection and curation, leading to a significant increase in the volume of data gathered and shared in the aftermath of disasters. In the meantime, advancements in high-power and distributed computing have created new opportunities in fast and reliable data analytics. In particular to the application of drones in disaster response, past research has primarily focused on aerial data collection and more recently, ground object detection. Geolocalization of drone data (i.e., the process of determining the geographical position of objects in drone’s field of view), however, is a complex task that relies on prior knowledge of the drone’s geolocation (e.g., flight path coordinates, inertial sensors, camera gaze). Such metadata may not be always available or shared across platforms especially with the increased use of crowdsourcing in disaster response, damage assessment, and recovery. This paper presents a methodology for spatial mapping of disaster impact information in drone videos without reliance on GPS data of the aerial camera. We perform progressive mapping using scale-invariant visual features in red–greenblue (RGB) videos of disaster-affected sites in two major hurricanes in North America, namely Harvey (2017) and Dorian (2019). Results indicate that the proposed methodology can project objects from the perspective view of a drone camera onto an orthogonal map with 32.7–36.9 ft of average root mean square (RMS) error in a land area of 18–45 acres.     

Convolutional neural networks for object detection in aerial imagery for disaster response and recovery

Accurate and timely access to data describing disaster impact and extent of damage is key to successful disaster management (a process that includes prevention, mitigation, preparedness, response, and recovery). Airborne data acquisition using helicopter and unmanned aerial vehicle (UAV) helps obtain a bird’s-eye view of disaster-affected areas. However, a major challenge to this approach is robustly processing a large amount of data to identify and map objects of interest on the ground in real-time. The current process is resource-intensive (must be carried out manually) and requires offline computing (through post-processing of aerial videos). This research introduces and evaluates a series of convolutional neural network (CNN) models for ground object detection from aerial views of disaster’s aftermath. These models are capable of recognizing critical ground assets including building roofs (both damaged and undamaged), vehicles, vegetation, debris, and flooded areas. The CNN models are trained on an in-house aerial video dataset (named Volan2018) that is created using web mining techniques. Volan2018 contains eight annotated aerial videos (65,580 frames) collected by drone or helicopter from eight different locations in various hurricanes that struck the United States in 2017–2018. Eight CNN models based on You-Only-Look-Once (YOLO) algorithm are trained by transfer learning, i.e., pre-trained on the COCO/VOC dataset and re-trained on Volan2018 dataset, and achieve 80.69% mAP for high altitude (helicopter footage) and 74.48% for low altitude (drone footage), respectively. This paper also presents a thorough investigation of the effect of camera altitude, data balance, and pre-trained weights on model performance, and finds that models trained and tested on videos taken from similar altitude outperform those trained and tested on videos taken from different altitudes. Moreover, the CNN model pre-trained on the VOC dataset and re-trained on balanced drone video yields the best result in significantly shorter training time.     

基于显著图融合的无人机载热红外图像目标检测方法

利用无人机载的热红外图像开展行人及车辆检测, 在交通监控、智能安防、防灾应急等领域中, 具有巨大的应用潜力. 热红外图像能够在夜间或者光照条件不理想的情况对场景目标清晰成像, 但也往往存在对比度低、纹理特征弱的缺点. 为此, 本文提出使用热红外图像的显著图来进行图像增强, 作为目标检测器的注意力机制, 并研究仅使用热红外图像和其显著图提高目标检测性能的方法. 此外, 针对无人机内存不足、算力有限的特点, 设计使用轻量化网络YOLOv3-MobileNetv2作为目标检测模型. 在实验中, 本文训练了YOLOv3网络作为检测的评价基准网络. 使用BASNet生成显著图, 通过通道替换和像素级加权融合两种方案将热红外图像与其对应的显著图进行融合增强, 比较了不同方案下YOLOv3-MobileNetv2模型的检测性能. 统计结果显示, 行人及车辆的平均精确度(Average precision, AP)相对于基准分别提升了6.7%和5.7%, 同时检测速度提升了60%, 模型大小降低了58%. 该算法模型为开拓无人机载热红外图像的应用领域提供了可靠的技术支撑.