自动驾驶3D目标检测研究综述

精确实时地进行目标检测是自动驾驶车辆能够准确感知周围复杂环境的重要功能之一,如何对周围物体的尺寸、距离、位置、姿态等3D信息进行精准判断是自动驾驶3D目标检测的经典难题.服务于自动驾驶的3D目标检测已成为近年来炙手可热的研究领域,鉴于此,对该领域主要研究进展进行综述.首先,介绍自动驾驶感知周围环境各相关传感器的特点;其次,介绍3D目标检测算法并按照传感器获取数据类型将其分为:基于单目/立体图像的算法、基于点云的算法以及图像与点云融合的算法;然后,对每类3D目标检测的经典算法以及改进算法进行详细综述、分析、比较,梳理了当前主流自动驾驶数据集及其3D目标检测算法的评估标准,并对现有文献广泛采用的KITTI和NuScenes数据集实验结果进行对比及分析,归纳了现有算法存在的难点和问题;最后,提出自动驾驶3D目标检测在数据处理、特征提取策略、多传感器融合和数据集分布问题方面可能遇到的机遇及挑战,并对全文进行总结及展望.     

基于深度学习的红外目标检测综述

红外图像由于分辨率低、纹理细节不足,且缺乏颜色信息,导致目标成像模糊,检测难度大。基于深度学习的红外目标检测技术,通过运用神经网络自动提取复杂的目标特征,大大提高了检测精度和检测效率,在自动驾驶、安防监控、军事侦察等领域得到了非常广泛的应用。该文对红外目标检测面临的困难和挑战进行了详细分析,并从数据增强、迁移学习、视觉注意力机制、多尺度特征融合、多模态图像融合和轻量化改进等六个方面,对基于深度学习的红外目标检测研究改进方向进行了系统阐述。针对红外目标检测数据集缺乏的问题,梳理汇总了11个红外目标检测数据集。同时,结合当前发展现状,对红外目标检测的未来发展方向进行了展望,可为其他研究者提供参考借鉴。     

基于深度学习的3D目标检测算法综述

随着自动驾驶领域对目标检测的精度和速度需求的提高,目标检测的研究从传统检测算法转向深度学习方向。由于2D目标检测算法存在小目标丢失等问题,基于深度学习的3D目标检测算法以能提供物体的位置、尺寸和方向等一些空间结构信息的优势,迅速在自动驾驶领域发展起来。首先,简单陈述了2D目标检测算法,将3D目标检测算法分成5个类别,分析了各类目标检测算法的优缺点;然后,详述了最新被提出的基于图神经网络(graph neural network, GNN)的2种算法;最后,对3D目标检测所应用的领域和其研究意义进行总结,并对3D目标检测今后可能发展的方向做出猜想。     

3D目标检测进展综述

目标检测算法应用广泛,一直是计算机视觉领域备受关注的研究热点。近年来,随着深度学习的发展,3D图像的目标检测研究取得了巨大的突破。与2D目标检测相比,3D目标检测结合了深度信息,能够提供目标的位置、方向和大小等空间场景信息,在自动驾驶和机器人领域发展迅速。文中首先对基于深度学习的2D目标检测算法进行概述;其次根据图像、激光雷达、多传感器等不同数据采集方式,分析目前具有代表性和开创性的3D目标检测算法;结合自动驾驶的应用场景,对比分析不同3D目标检测算法的性能、优势和局限性;最后总结了3D目标检测的应用意义以及待解决的问题,并对3D目标检测的发展方向和新的挑战进行了讨论和展望。     

多任务自主学习的肺癌诊断方法

针对实际任务中肺部CT图像标注数据集稀少的问题,提出一种基于自主学习的U-Net模型与C3D多任务学习网络相结合的肺癌诊断方法。对LUNA16数据集和DSB数据集进行预处理,确保切片图像体素、方向一致,利用C3D多任务学习网络模型构建肺结节检测模型,使用165张LUNA16的切片图像和161张DSB的切片图像训练改进的U-Net网络模型,并采用自主学习方式扩充标注样本,构建肿块检测模型。在此基础上,综合结节与肿块检测结果得到最终的肺癌诊断结果。实验结果表明,该方法的肺癌检测精度为85.3%±0.3%,达到了监督学习策略的检测精度。     

基于改进YOLO v4光线模糊场景下交通标志检测

近些年,自动驾驶开始进入人们的视线。对于自动驾驶而言,模糊光线场景下的交通标志检测是其中极其重要的一部分。目前YOLO v4算法广泛用于目标检测,虽然它的检测精度相比于其他YOLO版本有着较大的提高,但是还没有达到预期的精度。为了进一步提高检测交通标志的精度,本文在原有YOLO v4的基础上作一定的改进并与MSRCR图像增强处理相结合。首先将作为训练的图片通过MSRCR算法达到图像增强的目的,并将其作为目标检测的训练集图像。使用Darknet-53的YOLO v4网络,通过labelImg标注BelgiumTS交通信号数据集,使用改进的K-means++聚类算法确定先验框和具体参数并且改进路径聚合网络(PANet)结构和损失函数,将数据集进行训练。实验结果表明,改进后的算法与原本的YOLO v4算法相比较,平均精度提高了1.86个百分点。     

面向自动驾驶目标检测的深度多模态融合技术

研究者关注利用多个传感器来提升自动驾驶中目标检测模型的准确率,因此对目标检测中的数据融合方法进行研究具有重要的学术和应用价值。为此,本文总结了近年来自动驾驶中深度目标检测模型中的数据融合方法。首先介绍了自动驾驶中深度目标检测技术和数据融合技术的发展,以及已有的研究综述;接着从多模态目标检测、数据融合的层次、数据融合的计算方法3个方面展开阐述,全面展现了该领域的前沿进展;此外,本文提出了数据融合的合理性分析,从方法、鲁棒性、冗余性3个角度对数据融合方法进行了讨论;最后讨论了融合方法的一些公开问题,并从挑战、策略和前景等方面作了总结。     

融合多特征的深度学习标注方法

缩小图像低层视觉特征与高层语义之间的鸿沟,以提高图像语义自动标注的精度,是研究大规模图像数据管理的关键。提出一种融合多特征的深度学习图像自动标注方法,将图像视觉特征以不同权重组合成词包,根据输入输出变量优化深度信念网络,完成大规模图像数据语义自动标注。在通用Corel图像数据集上的实验表明,融合多特征的深度学习图像自动标注方法,考虑图像不同特征的影响,提高了图像自动标注的精度。     

基于集成分类算法的自动图像标注

基于语义的图像检索技术中,按照图像的语义进行自动标注是一个具有挑战性的工作. 本文把图像的自动标注过程转化为图像分类的过程,通过有监督学习对每个图像区域分类并得到相应关键字,实现标注. 采用一种快速随机森林(Fast random forest, FRF)集成分类算法,它可以对大量的训练数据进行有效的分类和标注. 在基于Corel数据集的实验中,相比经典算法, FRF改善了运算速度,并且分类精度保持稳定. 在图像标注方面有很好的应用.     

混合生成式和判别式模型的图像自动标注

目的 由于图像检索中存在着低层特征和高层语义之间的“语义鸿沟”,图像自动标注成为当前的关键性问题.为缩减语义鸿沟,提出了一种混合生成式和判别式模型的图像自动标注方法.方法 在生成式学习阶段,采用连续的概率潜在语义分析模型对图像进行建模,可得到相应的模型参数和每幅图像的主题分布.将这个主题分布作为每幅图像的中间表示向量,那么图像自动标注的问题就转化为一个基于多标记学习的分类问题.在判别式学习阶段,使用构造集群分类器链的方法对图像的中间表示向量进行学习,在建立分类器链的同时也集成了标注关键词之间的上下文信息,因而能够取得更高的标注精度和更好的检索效果.结果 在两个基准数据集上进行的实验表明,本文方法在Corel5k数据集上的平均精度、平均召回率分别达到0.28和0.32,在IAPR-TC12数据集上则达到0.29和0.18,其性能优于大多数当前先进的图像自动标注方法.此外,从精度—召回率曲线上看,本文方法也优于几种典型的具有代表性的标注方法.结论 提出了一种基于混合学习策略的图像自动标注方法,集成了生成式模型和判别式模型各自的优点,并在图像语义检索的任务中表现出良好的有效性和鲁棒性.本文方法和技术不仅能应用于图像检索和识别的领域,经过适当的改进之后也能在跨媒体检索和数据挖掘领域发挥重要作用.     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架。利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器。在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU（Intersection-Over-Union）值自动确定目标的位置,并利用跟踪器的响应输出判断目标消失,从而自动停止当前目标标注。采用一种基于目标显著性的关键帧提取算法选择关键帧。采用自建舰船目标数据集进行了改进YOLO v3检测性能对比实验,并采用舰船视频序列验证了提出的视频目标半自动标注方法的有效性。实验结果表明,该方法可以显著提高标注效率,能够快速生成标注数据,适用于海上舰船等场景的视频目标标注任务。     

小样本红外图像的样本扩增与目标检测算法

深度卷积神经网络模型在很多公开的可见光目标检测数据集上表现优异, 但是在红外目标检测领域, 目标 样本稀缺一直是制约检测识别精度的难题. 针对该问题, 本文提出了一种小样本红外图像的样本扩增与目标检测算 法. 采用基于注意力机制的生成对抗网络进行红外样本扩增, 生成一系列保留原始可见光图像关键区域的红外连 续图像, 并且使用空间注意力机制等方法进一步提升YOLOv3目标检测算法的识别精度. 在Grayscale-Thermal与 OSU Color-Thermal红外–可见光数据集上的实验结果表明, 本文算法使用的红外样本扩增技术有效提升了深度网 络模型对红外目标检测的精度, 与原始YOLOv3算法相比, 本文算法最高可提升近20%的平均精确率(mean average precision, mAP).     

基于可变形卷积和数据增强的三维多目标检测

近年来,自动驾驶受到越来越多的关注,以点云为输入数据的三维目标检测在该领域中发挥着至关重要的作用。然而,点云目标的尺度差异性以及变换性等问题,导致了目标检测精度的下降。以CenterPoint网络为框架,提出了一种基于可变形卷积和数据增强的三维多目标检测优化算法,该方法提取点云特征后生成地图视角的特征图谱,在检测头网络加入可变形卷积层,并引入图像翻转方法进行数据增强,提高网络对于目标的检测能力。在公开数据集nuScenes上的实验结果表明,该网络与其他方法相比,在汽车、公交车以及行人等类别的检测精度上有一定程度的提升。     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

目标检测算法在交通场景中应用综述

目标检测是计算机视觉领域的重要研究任务,在机器人、自动驾驶、工业检测等方面应用广泛。在深度学习理论的基础上,系统性总结了目标检测算法的发展与研究现状,对两类算法的特点、优缺点和实时性进行对比。以交通场景中三类典型物体（非机动车、机动车和行人）为目标,从传统检测方法、目标检测算法、目标检测算法优化、三维目标检测、多模态目标检测和重识别六个方面分别论述和总结目标检测算法检测识别交通场景目标的研究现状与应用情况,重点介绍了各类方法的优势、局限性和适用场景。归纳了常用目标检测和交通场景数据集及评价标准,比较分析两类算法性能,展望目标检测算法在交通场景中应用研究的发展趋势,为智能交通、自动驾驶提供研究思路。     

主动迁移学习的海上任意方向船只目标检测

在基于深度学习的遥感图像目标检测任务中,船只目标通常呈现出任意方向排列的特性,而常见的水平框目标检测算法一般不能满足此类场景的应用需求。因此本文在单阶段Anchor-Free目标检测器CenterNet的基础上加入旋转角度预测分支,使其能输出旋转边界框,以用于海上船只目标的检测。同时针对海上船只遥感数据集仅有水平边界框标注,无法直接适用于旋转框目标检测,且人工手动标注旋转框标签成本较高的问题,提出一种主动迁移学习的旋转框标签生成方法。首先,提出一种水平框-旋转框约束筛选算法,通过水平真值边界框来对旋转预测框进行监督约束,筛选出检测精度较高的图像加入训练集,然后通过迭代这一过程筛选出更多的图像,最后通过标签类别匹配,完成对数据集的旋转框自动化标注工作。本文最终对海上船只遥感图像数据集BDCI中约65.59%的图片进行旋转框标注,并手动标注部分未标注的图片作为测试集,将本文方法标注的图片作为训练集进行验证,评估指标AP50达到90.41%,高于其他旋转框检测器,从而表明本文方法的有效性。     

一种新的图像语义自动标注与检索算法*

提出了一种新的利用图像语义词汇表进行图像自动标注与检索的方法.采用混合层次模型在已标注好的训练图像集上计算图像区域类与关键字的联合概率分布,并用生成的模型标注未曾观察过的测试图像集,或用来进行基于语义的图像检索.实验结果表明,该方法在标注、检索精度和效率方面均优于当前其他方法.     

基于改进Faster RCNN与Grabcut的商品图像检测

近年来,图像检测方法已经被应用于很多领域.然而,这些方法都需要在目标任务上进行大量边框标注数据的重新训练.本文基于Faster RCNN方法,并对其进行改进,解决了在小数据且无需边框标注的情况下的商品图像检测问题.首先对Faster RCNN的边框回归层进行改进,提出了一种非类别特异性的边框回归层,仅使用公开数据集训练,无需在目标数据集上进行再训练,并将其用于数据预标定与商品检测.然后结合Grabcut与非类别特异性Faster RCNN提出了一种样本增强方法,用来生成包含多个商品的训练图像;并为Faster RCNN添加了重识别层,提高了检测精度.     

适合跨域目标检测的雾霾图像增强

目的 室外监控在雾霾天气所采集图像的成像清晰度和目标显著程度均会降低,当在雾霾图像提取与人眼视觉质量相关的自然场景统计特征和与目标检测精度相关的目标类别语义特征时,这些特征与从清晰图像提取的特征存在明显差别。为了提升图像质量并且在缺乏雾霾天气目标检测标注数据的情况下提升跨域目标检测效果,本文综合利用传统方法和深度学习方法,提出了一种无监督先验混合图像特征级增强网络。方法 利用本文提出的传统先验构成雾气先验模块;其后连接一个特征级增强网络模块,将去散射图像视为输入图像,利用像素域和特征域的损失实现场景统计特征和目标类别语义相关表观特征的增强。该混合网络突破了传统像素级增强方法难以表征抽象特征的制约,同时克服了对抗迁移网络难以准确衡量无重合图像域在特征空间分布差异的弱点,也减弱了识别算法对于低能见度天候采集图像标注数据的依赖,可以同时提高雾霾图像整体视觉感知质量以及局部目标可识别表现。结果 实验在两个真实雾霾图像数据集、真实图像任务驱动的测试数据集(real-world task-driven testing set, RTTS)和自动驾驶雾天数据集(foggy driving dense)上与最新的5种散射去除方法进行了比较,相比于各指标中性能第2的算法,本文方法结果中梯度比指标R值平均提高了50.83%,属于感知质量指标的集成自然图像质量评价指标(integrated local natural image quality evaluator, IL-NIQE)值平均提高了6.33%,属于跨域目标检测指标的平均精准率(mean average precision, MAP)值平均提高了6.40%,平均查全率Recall值平均提高了7.79%。实验结果表明,本文方法结果在视觉质量和目标可识别层面都优于对比方法,并且本文方法对于高清视频的处理速度达50帧/s,且无需标注数据,因而在监控系统具有更高的实用价值。结论 本文方法可以同时满足雾霾天候下对采集视频进行人眼观看和使用识别算法进行跨域目标检测的需求,具有较强的应用意义。     

基于日志的协同图像自动标注

反馈日志隐含的图像语义信息有助于图像自动标注,但日志数据中存在的噪声、片面性等问题制约了其作用,故提出基于日志的协同图像自动标注算法。根据日志获取的特点,采用增量关联规则挖掘处理日志信息去除其噪声,利用协同滤波思想扩展图像标注词数量,利用WordNet得到标注词间关系,并结合图像底层特征利用混合概率模型实现图像自动标注。在Corel5K和互联网数据集上的实验表明：该算法降低了日志噪声及片面性所带来的影响,提高了图像自动标注效率和质量。