基于深度学习的3D目标检测算法综述

随着自动驾驶领域对目标检测的精度和速度需求的提高,目标检测的研究从传统检测算法转向深度学习方向。由于2D目标检测算法存在小目标丢失等问题,基于深度学习的3D目标检测算法以能提供物体的位置、尺寸和方向等一些空间结构信息的优势,迅速在自动驾驶领域发展起来。首先,简单陈述了2D目标检测算法,将3D目标检测算法分成5个类别,分析了各类目标检测算法的优缺点;然后,详述了最新被提出的基于图神经网络(graph neural network, GNN)的2种算法;最后,对3D目标检测所应用的领域和其研究意义进行总结,并对3D目标检测今后可能发展的方向做出猜想。     

3D目标检测进展综述

目标检测算法应用广泛,一直是计算机视觉领域备受关注的研究热点。近年来,随着深度学习的发展,3D图像的目标检测研究取得了巨大的突破。与2D目标检测相比,3D目标检测结合了深度信息,能够提供目标的位置、方向和大小等空间场景信息,在自动驾驶和机器人领域发展迅速。文中首先对基于深度学习的2D目标检测算法进行概述;其次根据图像、激光雷达、多传感器等不同数据采集方式,分析目前具有代表性和开创性的3D目标检测算法;结合自动驾驶的应用场景,对比分析不同3D目标检测算法的性能、优势和局限性;最后总结了3D目标检测的应用意义以及待解决的问题,并对3D目标检测的发展方向和新的挑战进行了讨论和展望。     

基于深度学习的三维目标检测算法综述

随着自动驾驶行业的快速发展,基于深度学习的三维目标检测技术也得到了快速发展,目前自动驾驶汽车主要依赖图像与激光雷达点云进行环境感知。基于这两种数据的三维目标检测技术可提取出物体的空间结构信息,包括物体的姿态、尺寸、运动方向、形状等,因此该技术不仅可用于自动驾驶的感知,还可用于工业机器人对物体的识别与抓取,以及仓储机器人的视觉导航等。近年来,计算能力的提升、数据集的公开、深度学习的发展,为三维目标检测算法带来了巨大的变革。     

自动驾驶3D目标检测研究综述

精确实时地进行目标检测是自动驾驶车辆能够准确感知周围复杂环境的重要功能之一,如何对周围物体的尺寸、距离、位置、姿态等3D信息进行精准判断是自动驾驶3D目标检测的经典难题.服务于自动驾驶的3D目标检测已成为近年来炙手可热的研究领域,鉴于此,对该领域主要研究进展进行综述.首先,介绍自动驾驶感知周围环境各相关传感器的特点;其次,介绍3D目标检测算法并按照传感器获取数据类型将其分为:基于单目/立体图像的算法、基于点云的算法以及图像与点云融合的算法;然后,对每类3D目标检测的经典算法以及改进算法进行详细综述、分析、比较,梳理了当前主流自动驾驶数据集及其3D目标检测算法的评估标准,并对现有文献广泛采用的KITTI和NuScenes数据集实验结果进行对比及分析,归纳了现有算法存在的难点和问题;最后,提出自动驾驶3D目标检测在数据处理、特征提取策略、多传感器融合和数据集分布问题方面可能遇到的机遇及挑战,并对全文进行总结及展望.     

目标检测算法在交通场景中应用综述

目标检测是计算机视觉领域的重要研究任务,在机器人、自动驾驶、工业检测等方面应用广泛。在深度学习理论的基础上,系统性总结了目标检测算法的发展与研究现状,对两类算法的特点、优缺点和实时性进行对比。以交通场景中三类典型物体（非机动车、机动车和行人）为目标,从传统检测方法、目标检测算法、目标检测算法优化、三维目标检测、多模态目标检测和重识别六个方面分别论述和总结目标检测算法检测识别交通场景目标的研究现状与应用情况,重点介绍了各类方法的优势、局限性和适用场景。归纳了常用目标检测和交通场景数据集及评价标准,比较分析两类算法性能,展望目标检测算法在交通场景中应用研究的发展趋势,为智能交通、自动驾驶提供研究思路。     

面向自动驾驶目标检测的深度多模态融合技术

研究者关注利用多个传感器来提升自动驾驶中目标检测模型的准确率,因此对目标检测中的数据融合方法进行研究具有重要的学术和应用价值。为此,本文总结了近年来自动驾驶中深度目标检测模型中的数据融合方法。首先介绍了自动驾驶中深度目标检测技术和数据融合技术的发展,以及已有的研究综述;接着从多模态目标检测、数据融合的层次、数据融合的计算方法3个方面展开阐述,全面展现了该领域的前沿进展;此外,本文提出了数据融合的合理性分析,从方法、鲁棒性、冗余性3个角度对数据融合方法进行了讨论;最后讨论了融合方法的一些公开问题,并从挑战、策略和前景等方面作了总结。     

基于图像的自动驾驶3D目标检测综述——基准、制约因素和误差分析

从高分辨率图像中获取周边目标的精准3D位置和尺寸信息是实现自动驾驶控制和行为决策的基础,因此基于图像的3D目标检测是自动驾驶领域中的研究热点。已有学者对该领域方法论及成果进行了比较详细的综述,但对于导致现有方法检测精度不尽如意的制约因素未能进行深入系统的分析。考虑自动驾驶领域在工程应用方面的要求高,且现有方法以数据驱动类型为主,本文从常用数据集和评价基准、数据影响、方法论的制约因素和误差等角度,对学术界和产业界在3D目标检测方面的研究成果及行业应用进行较为系统的阐述。首先,从学术界探索成果以及自动驾驶行业的应用角度进行概要介绍。然后,从数据采集设备、数据精度和标注信息3方面详细分析总结了KITTI等4个通用数据集,并对这些数据集提出的主要评价指标进行对比分析。接着,从数据和方法论方面分析制约算法性能的主要因素及由此造成的误差影响。在数据方面,制约因素主要是数据精度、样本差异、标注数据量和标注规范;在方法论方面,制约因素主要包括先验几何关系、深度预测误差和数据模态等。最后,对国内外研究现状进行总结,并在数据集、评价指标和目标深度预测等方面提出了未来需要重点关注的研究方向。     

强化学习的自动驾驶控制技术研究进展

自动驾驶车辆的本质是轮式移动机器人,是一个集模式识别、环境感知、规划决策和智能控制等功能于一体的综合系统。人工智能和机器学习领域的进步极大推动了自动驾驶技术的发展。当前主流的机器学习方法分为：监督学习、非监督学习和强化学习3种。强化学习方法更适用于复杂交通场景下自动驾驶系统决策和控制的智能处理,有利于提高自动驾驶的舒适性和安全性。深度学习和强化学习相结合产生的深度强化学习方法成为机器学习领域中的热门研究方向。首先对自动驾驶技术、强化学习方法以及自动驾驶控制架构进行简要介绍,并阐述了强化学习方法的基本原理和研究现状。随后重点阐述了强化学习方法在自动驾驶控制领域的研究历史和现状,并结合北京联合大学智能车研究团队的研究和测试工作介绍了典型的基于强化学习的自动驾驶控制技术应用,讨论了深度强化学习的潜力。最后提出了强化学习方法在自动驾驶控制领域研究和应用时遇到的困难和挑战,包括真实环境下自动驾驶安全性、多智能体强化学习和符合人类驾驶特性的奖励函数设计等。研究有助于深入了解强化学习方法在自动驾驶控制方面的优势和局限性,在应用中也可作为自动驾驶控制系统的设计参考。     

基于YOLOv5的多任务自动驾驶环境感知算法

自动驾驶任务是当前深度学习研究的热门领域, 环境感知作为自动驾驶中最重要的模块之一, 是一项极具挑战性并具有深远意义的任务, 包括目标检测、车道线检测、可行驶区域分割等. 传统的深度学习算法通常只解决环境感知中的一个检测任务, 无法满足自动驾驶同时感知多种环境因素的需求. 本文使用YOLOv5作为骨干网络及目标检测分支, 结合实时语义分割网络ENet进行车道线检测和可行驶区域分割, 实现了多任务自动驾驶环境感知算法, 损失计算时采用$\alpha $-IoU提高回归精度, 对噪声有更好的鲁棒性. 实验表明, 在BDD100K数据集上, 本文提出的算法结构优于当前现有的多任务深度学习网络, 并且在GTX1080Ti上可达到76.3 FPS的速度.     

目标检测中的尺度变换应用综述

目标检测试图用给定的标签标记自然图像中出现的对象实例,已经广泛用于自动驾驶、监控安防等领域。随着深度学习技术的普及,基于卷积神经网络的通用目标检测框架获得了远好于其他方法的目标检测结果。然而,由于卷积神经网络的特性限制,通用目标检测依然面临尺度、光照和遮挡等许多问题的挑战。本文的目的是对卷积神经网络架构中针对尺度的目标检测策略进行全面综述。首先,介绍通用目标检测的发展概况及使用的主要数据集,包括通用目标检测框架的两种类别及发展,详述基于候选区域的两阶段目标检测算法的沿革和结构层面的创新,以及基于一次回归的目标检测算法的3个不同的流派。其次,对针对检测问题中影响效果的尺度问题的优化思路进行简单分类,包括多特征融合策略、针对感受野的卷积变形和训练策略的设计等。最后,给出了各个不同检测框架在通用数据集上对不同尺寸目标的检测准确度,以及未来可能的针对尺度变换的发展方向。     

自动驾驶场景的尺度感知实时行人检测

目的 行人检测是目标检测中的一个基准问题,在自动驾驶等场景有着较大的实用价值,在路径规划和智能避障方面发挥着重要作用。受限于现实的算法功耗和运行效率,在自动驾驶场景下行人检测存在检测速度不佳、遮挡行人检测精度不足和小尺度行人漏检率高等问题,在保证实时性的前提下设计一种适合行人检测的算法,是一项挑战性的工作。方法 本文旨在解决自动驾驶场景中耗时长、行人遮挡和小尺度行人检测结果精度低的问题,提出了一种尺度注意力并行检测算法（scale-aware and efficient object detection,Scale-aware EfficientDet）：在特征提取与检测中使用了EfficientDet的主干网络,保证算法效率和功耗的平衡;在行人遮挡方面,为了提高模型对遮挡现象的检测精度,引入了可以增强行人与其他物体之间特征差异的损失函数;在提高小目标行人检测精度方面,采用scale-aware双路网络算法来增加对小目标行人的检测精度。结果 本文选择Caltech行人数据集作为对比数据集,选取YOLO（you only look once）、YOLOv3、SA-FastRCNN（scale-aware fast region-based convolutional neural network）等算法进行对比,在运行效率方面,本文算法在连续输入单帧图像的情况下达到了35帧/s,多图像输入时达到了70帧/s的工作效率;在模型精度测试中,本文算法也略胜一筹。本文算法应用于2020年中国智能汽车大赛中,在安全避障环节皆获得满分。结论 本文设计的尺度感知的行人检测算法,在EfficientDet高性能检测器的基础上,通过结合损失函数、scale-aware双路子网络的改进,进一步提升了本文检测器的鲁棒性。     

一种基于卷积神经网络的疲劳驾驶检测方法

疲劳驾驶检测具有重要的警示作用,对检测方法的准确性和实时性均有较高要求。为此,提出了一种基于卷积神经网络的疲劳驾驶检测方法。首先,针对车内特定使用环境,对MTCNN算法进行了加速优化,在保证高准确率的同时检测速度提升高达27倍。其次,在实现人脸特征点精确定位基础上,提出了一种基于稀少特征点快速准确提取目标区域图像的ERFP（extracting images based on rare feature points）方法。再次,利用构建的眼、嘴数据集EMSD（eye and mouth state date sets）完成了眼、嘴部状态分类模型的训练。最终,利用训练得到的模型,结合相应的判定算法,实现了疲劳驾驶的检测判定。实验结果表明,该方法在实车环境下对瞌睡和哈欠行为的判定准确率均达到了96%以上,且每秒可完成约50帧图像的检测,具备良好的实时性。     

改进YOLOv5的小目标交通标志实时检测算法

在真实场景下准确实时检测小目标交通标志对自动驾驶有重要意义,针对YOLOv5算法检测小目标交通标志精度低的问题,提出一种基于改进YOLOv5的小目标交通标志实时检测算法。借鉴跨阶段局部网络思想,在YOLOv5的空间金字塔池化上设置新的梯度路径,强化特征提取能力;在颈部特征融合中增设深、浅卷积特征的可学习自适应权重,更好地融合深层语义和浅层细节特征,提高小目标交通标志的检测精度。为验证所提算法的优越性,在TT100K交通标志数据集上进行了实验验证。实验结果表明所提算法在小目标交通标志上的平均精度均值（mean average precision,mAP）为77.3%,比原始YOLOv5提升了5.4个百分点,同时也优于SSD、RetinaNet、YOLOX、SwinTransformer等算法的检测结果。所提算法的运行速度为46.2 frame/s,满足检测实时性的要求。     

基于地面先验的3D目标检测算法

为了提高自动驾驶汽车环境感知的性能,增强单目相机对障碍物三维和边界信息的感知能力,提出了一种基于地面先验的3D目标检测算法。基于优化的中心网络(CenterNet)模型,以DLA(deep layer aggregation)为主干网络,增加目标3D边沿框中心点冗余信息预测。根据自动驾驶场景的地面先验信息,结合针孔相机模型,获取目标3D中心深度信息,以优化深度网络学习效果。使用KITTI 3D数据集评测算法性能,结果表明:在保证2D目标检测准确性的基础上,该算法运行帧率约20 fps,满足自动驾驶感知实时性要求;同时相比于CenterNet模型,在平均方位角得分(average orientation score)和鸟视图平均准确率(bird eye view AP)上分别有4.4和4.4%的性能提升。因而,该算法可以提高自动驾驶汽车对障碍物三维和边界信息的感知能力。     

Trajectory planning and tracking for autonomous overtaking: State-of-the-art and future prospects

Trajectory planning and trajectory tracking constitute two important functions of an autonomous overtaking system and a variety of strategies have been proposed in the literature for both functionalities. However, uncertainties in environment perception using the current generation of sensors has resulted in most proposed methods being applicable only during low-speed overtaking. In this paper, trajectory planning and trajectory tracking approaches for autonomous overtaking systems are reviewed. The trajectory planning techniques are compared based on aspects such as real-time implementation, computational requirements, and feasibility in real-world scenarios. This review shows that two important aspects of trajectory planning for high-speed overtaking are: (i) inclusion of vehicle dynamics and environmental constraints and (ii) accurate knowledge of the environment and surrounding obstacles. The review of trajectory tracking controllers for high-speed driving is based on different categories of control algorithms where their respective advantages and disadvantages are analysed. This study shows that while advanced control methods improve tracking performance, in most cases the results are valid only within well-regulated conditions. Therefore, existing autonomous overtaking solutions assume precise knowledge of surrounding environment which is not representative of real-world driving. The paper also discusses how in a connected driving environment, vehicles can access additional information that can expand their perception. Hence, the potential of cooperative information sharing for aiding autonomous high-speed overtaking manoeuvre is identified as a possible solution.     

自主移动机器人自适应室外道路检测

目的 为降低室外自主移动机器人视觉导航中遇到的阴影、裂纹及道路边界不规则造成的道路检测算法不鲁棒性,提出一种每帧灰度阈值可调的快速自适应道路检测方法。方法 先采用2维离散小波进行道路图像分解与重构,比较各级小波重构后的近似道路图像,确定出不影响“路-非路”灰度二分类的最佳分辨率等级;在低分辨率尺度空间中,用灰度类间最大方差和类内最小方差共同构造适应度函数,采用改进的遗传算法对各帧道路图像进行阈值自适应分割,找到准确的道路边界,最近两边界中心位置即机器人行驶方向。采用小型陆地自主车作为研究平台,并在卡耐基梅隆大学（CMU）提供的室外移动机器人道路视频中进行算法测试。结果 本文方法能够在具有阴影、裂纹、光照度变化的道路条件下鲁棒分割出道路边界,机器人可以平均30 km/h的速度在有较严重阴影干扰的校园道路上行驶,视觉系统的处理速度平均可达到20 ms/帧。结论 本文方法比传统的灰度直方图分割法表现出更强的环境自适应性,可实现较为鲁棒的室外道路检测,并可作为室外自主移动机器人非结构化道路检测的一种鲁棒性较强的方法加以推广。     

改进YOLOv3在航拍目标检测中的应用

近年来,基于深度学习的航拍目标检测在无人驾驶、军事侦察、灾害检测等领域有着广泛的应用,更精确、高效的算法是目前航拍目标检测研究的热点与难点。提出一种基于改进YOLOv3算法的航拍目标检测方法,对航拍数据集进行目标先验框维度聚类、优化锚点参数,提高了网络对航拍目标的检测有效性。同时对原网络进行改进,减少部分卷积操作并引入跳跃连接机制降低特征冗余,提高了检测准确率,并降低了小目标的误检率与漏检率。实验结果表明,改进YOLOv3算法相较于原始YOLOv3算法的效果有明显提升,对于较高分辨率的航拍图像,加快了网络的收敛速度,并在保证实时性的前提下,将检测平均准确率（mean Average Precision,mAP）提高了12.7%。     

Deep Learning for Object Detection: A Survey

Object detection is one of the most important and challenging branches of computer vision, which has been widely applied in people s life, such as monitoring security, autonomous driving and so on, with the purpose of locating instances of semantic objects of a certain class. With the rapid development of deep learning algorithms for detection tasks, the performance of object detectors has been greatly improved. In order to understand the main development status of target detection, a comprehensive literature review of target detection and an overall discussion of the works closely related to it are presented in this paper. This paper various object detection methods, including one-stage and two-stage detectors, are systematically summarized, and the datasets and evaluation criteria used in object detection are introduced. In addition, the development of object detection technology is reviewed. Finally, based on the understanding of the current development of target detection, we discuss the main research directions in the future.