基于卷积神经网络的三维目标检测研究综述

深度学习尤其卷积神经网络为精确目标检测提供可能,推动三维目标检测在自动驾驶、机器人等领域发挥重要作用.文中综述基于卷积神经网络的三维目标检测研究进展.首先总结三维目标检测的应用价值、基本流程及存在的挑战.再介绍卷积神经网络基本原理、典型的二维目标检测网络结构、常用的开源数据集及点云表示形式等相关基础知识.然后介绍卷积神经网络在三维目标检测中的应用进展,根据不同数据模态及方法共性对方法进行梳理.最后对当前三维目标检测研究存在的问题进行论述,对未来的研究发展趋势进行展望.     

基于注意力机制的三维点云车辆目标检测

针对自动驾驶场景下三维点云车辆的识别和定位问题,提出了一种基于注意力机制的三维点云车辆目标检测算法.算法将稀疏无序的点云空间划分成等距规则的体素表示,用三维稀疏卷积和辅助网络同步从所有体素中提取内部点云特征,进而生成鸟瞰图.但在将内部三维的点云特征转化为二维的鸟瞰图后,通常会造成目标空间特征信息丢失,使得最终检测结果以及方向性预估差.为进一步提取鸟瞰图中特征信息,提出了一种注意力机制模块,其中包含两种注意力模型,并对其采用首、中、尾的"立体式"布局结构,实现对鸟瞰图中特征信息的放大和抑制,最后使用卷积神经网络和PS-Warp变换机制对处理过后的鸟瞰图进行三维目标检测.实验表明,该算法在保证实时检测效率的前提下,与现有算法相比,具有更好的方向预估性以及更高的检测精度.     

结合图采样和图注意力的3D目标检测方法

在点云中进行三维目标检测时,小目标和复杂背景下目标的检测精度不足是突出的问题之一。针对该问题,提出了一种基于图采样和图注意力机制的3D点云目标检测方法。减小基准网络下采样体素大小以保持小目标的点云密度;引入图采样降低在点云中构造拓扑图的代价;通过对图采样前后的图分别嵌入自注意力机制,提高网络的特征提取能力。在KITTI数据集上与基准网络Point-GNN相比,对汽车目标在复杂场景上的检测精度提升了1.96%,对行人与骑行者目标在中等难度场景和复杂场景上的检测精度分别提升4.21%和2.57%;与Point-GNN相比,减少了15%的训练时间。实验结果表明,设计的方法对于3D点云中小目标和复杂背景下目标的检测更加有效,图采样方法还能够提升模型的训练效率。     

RFNet: 用于三维点云分类的卷积神经网络

由于点云的非结构性和无序性, 目前已有的点云分类网络在精度上仍然需要进一步提高. 通过考虑局部结构的构建、全局特征聚合和损失函数改进三个方面, 构造一个有效的点云分类网络. 首先, 针对点云的非结构性, 通过学习中心点特征与近邻点特征之间的关系, 为不规则的近邻点分配不同的权重, 以此构建局部结构; 然后, 使用注意力思想, 提出加权平均池化(Weighted average pooling, WAP), 通过自注意力方式, 学习每个高维特征的注意力分数, 在应对点云无序性的同时, 可以有效地聚合冗余的高维特征; 最后, 利用交叉熵损失与中心损失之间的互补关系, 提出联合损失函数(Joint loss function, JL), 在增大类间距离的同时, 减小类内距离, 进一步提高了网络的分类能力. 在合成数据集ModelNet40、ShapeNetCore和真实世界数据集ScanObjectNN上进行实验, 与目前性能最好的多个网络相比较, 验证了该整体网络结构的优越性.     

基于三维点云的阶梯目标检测与参数估计

阶梯目标检测与阶梯三维模型构建对移动机器人自主导航和运动规划具有重要意义.针对实际应用中阶梯目标结构的多样性以及点云分布的不确定性等特点,提出一种基于阶梯拓扑模型和模糊集理论的自适应阶梯目标检测与参数估计方法.利用阶梯剖面模型的拓扑关系与直方图算法,可有效提高阶梯边缘位置估计的精度及鲁棒性.采用同级线段提取与跨级线段接合策略,可实现对候选阶梯边缘线集合的准确构建.在此基础上,通过模糊变换和自适应模糊推理估计各级候选阶梯边缘线之间的级联概率,并采用模拟退火算法搜索全局最优的候选阶梯边缘线组合,从而实现对阶梯三维模型参数的有效估计.实验结果及数据分析验证了所提方法的有效性和实用性.     

伪激光点云增强的道路场景三维目标检测

目的 针对激光雷达点云稀疏性导致小目标检测精度下降的问题,提出一种伪激光点云增强技术,利用图像与点云融合,对稀疏的小目标几何信息进行补充,提升道路场景下三维目标检测性能。方法 首先,使用深度估计网络获取双目图像的深度图,利用激光点云对深度图进行深度校正,减少深度估计误差;其次,采用语义分割的方法获取图像的前景区域,仅将前景区域对应的深度图映射到三维空间中生成伪激光点云,提升伪激光点云中前景点的数量占比;最后,根据不同的观测距离对伪激光点云进行不同线数的下采样,并与原始激光点云进行融合作为最终的输入点云数据。结果 在KITTI （Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago）数据集上的实验结果表明,该方法能够提升多个最新网络框架的小目标检测精度,以典型网络SECOND（sparselyembedded convolutional detection）、MVX-Net （multimodal voxelnet for 3D object detection）、Voxel-RCNN为例,在困难等级下,三维目标检测精度分别获得8.65%、7.32%和6.29%的大幅提升。结论 该方法适用于所有以点云为输入的目标检测网络,并显著提升了多个目标检测网络在道路场景下的小目标检测性能。该方法具备有效性与通用性。     

基于深度学习的点云三维目标检测方法综述

点云作为一种三维环境数据因其具有较高的精度一直被广泛关注并应用于多种场景任务之中。近年来,深度学习进入点云领域,让点云数据处理得到快速发展。针对基于深度学习的点云三维目标检测任务,首先分析了点云数据的特性并列举了日常任务中常用的点云数据集,随后通过单模态的三维目标检测与多模态的三维目标检测两个方向进行分类阐述,并通过单模态与多模态方法在数据集上的表现作比对。最后对当前点云三维目标检测研究的发展趋势进行展望与总结。     

基于语义分割引导的三维目标检测

三维目标检测是计算机视觉领域的热门研究内容之一。在自动驾驶系统中,三维目标检测技术通过捕获周围的点云信息与RGB图像信息,对周围物体进行检测,从而为车辆规划下一步的行进路线。因此,通过三维目标检测实现对周边环境的精准检测与感知是十分重要的。针对三维目标检测技术中随机采样算法导致前景点丢失的问题,首先提出了基于语义分割的随机采样算法,通过预测的语义特征指导采样过程,提升了前景点的采样比重,进而提高了三维目标检测精度;其次,针对三维目标检测定位置信度与分类置信度不一致的问题,提出了CL联合损失,使得网络倾向于选择定位置信度与分类置信度都高的3D候选框,避免了传统的NMS仅考虑分类置信度所带来的歧义问题。在KITTI三维目标检测数据集进行了实验,结果表明,该方法能够在简单、中等、困难3个难度下均获得精度的提升,从而验证了其在三维目标检测任务中的有效性。     

基于改进YOLOv3的高分辨率遥感图像复合目标检测

遥感图像的复合目标相对单一目标而言,存在多个结构,结构之间存在一定差异。本文围绕复合目标多变性、复杂性,大宽幅遥感影像背景复杂,存在较多和待检复合目标特征相似的区域,检测准确率较低等问题,开展基于高分辨率遥感图像的复合目标检测研究。首先开展目标特性分析和样本数据标注;然后提出一种基于Coordinate Attention注意力机制和Focal Loss损失函数的改进YOLOv3检测算法;最后以篮球场这种复合目标为例进行实验。实验结果表明,改进后的算法与原YOLOv3算法相比,召回率和平均检测准确率分别提高了10.3个百分点和28.8个百分点。该结果验证了所提方案的可行性、合理性。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的3D目标检测方法有效地解决了RGB图像的2D目标检测易受光照、天气等因素影响的问题.但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响3D目标检测精度.针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点云补全网络,由输入的部分稀疏点云生成完整的密...     

基于深度卷积神经网络的点云三维目标识别方法研究

为了提高对三维点云目标的识别精确度,提出一种基于深度卷积神经网络(CNN,convolutional neural network)的点云目标识别模型;针对已有的深度卷积点云目标识别网络无法有效提取点云局部拓扑特征的问题,采用迭代最远点采样(FPS,terative farthest point sampling)结合方向卷积编码方式来捕获局部形状特征;并引入空间变换网络(STN,spatial transform network)使点云数据能够自适应进行空间变换和对齐,以解决点云数据旋转性会造成目标识别结果不稳定的问题;实验结果表明：文中提出的点云目标识别方法有效提高了识别精度度,相较于PointNet在ModelNet40和ShapeNetCore两个数据集上分别提高1.2%和1.4%。     

基于伪点云特征增强的多模态三维目标检测方法

环境感知是自动驾驶汽车落地的关键技术之一,它对于提高自动驾驶汽车的安全性和可靠性至关重要.三维目标检测是其中的一项核心任务,旨在识别和定位三维空间中的物体,为后续决策提供重要的信息.点云和图像是该任务最常用的输入数据,点云由三维空间中不规则分布的点组成,而图像则是由二维空间上规则分布的像素组成.因此,点云和图像之间难以进行有效的融合.而伪点云作为一种点云表征的图像信息,近几年受到了该领域学者的广泛关注.现阶段基于伪点云的三维目标检测方法还存在伪点云特征提取粗糙和相应感兴趣区域(Region-of-Intersts, Ro I)特征表征能力差的问题.本文针对上述问题开展研究,分别提出细粒度注意力卷积和多尺度分组稀疏卷积.细粒度注意力卷积将规则图像处理中常用的深度可分离卷积引入不规则点云的处理流程,并在此基础上嵌入通道和分组注意力机制,进行精细的特征提取,增强伪点云特征;多尺度分组稀疏卷积将格网池化后的Ro I特征分组,进行差异化特征学习,获取不同尺度的Ro I特征,增强伪点云Ro I格网特征的表征能力.基于此,本文在SFD(Sparse Fuse Dense)网络的伪点云特征提取流程中引...     

点云场景下基于结构感知的车辆检测

在自动驾驶领域,计算机对周围环境的感知和理解是必不可少的.其中,相比于二维目标检测,三维点云目标检测可以提供二维目标检测所不具有的物体的三维方位信息,这对于安全自动驾驶是至关重要的.针对三维目标检测中原始输入点云到检测结果之间跨度大的问题,首先,提出了基于结构感知的候选区域生成模块,其中定义了每个点的结构特征,充分利用...     

基于稀疏Transformer的雷达点云三维目标检测

随着计算机视觉技术的发展,基于点云的三维目标检测算法被广泛应用于自动驾驶、机器人控制等领域。针对点云稀疏条件下基于点云三维目标检测算法鲁棒性较差、检测精度低的问题,提出基于稀疏Transformer的三维目标检测算法。在注意力矩阵生成阶段,通过稀疏Transformer模块显式选择Top-t个权重元素,以保留有利于特征提取的权重元素,在降低环境噪点对鲁棒性影响的同时加快Transformer模块的运行速度。在回归阶段,将基于空间特征粗回归模块生成的边界框作为检测头模块的初始锚框,用于后续边界框的精细回归操作。设计基于体素的三维目标检测算法的损失函数,以精确地衡量类别损失、位置回归损失和方向损失。在KITTI数据集上的实验结果表明,相比PointPillars算法,该算法的平均精度均值提高3.46%,能有效提高点云三维目标的检测精度且具有较优的鲁棒性。相比原始Transformer模块,所提稀疏Transformer模块在点云图像上的平均运行速度加快了约0.54 frame/s。     

基于激光雷达的无人驾驶系统三维车辆检测

本文以开发一套应用于无人驾驶的三维目标检测系统为目标,利用光学成像生成的图像纹理的丰富性、易于辨识场景、点云数据准确的距离信息和深度信息等优点,选择激光雷达和光学相机作为硬件平台,提取有效的场景信息。通过在汽车指定位置安装激光雷达和光学相机,固定其位姿,将激光雷达和相机统一在同一个坐标系中,融合单帧的点云和图像数据重建场景,更好地认知车辆周边的环境,再对融合的数据通过深度学习方法与传统方法识别三维场景地图中物体的位置和种类。