基于深度学习的点云三维目标检测方法综述

点云作为一种三维环境数据因其具有较高的精度一直被广泛关注并应用于多种场景任务之中。近年来,深度学习进入点云领域,让点云数据处理得到快速发展。针对基于深度学习的点云三维目标检测任务,首先分析了点云数据的特性并列举了日常任务中常用的点云数据集,随后通过单模态的三维目标检测与多模态的三维目标检测两个方向进行分类阐述,并通过单模态与多模态方法在数据集上的表现作比对。最后对当前点云三维目标检测研究的发展趋势进行展望与总结。     

基于中心点距离关联的三维多目标跟踪算法

三维多目标跟踪技术在自动驾驶中发挥着重要的作用,许多基于检测的三维多目标跟踪方法被提出。数据关联是多目标跟踪中的关键步骤,基于中心点的检测网络在三维多目标检测上的有效性得到了广泛验证。因此,充分利用检测框与跟踪框之间的中心点距离信息,在三维多目标跟踪网络中,提出了基于中心点距离交并比（DIoU）的检测预处理以及数据关联优化算法。在公开数据集nuScenes上的实验结果表明,该网络与其他方法相比,在自行车、汽车以及行人等类别的平均跟踪精度上有明显提升,在ID切换次数上有较好的抑制效果。     

融合图像特征的单阶段点云目标检测

使用图像信息补充三维点云的几何和纹理信息,可以对三维物体进行有效地检测与分类。为了能够更好地将图像特征融入点云,设计了一个端到端的深度神经网络,提出了一个新颖的融合模块PI-Fusion(point cloud and image fusion),使用图像特征以逐点融合的方式来增强点云的语义信息。另外,在点云下采样的过程中,使用距离最远点采样和特征最远点采样的融合采样方式,以在小目标上采样到更多的点。经过融合图像和点云特征的三次下采样之后,通过一个候选点生成层将点移动到目标物体的中心。最后,通过一个单阶段目标检测头,得出分类置信度和回归框。在公开数据集KITTI的实验表明,与3DSSD相比,此方法在简单、中等、困难难度的检测上分别提升了3.37、1.92、1.58个百分点。     

融合点云与图像的环境目标检测研究进展

在数字仿真技术应用领域,特别是在自动驾驶技术的发展中,目标检测是至关重要的一个环节,它涉及对周围环境中物体的感知,为智能装备的决策和规划提供了关键信息。近年来,随着传感器技术的进步,图像和点云成为两种主要的感知数据源,它们各自在基于深度学习技术的目标检测方法研究中具有独特的优势。为了更加全面地对现有基于点云和图像的目标检测方法进行研究,本文对基于图像、点云及两者联合的 3 类目标检测算法进行系统的梳理和总结,旨在探索如何将这两种数据源融合起来,促进提高目标检测的准确性、稳定性和鲁棒性,并对融合点云和图像的环境目标检测发展方向进行展望。     

基于图像与点云的三维障碍物检测

为提高平截头点云网络在三维障碍物检测中的精度,基于平截头点云网络的结构提出一种扩张平截头点云的检测方法。采用图像和点云数据,使用二维目标检测网络Yolov3,检测障碍物的二维包围框;扩张包围框的大小,在点云数据中提取出障碍物对应的点云;通过改进的Pointnet网络对该点云计算,得到障碍物的三维信息。在原模型基础上,加入扩张包围框,提高点云数据提取的完整性。通过KITTI数据集的验证和测试,实验结果表明,通过扩张二维包围框可以有效提高检测网络的性能。     

基于多重信息融合与轨迹关联修正的多目标跟踪方法

一阶段多目标跟踪框架由于可以有效提升算法跟踪效率而备受关注,然而该框架在提升效率的同时忽略了检测与关联任务间信息的交互,且目标遮挡的频发会导致轨迹碎片的增加,从而影响跟踪效果.针对这些问题,提出基于多重信息融合与轨迹关联修正的多目标跟踪方法.通过无锚一阶段主干网络,在检测器上另外建立跟踪分支预测跟踪偏移量和嵌入特征信息;设计中和匹配关联模块优化跨帧特征匹配方式,协调检测与关联任务,提升两任务间信息交互能力;采用多重信息融合模块,对时空多层次特征进行融合以获得更加丰富的特征信息;提出轨迹关联修正网络处理因遮挡造成的轨迹碎片,通过改进数据关联方式评估碎片与检测低分目标关系,尝试找回遮挡目标轨迹;将提出的算法在MOT16和MOT17数据集上进行评估,并与其他优异的算法定量比较.通过分析实验结果可以发现,所提出的方法能有效缓解关键性问题,提升算法整体性能.     

基于模糊推理多传感信息融合的多目标跟踪

将模糊推理系统与多传感器顺序结构算法相结合，实现密集杂波环境中多目标的精确跟踪，采用模糊推理求解关联概率，并与雷达／红外跟踪系统相结合，在密集杂波环境中实现了对多目标的精确跟踪，仿真实验结果表明了所提出方法的有效性。     

RFNet: 用于三维点云分类的卷积神经网络

由于点云的非结构性和无序性, 目前已有的点云分类网络在精度上仍然需要进一步提高. 通过考虑局部结构的构建、全局特征聚合和损失函数改进三个方面, 构造一个有效的点云分类网络. 首先, 针对点云的非结构性, 通过学习中心点特征与近邻点特征之间的关系, 为不规则的近邻点分配不同的权重, 以此构建局部结构; 然后, 使用注意力思想, 提出加权平均池化(Weighted average pooling, WAP), 通过自注意力方式, 学习每个高维特征的注意力分数, 在应对点云无序性的同时, 可以有效地聚合冗余的高维特征; 最后, 利用交叉熵损失与中心损失之间的互补关系, 提出联合损失函数(Joint loss function, JL), 在增大类间距离的同时, 减小类内距离, 进一步提高了网络的分类能力. 在合成数据集ModelNet40、ShapeNetCore和真实世界数据集ScanObjectNN上进行实验, 与目前性能最好的多个网络相比较, 验证了该整体网络结构的优越性.     

多目标跟踪中联合概率数据关联优化算法

研究多目标实时精确跟踪问题,针对在战场目标密集和电磁环境复杂的情况下,经典多目标跟踪联合概率数据关联算法的计算量剧增,在目前的硬件条件下,算法的实时性和有效性已不能满足要求.为提高算法的计算速度和效率,通过量化可行联合事件中相匹配的量测与目标的统计距离,来定义优化计算的约束条件,从而构建能量函数,把搜索最优可行矩阵问题转化为整数规划问题,对算法进行改进.在分析优化条件完备性的基础上,构建DHN人工神经网络,利用非线性计算能力对整数规划问题进行求解,并采用温控扰动的办法提高收敛速度,降低计算量.仿真结果表明,算法能在复杂条件下实时有效地量测数据,准确分配给目标航迹.     

多目标跟踪数据关联及其改进算法

本文研究了多目标跟踪数据关联问题,针对联合概率数据关联算法的“组合爆炸”现象,介绍了一种改进算法,以较小的计算量直接计算后验概率。蒙特卡罗仿真表明,该算法在对多个目标进行跟踪时具有很好的性能。     

基于点云面的区域性三维重建及点云拼接*

目前基于点云面的三维重建方法中,重建的区域性选择存在着两个问题：重建区域过大会导致目标物体不明确,效果不佳,运行时间长;重建区域过小会导致目标物体不完整,信息丢失。针对重建窗口过大时,本文采用改进的snake的区域性重建算法,即通过轮廓提取只对窗口内的目标物进行重建;针对重建窗口过小时,本文采用基于投影面的点云拼接算法,即通过重建后的点云进行拼接的方法使目标物体恢复完整。以上两点改进弥补了点云三维重建及拼接时出现的应用局限性和不稳定性,减少重建时间,提高重建有效性,鲁棒性。     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

基于GMM-RBMCDA的实时监控多目标跟踪方法

为了有效提取视频监控场景中的前景目标信息并准确跟踪目标的状态,提出一种基于混合高斯模型和Rao-Blackwellized蒙特卡洛数据关联的视频多目标跟踪方法。该方法根据场景中像素点的特征信息,利用混合高斯模型进行建模,并对前景目标进行检测,使用Rao-Blackwellized蒙特卡洛数据关联算法来降低可能的目标交叉及杂波干扰带来的影响,通过设置目标存在和消失参数,实现了实时多目标跟踪。实验结果表明,该方法不仅能对场景中未知目标的个数进行有效估计,而且可以准确地跟踪目标的状态,取得了良好的实际效果。     

基于全融合网络的三维点云语义分割

为提高室内场景的点云语义分割精度,设计了一个全融合点云语义分割网络。网络由特征编码模块、渐进式特征解码模块、多尺度特征解码模块、特征融合模块和语义分割头部组成。特征编码模块采用逆密度加权卷积作为特征编码器对点云数据进行逐级特征编码,提取点云数据的多尺度特征;然后通过渐进式特征解码器对高层语义特征进行逐层解码,得到点云的渐进式解码特征。同时,多尺度特征解码器对提取的点云多尺度特征分别进行特征解码,得到点云多尺度解码特征。最后将渐进式解码特征与多尺度解码特征融合,输入语义分割头部实现点云的语义分割。全融合网络增强了网络特征提取能力的鲁棒性,实验结果也验证了该网络的有效性。     

结合图像分割和点云分割的障碍物检测算法

针对单目图像检测障碍物的低可靠性和当前双目视觉检测障碍物的局限性的问题,提出一种结合图像分割和点云分割技术的双目视觉障碍物检测方法。通过设定检测深度范围,分割障碍物点云与道路点云;采用将分割出的障碍物点云对应的视差图与图像分割得到的子图进行比较的策略,有效解决对不同深度、倾斜面和不规则障碍物检测效果差的问题。通过实验验证了在获得稀疏三维点云的情况下,该方法对障碍物的检测具有较好的鲁棒性。     

基于VTK的三维点云曲面重建研究

针对三维点云数据重建效率低、不能实时交互等问题,利用鲁棒性强的Power Crust算法和三维可视化类库Visualization Toolkit (VTK)的良好并行机制与强大的图像处理能力,实现了三维点云数据曲面快速重建.该算法使用Power Crust对三维点云进行曲面重建,接着对得到的网格进行线性调整、简化和平滑,最后引入VTK进行渲染、绘制、显示,并实时交互.实验结果表明,该算法可以加快散乱点云数据的重建速度,较好地保持了点云数据的拓扑结构,提高了曲面重建的精确性和鲁棒性,且交互性强,适合实时处理.     

全局多极团的分层关联多目标跟踪

目的 由于背景的复杂性,光照的多变性以及目标的相关性等因素的影响,使得多目标跟踪算法的鲁棒性相对较差。目前,在多目标跟踪问题中面临的主要挑战包括：遮挡、误检、目标运动的复杂性以及由于目标具有相似的外观特征所引起的模糊性。针对以上问题,提出一种基于全局多极团的分层关联多目标跟踪算法。方法 该方法以数据关联中的全局关联为依托,基于分层和网络流思想,跟踪采用两层框架,每一层中均利用较短的轨迹片段形成更长的轨迹,根据网络流思想,首先构建网络的无向图,其中无向图的结点是由几个轨迹片段构成的,无向图权值的确定是利用目标的运动模型和外观模型的线性组合得到,然后借助聚合虚拟结点处理目标之间的遮挡问题,接着重点加入空间约束以解决身份转换的问题。最后利用最大二值整数规划在叠加片段上求解无向图,同时得到多个极大团。结果 实验在公共数据集上进行,通过在TUD-Stadmitte、TUD-Crossing、PETS2009、Parking Lot 1、Parking Lot 2、Town Center这6个数据集上验证,该方法对各个数据集跟踪准确度均有提高,其中针对数据集TUD-Stadmitte提高了5%以上,针对数据集Town Center处理的身份转换数量减少了12个。结论 本文依据数据关联思想,提出一种全局多极团的分层关联多目标跟踪算法,其中重点加入的空间约束能有效地处理多目标跟踪问题,尤其涉及遮挡问题,效果更佳。在智能视频监控领域中该方法具有实际应用价值。     

应用于三维点云数据去噪的改进C均值算法

针对三维激光扫描仪采集到的点云数据中离群点不易区分和去噪难度大的问题,提出了一种改进的C均值算法。通过分析三维点云数据特征,在传统C均值算法中引入模糊聚类权重因子,降低类内距离和拉大类间距离,有效增强了离群点特征以降低识别难度。进而将识别出的噪声分类别处理,利用改进的C均值算法去除大尺度噪声,构造双边滤波算法去除小尺度噪声数据。与密度聚类算法、正交整体最小二乘平面拟合和基于特征选择的双边滤波点云去噪等算法相比,去噪准确度分别提升了7.3%、6.5%和6.0%,实验结果表明该算法可以有效去除大尺度噪声并能较好地保留有效数据。     

基于深度学习的三维点云人脸识别

为了增强三维点云人脸识别系统针对多表情、多姿态的鲁棒性,提出一种基于深度学习的点云特征提取网络ResPoint.ResPoint网络使用了分组、采样和局部特征提取(ResConv)等模块,而在ResConv模块中使用了跳跃式连接,因此所提网络对于稀疏点云有很好的识别结果.首先通过人脸几何特征点定位鼻尖点,并以该点为中心...