基于稀疏Transformer的雷达点云三维目标检测

随着计算机视觉技术的发展,基于点云的三维目标检测算法被广泛应用于自动驾驶、机器人控制等领域。针对点云稀疏条件下基于点云三维目标检测算法鲁棒性较差、检测精度低的问题,提出基于稀疏Transformer的三维目标检测算法。在注意力矩阵生成阶段,通过稀疏Transformer模块显式选择Top-t个权重元素,以保留有利于特征提取的权重元素,在降低环境噪点对鲁棒性影响的同时加快Transformer模块的运行速度。在回归阶段,将基于空间特征粗回归模块生成的边界框作为检测头模块的初始锚框,用于后续边界框的精细回归操作。设计基于体素的三维目标检测算法的损失函数,以精确地衡量类别损失、位置回归损失和方向损失。在KITTI数据集上的实验结果表明,相比PointPillars算法,该算法的平均精度均值提高3.46%,能有效提高点云三维目标的检测精度且具有较优的鲁棒性。相比原始Transformer模块,所提稀疏Transformer模块在点云图像上的平均运行速度加快了约0.54 frame/s。     

基于原始点云的三维目标检测算法

针对当前三维目标检测中存在的数据降采样难、特征提取不充分、感受野有限、候选包围盒回归质量不高等问题,基于3DSSD三维目标检测算法,提出了一种基于原始点云、单阶段、无锚框的三维目标检测算法RPV-SSD(random point voxel single stage object detector),该算法由随机体素采样层、3D稀疏卷积层、特征聚合层、候选点生成层、区域建议网络层共五个部分组成,主要通过聚合随机体素采样的关键点逐点特征、体素稀疏卷积特征、鸟瞰图特征,进而实现对物体类别、3D包围盒以及物体朝向的预测。在KITTI数据集上的实验表明,该算法整体表现良好,不仅能够命中真值标签中的目标并且回归较好的包围盒,还能够从物体的不完整点云推测出物体的类别及其完整形状,提高目标检测性能。     

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

针对无人机（UAV）跟踪过程中垂直跟踪框在处理尺度变化、相似物体和纵横比变化时限制了跟踪精度提升的问题,提出一种基于像素分类的多尺度UAV航拍目标旋转跟踪算法。首先,设计MS-ResNet以提取目标多尺度特征;然后,在具有正交特性的多通道响应图上设计像素二分类模块,从而进一步精确细化分类和回归分支的结果;同时,为了提高像素分类精度,使用并行通道空间注意力（scSE）模块在空间域和通道域上筛选目标特征;最后,在像素分类基础上生成贴合目标实际大小的旋转跟踪框,从而避免正样本受到污染。实验结果表明：所提算法在无人机跟踪数据集UAV123上的成功率和准确率分别为60.7%和79.5%、与孪生区域建议跟踪网络（SiamRPN）相比,成功率与准确率分别提升了5个百分点、2.7个百分点,同时速度为67.5 FPS,满足实时要求。所提算法具有良好的尺度适应能力、辨别能力和鲁棒性,能有效应对UAV跟踪任务。     

基于深度学习的道路障碍物检测方法

针对基于激光雷达（LiDAR）的三维点云数据处理及道路障碍物检测的问题,提出一种基于深度学习的路障碍物检测方法。首先,采用统计滤波算法对原始点云进行离群点的剔除处理;其次,提出一种端到端的深度神经网络VNMax,利用最大池化对区域候选网络（RPN）架构进行优化,构建改进的目标检测层;最后,在KITTI数据集上进行了训练及测试实验。结果显示,经过滤波处理,点云中各点之间的平均距离得到有效减少。通过对在KITTI数据集的简单、中等和困难任务的车辆定位处理结果比较得出,所提方法的平均精度比VoxelNet（Unofficial）分别提高了11.3个百分点、6.02个百分点和3.89个百分点。实验测试结果表明,统计滤波算法仍是有效的三维点云数据处理手段,最大池化模块可以提高深度神经网络的学习性能和目标定位能力。     

Kalman滤波与模板更新结合的SiamRPN目标跟踪

针对SiamRPN跟踪算法在目标快速运动时跟踪目标易丢失以及模板不更新影响跟踪效果问题，提出一种Kalman滤波与模板更新相结合的SiamRPN目标跟踪方法。利用训练好的SiamRPN跟踪算法对目标进行跟踪，并将上一帧目标物体的中心点位置及速度输入卡尔曼滤波器，当RPN网络得到的跟踪框响应得分较低时，利用卡尔曼滤波器重新预测目标位置，搜索得到新的跟踪框。并根据上一帧目标的速度，自适应扩大搜索区域。重新设计并训练了模板更新网络，并在其中添加了通道注意力机制，在跟踪过程中对目标模板迭代更新。实验结果表明，该算法在OTB2015的成功率和精确率分别为67.2%和89.1%，在VOT2016的EAO提升24.3%，与其他算法相比在解决目标形变和运动模糊问题具有显著优势。     

融合图像特征的单阶段点云目标检测

使用图像信息补充三维点云的几何和纹理信息,可以对三维物体进行有效地检测与分类。为了能够更好地将图像特征融入点云,设计了一个端到端的深度神经网络,提出了一个新颖的融合模块PI-Fusion(point cloud and image fusion),使用图像特征以逐点融合的方式来增强点云的语义信息。另外,在点云下采样的过程中,使用距离最远点采样和特征最远点采样的融合采样方式,以在小目标上采样到更多的点。经过融合图像和点云特征的三次下采样之后,通过一个候选点生成层将点移动到目标物体的中心。最后,通过一个单阶段目标检测头,得出分类置信度和回归框。在公开数据集KITTI的实验表明,与3DSSD相比,此方法在简单、中等、困难难度的检测上分别提升了3.37、1.92、1.58个百分点。     

基于点云补全和多分辨Transformer的弱感知目标检测方法

针对远距离或遮挡场景中形状缺失的弱感知目标的检测精确率低下的问题,提出一种基于点云补全和多分辨Transformer的弱感知目标检测方法（WP-CMT）。首先,考虑到目标检测网络中的下采样卷积操作会导致部分关键信息的丢失,选取具有反卷积上采样结构的部分感知聚合（Part-A2）方法作为基础网络以生成初始候选框;然后,为增强初始候选框中的弱感知目标形状及位置特征,采用点云补全模块重构弱感知目标表面的密集点集,并构建新颖的多分辨Transformer特征编码模块来聚合弱感知目标的补全形状特征和原始空间位置信息,通过逐步编码不同分辨率局部坐标点集上的聚合特征的上下文语义相关性来捕获弱感知目标增强的局部特征,最终生成精细化的目标检测框。实验结果表明：对于KITTI和Waymo数据集中的弱感知困难级别目标,WP-CMT的平均精确率和平均精确率均值分别比基准方法 Part-A2提升了2.51和1.59个百分点,验证了该方法对弱感知目标检测的有效性。同时,消融实验结果表明WP-CMT中的点云补全和多分辨Transformer特征编码模块对于不同类型的区域候选网络（RPN）结构均能有效提升弱感知目标的...     

基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法

为解决判别式相关滤波（DCF）跟踪算法在跟踪目标旋转或非刚性形变时的模型漂移、尺度粗糙、跟踪失败问题,提出一种基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法（DWOP-EFO）。首先,同时采用矩形框之间的重叠度和中心距离作为动态锚框质量评价的依据,能够缩小预测结果与目标区域之间的空间距离,缓解模型漂移问题;其次,为了进一步提高跟踪精度,采用轻量化的目标分割网络将目标从背景中分割出来,再利用椭圆拟合算法对分割轮廓进行优化并输出稳定的旋转矩形框,实现对目标尺度的精确估计;最后,通过尺度置信度优化策略对置信度高的尺度结果实现门控输出。所提算法能缓解模型漂移问题,同时有利于增强跟踪器的鲁棒性和提升跟踪精度。在两个最为流行的评测数据集VOT2018和OTB100上进行了实验,结果表明：在VOT2018数据集上,所提算法的期望平均重叠率（EAO）指标比基于重叠度最大化准确跟踪算法（ATOM）提高2.2个百分点,相较于基于可学习的判别模型跟踪器（DiMP）提高1.9个百分点;同时,所提算法在OTB100评测数据集上的成功率指标比ATOM高出1.3个百分点,特别是在非刚性形变属性上效果显著。所提算法在评测数据集上的平均运行速率均超过25 frame/s实现了实时跟踪。     

基于注意力机制的单阶段目标检测锚点框部件感知特征表达

针对现有单阶段目标检测算法锚点框特征表达不足影响检测精度的问题,提出了一种增强锚点框特征表达的算法,其包含注意力机制模块和部件感知模块.首先,注意力机制模块根据各个锚点框的不同属性自适应地提供不同的特征表达.然后,部件感知模块准确地提取各个锚点框内部的判别性部件特征以作为各个锚点框进行预测所需的特有特征.将所提设计与现有SSD算法结合并在多个公开的目标检测数据集上进行实验,结果表明,所提算法能够显著提高单阶段目标检测算法的精度并维持实时运行速度(14 ms);进一步地,在扩展实验上的结果表明,所提算法也能够改善生成的区域建议框的召回率及两阶段目标检测算法的精度.     

面向多模态交互式融合与渐进式优化的三维视觉理解

三维视觉理解旨在智能地感知和解释三维场景,实现对物体、环境和动态变化的深入理解与分析。三维目标检测作为其核心技术,发挥着不可或缺的作用。针对当前的三维检测算法对于远距离目标和小目标检测精度较低的问题,提出了一种面向多模态交互式融合与渐进式优化的三维目标检测方法MIFPR。在特征提取阶段,首先引入自适应门控信息融合模块。通过把点云的几何特征融入图像特征中,能够获取对光照变化更有辨别力的图像表示。随后提出基于体素质心的可变形跨模态注意力模块,以驱使图像中丰富的语义特征和上下文信息融合到点云特征中。在目标框优化阶段,提出渐进式注意力模块,通过学习、聚合不同阶段的特征,不断增强模型对于精细化特征的提取与建模能力,逐步优化目标框,以提升对于远距离、小目标的检测精度,进而提高对于视觉场景理解的能力。在KITTI数据集上,所提方法对于Pedestrian和Cyclist等小目标的检测精度较最优基线有明显提升,证实了该方法的有效性。     

R-VPCG: RGB image feature fusion-based virtual point cloud generation for 3D car detection

Although 3D object detection methods based on feature fusion have made great progress, the methods still have the problem of low precision due to sparse point clouds. In this paper, we propose a new feature fusion-based method, which can generate virtual point cloud and improve the precision of car detection. Considering that RGB images have rich semantic information, this method firstly segments the cars from the image, and then projected the raw point clouds onto the segmented car image to segment point clouds of the cars. Furthermore, the segmented point clouds are input to the virtual point cloud generation module. The module regresses the direction of car, then combines the foreground points to generate virtual point clouds and superimposed with the raw point cloud. Eventually, the processed point cloud is converted to voxel representation, which is then fed into 3D sparse convolutional network to extract features, and finally a region proposal network is used to detect cars in a bird’s-eye view. Experimental results on KITTI dataset show that our method is effective, and the precision have significant advantages compared to other similar feature fusion-based methods.     

基于定位不确定性的鲁棒3D目标检测方法

针对3D点云训练数据因人工标注不精确而导致模型定位不准确的问题,提出了一种基于定位不确定性的鲁棒3D目标检测方法。首先,以基于3D体素网格的稀疏嵌入卷积检测（SECOND）网络作为基础网络,在候选区域生成网络（RPN）的基础上增加对定位不确定性的预测;然后,在训练过程中使用高斯和拉普拉斯两种分布模型对定位不确定性进行建模,并对定位损失函数进行重新定义;最后,在预测过程中结合定位不确定性和分类置信度作为目标置信度,使用阈值过滤和非极大值抑制（NMS）方法筛选候选目标。实验结果表明,在KITTI 3D目标检测数据集上,所提算法对于车辆类别的检测准确率在中等难度上比SECOND网络提高了0.5个百分点;当在训练数据中额外加入扰动模拟噪声的情况下,所提算法的检测准确率比SECOND网络最多提高了3.1个百分点。所提算法提高了3D目标检测准确率,减少了误检且提高了3D边界框的精度,并且对于带噪声的数据更鲁棒。     

多尺度Transformer激光雷达点云3D物体检测

激光雷达点云3D物体检测,对于小物体如行人、自行车的检测精度较低,容易漏检误检,提出一种多尺度Transformer激光雷达点云3D物体检测方法MSPT-RCNN(multi-scale point transformer-RCNN),提高点云3D物体检测精度.该方法包含两个阶段,即第一阶段(RPN)和第二阶段(RCN...     

3D Object Detection with Attention: Shell-Based Modeling

LIDAR point cloud-based 3D object detection aims to sense the surrounding environment by anchoring objects with the Bounding Box (BBox). However, under the three-dimensional space of autonomous driving scenes, the previous object detection methods, due to the pre-processing of the original LIDAR point cloud into voxels or pillars, lose the coordinate information of the original point cloud, slow detection speed, and gain inaccurate bounding box positioning. To address the issues above, this study proposes a new two-stage network structure to extract point cloud features directly by PointNet++, which effectively preserves the original point cloud coordinate information. To improve the detection accuracy, a shell-based modeling method is proposed. It roughly determines which spherical shell the coordinates belong to. Then, the results are refined to ground truth, thereby narrowing the localization range and improving the detection accuracy. To improve the recall of 3D object detection with bounding boxes, this paper designs a self-attention module for 3D object detection with a skip connection structure. Some of these features are highlighted by weighting them on the feature dimensions. After training, it makes the feature weights that are favorable for object detection get larger. Thus, the extracted features are more adapted to the object detection task. Extensive comparison experiments and ablation experiments conducted on the KITTI dataset verify the effectiveness of our proposed method in improving recall and precision.     

点云场景下基于结构感知的车辆检测

在自动驾驶领域,计算机对周围环境的感知和理解是必不可少的.其中,相比于二维目标检测,三维点云目标检测可以提供二维目标检测所不具有的物体的三维方位信息,这对于安全自动驾驶是至关重要的.针对三维目标检测中原始输入点云到检测结果之间跨度大的问题,首先,提出了基于结构感知的候选区域生成模块,其中定义了每个点的结构特征,充分利用了三维点云目标检测数据集提供的监督信息,通过预测该特征,网络可以学习到更具有鉴别能力的特征,从而提高候选框的生成质量;其次,将该特征加入到候选框微调阶段中,使得点云上下文特征和局部特征更加丰富.在三维点云目标检测数据集进行了实验,结果表明,文中方法能够在增加极少计算量的前提下,在候选区域生成阶段使用50个候选框0.7的IoU阈值下,提高超过13%的召回率;在候选框微调阶段,3种难度目标框的检测效果均有明显提升,表明了该方法对三维点云目标检测的有效性.     

基于语义分割引导的三维目标检测

三维目标检测是计算机视觉领域的热门研究内容之一。在自动驾驶系统中,三维目标检测技术 通过捕获周围的点云信息与 RGB 图像信息,对周围物体进行检测,从而为车辆规划下一步的行进路线。因此, 通过三维目标检测实现对周边环境的精准检测与感知是十分重要的。针对三维目标检测技术中随机采样算法导 致前景点丢失的问题,首先提出了基于语义分割的随机采样算法,通过预测的语义特征指导采样过程,提升了 前景点的采样比重,进而提高了三维目标检测精度;其次,针对三维目标检测定位置信度与分类置信度不一致 的问题,提出了 CL 联合损失,使得网络倾向于选择定位置信度与分类置信度都高的 3D 候选框,避免了传统 的 NMS 仅考虑分类置信度所带来的歧义问题。在 KITTI 三维目标检测数据集进行了实验,结果表明,该方法 能够在简单、中等、困难 3 个难度下均获得精度的提升,从而验证了其在三维目标检测任务中的有效性。     

融合稀疏点云补全的3D目标检测算法

基于雷达点云的 3D 目标检测方法有效地解决了 RGB 图像的 2D 目标检测易受光照、天气等因 素影响的问题。但由于雷达的分辨率以及扫描距离等问题,激光雷达采集到的点云往往是稀疏的,这将会影响 3D 目标检测精度。针对这个问题,提出一种融合稀疏点云补全的目标检测算法,采用编码、解码机制构建点 云补全网络,由输入的部分稀疏点云生成完整的密集点云,根据级联解码方式的特性,定义了一个新的复合损 失函数。除了原有的折叠解码阶段的损失之外,还增加了全连接解码阶段存在的损失,以保证解码网络的总体 误差最小,从而使得点云补全网络生成信息更完整的密集点云 Ydetail,并将补全的点云应用到 3D 目标检测任务 中。实验结果表明,该算法能够很好地将 KITTI 数据集中稀疏的汽车点云补全,并且有效地提升目标检测的精 度,特别是针对中等和困难等级的数据效果更佳,提升幅度分别达到 6.81%和 9.29%。