基于数据特征的多传感器融合实时目标检测

为了进一步降低目标检测出现的误检率,提出了一种基于传感器数据特征的融合目标检测算法。首先,为了减少部分离群噪声点对点云表达准确性的影响,采用统计滤波器对激光雷达原始点云进行滤波处理;其次,为了解决点云地面分割在坡度变化时,固定阈值会导致分割不理想的问题,提出了自适应坡度阈值的地面分割算法;然后,建立KD（k-dimensional）树索引,加速DBSCAN（density-based spatial clustering of applications with noise）点云聚类,基于Andrew最小凸包算法,拟合最小边界矩形,生成目标三维边界框,完成聚类后的目标点云位姿估计;最后,将激光雷达检测到的三维目标点云投影到图像上,投影边界框与图像检测的目标边界框通过IoU关联匹配,提出基于决策级的三维激光雷达与视觉图像信息融合算法。使用KITTI数据集进行的测试实验表明,提出的点云聚类平均耗时降低至173 ms,相比传统的欧氏距离聚类,准确性提升6%。搭建硬件实验平台,基于实测数据的实验结果表明,提出的融合算法在目标误检率上比YOLO v4网络降低了约10%。     

基于图像与点云的三维障碍物检测

为提高平截头点云网络在三维障碍物检测中的精度,基于平截头点云网络的结构提出一种扩张平截头点云的检测方法。采用图像和点云数据,使用二维目标检测网络Yolov3,检测障碍物的二维包围框;扩张包围框的大小,在点云数据中提取出障碍物对应的点云;通过改进的Pointnet网络对该点云计算,得到障碍物的三维信息。在原模型基础上,加入扩张包围框,提高点云数据提取的完整性。通过KITTI数据集的验证和测试,实验结果表明,通过扩张二维包围框可以有效提高检测网络的性能。     

面向三维点云单目标跟踪的提案聚合网络

与二维可见光图像相比,三维点云在空间中保留了物体真实丰富的几何信息,能够应对单目标跟踪问题中存在尺度变换的视觉挑战。针对三维目标跟踪精度受到点云数据稀疏性导致的信息缺失影响,以及物体位置变化带来的形变影响这两个问题,在端到端的学习模式下提出了由三个模块构成的提案聚合网络,通过在最佳提案内定位物体的中心来确定三维边界框从而实现三维点云中的单目标跟踪。首先,将模板和搜索区域的点云数据转换为鸟瞰伪图,模块一通过空间和跨通道注意力机制丰富特征信息;然后,模块二用基于锚框的深度互相关孪生区域提案子网给出最佳提案;最后,模块三先利用最佳提案对搜索区域的感兴趣区域池化操作来提取目标特征,随后聚合了目标与模板特征,利用稀疏调制可变形卷积层来解决点云稀疏以及形变的问题并确定了最终三维边界框。在KITTI跟踪数据集上把所提方法与最新的三维点云单目标跟踪方法进行比较的实验结果表明：在汽车类综合性实验中,真实场景中所提方法在成功率上提高了1.7个百分点,精确率上提高了0.2个百分点;在多类别扩展性实验上,即在汽车、货车、骑车人以及行人这4类上所提方法的平均成功率提高了0.8个百分点,平均精确率提高了2.8个百分点。可见,所提方法能够解决三维点云中的单目标跟踪问题,使得三维目标跟踪结果更加精确。     

基于激光雷达数据的行人检测

在自动驾驶领域涉及的众多任务中,行人识别是必不可少的技术之一。针对基于图像数据的行人检测算法无法获得行人深度的问题,提出了基于激光雷达数据的行人检测算法。该算法结合传统基于激光雷达数据的运动目标识别算法和基于深度学习的点云识别算法,可以在不依赖图像数据的条件下感知和检测行人,进而获取行人的准确三维位置,辅助自动驾驶控制系统作出合理决策。该算法在KITTI三维目标检测任务数据集上进行性能测试,中等难度测试达到33.37%的平均准确度,其表现领先于其他基于激光雷达的算法,充分证明了该方法的有效性。     

基于动态图卷积和离散哈特莱转换差异性池化的点云数据分类分割网络

针对目前可以直接处理原始点云数据的深度学习网络PointNet,忽略了点与点之间的拓扑关系和全局特征信息单一的缺陷,提出一种基于动态图卷积和离散哈特莱转换（DHT）差异性池化的点云数据分类分割网络。首先,设计动态图卷积模块构建局部邻域图结构,通过图卷积网络获得点与点之间的位置关系,同时采用动态更新图结构的方式,增强网络表征能力;然后,通过离散哈特莱转换将特征转换到指定维度;最后,通过最大池化和平均池化并联通道获得全局特征。实验结果证明：提出的网络模型与PointNet网络模型在同样的数据集和评价标准上对比,点云分类任务上总体精度提高2.6个百分点,部件分割任务平均交并比（mIoU）提高4.1个百分点,场景语义分割任务mIoU提高8.6个百分点。通过运用该网络模型能有效提升点云数据分类分割的准确率,同时该网络具有更强的鲁棒性。     

基于高斯函数的池化算法

针对卷积神经网络（CNN）中的传统池化算法不能很好地考虑到池化域内每个元素与该池化域所含特征之间关联性的问题,提出一种基于高斯函数的池化算法。首先根据池化域内各元素的值和所有元素的最大值计算高斯函数的三个参数值,然后运用高斯函数计算池化域内所有元素的权重,最后根据这些权重对池化域内所有元素值计算加权平均值,并以此作为池化结果。选择LeNet5、VGG16、ResNet18和MobileNet v3作为实验模型,在公开数据集CIFAR-10、Fer2013和德国交通标志识别基准（GTSRB）上进行实验,并与最大池化、平均池化、随机池化、混合池化、模糊池化、融合随机池化和soft池化这七种池化算法进行对比。实验结果表明,所提算法在三个数据集上相较其他算法在精度方面均有0.5个百分点到6个百分点的提升,且在运行效率方面优于上述除最大池化和平均池化两种池化算法外的其他池化算法,从而验证所提算法有效且具适合应用于对运算时间要求不高但对精度要求较高的情况。     

融合图像特征的单阶段点云目标检测

使用图像信息补充三维点云的几何和纹理信息,可以对三维物体进行有效地检测与分类。为了能够更好地将图像特征融入点云,设计了一个端到端的深度神经网络,提出了一个新颖的融合模块PI-Fusion(point cloud and image fusion),使用图像特征以逐点融合的方式来增强点云的语义信息。另外,在点云下采样的过程中,使用距离最远点采样和特征最远点采样的融合采样方式,以在小目标上采样到更多的点。经过融合图像和点云特征的三次下采样之后,通过一个候选点生成层将点移动到目标物体的中心。最后,通过一个单阶段目标检测头,得出分类置信度和回归框。在公开数据集KITTI的实验表明,与3DSSD相比,此方法在简单、中等、困难难度的检测上分别提升了3.37、1.92、1.58个百分点。     

基于深度学习的点云三维目标检测方法综述

点云作为一种三维环境数据因其具有较高的精度一直被广泛关注并应用于多种场景任务之中。近年来,深度学习进入点云领域,让点云数据处理得到快速发展。针对基于深度学习的点云三维目标检测任务,首先分析了点云数据的特性并列举了日常任务中常用的点云数据集,随后通过单模态的三维目标检测与多模态的三维目标检测两个方向进行分类阐述,并通过单模态与多模态方法在数据集上的表现作比对。最后对当前点云三维目标检测研究的发展趋势进行展望与总结。     

基于稀疏Transformer的雷达点云三维目标检测

随着计算机视觉技术的发展,基于点云的三维目标检测算法被广泛应用于自动驾驶、机器人控制等领域。针对点云稀疏条件下基于点云三维目标检测算法鲁棒性较差、检测精度低的问题,提出基于稀疏Transformer的三维目标检测算法。在注意力矩阵生成阶段,通过稀疏Transformer模块显式选择Top-t个权重元素,以保留有利于特征提取的权重元素,在降低环境噪点对鲁棒性影响的同时加快Transformer模块的运行速度。在回归阶段,将基于空间特征粗回归模块生成的边界框作为检测头模块的初始锚框,用于后续边界框的精细回归操作。设计基于体素的三维目标检测算法的损失函数,以精确地衡量类别损失、位置回归损失和方向损失。在KITTI数据集上的实验结果表明,相比PointPillars算法,该算法的平均精度均值提高3.46%,能有效提高点云三维目标的检测精度且具有较优的鲁棒性。相比原始Transformer模块,所提稀疏Transformer模块在点云图像上的平均运行速度加快了约0.54 frame/s。     

一种基于注意力机制的三维点云物体识别方法

三维点云数据通常具备无序排列的结构。在三维点云数据处理领域,深度学习模型通常会利用最大池化等对称操作来处理点云的排列不变性。最大池化方法一方面会破坏点云的信息结构,使得局部信息与全局信息难以交互。另一方面,最大池化方法对点云信息过度压缩,得到的特征对局部细节描述不足。针对上述问题,提出了AttentionPointNet的网络结构。该网络利用注意力机制,使每个点与点云其余部分进行特征交互,实现了局部与全局信息的综合。为降低最大池化造成的信息损失,提出了一种稀疏卷积方法来替代池化操作。这种方法利用大步长的稀疏卷积实现全局信息的提取。在ModelNet40数据集上,AttentionPointNet取得了87.2%的准确率。不使用池化层,完全采用卷积层实现的模型取得了86.2%的分类准确率。     

适用于点云数据的注意力机制研究

注意力机制作为一种即插即用的有效提高网络特征提取性能的手段,在自然语言处理、图像识别领域有着广泛的应用。然而由于点云数据的不规则性与无序性,使得注意力机制无法直接应用于点云领域。提出适用于点云的注意力机制,以PointNet类网络作为点云特征提取的骨干网络,通过对点云数据进行多角度池化,采用共享权重的多层感知器获取自适应注意力权重,并与原特征相乘以实现输入特征优化,从而提升网络性能,实现注意力机制在点云领域的应用。设计的适用于点云的注意力机制在ModelNet40分类任务上,帮助PointNet(vanilla)和PointNet网络的分类准确率分别提升0.89和0.40个百分点;在ShapeNet零件分割任务上,帮助PointNet网络的平均交并比提升1.38个百分点;在KITTI三维检测任务上,帮助基于视锥体法的融合检测Frustum-PointNet网络在行人和骑行者两种小物体的平均精度也取得了可观的提升。实验结果表明所设计的注意力机制在多种点云处理任务的有效性和轻量级特点。     

基于定位不确定性的鲁棒3D目标检测方法

针对3D点云训练数据因人工标注不精确而导致模型定位不准确的问题,提出了一种基于定位不确定性的鲁棒3D目标检测方法。首先,以基于3D体素网格的稀疏嵌入卷积检测（SECOND）网络作为基础网络,在候选区域生成网络（RPN）的基础上增加对定位不确定性的预测;然后,在训练过程中使用高斯和拉普拉斯两种分布模型对定位不确定性进行建模,并对定位损失函数进行重新定义;最后,在预测过程中结合定位不确定性和分类置信度作为目标置信度,使用阈值过滤和非极大值抑制（NMS）方法筛选候选目标。实验结果表明,在KITTI 3D目标检测数据集上,所提算法对于车辆类别的检测准确率在中等难度上比SECOND网络提高了0.5个百分点;当在训练数据中额外加入扰动模拟噪声的情况下,所提算法的检测准确率比SECOND网络最多提高了3.1个百分点。所提算法提高了3D目标检测准确率,减少了误检且提高了3D边界框的精度,并且对于带噪声的数据更鲁棒。     

基于注意力机制的点云神经网络架构搜索方法

为了解决设计面向点云数据的神经网络需要大量人工介入的问题,提出了基于注意力机制和点卷积的神经网络架构搜索方法。针对不同尺度点云的信息融合问题,提出了一种基于注意力机制的多尺度融合模块。针对点云的处理效率问题,设计了基于点卷积的特征提取模块作为候选操作,并与多尺度融合模块组成搜索单元。将多个搜索单元叠加成的神经网络作为搜索空间,并采用基于可微分神经网络架构搜索算法搜索出最优神经网络。在公开点云数据集ModelNet上的实验结果证明,该方法得到的神经网络具有领先的精度,同时具有较少的可学习参数,并且该方法大幅减少了人工介入的工作量。该数据集上的消融实验结果表明,在基线模型中加入提出的基于注意力机制的多尺度融合模块,精度提升了1.1个百分点。     

非结构化环境下的单目视觉可通行区域检测

目前三维避障主要采用三维激光雷达或者基于深度学习的障碍物识别,但前者价格昂贵,后者训练成本高且不稳定。为了稳定、鲁棒地实现低成本三维空间避障方案,提出了一种基于单目相机的可通行区域检测方法。该方法利用特征点标识障碍物,通过对相机高度和旋转平面加以约束,解决单目SLAM中的尺度不一致问题,并设计了障碍物距离求解器和代价求解器对小车前方区域特征点进行处理,计算出视觉代价地图,划分可通行区域。该方法优势在于仅需要低成本的单目相机便可完成可通行区域检测任务,可方便地移植到轻量级的移动设备,计算得到的视觉代价地图亦有利于小车后续的路径规划任务。在KITTI数据集上进行的实验表明,该方法的平均运算速度能达到20 frame/s,能满足小车实时避障的要求,对于单目SLAM的尺度恢复误差为2.5%～4.9%。     

Deep representation learning for road detection using Siamese network

Robust road detection is a key challenge in safe autonomous driving. Recently, with the rapid development of 3D sensors, more and more researchers are trying to fuse information across different sensors to improve the performance of road detection. Although many successful works have been achieved in this field, methods for data fusion under deep learning framework is still an open problem. In this paper, we propose a Siamese deep neural network based on FCN-8s to detect road region. Our method uses data collected from a monocular color camera and a Velodyne-64 LiDAR sensor. We project the LiDAR point clouds onto the image plane to generate LiDAR images and feed them into one of the branches of the network. The RGB images are fed into another branch of our proposed network. The feature maps that these two branches extract in multiple scales are fused before each pooling layer, via padding additional fusion layers. Extensive experimental results on public dataset KITTI ROAD demonstrate the effectiveness of our proposed approach.

     

基于胶囊网络的智能交通标志识别方法

针对卷积神经网络的标量神经元无法表达特征位置信息,对复杂的车辆行驶环境适应性差,导致交通标志识别率低的问题,提出一种基于胶囊网络的智能交通标志识别方法。首先采用超深度卷积神经网络改进特征提取部分,然后在主胶囊层引入池化层,最后采用移动指数平均法改进了动态路由算法。在GTSRB数据集上的测试结果表明,改进后的胶囊网络方法在特殊场景下的识别精度提高了10.02个百分点,相对于传统的卷积神经网络,该方法的单张图片的识别时间缩短了2.09 ms。实验结果表明,改进后的胶囊网络方法能满足准确、实时的交通标志识别要求。