基于多传感器融合的目标检测方法研究

为了提高智能汽车对行驶区域障碍物的感知能力,设计了相机图像与激光雷达点云融合的双模中融合模型。选用YOLOv3-tiny作为图像目标检测算法,PointRCNN作为点云目标检测算法,将点云检测获取到的ROI图像与原始图像进行加权融合,在融合后包含障碍物位置信息的图像上进行目标检测。通过与基于图像或基于点云的单模目标检测模型进行比对,在选用合适加权融合系数下双模中融合模型得到了更好的目标检测效果,在KITTI数据集上总类别的mAP@.5:.95上提升了3.3%,在Cyclist障碍物类别的AP@.5:.95上有了5.7%的显著提升。激光雷达点云的引入大大提升了纯视觉目标检测模型在小目标障碍物上的检测能力。     

基于视觉修正的激光雷达体积测量方法

针对激光雷达点云数据稀疏、扰动、存在噪声和其他方法难以迁移,实时性差等难题,面向“L”型小尺寸目标研究了一种基于视觉修正的激光雷达体积测量方法。该方法首先通过联合标定和时间戳最近邻匹配实现相机与激光雷达数据的对齐;然后经过目标检测算法获取图像中目标的信息,与此同时对点云数据执行地面分割得到地面点云与非地面点云,利用视觉投影和点云聚类实现目标点云的分割,使用KDtree找到目标点云附近的地面点云;最后,设计了一种三维框的拟合算法初步完成点云目标三维框的粗拟合,并建立视觉修正模型对于目标三维框进行细修正,从而实现目标体积的计算。实验结果表明,对于武器箱道具、医疗箱和油桶等“L”型物体,提出的算法在一定范围内,体积测量的平均相对误差小于4.44%、最大误差小于6.12%、最大重复性小于5.61%,并且基于视觉的修正模型大幅提高了算法的精度和稳定性,在嵌入式平台的处理1帧用时55 ms,能够实现实时高精度的体积测量,具有良好的工程应用前景。     

互注意力融合图像和点云数据的3D目标检测

为了利用图像信息辅助点云数据提高3D目标检测精度,需要解决图像特征空间和点云特征空间自适应对齐融合的问题。本文提出了一种多模态特征自适应融合的3D目标检测深度学习网络。首先,对点云数据体素化,基于体素内的点云特征学习体素特征表示,用3D稀疏卷积神经网络获取点云数据的特征,同时用ResNet神经网络提取图像特征。然后通过引入互注意力模块自适应对齐图像特征和点云特征,得到基于图像特征增强后的点云特征。最后在此特征基础上应用区域提案网络和分类回归多任务学习网络实现3D目标检测。在KITTI 3D目标检测数据集上的实验结果表明:在小汽车的简易、中等、困难三个不同检测难度等级上,平均检测精度分别为88.76%,77.63%和76.14%。该方法能够有效融合图像信息和点云信息,提高3D目标检测的准确率。     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

基于GM-APD激光雷达数据融合的小目标检测

GM-APD激光雷达具有单光子探测灵敏度,大幅降低了系统体积和功耗,但受像元数限制,难以获得远距离小目标清晰轮廓,目标检测率不高。针对该问题,提出了基于强度像和距离像多级处理的小目标深度学习检测算法,充分挖掘强度图像和点云特征信息及相互关联性,提高小目标检测概率。通过改进特征金字塔网络,将感受野模块和注意力机制模块与特征提取网络相结合,增强强度像初筛目标准确性,在候选区域内将强度像与距离像融合成带有强度信息的四维点云。然后,使用动态图卷积网络对候选区内目标进行二次检测,利用点云信息进一步筛选候选框内的目标。经GM-APD激光雷达远距离车辆数据集测试,网络的检测准确率达到98.8%,对于车辆结构不完整,车辆回波弱,背景存在强反射光斑等复杂场景有很好的鲁棒性。相较于SSD,YOLOv5等较为先进的目标检测网络,检测准确率分别提升了3.1%与2.5%,该算法为激光雷达弱小目标检测识别提供了一种可行性解决方案。     

一种基于数据聚类的目标检测算法

论文主要阐述了一种基于数据聚类的目标检测方法,该方法将数据点间的距离关系作为聚类分析的依据,通过对数据的聚类分析得到目标的位置和外形尺寸。该算法有着广泛的应用,不但可以应用于激光雷达点云数据的处理,还可以应用于图像数据的处理,实验结果表明该算法正确有效。     

基于深度投影的三维点云目标分割和碰撞检测

三维激光雷达被广泛应用在无人驾驶系统中对道路环境的检测和防碰撞检测。为增加激光雷达对扫描点云进行分割的准确性,提出一种基于深度投影的点云目标实时分割方法。首先采用体素化滤波去除噪声点,然后使用渐进式形态学滤波方法去除地面点,最后将点云进行深度投影,建立三维点云与深度投影图像的映射关系,利用深度投影图像的自适应角度阈值对点云进行目标分割,并将分割后的点云目标构造混合层次包围盒进行碰撞检测。实验结果表明该方法相对于传统聚类算法在时间效率上有明显提升,并且能有效降低过分割问题,实验数据目标分割准确率达到了78.82%,结合混合层次包围盒算法对分割后的点云目标进行碰撞检测,可有效地识别并判断物体空间位置关系,提升碰撞识别的准确性。     

一种改进ICP算法的移动机器人激光与视觉建图方法研究

针对未知环境中移动机器人定位与建图中激光雷达建图提供的信息少,视觉slam实时性差的问题,提出了激光slam与视觉建图结合的方式,激光地图用于导航,而视觉地图用于复原目的地场景。首先采用区域分割和特征提取处理激光雷达数据,通过区域分割主要完成了特征模式的分类及识别确定,通过特征提取完成了各类特征模式参数的确定以及特征点的提取;使用改进的基于RGBD图像的ICP迭代最近点算法求取了转换关系,进行了点云拼接;采用图优化算法,消除了累计误差,提升了整体视觉地图的精度。通过激光雷达与Kinect相机之间的位置关系,算得了三维点云到激光雷达坐标系的对应关系,实现了激光地图与点云地图的融合。研究结果表明:能实现实时建立周围环境的二维地图,并将三维点云信息融入到激光雷达坐标系等功能,精度高、鲁棒性好。     

改进UNet与DBSCAN融合的车道线检测方法

室内外标记线和车道线检测是移动作业机器人研究的难点这一。针对现有方法效率低、精度差等问题，提出了改进UNet与DBSCAN融合的车道线检测方法。基于分布式融合结构，将图像输入嵌有并行融合注意力模块的UNet,通过注意力机制加大车道线权重，并抑制干扰信息，以获得更好的识别结果。三维激光雷达的点云数据通过随机抽样一致算法和自适应邻域DBSCAN获得车道线原始点云，经过最小二乘拟合得到点云车道线。在像素坐标系上引入匈牙利算法匹配决策判断，实现车道线拟合。基于KITTI数据集和真实数据集进行试验验证，识别结果优于UNet和LaneNet,检测时间平均约为0.5 s,相比纯视觉方法具有较好的鲁棒性和准确性。     

基于激光雷达和摄像头信息融合的车辆检测算法

针对摄像头在无人驾驶系统车辆检测中易受环境干扰的问题,通过激光雷达数据和摄像头图像进行融合,提出了一种强鲁棒性实时车辆检测算法。首先,将三维激光雷达点云通过深度补全方法转换为和图像具有相同分辨率的二维密集深度图。然后将彩色图像和密集深度图分别通过 ＹＯＬＯｖ３实时目标检测框架得到各自的车辆检测信息。最后,提出了决策级融合方法将两者的检测结果进行融合,得到了最终的车辆检测结果。在 ＫＩＴＴＩ数据集上对算法进行评估,实验结果表明该算法完全满足无人驾驶车辆所需的强鲁棒性、强实时性和高检测精度的要求。     

基于激光雷达的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的三维车辆检测精度低的问题,提出了一种基于激光雷达的三维车辆检测算法.通过统计滤波与随机抽样一致算法(Random Sample Consensus,RANSAC)实现地面点云分割,剔除激光雷达数据冗余点及离群点;改进3DSSD深度神经网络,利用融合采样提取点云中车辆语义信息与距离信息;根据特...     

基于激光点云与图像信息融合的交通环境车辆检测

随着无人驾驶汽车的快速发展,仅依靠单一传感器的环境感知已经无法满足车辆在复杂交通场景下的目标检测需求。融合多种传感器数据已成为无人驾驶汽车的主流感知方案。提出一种基于激光点云与图像信息融合的交通环境车辆检测方法。首先,利用深度学习方法对激光雷达和摄像头传感器所采集的数据分别进行目标检测;其次,利用匈牙利算法对两种目标检测结果进行实时目标跟踪,进而对两种传感器检测及跟踪结果的特征进行最优匹配;最后,将已匹配及未匹配的目标进行择优输出,作为最终感知结果。利用公开数据集KITTI的部分交通环境跟踪序列及实际道路测试来验证所提方法,结果表明,所提融合方法实时车辆检测精度提升12%以上、误检数减少50%以上。     

移动相机下基于三维背景估计的运动目标检测

室内环境中的运动目标检测是计算机视觉领域的研究热点,而移动相机造成的动态背景是运动目标检测的难点。本文提出一种基于同步定位与地图创建(ORB-SLAM)三维背景估计的运动目标检测算法,首先使用移动相机遍历整个室内环境,采用ORB-SLAM技术建立当前全局环境的三维背景特征点云模型;然后基于局部视频建立局部三维特征点云,根据定位信息将当前局部三维特征点云与环境三维背景特征点云进行嵌入,基于环境背景信息,采用三维均值漂移(3DMS)算法,对局部三维特征点云进行前景特征点提取;运用深度卷积神经网络,对提取的前景特征点所在候选区域进行运动目标确认。通过多个室内场景的实际实验进行验证,结果表明本文方法具有较高的运动目标检测准确率和召回率,提出的运动目标检测算法充分利用了三维背景信息,采用深度卷积神经网络进行确认,有效地改善了检测的准确性和鲁棒性。     

基于图像语义分割的物体位姿估计

为提高机器人在复杂场景中对物体的辨识与定位能力,提出一种基于图像语义分割技术的物体位姿估计方法。将RGBD传感器拍摄的RGB图像放入语义分割网络中,完成对图像的分割与物体分类;将分割出来的目标物体与深度图配准,得到目标物体点云图;将点云图与模型库中的模型运用ICP算法完成对物体的位姿估计。研究结果表明,该方法分割准确率可达82.26%,完成一次位姿估计时间1.35 s。     

基于一致性点漂移的智能车视觉目标跟踪方法

针对智能车未知运动下的多目标跟踪问题,提出一种基于一致性点漂移的视觉多目标跟踪方法。 首先利用一致性点漂 移算法构建智能车未知运动模型,得到局部目标状态变换关系;其次建立一种基于外观相似性和运动一致性的自适应特征融合 函数;最后通过匈牙利算法求解轨迹与检测的对应关系,以实现面向智能车的鲁棒数据关联。 实验结果表明,与现有的 5 种主 流目标跟踪方法对比,所提方法在多个指标方面具有更好的效果,相较于结构约束(SCEA)算法,在 KITTI 数据集中较大运动场 景下,所提方法多目标跟踪准确率提高了 6. 3% ,在实拍实验数据下,所提方法多目标跟踪准确率提高了 7. 3% ,证明该算法能 在智能车未知运动下有效的进行多目标跟踪。     

采用自适应背景聚类的激光雷达与相机外参标定优化方法

针对在复杂外部环境下激光雷达外参标定过程中遇到的标定板三维点云提取不准确的问题,提出一种基于背景聚类的激光雷达和相机外参标定优化方法,避免了在整个三维点云中盲目检测标定板点云,而导致标定结果存在较大误差以及需要人工手动纠正错误特征点的问题。该方法利用无标定板的背景点云与有标定板的目标点云之间部分空间域内的密度差异性,通过自适应空间阈值模型获得标定板点云与背景点云之间的差异系数K,然后聚类两点云中的部分三维点,完成标定板的三维点云提取。实验证明,该方法可以在复杂环境中准确高效地提取标定板三维点云,从而提高激光雷达和相机外参标定的准确性,在此基础上点云正确投影比例可达97.43%,与对比方法相比投影误差降低25.33%左右。     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

铁路场景三维点云分割与分类识别算法

铁路限界侵入检测对保障高速铁路安全具有重要意义,基于激光三维点云分割与分类识别的异物侵入检测具有准确、直观的优点,在诸如隧道口和站台的铁路重点区域监测中具有广泛应用前景。设计了一种带动二维激光雷达进行俯仰运动的装置用于铁路三维点云的采集,基于法线方向一致性原则提出采用区域生长分割算法解决欧氏聚类分割和随机采样一致性(RANSAC)分割造成的过分割和欠分割问题;针对分割后的单物体点云,提出利用视点特征直方图(VFH)进行不同目标的三维点云特征提取,基于不同物体VFH建立KD树,并利用最近点搜索方法完成单物体点云分类识别。铁路场景典型物体的分类实验结果表明,本算法对铁路场景典型物体的分类识别准确率大于90%。