基于信息融合的城市自主车辆实时目标识别

针对单一传感器感知维度不足、实时性差的问题,提出一种激光雷达与相机融合的城市自主车辆实时目标识别方法。建立两传感器间的坐标变换模型,实现两传感器的像素级匹配。改进yolov3-tiny算法,提高目标检测准确率。对激光雷达点进行体素网格滤波,根据点云坡度进行地面分割。建立聚类半径与距离作用模型,对非地面点云进行聚类。引入图像中包络的思想,获取目标三维边界框以及位姿信息;将视觉目标特征与激光雷达目标特征融合。试验结果表明,改进的yolov3-tiny算法对于城市密集目标具有更高的识别率,雷达算法能够完整的完成三维目标检测以及位姿估计,融合识别系统在准确率、实时性方面达到实际行驶要求。     

基于激光雷达和摄像头信息融合的车辆检测算法

针对摄像头在无人驾驶系统车辆检测中易受环境干扰的问题,通过激光雷达数据和摄像头图像进行融合,提出了一种强鲁棒性实时车辆检测算法。首先,将三维激光雷达点云通过深度补全方法转换为和图像具有相同分辨率的二维密集深度图。然后将彩色图像和密集深度图分别通过 ＹＯＬＯｖ３实时目标检测框架得到各自的车辆检测信息。最后,提出了决策级融合方法将两者的检测结果进行融合,得到了最终的车辆检测结果。在 ＫＩＴＴＩ数据集上对算法进行评估,实验结果表明该算法完全满足无人驾驶车辆所需的强鲁棒性、强实时性和高检测精度的要求。     

基于GM-APD激光雷达数据融合的小目标检测

GM-APD激光雷达具有单光子探测灵敏度,大幅降低了系统体积和功耗,但受像元数限制,难以获得远距离小目标清晰轮廓,目标检测率不高。针对该问题,提出了基于强度像和距离像多级处理的小目标深度学习检测算法,充分挖掘强度图像和点云特征信息及相互关联性,提高小目标检测概率。通过改进特征金字塔网络,将感受野模块和注意力机制模块与特征提取网络相结合,增强强度像初筛目标准确性,在候选区域内将强度像与距离像融合成带有强度信息的四维点云。然后,使用动态图卷积网络对候选区内目标进行二次检测,利用点云信息进一步筛选候选框内的目标。经GM-APD激光雷达远距离车辆数据集测试,网络的检测准确率达到98.8%,对于车辆结构不完整,车辆回波弱,背景存在强反射光斑等复杂场景有很好的鲁棒性。相较于SSD,YOLOv5等较为先进的目标检测网络,检测准确率分别提升了3.1%与2.5%,该算法为激光雷达弱小目标检测识别提供了一种可行性解决方案。     

一种改进ICP算法的移动机器人激光与视觉建图方法研究

针对未知环境中移动机器人定位与建图中激光雷达建图提供的信息少,视觉slam实时性差的问题,提出了激光slam与视觉建图结合的方式,激光地图用于导航,而视觉地图用于复原目的地场景。首先采用区域分割和特征提取处理激光雷达数据,通过区域分割主要完成了特征模式的分类及识别确定,通过特征提取完成了各类特征模式参数的确定以及特征点的提取;使用改进的基于RGBD图像的ICP迭代最近点算法求取了转换关系,进行了点云拼接;采用图优化算法,消除了累计误差,提升了整体视觉地图的精度。通过激光雷达与Kinect相机之间的位置关系,算得了三维点云到激光雷达坐标系的对应关系,实现了激光地图与点云地图的融合。研究结果表明:能实现实时建立周围环境的二维地图,并将三维点云信息融入到激光雷达坐标系等功能,精度高、鲁棒性好。     

基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

基于视觉修正的激光雷达体积测量方法

针对激光雷达点云数据稀疏、扰动、存在噪声和其他方法难以迁移,实时性差等难题,面向“L”型小尺寸目标研究了一种基于视觉修正的激光雷达体积测量方法。该方法首先通过联合标定和时间戳最近邻匹配实现相机与激光雷达数据的对齐;然后经过目标检测算法获取图像中目标的信息,与此同时对点云数据执行地面分割得到地面点云与非地面点云,利用视觉投影和点云聚类实现目标点云的分割,使用KDtree找到目标点云附近的地面点云;最后,设计了一种三维框的拟合算法初步完成点云目标三维框的粗拟合,并建立视觉修正模型对于目标三维框进行细修正,从而实现目标体积的计算。实验结果表明,对于武器箱道具、医疗箱和油桶等“L”型物体,提出的算法在一定范围内,体积测量的平均相对误差小于4.44%、最大误差小于6.12%、最大重复性小于5.61%,并且基于视觉的修正模型大幅提高了算法的精度和稳定性,在嵌入式平台的处理1帧用时55 ms,能够实现实时高精度的体积测量,具有良好的工程应用前景。     

雨雪天气下的激光雷达滤波算法研究

在雨雪等恶劣天气下,由于雨雪颗粒的遮挡,激光雷达的性能会受到严重影响,给三维目标检测带来了很大困难。针对这个问题,提出了一种基于马氏距离的动态离群点滤波算法;首先通过建立KD树,根据不同欧氏距离计算离群点的马氏距离,去除点云雨雪噪声;最后将该算法应用于目标检测。经过加拿大恶劣天气公开数据集(CADCD)和实际实验的验证,在中雪和大雪天气下,与DROR滤波方法对比,本文提出的滤波算法精确率分别相对提高了7.88%,7.72%;在实际雨天实验中,本文算法精确率比DROR滤波相对提高了10%。在目标检测应用方面,与仅采用Pointpillars的算法相比,采用该滤波的检测算法车辆和行人的检测精度也分别相对提高了19.26%,20.39%,在数据集和实际实验场景下均验证了本文算法的有效性。     

基于三维激光雷达的障碍物检测方法研究

为满足无人智能车辆(UGV)实时检测周边环境的要求,提出一种基于三维激光雷达的障碍物检测方法。通过获取激光雷达扫描数据,采用基于栅格的垂直高度阈值来实现对凸起障碍的检测,基于相邻扫描线的水平距离阈值以及垂直梯度阈值来检测凹陷障碍,同时采用激光雷达与CCD摄像机信息融合的方法来提取出障碍物的精确尺寸信息,实时构建环境栅格地图,区分可行驶区域和不可行驶区域,用以实现自主避障.实验结果表明,该方法具有良好的实时性和鲁棒性,且精度较高。     

基于激光雷达的动态汽车衡车辆轴型识别方法研究

车辆轴型是高速公路入口超限治理的重要信息。本文介绍了一种基于激光雷达的车辆轴型识别方法,探讨了激光雷达的数据转换方式和轴型识别算法。     

移动相机下基于三维背景估计的运动目标检测

室内环境中的运动目标检测是计算机视觉领域的研究热点,而移动相机造成的动态背景是运动目标检测的难点。本文提出一种基于同步定位与地图创建(ORB-SLAM)三维背景估计的运动目标检测算法,首先使用移动相机遍历整个室内环境,采用ORB-SLAM技术建立当前全局环境的三维背景特征点云模型;然后基于局部视频建立局部三维特征点云,根据定位信息将当前局部三维特征点云与环境三维背景特征点云进行嵌入,基于环境背景信息,采用三维均值漂移(3DMS)算法,对局部三维特征点云进行前景特征点提取;运用深度卷积神经网络,对提取的前景特征点所在候选区域进行运动目标确认。通过多个室内场景的实际实验进行验证,结果表明本文方法具有较高的运动目标检测准确率和召回率,提出的运动目标检测算法充分利用了三维背景信息,采用深度卷积神经网络进行确认,有效地改善了检测的准确性和鲁棒性。     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

ALGORITHM OF PRETREATMENT ON AUTOMOBILE BODY POINT CLOUD

As point cloud of one whole vehicle body has the traits of large geometric dimension,huge data and rigorous reverse precision,one pretreatment algorithm on automobile body point cloud is put forward.The basic idea of the registration algorithm based on the skeleton points is to construct the skeleton points of the whole vehicle model and the mark points of the separate point cloud,to search the mapped relationship between skeleton points and mark points using congruence triangle method and to match the whole vehicle point cloud using the improved iterative closed point(ICP)algorithm. The data reduction algorithm,based on average square root of distance,condenses data by three steps, computing datasets' average square root of distance in sampling cube grid,sorting order according to the value computed from the first step,choosing sampling percentage.The accuracy of the two algo- rithms above is proved by a registration and reduction example of whole vehicle point cloud of a certain light truck.     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

[智能感知]基于四线激光雷达的无人车障碍物检测算法

针对雷达扫描角分辨能力不高,远处点云较稀疏,导致对目标的分割聚类不准确的问题,提出了一种基于四线激光雷达的障碍物检测算法。在对原始雷达数据进行栅格化及滤除之后,对滤波结果进行了聚类分割。依据栅格深度值确定聚类距离阈值,结合连通区域标记算法得到准确的聚类范围;通过匹配相邻障碍物运动状态信息,进一步提高聚类的准确率。实车实验表明,所提方法较已有的分割聚类算法,可以准确地得到路面障碍物信息,并能有效避免过分割现象。     

基于激光雷达与倾斜摄影融合技术的电力巡检系统设计

针对传统的电力巡检系统仅应用激光雷达或倾斜摄影技术,导致电力巡检的可视化效果差,无人机巡检时间长的问题,将激光雷达与倾斜摄影技术融合起来,对电力巡检系统进行优化。对激光雷达和倾斜摄影相机进行了详细设计,给出倾斜摄影相机的摄影模式示意图;采用无人机三维激光雷达技术对输电线路通道环境进行扫描,获取架空输电线路走廊大范围的三维激光点云数据;设计点云数据与图片的采集和处理流程,对点云数据进行精度校验,布设倾斜摄影技术的像控点点位,校正影像并协同外业测量成果和POS数据得到匹配点云,将2种技术得到的数据进行融合建模,完成系统设计。为验证设计系统的有效性,选择某段路线进行建模测试。实验结果表明,所设计系统的可视化效果好,有效缩短了无人机巡检时长,有效提升了巡检效率。     

基于角点稳健提取的长方体参数化拟合方法

长方体基元拟合是三维点云几何拟合的典型问题,在三维重建、逆向工程、工业三维量测等实际场景中有着广泛应用。在实际应用中由于遮挡及设备盲区等原因,通常无法获取完整长方体点云数据,导致建模或量测时难以准确拟合长方体结构。针对该问题,本文提出一种结合平面拟合投影分割以及残缺平面垂角检测的长方体参数化拟合方法实现了长方体参数化拟合。首先,该方法通过平面拟合投影分割算法获取强轮廓信息的平面点云;然后,设计了残缺平面垂角检测算法,以拟合长方体真实角点;最后,利用非共面四点法对长方体残缺角点进行计算补全,获得完整的长方体参数信息。实验表明,本文方法在各类情况下均能准确检测并补全长方体角点信息以及平面参数信息,角点查准率召回率均为100%,平均误差仅为1.204×10^-3 m,能够实现精确的长方体参数化拟合。     

采用自适应背景聚类的激光雷达与相机外参标定优化方法

针对在复杂外部环境下激光雷达外参标定过程中遇到的标定板三维点云提取不准确的问题,提出一种基于背景聚类的激光雷达和相机外参标定优化方法,避免了在整个三维点云中盲目检测标定板点云,而导致标定结果存在较大误差以及需要人工手动纠正错误特征点的问题。该方法利用无标定板的背景点云与有标定板的目标点云之间部分空间域内的密度差异性,通过自适应空间阈值模型获得标定板点云与背景点云之间的差异系数K,然后聚类两点云中的部分三维点,完成标定板的三维点云提取。实验证明,该方法可以在复杂环境中准确高效地提取标定板三维点云,从而提高激光雷达和相机外参标定的准确性,在此基础上点云正确投影比例可达97.43%,与对比方法相比投影误差降低25.33%左右。