基于信息融合的城市自主车辆实时目标识别

针对单一传感器感知维度不足、实时性差的问题,提出一种激光雷达与相机融合的城市自主车辆实时目标识别方法。建立两传感器间的坐标变换模型,实现两传感器的像素级匹配。改进yolov3-tiny算法,提高目标检测准确率。对激光雷达点进行体素网格滤波,根据点云坡度进行地面分割。建立聚类半径与距离作用模型,对非地面点云进行聚类。引入图像中包络的思想,获取目标三维边界框以及位姿信息;将视觉目标特征与激光雷达目标特征融合。试验结果表明,改进的yolov3-tiny算法对于城市密集目标具有更高的识别率,雷达算法能够完整的完成三维目标检测以及位姿估计,融合识别系统在准确率、实时性方面达到实际行驶要求。     

基于激光雷达的无人驾驶系统三维车辆检测

针对无人驾驶系统环境感知中的三维车辆检测精度低的问题,提出了一种基于激光雷达的三维车辆检测算法.通过统计滤波与随机抽样一致算法(Random Sample Consensus,RANSAC)实现地面点云分割,剔除激光雷达数据冗余点及离群点;改进3DSSD深度神经网络,利用融合采样提取点云中车辆语义信息与距离信息;根据特...     

互注意力融合图像和点云数据的3D目标检测

为了利用图像信息辅助点云数据提高3D目标检测精度,需要解决图像特征空间和点云特征空间自适应对齐融合的问题。本文提出了一种多模态特征自适应融合的3D目标检测深度学习网络。首先,对点云数据体素化,基于体素内的点云特征学习体素特征表示,用3D稀疏卷积神经网络获取点云数据的特征,同时用ResNet神经网络提取图像特征。然后通过引入互注意力模块自适应对齐图像特征和点云特征,得到基于图像特征增强后的点云特征。最后在此特征基础上应用区域提案网络和分类回归多任务学习网络实现3D目标检测。在KITTI 3D目标检测数据集上的实验结果表明:在小汽车的简易、中等、困难三个不同检测难度等级上,平均检测精度分别为88.76%,77.63%和76.14%。该方法能够有效融合图像信息和点云信息,提高3D目标检测的准确率。     

基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

雨雪天气下的激光雷达滤波算法研究

在雨雪等恶劣天气下,由于雨雪颗粒的遮挡,激光雷达的性能会受到严重影响,给三维目标检测带来了很大困难。针对这个问题,提出了一种基于马氏距离的动态离群点滤波算法;首先通过建立KD树,根据不同欧氏距离计算离群点的马氏距离,去除点云雨雪噪声;最后将该算法应用于目标检测。经过加拿大恶劣天气公开数据集(CADCD)和实际实验的验证,在中雪和大雪天气下,与DROR滤波方法对比,本文提出的滤波算法精确率分别相对提高了7.88%,7.72%;在实际雨天实验中,本文算法精确率比DROR滤波相对提高了10%。在目标检测应用方面,与仅采用Pointpillars的算法相比,采用该滤波的检测算法车辆和行人的检测精度也分别相对提高了19.26%,20.39%,在数据集和实际实验场景下均验证了本文算法的有效性。     

基于多传感器融合的目标检测方法研究

为了提高智能汽车对行驶区域障碍物的感知能力,设计了相机图像与激光雷达点云融合的双模中融合模型。选用YOLOv3-tiny作为图像目标检测算法,PointRCNN作为点云目标检测算法,将点云检测获取到的ROI图像与原始图像进行加权融合,在融合后包含障碍物位置信息的图像上进行目标检测。通过与基于图像或基于点云的单模目标检测模型进行比对,在选用合适加权融合系数下双模中融合模型得到了更好的目标检测效果,在KITTI数据集上总类别的mAP@.5:.95上提升了3.3%,在Cyclist障碍物类别的AP@.5:.95上有了5.7%的显著提升。激光雷达点云的引入大大提升了纯视觉目标检测模型在小目标障碍物上的检测能力。     

基于超声波雷达的改进车位检测算法研究

针对传统车位检测算法因难以捕捉距离跳变和确定车位姿态而导致检测准确性不足的问题,提出了一种基于拟合特征线段的改进车位检测算法。针对超声波雷达幅值衰减设计了能量增益补偿方案;根据车辆实时位姿和超声波距离数据拟合代表障碍物轮廓的特征线段,借助激光雷达对特征线段拟合精度进行评价,并进一步设计了融合车位初步检测、车位再判断、车位约束条件判断及车位姿态计算的检测流程。利用实车平台对所提算法进行了实验验证,实验结果表明,所提算法的平均检测准确率达92.5%,能为智能汽车泊车系统提供准确、可靠的目标车位信息。     

融合注意力和多尺度特征的典型水面小目标检测

为解决多场景复杂海况背景水面小目标检测存在的可利用特征少、纹理信息弱等问题,提升无人艇的环境感知能力,本文提出一种融合注意力和多尺度特征的典型水面小目标检测算法。首先,在网络的深层使用空洞空间金字塔池化模块融合目标的全局先验信息。其次,通过注意融合模块自适应地增强目标浅层空间位置和深层语义信息特征,提高网络的特征表示能力。最后,通过多尺度特征融合实现高性能的目标检测。本文构建了典型水面小目标数据集,并基于无人艇开展了真实海况下水面小目标检测的算法验证。实验结果表明,该算法在无人艇NVIDIA平台检测速率达到17 FPS,能准确识别水面小目标,mIoU比原始特征金字塔网络算法提升7.58%,平均检测精度提升11.41%,达到82.36%。     

局部阈值自适应的地面点云分割

为了进一步提高自动驾驶感应模块中激光雷达点云地面分割算法的分割精度，提出一种基于种子点距离阈值和路面波动加权幅值自适应的地面点云分割算法。该算法在极坐标栅格地图划分的基础上，将种子点的选取判断阈值与二维平面的水平距离特征相关联，通过点云间的水平距离变化控制种子点集的更新；在道路模型拟合过程中，为解决斜坡路面模型更新停滞问题引入坡度连续性判断准则，根据路面波动加权幅值的变化建立点云的分割阈值方程，最终实现关于点云距离特征的自适应阈值分割。对开源数据集Semantic KITTI进行点云二分类数据处理，并在此基础上测试算法性能。实验结果表明：与现有算法相比，本文所述地面分割算法的精确率和召回率均提升了2%～4%，具有较高的准确性。     

基于视觉修正的激光雷达体积测量方法

针对激光雷达点云数据稀疏、扰动、存在噪声和其他方法难以迁移,实时性差等难题,面向“L”型小尺寸目标研究了一种基于视觉修正的激光雷达体积测量方法。该方法首先通过联合标定和时间戳最近邻匹配实现相机与激光雷达数据的对齐;然后经过目标检测算法获取图像中目标的信息,与此同时对点云数据执行地面分割得到地面点云与非地面点云,利用视觉投影和点云聚类实现目标点云的分割,使用KDtree找到目标点云附近的地面点云;最后,设计了一种三维框的拟合算法初步完成点云目标三维框的粗拟合,并建立视觉修正模型对于目标三维框进行细修正,从而实现目标体积的计算。实验结果表明,对于武器箱道具、医疗箱和油桶等“L”型物体,提出的算法在一定范围内,体积测量的平均相对误差小于4.44%、最大误差小于6.12%、最大重复性小于5.61%,并且基于视觉的修正模型大幅提高了算法的精度和稳定性,在嵌入式平台的处理1帧用时55 ms,能够实现实时高精度的体积测量,具有良好的工程应用前景。     

移动相机下基于三维背景估计的运动目标检测

室内环境中的运动目标检测是计算机视觉领域的研究热点,而移动相机造成的动态背景是运动目标检测的难点。本文提出一种基于同步定位与地图创建(ORB-SLAM)三维背景估计的运动目标检测算法,首先使用移动相机遍历整个室内环境,采用ORB-SLAM技术建立当前全局环境的三维背景特征点云模型;然后基于局部视频建立局部三维特征点云,根据定位信息将当前局部三维特征点云与环境三维背景特征点云进行嵌入,基于环境背景信息,采用三维均值漂移(3DMS)算法,对局部三维特征点云进行前景特征点提取;运用深度卷积神经网络,对提取的前景特征点所在候选区域进行运动目标确认。通过多个室内场景的实际实验进行验证,结果表明本文方法具有较高的运动目标检测准确率和召回率,提出的运动目标检测算法充分利用了三维背景信息,采用深度卷积神经网络进行确认,有效地改善了检测的准确性和鲁棒性。     

一种远距离行人小目标检测方法

远距离行人小目标成像像素少、缺乏纹理信息,深度卷积神经网络难以提取小目标细粒度特征,难以准确识别与检测。本文提出一种远距离行人小目标检测方法。首先,在YOLOv4的基础上引入浅层特征改进特征金字塔,提取行人小目标细粒度特征,提出引力模型特征自适应融合方法,增加多层次语义信息之间的关联度,防止小目标特征信息流失。然后,采用增强型超分辨率生成对抗网络增加行人小目标特征数量,提高行人小目标检测准确率。最后,选取图像像素中占比范围为0.004%～0.026%的行人小目标建立试验数据集,通过与Faster RCNN、ION、YOLOv4对比实验验证。结果表明,本文方法mAP_0.5提高了25.2%、26.3%、11.9%,FPS达到24,研究成果在远距离安防监测监控领域具有重要应用价值。     

基于激光雷达和摄像头信息融合的车辆检测算法

针对摄像头在无人驾驶系统车辆检测中易受环境干扰的问题,通过激光雷达数据和摄像头图像进行融合,提出了一种强鲁棒性实时车辆检测算法。首先,将三维激光雷达点云通过深度补全方法转换为和图像具有相同分辨率的二维密集深度图。然后将彩色图像和密集深度图分别通过 ＹＯＬＯｖ３实时目标检测框架得到各自的车辆检测信息。最后,提出了决策级融合方法将两者的检测结果进行融合,得到了最终的车辆检测结果。在 ＫＩＴＴＩ数据集上对算法进行评估,实验结果表明该算法完全满足无人驾驶车辆所需的强鲁棒性、强实时性和高检测精度的要求。     

基于激光点云与图像融合的3D目标检测研究

目前基于激光雷达与摄像头融合的目标检测技术受到了广泛的关注,然而大部分融合算法难以精确检测行人、骑行人等较小目标物体,因此提出一种基于自注意力机制的点云特征融合网络。首先,改进Faster-RCNN目标检测网络以形成候选框,然后根据激光雷达和相机的投影关系提取出图像目标框中的视锥点云,减小点云的计算规模与空间搜索范围;其次,提出一种基于自注意力机制的Self-Attention PointNet网络结构,在视锥范围内对原始点云数据进行实例分割;然后,利用边界框回归PointNet网络和轻量级T-Net网络来预测目标点云的3D边界框参数,同时在损失函数中添加正则化项以提高检测精度;最后,在KITTI数据集上进行验证。结果表明,所提方法明显优于广泛应用的F-PointNet,在简单、中等和困难任务下,汽车、行人和骑行人的检测精度均得到较大的提升,其中骑行人的检测精度提升最为明显。同时,与许多主流的三维目标检测网络相比具有更高的准确率,有效地提高了3D目标检测的精度。     

基于深度投影的三维点云目标分割和碰撞检测

三维激光雷达被广泛应用在无人驾驶系统中对道路环境的检测和防碰撞检测。为增加激光雷达对扫描点云进行分割的准确性,提出一种基于深度投影的点云目标实时分割方法。首先采用体素化滤波去除噪声点,然后使用渐进式形态学滤波方法去除地面点,最后将点云进行深度投影,建立三维点云与深度投影图像的映射关系,利用深度投影图像的自适应角度阈值对点云进行目标分割,并将分割后的点云目标构造混合层次包围盒进行碰撞检测。实验结果表明该方法相对于传统聚类算法在时间效率上有明显提升,并且能有效降低过分割问题,实验数据目标分割准确率达到了78.82%,结合混合层次包围盒算法对分割后的点云目标进行碰撞检测,可有效地识别并判断物体空间位置关系,提升碰撞识别的准确性。     

无人水面艇三维激光雷达目标实时识别系统

为解决无人水面艇动态环境目标动态感知问题,研究无人艇三维激光雷达目标实时识别系统。设计出无人艇三维激光雷达目标实时识别系统结构、硬件组成及数据通信协议。基于点云库(Point cloud library,PCL)、Qt和Visual Studio平台开发了无人艇三维激光雷达目标实时识别系统软件,实现了点云数据校正、实时处理、数据显示、状态输出、远程通信等功能。考虑到无人艇航行时周边环境障碍物三维激光点云分布特征,将三维激光点云投影至多属性二维栅格进行表示,利用八邻域算法实现了障碍物栅格的聚类,解决了点云数据处理、目标分割、点云图像远程交互等关键技术。最后,构建了室外水池环境下的无人艇三维激光雷达目标实时识别系统试验平台,测试结果表明该系统能够可靠、准确识别无人艇周围100 m范围内的障碍目标。     

一种基于数据聚类的目标检测算法

论文主要阐述了一种基于数据聚类的目标检测方法,该方法将数据点间的距离关系作为聚类分析的依据,通过对数据的聚类分析得到目标的位置和外形尺寸。该算法有着广泛的应用,不但可以应用于激光雷达点云数据的处理,还可以应用于图像数据的处理,实验结果表明该算法正确有效。     

基于特征融合的改进型PointPillar点云目标检测

针对PointPillar在自动驾驶道路场景下对点云稀疏小目标检测效果差的问题,通过引入一种多尺度特征融合策略和注意力机制,提出一种点云目标检测网络Pillar-FFNet。针对网络中的特征提取问题,设计了一种基于残差结构的主干网络;针对馈入检测头的特征图没有充分利用高层特征的语义信息和低层特征的空间信息的问题,设计了一种简单有效的多尺度特征融合策略;针对主干网络提取的特征图中信息冗余的问题,提出了一种卷积注意力机制。为验证所提算法的性能,在KITTI和DAIR-V2X-I数据集上进行实验。实验结果表明,所提出的算法在KITTI数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.84%,2.13%和4.02%;在DAIR-V2X-I数据集上与PointPillar相比,汽车、行人和骑行者的平均精度最大提高分别为0.33%,2.09%和4.71%,由此证明了所提方法对点云稀疏小目标检测的有效性。     

基于改进YOLOv8的交通标志检测算法

目前交通标志检测在自动驾驶和辅助驾驶等智能驾驶中扮演着重要的角色,其性能的好坏影响着车辆行驶的安全。针对交通标志图像背景复杂和检测目标小等问题,提出了一种基于改进YOLOv8的交通标志检测算法。首先使用全局注意力模块,通过引入空间注意力和通道注意力机制,对输入特征图进行全局关注,有效捕捉输入特征图的全局上下文信息,对特征图在通道和空间维度上进行加权,使模型能够更加关注图像中的交通标志,避免干扰信息的影响,提高网络检测精度;其次引入幻影卷积替换原网络中的普通卷积,减小网络模型体积的同时提高模型的检测速度;最后增加一个小目标检测层,保留特征图更多浅层细节信息,提高网络对小尺寸交通标志的检测能力。实验结果表明,改进后的算法在精确率、召回率和平均精确率上相比于原算法分别提升2.6%、1.1%和1.5%,检测速度满足实时性要求。     

融合北斗/GNSS定位和5G通讯的地基激光雷达测量系统

针对海量激光点云异地实时扫描处理困难和现场绝对坐标系的配准问题,结合北斗/GNSS定位系统和5G通讯技术研制一套低成本地基激光雷达测量系统。该测量系统由激光雷达、高精度电机、北斗/GNSS接收模块和5G模组集成,激光雷达采集点云信息,高精度电机获取角度信息,北斗/GNSS接收模块接收时间并通过自主研发的时间同步模块,与高精度电机与激光雷达进行时间标记,获取带有时间标签的点云和角度文件,并通过5G通讯技术实时传输。终端通过自主研发的数据预处理软件,通过线性插值算法进行多帧点云时空配准,室外根据北斗/GNSS坐标进行多站激光点云粗配准,室内无北斗/GNSS环境下通过单站特征点进行多站点云粗配准,再利用临近迭代算法进行精配准以完成整体配准,并在自主研发的实时点云管理与可视化系统上进行可视化。实验表明该测量系统使用5G通讯技术传输速率50 Mbit/s,可以实现异地实时扫描传输,配准后的点云误差在3 mm以下,可为数字孪生、物质文化遗产监测、特大异形建筑施工运维分析等实时应用领域提供数字基础设施。