基于激光雷达与视觉融合的水面漂浮物检测

针对水面清污机器人对漂浮目标的检测问题,提出了一种将三维激光雷达点云数据与视觉信息融合检测的方法.首先,视觉识别部分采用CornerNet-Lite目标检测网络,通过对大量样本的训练实现水面漂浮物的检测,得到候选目标的种类和置信度.然后,通过相机和激光雷达的标定将激光雷达三维点云数据投影到二维像素平面,并根据相对像素面...     

基于强度信息的激光雷达和相机空间位姿标定方法

激光雷达和相机融合系统可感知环境的几何尺寸和颜色信息,在多个领域中得到了广泛应用。为了准确融合两种信息,提出了一种基于自然特征点的激光雷达和相机外部参数标定方法。首先,在激光雷达自校正的基础上,利用激光雷达数据的强度信息对点云以中心投影的方式生成灰度图。然后,通过尺度不变特征变换算法对投影生成的灰度图和相机图像进行特征点提取和匹配。最后,以同名特征点得到的信息建立标定数学模型,并进行数据优化,标定出三维激光雷达系统和相机系统的外部参数。实验结果表明,该方法计算的点云到图像像素点的重投影误差为2.3 pixel,验证了该位姿标定方法的有效性和准确性。     

双二维激光雷达相对位姿的标定方法

针对室内空间的三维重建,采用双二维激光雷达,提出精确标定两雷达相对位姿的方法,实现三维空间的可连续采集,并获得准确的三维轮廓点云。利用静态标定靶标的扫描数据,建立靶标参数求解数学模型,得到双雷达坐标系相对位姿的补偿矩阵,并转化为精确矩阵。建立仿真平台,模拟标定实验,实现靶标参数的扭曲校正,初步验证该标定方法可行,并进行模拟采集实验,获得的点云分离程度小于等于7mm。搭建了硬件实物平台,标定后进行室内轮廓采集实验,最终得到了无畸变扭曲的三维轮廓点云。实验结果表明,双二维激光雷达相对位姿的标定精度可以满足室内场景三维重建的要求。     

基于深度学习算法的三维激光雷达主动成像目标检测

为了提升目标检测效果，设计基于深度学习算法的三维激光雷达主动成像目标检测方法。利用深度学习算法的生成对抗网络，剔除三维激光雷达主动成像过程中的杂波干扰，得到无杂波干扰的目标三维图像；设计生成模型与对抗模型的损失函数，利用端到端深度神经网络的点云编码层，在无杂波干扰的目标三维图像内，提取目标三维图像特征，并输入目标检测层内；通过目标检测层输出目标检测候选框，利用非极大值结合混合置信度，确定最终目标检测框，完成三维激光雷达主动成像目标检测。实验结果表明：该方法可有效剔除杂波干扰，得到无杂波干扰的目标三维图像；该方法可有效完成三维激光雷达主动成像目标检测，且在不同目标运动模糊长度像素时，该方法目标检测的交并比均高于阈值，说明该方法的目标检测精度较高。     

一种基于2D激光雷达的扫描系统标定方法

利用二维激光雷达以及转轴搭建的快速三维扫描系统由于雷达光心点与系统转轴中心通常不重合,因此需要进行系统的标定。本文基于LMS500二维激光雷达搭建了一套三维激光扫描系统,在分析了核心部件LMS500激光传感器测量误差的基础上,采用一种简单易行的方法完成了三维系统主要参数的标定,获得了扫描系统的数据转换公式。最后进行了阶梯轴零件的扫描并获得了较好的实验结果。     

旋转二维激光雷达测量系统及其标定方法

为了实现利用单个二维激光雷达获得被扫描物体 的三维信息,提出了一种旋转二维激光雷达三维 扫描测量系统及其标定方法。确定了系统的组成和扫描测量原理,建立了系统的数学模型。 针对现有激光 雷达扫描测量系统参数标定方法不能线性求解的不足,提出了一种基于特定结构标定件的系 统参数线性标 定方法,分析了该标定方法的原理及步骤,并通过上述原理建立线性方程组实现了系统外参 数的求解。组 建了实验系统,制作了标定件和被测量件,利用标定后的激光雷达测量系统对被测量件进行 扫描。实验结 果表明,旋转二维激光雷达测量系统测量值和三坐标测量机对应测量值之间的最大差值为6.84mm,在二维 激光雷达测量误差±30mm之内,完全满足实际测量精度要求。     

面向直线顶管机的双屏视觉标靶标定方法与精度评价

针对双屏视觉标靶前、后感光成像屏位姿关系难以标定的问题,提出一种基于坐标点云的感光成像屏位姿标定方法。该方法分别将前、后感光成像屏划分为n行n列的网格阵列,通过全站仪测量感光成像屏上每个网格角点的空间三维坐标,并利用工业相机实时获取感光成像屏上每个网格角点的图像二维坐标,结合图像二维坐标和空间三维坐标获得2D-3D映射关系,从而得到坐标点云数据。根据三公共点坐标系转换算法将坐标点云数据中的三维坐标统一到标靶坐标系下,进而确定相机与前、后感光成像屏的位姿关系,再通过网格索引方法对前、后感光成像屏的位姿关系进行求解。为评价标靶位姿测量精度,设计了静态测量重复性精度评定实验和绝对测量精度评定实验。实验结果表明:该标定方法的坐标静态测量重复性精度为0.13 mm、绝对测量精度为0.93 mm;方位角静态测量重复性精度优于0.01°、绝对测量精度优于0.05°。因此,该标定方法可以实现两个空间平面位姿关系的精确标定,且具有操作简便、精度高等特点,可用于双屏视觉标靶的标定。     

基于雷达点云与图像数据的三维目标检测方法

在智能交通领域中,道路场景的三维目标实时检测对于保障汽车行驶安全具有重要意义.使用雷达点云和图像数据进行融合能够达到优势互补的效果,然而使用这两种数据融合的三维目标检测算法为得到较高的检测精度,通常都采用两阶段网络,相比于单阶段网络运算速度较慢,而在实际应用中检测系统的速度是非常重要的.针对以上问题,在单阶段网络RetinaNet上进行改进,设计了一种三维目标实时检测方法,将三维锚框映射到点云和图像的特征图上,利用ROI池化,将锚框在特征图上裁剪出的区域转换成相同大小并融合,最终输出目标边界框的回归参数和类别,并且对锚框进行调整得到目标预测边界框.在KITTI数据集上进行的实验表明,所研究的网络在行人、车辆等多目标检测的精确度和时间消耗方面均优于对比算法.     

基于投影降维的激光雷达快速目标识别

激光雷达可以获得目标的三维形状信息,是复杂地面背景下车辆识别的有效手段。提出了一种基于投影降维的快速激光雷达目标识别方法,对检测后提取的疑似目标三维点云数据进行投影降维,得到数字表面模型(DSM)数据,根据轮廓相似性度量值以及尺寸相似度量值构成的组合识别准则进行目标识别。采用8组地面装甲目标的仿真点云数据进行实验,实验表明算法的目标型号识别率高于90%,实时性远优于传统算法。针对实际应用需求,进一步研究了点云空间分辨率,激光雷达成像系统误差对目标识别的影响。     

一种多层多模态融合3D目标检测方法

在自动驾驶感知系统中视觉传感器与激光雷达是关键的信息来源,但在目前的3D目标检测任务中大部分纯点云的网络检测能力都优于图像和激光点云融合的网络,现有的研究将其原因总结为图像与雷达信息的视角错位以及异构特征难以匹配,单阶段融合算法难以充分融合二者的特征.为此,本文提出一种新的多层多模态融合的3D目标检测方法：首先,前融合阶段通过在2D检测框形成的锥视区内对点云进行局部顺序的色彩信息（Red Green Blue, RGB）涂抹编码;然后将编码后点云输入融合了自注意力机制上下文感知的通道扩充PointPillars检测网络;后融合阶段将2D候选框与3D候选框在非极大抑制之前编码为两组稀疏张量,利用相机激光雷达对象候选融合网络得出最终的3D目标检测结果 .在KITTI数据集上进行的实验表明,本融合检测方法相较于纯点云网络的基线上有了显著的性能提升,平均mAP提高了6.24%.     

基于改进PointPillars的激光雷达三维目标检测

针对汽车自动驾驶时通过激光雷达进行三维目标检测时识别结果不准确、目标朝向检测偏差较大的问题，提出一种基于改进PointPillars的激光雷达三维目标检测方法。首先，基于Swin Transformer改进PointPillars的二维卷积降采样模块，使得网络特征提取阶段能够使用自注意力机制来丰富上下文语义并获取全局特征，增强算法的特征提取能力。其次，利用点云立柱的特性将点云的地面部分去除，降低冗余点云的影响，从而提高三维目标检测的识别精度。在公开数据集KITTI上进行的验证实验结果表明：所提方法具有更高的检测精度，相较于原PointPillars，平均检测精度提升了1.3个百分点，验证了该方法的有效性。     

远距离监视激光雷达动目标快速检测

激光雷达具有全天候工作、探测精度高、有效探测距离远、易获得三维信息等特点,但工作在远距离模式时,目标点云比较稀疏。当前便携条件下,基于深度学习的算法在激光雷达点云数据直接目标识别时,实时性和成功率尚不能达到远程监视实际工程的要求。针对实际工程中利用激光雷达检测运动目标进而实时引导高分辨率相机的需求,采用基于变化的检测方法,对远距离条件下激光雷达的运动目标检测方法进行了研究,利用点云数据的距离信息,给出三维单高斯模型和三维高斯混合模型检测动目标的过程和方法,提出了利用杂波图恒虚警率检测法处理点云数据的方法。实验表明,与二维图像动目标检测方法相比,三维单高斯模型法会很大程度提高检测准确性,降低虚警率,但仍然存在较高虚警率。为适应复杂三维场景,采用基于三维高斯混合模型的方法进一步降低了虚警率,但也降低了检测速度;而杂波图CFAR的方法具有很高的实时性,同时也具有较好的检测性能。     

基于激光雷达与相机融合的交通锥桶检测

针对广泛应用在自动驾驶场景中的交通锥桶，对于单一传感器在自动驾驶目标检测中的局限性问题，提出一种基于激光雷达与相机融合的实时、鲁棒的交通检测锥桶方法。该方法利用交通锥桶的独特几何结构，通过激光雷达与相机检测交通锥桶的三维位置和颜色信息，将激光雷达三维点云投影到二维图像平面，对结果进行后融合。实验表明，该方法能够稳定、准确地检测出交通锥桶，在不同环境光照条件和复杂环境下检测准确率均在96%以上。     

中值滤波在激光雷达点云数据预处理中的应用

为了研究3维激光雷达测量系统采集到的点云数据如何进行去噪处理,根据灰度图像中对灰度值进行滤波去噪的概念,采用改进的2维中值滤波方法对点云数据中的噪声点加以处理。基于激光雷达点云数据数据量庞大且存在噪声点特点,重点分析了改进2维中值滤波算法和点云数据信噪分离方法,并通过实验验证,得到了速度对比数据和滤波效果图。结果表明,利用改进后的2维中值滤波方法,速度明显得到改进,对激光雷达点云数据的滤波效果良好。     

三维点云与可见光图像融合方法及可视化

鉴于三维点云缺少颜色信息和光学图像缺少空间信息，提出一种基于激光雷达与相机自动标定的融合方法，融合后的数据兼有点云的空间信息和光学图像的颜色纹理信息。首先利用平面标定板对激光雷达和光学相机进行分步式自动标定，其次通过共线方程建立坐标关系，将光学图像的颜色纹理信息赋予点云进行融合并进行可视化。实验结果表明：所提方法在提高自动化程度的同时也在一定程度上提高了融合精度；与基于人工匹配的标定融合方法相比，所提方法的精度提升了51.7%；与基于梯形棋盘格标定板的标定融合方法相比，所提方法的精度提升了36.4%。从多角度观测可视化结果，所提方法都能从颜色和空间效果方面更好地还原真实场景。     

线结构光三维传感器扫描方向标定方法

线结构光三维传感器需要结合扫描机构才能对物体进行三维重构,在使用前需要对扫描方向进行标定。由于各个标定图像的清晰度不同,传统标定方法会多次引入噪声,降低了标定精度。为了减小由图像清晰度不同多次引入的噪声,本文提出了基于联合估计的扫描方向标定方法。在标定过程中,需要使用位移台将平面靶标移动一个固定的距离,使每个拍摄位置处的靶标相对相机坐标系的旋转矩阵相同,同时平移向量的变化由位移台的运动步长约束。通过对旋转矩阵和平移向量增加约束,将平面靶标上的二维特征点拓展为三维特征点;联合所有标定图像进行统一的单应性估计,减小了由图像清晰度不同多次引入的噪声。通过测量量块尺寸进行了验证实验,实验结果表明：所提方法的测量误差相比传统方法减小了约30%,而且所提方法具有更好的重复性。所提方法实现了线结构光三维传感器扫描方向的高精度标定,减小了传感器三维重构的误差。     

基于机器视觉的三维重建技术研究

研究了基于机器视觉的三维重建技术。利用普通的数码摄像机拍摄图片,通过摄像机定标、特征点检测和匹配、基础矩阵和本质矩阵计算来实现图像的三维重建。采用张正友标定方法的相机标定工具箱实现了相机的标定,利用尺度不变特征变换(SIFT)特征点的检测和匹配方法进行了图像特征点的检测和匹配,采用RANSAC算法计算基础矩阵,最后利用相机内参数和由基础矩阵获得的本质矩阵重建物体的特征点,并进行纹理贴图。实验结果表明利用这些图像可以进行物体重建,并且能够很好地反映出物体的三维特征。     

体素化点云场景下的三维目标检测

基于激光雷达点云数据的三维目标检测算法受制于数据量大,无法实现速度与准确率的平衡。本文提出一种改进的三维目标检测算法Pillar RCNN。首先将目标点云空间划分为体素格,使用一种基于稀疏卷积的三维主干网络将体素格逐步转化为立柱体素,三维信息量化为致密的二维信息。然后使用二维主干网络提取特征,同时将三维骨干网络中不同尺度的体素特征与二维主干网络通过多尺度体素特征聚合模块进行特征级联,通过损失函数进一步细化检测框。算法在KITTI公开数据集上进行测试,在RTX 2080Ti硬件平台上识别速度为2.48 ms。汽车、行人、自行车3种类别的检测效果同PointPillars基准算法相比较,其中自行车中等难度检测效果提升13.34%,困难难度的车检测效果提升8.85%,其他类别的检测准确率指标也有所提升,实现了速度与准确率的平衡。     

基于掩膜投影和双参数CFAR的圆周扫描GBSAR三维点云提取方法

圆周扫描地基合成孔径雷达（Ground based Synthetic Aperture Radar, GBSAR）通过在竖直面做圆周旋转扫描，具备三维成像的重要优势。但是其圆周观测几何会产生强旁瓣，造成目标点云提取困难。目前未见圆周扫描GBSAR三维点云提取方法的相关研究，经典的双参数恒虚警率（Constant False Alarm Rate,CFAR）算法虽然能够提取三维点云，但需要对三维像不同高度逐层进行检测，由于强旁瓣的影响，无法准确提取三维点云。针对上述问题，本文提出基于掩膜投影和双参数CFAR的圆周扫描GBSAR三维点云提取方法，该方法利用掩膜投影和两次双参数CFAR实现强旁瓣影响下的点云精确提取。该方法首先对SAR三维图像应用最大值投影获取三视图，然后对三视图进行第一次双参数CFAR获取三视图掩膜；然后利用三视图掩膜投影，通过SAR三维像取交集去掉空间位置旁瓣，得到潜在目标区域数据；最后对潜在目标区域的数据应用第二次双参数CFAR实现点云提取。该方法利用实际数据进行实验，结果表明，所提方法与经典的双参数CFAR逐层检测算法相比，可更准确地提取出三维SAR图像目标点云。     

基于雷达传感器和改进深度学习的无人机目标检测方法

针对当前无人机目标检测技术精确度低、受环境影响大的缺点,依托运动相机与激光雷达设备,提出了基于改进深度学习的无人机目标检测方法：在深度图像网络架构的基础上,引入残差网络提升算法精度,利用MobileNet加速深度学习的过程,从而利用改进的RetinaNet算法实现无人机精确目标识别与定位;针对点云数据无法通过二维投影准确计算距离的问题,提出通过直方图网络精确估计检测目标的视觉距离。实验结果表明,在不同的复杂环境条件下,与Faster R-CNN相比,所提方法检测精度更高、使用场景更广、运算速度更快,平均精度比Faster R-CNN算法高出1.5%。