激光雷达与相机融合标定技术研究进展

单传感器存在采集数据信息不完整的缺点，比如激光雷达缺乏纹理色彩信息，相机缺乏深度信息。激光雷达和相机数据融合可实现传感器之间信息互补，感知空间精准的彩色三维数据，被广泛应用于自动驾驶、移动机器人等领域。针对现阶段激光雷达和相机外参标定文献多、杂、乱等问题，文中系统地梳理了校准流程和归纳了校准方法。首先介绍了激光雷达和相机单传感器内参标定的原理和方法，并建立数学模型概述它们外参的标定原理。然后将现有标定方法从基于标靶、基于无标靶、基于运动和基于深度学习四个方向综述归纳，并分析每种标定方法的特点。最后总结全文，并指出提升标定精度基础上实现自动化和智能化的校准方案是未来标定趋势。     

基于多源点云与图像数据的车辆定位与再识别方法

针对大型桥梁车辆移动荷载监测场合中车辆的重心估计能力不足和车辆再识别困难等问题，提出一种基于点云灰度图的彩色图像与点云快速融合方法，以提高对车辆的空间定位能力和对目标的辨识能力。首先利用立体标定靶对不同视角相机和点云采集装置的位姿进行标定，获取它们彼此间的相对位置和姿态；然后利用标定的结果对不同视角采集到的点云进行拼接，得到完整的车辆点云；再将完整点云转换至彩色相机坐标系并投影，提取点云灰度图，实现彩色图像与点云灰度图的配准，将其姿态调整至与车辆实体在彩色相机坐标系内的位置和姿态一致。进一步建立彩色像素点与三维点云间的映射关系，并将颜色信息与点云相关联，从而实现彩色图像与点云的融合。利用融合后的彩色点云和相机成像模型，可以得到车辆在彩色相机坐标系中的虚拟图像，为车辆的再识别提供依据。结果显示，相比于采样一致性算法，所提配准算法缩短了约74.1%的耗时。实验表明，所提算法实现数据融合后生成的彩色点云具有较高的还原度，证明了所提算法的可行性，为解决类似的问题提供了新的思路和方法。     

基于强度信息的激光雷达和相机空间位姿标定方法

激光雷达和相机融合系统可感知环境的几何尺寸和颜色信息,在多个领域中得到了广泛应用。为了准确融合两种信息,提出了一种基于自然特征点的激光雷达和相机外部参数标定方法。首先,在激光雷达自校正的基础上,利用激光雷达数据的强度信息对点云以中心投影的方式生成灰度图。然后,通过尺度不变特征变换算法对投影生成的灰度图和相机图像进行特征点提取和匹配。最后,以同名特征点得到的信息建立标定数学模型,并进行数据优化,标定出三维激光雷达系统和相机系统的外部参数。实验结果表明,该方法计算的点云到图像像素点的重投影误差为2.3 pixel,验证了该位姿标定方法的有效性和准确性。     

基于激光雷达与相机融合的交通锥桶检测

针对广泛应用在自动驾驶场景中的交通锥桶，对于单一传感器在自动驾驶目标检测中的局限性问题，提出一种基于激光雷达与相机融合的实时、鲁棒的交通检测锥桶方法。该方法利用交通锥桶的独特几何结构，通过激光雷达与相机检测交通锥桶的三维位置和颜色信息，将激光雷达三维点云投影到二维图像平面，对结果进行后融合。实验表明，该方法能够稳定、准确地检测出交通锥桶，在不同环境光照条件和复杂环境下检测准确率均在96%以上。     

基于线阵图像傅里叶与灰度匹配算法的三维测量

双线扫描相机三维测量系统的匹配环节容易受到表面纹理和光源的影响,从而影响点云的精度和完整性.为此,提出了一种基于傅里叶变换的灰度相似性匹配算法,以实现高精度匹配和处理部分过度曝光.此外,建立了测量系统的成像模型,提出了一种灵活的线扫描相机静态标定方法.最后,搭建了实验平台验证了所提匹配算法的效果和测量系统的精度.相机标定结果的重投影误差优于0.3 pixel,基于所提算法的测量点云完整且能良好反映被测物深度突变处的真实形貌,标准平板测量点云到拟合平面均方根误差为0.023 mm.结果 表明,所提匹配算法既能有效保证点云的完整性,又能保留被测物的表面细节特征.     

基于超分辨率角点检测算法的双目相机高精度标定方法

双目相机标定是研究立体视觉的基础工作，标定的精度是视觉测量精度的关键。图像角点提取是相机标定的基础，但在现实应用场景中，外界影响使获取的图像不清晰，导致检测到的角点精度低，从而影响标定的精度。因此，提出一种基于超分辨率亚像素角点检测的端到端算法，从特征级解决低质量角点检测问题。首先，应用盲超分部分估计低分辨率图像模糊核，融合低分辨率图像特征重建出高分辨率图；然后，在此基础上得到角点亚像素位置；最后对双目相机进行高精度标定，并用测距实验对其进行检验。实验结果表明，所提基于超分辨的亚像素角点检测方法在真实场景下具有优越性。     

激光雷达与相机自适应紧耦合的同时定位与建图算法

同时定位与建图（SLAM）是自动驾驶的基本要求之一。多传感器融合，尤其是激光雷达和相机的融合，对于自动驾驶来说是必不可少的。其中，如何针对各种场景调整不同传感器的置信度是关键问题，基于此，提出一种自适应紧耦合的激光雷达相机融合的SLAM(AVLS)算法。首先，所提AVLS算法建立在基于滑动窗口的因子图上，包含提升整体算法精度和鲁棒性的灵活深度关联和弹性初始化等模块。其次，为了充分探索激光雷达和相机在不同环境中的性能，采用一种基于先验知识的动态加权方案。最后，将所提AVLS算法在两个公开的大规模自动驾驶数据集上进行了全面实验，包括与经典算法的对比及消融实验，实验结果表明，AVLS算法的鲁棒性和精确度可以达到目前领先水平。     

激光雷达和CCD外部标定方法的改进及其应用研究

激光雷达和CCD各自都具有快速获取物体空间信息的能力,广泛应用在真实场景的三维建模中.本文结合激光雷达对空间三维数据采集的高速性以及CCD图像处理的快速和便利性,将激光雷达和CCD外部标定算法首次运用在物体三维建模中,提出了改进的外部标定算法,研究了基于外部标定算法的点云分割.并对分割后的点云进行三维重建和纹理映射,取得了较好效果.     

基于多尺度图像融合信息的沥青路面三维成像方法

基于图像处理的沥青路面纹理三维重建技术具有快速、全面、分辨率高等优点，针对沥青路面颜色集中、特征点不明显导致三维纹理检测精度低的问题，提出一种基于多尺度图像融合的双目视觉技术。通过加权最小二乘滤波实现图像多尺度分解，利用跨尺度聚合模型融合多尺度图像信息进行沥青路面三维重建，提高了双目重建的精度。通过区域纹理参数，将所提方法与激光扫描仪进行了比较。结果表明，所提方法的区域纹理参数结果与激光扫描仪的结果比较接近。     

基于连续相位稠密匹配的结构光三维重建优化方法

提出了一种基于连续相位稠密匹配的结构光三维（3D）重建优化方法。利用标定的相机阵列获取投影的结构光变形条纹,利用格雷码划分相位级次,提出等相位约束条件,实现不同相机图像之间的稠密匹配;然后利用空间3D点与相机阵列之间的投影关系,建立各相机位姿与重建点云全局优化模型;利用观测值反向投影的欧式距离建立非线性优化的目标函数,并将此优化问题转为李代数上的图优化模型进行迭代求解。利用公开数据集和实测数据进行实验,结果表明,所提方法可以实现360°无遮挡的3D重建,且重建精度相对传统无优化结构光方式提高了6.94%,相机位姿精度提高了9.77%。所提方法相比参考方法对相机畸变标定精度要求低,并可用于模型点云的非刚体融合。同时由于相机阵列的使用,重建过程中目标物体无需多次旋转,使得物体的3D重建更加方便。     

一种脉冲激光雷达与摄像机标定方法的研究

激光雷达和CCD摄像机各自都具有快速获取物体空间信息的能力,广泛应用在真实场景的三维建模中。激光雷达与CCD摄像机数据融合面临的首要问题是二者之间坐标系的标定,针对脉冲激光雷达和CCD的特点设计了一种三维标定靶,提出了一种改进的外部标定算法,利用主成分分析法拟合平面,提高了标定精度。将激光雷达和CCD标定算法运用在物体三维建模中,研究了基于外部标定算法的三维重建和纹理映射,取得了较好效果。     

基于激光扫描的人脸图像模糊纹理特征提取方法

由于图像的高频细节信息较为复杂，在人脸图像识别中特征提取准确度严重下降，为此，提出一种基于激光扫描的人脸图像模糊纹理特征提取方法。通过直接标定的方式获取相机采样图片中标定点坐标和世界坐标系之间的关系，使用相机拍摄标准色板图像，标定感光曲线，通过激光扫描得到人脸图像。将获取的人脸图像预处理，将预处理之后得到的人脸图像特征实行CCS-LBP编码处理，将编码处理得到的图像特征融合处理，获取一个全新的纹理特征，最终达到人脸图像模糊纹理特征提取的目的。实验结果表明，所提方法可以有效提升特征提取结果准确性。     

基于改进PointPillars的激光雷达三维目标检测

针对汽车自动驾驶时通过激光雷达进行三维目标检测时识别结果不准确、目标朝向检测偏差较大的问题，提出一种基于改进PointPillars的激光雷达三维目标检测方法。首先，基于Swin Transformer改进PointPillars的二维卷积降采样模块，使得网络特征提取阶段能够使用自注意力机制来丰富上下文语义并获取全局特征，增强算法的特征提取能力。其次，利用点云立柱的特性将点云的地面部分去除，降低冗余点云的影响，从而提高三维目标检测的识别精度。在公开数据集KITTI上进行的验证实验结果表明：所提方法具有更高的检测精度，相较于原PointPillars，平均检测精度提升了1.3个百分点，验证了该方法的有效性。     

基于16线激光雷达和相机融合的三维目标检测

针对16线激光雷达点云过于稀疏而无法进行三维目标检测的问题,设计了一种基于激光雷达和相机融合的三维目标检测方法。首先,对激光雷达和相机进行联合标定,统一两者坐标系,并利用ROS进行时间同步,确保雷达和相机在相同的时间感知到相同的环境。然后,将相机采集的图像作为输入,送入YOLOv5算法中进行二维的目标检测,得到目标在图像中的二维检测框和类别。最后,利用联合标定过的激光雷达获取目标二维像素点对应的三维点云,通过这些雷达点云算出目标的三维坐标和三维边界框,从而得到三维目标检测结果。实验验证：通过搭建硬件平台并在实验场地测试后证明了该方法的可行性。     

基于激光雷达与视觉融合的水面漂浮物检测

针对水面清污机器人对漂浮目标的检测问题,提出了一种将三维激光雷达点云数据与视觉信息融合检测的方法.首先,视觉识别部分采用CornerNet-Lite目标检测网络,通过对大量样本的训练实现水面漂浮物的检测,得到候选目标的种类和置信度.然后,通过相机和激光雷达的标定将激光雷达三维点云数据投影到二维像素平面,并根据相对像素面...     

基于多传感器信息融合的障碍物感知追踪系统设计

自动驾驶系统是指采用先进的通信、计算机、网络和控制技术,对车辆实现实时、连续控制。自动驾驶研究领域中,对车身周围障碍物的感知追踪是自动驾驶车辆安全行驶的基础和前提。因此,重点研究了基于激光雷达、IMU、北斗卫星信号多源信息融合的障碍物感知与追踪系统。利用激光雷达提供的三维点云数据划分最大最小高度差栅格实现自动驾驶车辆周围的障碍物感知功能。基于激光雷达点云的障碍物感知算法中,针对特殊的悬空类型障碍物,采用高度划分的点云栅格中的点云概率密度作为悬空障碍物是否能够通行的判断依据,能够有效提升障碍物感知系统的鲁棒性。利用IMU和北斗卫星信号紧耦合方式实现自动驾驶车辆的轨迹跟踪,从而利用车辆运动状态信息结合匈牙利匹配算法实现多传感器信息融合的障碍物追踪功能。在基于多传感器信息融合的障碍物感知追踪系统中,利用IMU和北斗卫星紧耦合方式得到的转移矩阵信息去除由于车辆运动造成的激光雷达点云畸变,从而提升车辆障碍物感知追踪系统的准确度。通过实际采集得到的激光雷达、IMU及北斗卫星数据验证了提出的基于多传感器信息融合的障碍物感知追踪系统的有效性和实用性。     

基于多相机系统的高精度标定

随着工业机器视觉的深入发展，大视野高精度视觉系统的需求越来越多。针对大视野导致的精度过低问题，提出一种基于多个低像素相机联合标定的方法。在多相机中选择一个相机作为主相机，求取其他相机的像素坐标系与主相机像素坐标系的映射矩阵，使得主相机的视野无限扩展。同时，为了更精确地得到标定板图像中的圆心像素坐标位置，采用两步标定法提升标定精度。提取标定板圆心像素坐标进行第1次粗标定，获取相机内参以及标定板位姿，从而获取图像平面与世界坐标系的平面Z=0之间的映射关系。对其进行透视偏差矫正，提取矫正后标定板的圆心，再利用逆映射变换把相应的圆心转换回原始位置，用转换后圆心像素坐标位置对主相机进行第2次精标定。最后通过LevenbergMarquardt算法进行非线性优化获取全局最优解。实验结果表明，所提标定方法的重投影误差在0.005 pixel～0.01 pixel之间。     

基于编码立体靶标的高精度双目相机标定

为提高双目相机标定的精度和效率，本文提出了一种基于新型编码立体靶标并结合高精度参数优化的双目相机标定方法。新型编码立体靶标通过整合4个空间姿态不同的编码平面靶标，只需拍摄一次即可完成双目相机标定，有效提高了标定效率；每个编码平面靶标内设置多个编码单元，在采集到局部靶标图像时仍能获得高精度标定结果；采用高精度参数优化方法，建立包含重投影约束、标准长度约束和共面约束的目标函数，有效提高了双目相机的标定精度。实验结果表明：相比于张氏标定方法，本文所提标定方法获得的左右相机平均绝对重投影误差分别降低了55.42%和57.22%，平均绝对标准长度误差降低了41.28%，平均绝对共面误差降低了63.04%。通过多次测量不同规格的标准量块，进一步验证了本文所提标定方法的可行性和有效性。     

RGB激光扫描的面部特征点识别研究

传统方法在进行危险预警时,需要被测者穿戴整套仪器设备,成本高,稳定性不好,为此,提出一种基于激光扫描的多源脸部信息感知危险预警方法。在进行激光扫描前,通过直接标定法对相机进行标定,并且提出适于RGB激光扫描的颜色标定法,令采集的点云数据中所有点均和一组RGB颜色数据相应,从而得到脸部彩色三维重建结果。利用激光扫描仪得到测角与测距,获取测点的三维坐标,和扫描点构成人脸三维点云数据图,对点云数据进行分析处理,得到多源人脸信息。依据眼睛特征点与嘴部特征点判断人体是否处于疲劳状态,从而完成危险预警。实验结果表明,所提方法危险预警准确性高。     

车载三维激光雷达外参数的分步自动标定算法

三维激光雷达外参数标定是智能车通过激光雷达感知环境的基础,针对常见标定方法实施繁琐、精度低,以及依赖其他传感器的问题,提出了一种分步自动标定算法。第1步对地面点云进行拟合得到地面方程,构造水平度函数,通过粒子群优化(PSO)算法优化水平度函数完成对激光雷达俯仰角、横滚角和纵向位移的标定;第2步标定以第1步标定的完成为基础,在车辆沿直线行驶过程中采集多帧含有同一标定杆的激光点云,通过聚类得到标定杆聚类中心,然后在二维平面内对多帧同一标定杆的聚类中心进行直线拟合,根据直线斜率计算航向角。结果表明,所提算法的精度可达10~(-5)数量级,耗时0.5s,极大地提高了标定精度和效率,能满足实际工程的使用需求。上述两步自动标定算法由程序自动完成,并且不依赖于其他传感器即可得到高精度的标定结果。