基于特征匹配的激光雷达和相机外参标定方法

智能驾驶系统的车载传感信息通常由激光雷达信息和相机信息融合而成,精确稳定的外参数标定是有效多源信息融合的基础。为提高感知系统鲁棒性,文章提出一种基于特征匹配的激光雷达和相机标定方法。首先,提出点云数据球心算法和图像数据椭圆算法提取特征点的点云三维坐标和像素二维坐标;接着,建立特征点在激光雷达坐标系和相机坐标系下的点对约束,构建非线性优化问题;最后,采用非线性优化算法优化激光雷达和相机的外参数。利用优化后的外参数将激光雷达点云投影至图像,结果显示,激光雷达和相机联合标定精度横向平均误差和纵向平均误差分别为3.06像素和1.19像素。文章提出的方法与livox＿camera＿lidar＿calibration方法相比,平均投影误差减少了40.8%,误差方差减少了56.4%,其精度和鲁棒性明显优于后者。     

基于边缘关联点云的激光雷达与相机外参标定方法

激光雷达的点云和相机的图像经常被融合应用在多个领域。准确的外参标定是融合两者信息的前提。点云特征提取是外参标定的关键步骤。但是点云的低分辨率和低质量会影响标定结果的精度。针对这些问题,提出一种基于边缘关联点云的激光雷达与相机外参标定方法。首先,利用双回波提取标定板边缘关联点云;然后,通过优化方法从边缘关联点云中提取出与实际标定板尺寸大小兼容的标定板角点;最后,将点云中角点和图像中角点匹配。用多点透视方法求解激光雷达与相机之间的外参。实验结果表明,该方法的重投影误差为1.602px,低于同类对比方法,验证了该方法的有效性与准确性。     

一种基于TOF相机与CCD相机的联合标定算法研究

针对基于Time-of-Flight(TOF)相机的彩色目标三维重建需标定CCD相机与TOF相机联合系统的几何参数,在研究现有的基于彩色图像和TOF深度图像标定算法的基础上,提出了一种基于平面棋盘模板的标定方法。拍摄了固定在平面标定模板上的彩色棋盘图案在不同角度下的彩色图像和振幅图像,改进了Harris角点提取,根据棋盘格上角点与虚拟像点的共轭关系,建立了相机标定系统模型,利用Levenberg-Marquardt算法求解,进行了标定实验。获取了TOF与CCD相机内参数,并利用像平面之间的位姿关系估计两相机坐标系的相对姿态,最后进行联合优化,获取了相机之间的旋转矩阵与平移向量。实验结果表明,提出的算法优化了求解过程,提高了标定效率,能够获得较高的精度。     

单目相机-3维激光雷达的外参标定及融合里程计研究

针对单目相机与3维激光雷达的融合里程计问题,提出了双阶段外参标定方法和基于混合残差的融合里程计方法.双阶段相机-激光雷达外参标定结合了基于运动和基于互信息2种标定方法.第1阶段为基于运动的外参标定法,在无初值的情况下得到外参的粗估计.第2阶段为基于互信息的外参标定法,以第1阶段的结果作为初值,利用互信息原理校准激光雷达反射率和相机灰度值,来优化标定结果.为进一步提高标定精度,第2阶段采用了一种针对稀疏激光雷达点云的遮挡点检测方法.所提出的双阶段外参标定方法在无需预设初值的前提下保证了标定结果的精度.在此基础上,提出了一种基于混合残差的相机与激光雷达融合里程计方法.该方法同时利用图像的直接和非直接图像特征计算重投影残差和光度残差.然后将不同类型的残差统一到非线性优化框架下,实现里程计估计.针对激光雷达数据稀疏性带来的深度信息缺失的问题,提出了一种基于颜色信息的深度插值方法,有效补充了特征点数量.最后,基于实物和公共数据集实验,对所提出的外参标定和融合里程计算法的鲁棒性和精度进行了评估.实验结果表明,所提出的外参标定方法可以在没有初值的情况下,给出精确的外参估计;所提出的融合里程计方法在公共数据集上和实物实验中均表现出了良好的估计精度和鲁棒性.     

一种基于点云匹配的激光雷达/IMU联合标定方法

针对车载激光雷达和惯性测量单元(Inertial Measurement Unit,IMU)的坐标系标定问题,设计了一种使用角反射器作标志物的标定方法。首先通过区域分割、地面滤除和标志点提取的预处理方法来提取标志点;然后借鉴3D点云匹配的方法,将坐标系联合标定转化为点云匹配问题,使用迭代最近邻点(Iterative Closest Point,ICP)算法求得两坐标系的坐标转换矩阵。最后,将标定结果与基于最小二乘法的标定结果进行对比,结果表明使用3D点云匹配的标定方法是可行的。     

一种基于最小二乘法的工业相机系统标定方法

针对精密激光加工领域中机器视觉成像高精度与高性能问题,提出了一种基于最小二乘法的工业相机系统标定方法。首先,基于工业相机的成像原理,分析了工业相机四种坐标系及其转换关系。其次,结合毫米级应用场景与某种工业相机的参数规格,建立了一种二次多项式最小二乘法的系统标定模型。然后,搭建了一套工业相机视觉运动加工平台,制作了九孔标定板,并基于Visual Studio 2010平台和MFC框架开发了标定数据计算软件。实验结果表明,该系统标定模型的坐标误差为0.001mm级,为后续系统运动控制精度提供了保证。     

基于梯形棋盘格的摄像机和激光雷达标定方法

针对无人车（UGV）自主跟随目标车辆检测过程中需要对激光雷达（LiDAR）数据和摄像机图像进行信息融合的问题,提出了一种基于梯形棋盘格标定板对激光雷达和摄像机进行联合标定的方法。首先,利用激光雷达在梯形标定板上的扫描信息,获取激光雷达安装的俯仰角和安装高度;然后,通过梯形标定板上的黑白棋盘格标定出摄像机相对于车体的外参数;其次,结合激光雷达数据点与图像像素坐标之间的对应关系,对两个传感器进行联合标定;最后,综合激光雷达和摄像机的标定结果,对激光雷达数据和摄像机图像进行了像素级的数据融合。该方法只要让梯形标定板放置在车体前方,采集一次图像和激光雷达数据就可以满足整个标定过程,实现两种类型传感器的标定。实验结果表明,该标定方法的平均位置偏差为3.5691 pixel,折算精度为13 μm,标定精度高。同时从激光雷达数据和视觉图像融合的效果来看,所提方法有效地完成激光雷达与摄像机的空间对准,融合效果好,对运动中的物体体现出了强鲁棒性。     

An automatic calibration method for stereo-based 3D distributed smart camera networks

Stereo-based 3D distributed smart camera networks are useful in a broad range of applications. Knowledge of the relative locations and orientations of nodes in the network is an essential prerequisite for true 3D sensing. A novel spatial calibration method for a network of pre-calibrated stereo smart cameras is presented, which obtains pose estimates suitable for collaborative 3D vision in a distributed fashion using two stages of registration on robust 3D point sets. The method is initially described in a geometrical sense, then presented in a practical implementation using existing vision and registration algorithms. Experiments using both software simulations and physical devices are designed and executed to demonstrate performance.     

A determination method of initial camera parameters for coplanar calibration

Most coplanar calibration algorithms determine the initial camera parameters from a single image under the assumption that the principal point is known in advance. However, the camera orientations, the shifted principal point and the noise corrupted on images have an influence on the estimated initial camera parameters under the above assumption. This paper proposes a useful method to determine the initial camera parameters for coplanar calibration. The proposed method can determine the initial camera parameters from the single image, wherein the principal point is considered as a parameter. In our experiments, both synthetic and real images are used. The experimental results show that the proposed method provides both stable initial camera parameters and noise robustness for changes of camera orientations, noise levels and shifts of principal point.     

稳定精确的摄像机标定方法

在Tsai两步法的基础上提出了一种更加稳定精确的摄像机标定方法。由于Tsai两步法中只考虑了摄像机镜头的径向畸变因素,所以为了提高摄像机的标定精度,在其基础上考虑了镜头的切向畸变情况。在求解摄像机参数的过程中,第一步同Tsai两步法采用最小二乘法求解线性方程得到外部参数,再利用最小二乘法求解关于畸变参数K1,K2,K3,K4的线性方程组,最终求得摄像机的内外所有参数。通过实验对该方法进行了验证。     

一种改进的相机标定方法

摄像机标定与图像畸变修正是摄影测量、视觉检测、计算机视觉等领域的重点研究课题之一,在测绘、工业控制、导航、军事等领域得到了极大的应用。研究了摄像机模型,摄像机标定等内容。对DLT的标定方法进行了改进,在摄像机模型中全面考虑了镜头的畸变,利用图像中心附近点畸变量较小的性质,提出一种摄像机内外部参数和像差修正参数分离的标定方法。并举例说明了基于同一物体的两幅图画三维重构的具体实验步骤和方法,分析了影响精度的因素。     

A novel method for camera external parameters online calibration using dotted road line

On board camera is the most important information source for driver assistant application which is based on computer vision. One problem for on board camera is that the external parameters are easy to be changed when moving on the road. Traditional method either calibrates external parameters offline or calibrates external parameters semi-online, which both need human intervention. By observation, it is found that corner connection of dotted road lane can form two groups of parallel lines. Using this geometric characteristics and through theoretical derivation, a novel online camera external parameter calibration method is proposed which focus on the situation when vehicle is moving. The pro of this method is that it maintains relatively high calculation accuracy and more important, it does not require any human intervention in whole calibration process. Experimental and comparison results show that this method is simple and have accurate results which fully meet the requirements of practical application.     

一种简单的基于共面的摄像机参数标定方法

共面摄像机标定就是采用平面式模板来确定摄像机内外参数的过程,在此过程中图像像素和二维特征点是已知的。对于共面标定提出了一种简单及有效的方法去标定摄像机参数。即使用帧缓存中的计算机阵列图像直接来标定参数。首先采用预标定的方法标定出图像中心位置,然后根据帧存图像坐标和世界坐标之间的对应关系使用正交矩阵的约束条件来求解,在此算法中假设尺度因子为1,并且不考虑透镜畸变。所提出的算法用数字仿真图像及真实的图像检验。结果显示,所提出的算法具有较好的精度,是一种简单有效的标定方法。     

Robust refinement methods for camera calibration and 3D reconstruction from multiple images

This paper proposes robust refinement methods to improve the popular patch multi-view 3D reconstruction algorithm by Furukawa and Ponce (2008). Specifically, a new method is proposed to improve the robustness by removing outliers based on a filtering approach. In addition, this work also proposes a method to divide the 3D points in to several buckets for applying the sparse bundle adjustment algorithm (SBA) individually, removing the outliers and finally merging them. The residuals are used to filter potential outliers to reduce the re-projection error used as the performance evaluation of refinement. In our experiments, the original mean re-projection error is about 47.6. After applying the proposed methods, the mean error is reduced to 2.13.