基于边缘关联点云的激光雷达与相机外参标定方法

激光雷达的点云和相机的图像经常被融合应用在多个领域。准确的外参标定是融合两者信息的前提。点云特征提取是外参标定的关键步骤。但是点云的低分辨率和低质量会影响标定结果的精度。针对这些问题,提出一种基于边缘关联点云的激光雷达与相机外参标定方法。首先,利用双回波提取标定板边缘关联点云;然后,通过优化方法从边缘关联点云中提取出与实际标定板尺寸大小兼容的标定板角点;最后,将点云中角点和图像中角点匹配。用多点透视方法求解激光雷达与相机之间的外参。实验结果表明,该方法的重投影误差为1.602px,低于同类对比方法,验证了该方法的有效性与准确性。     

基于光束法平差的双线阵系统标定技术

针对线阵相机特殊使用场景中所需要的高精度图像,对线阵相机进行高精度标定。提出一种基于光束法平差的双线阵相机标定方法。通过背景差分法获取线阵相机的特征点的像素坐标。再利用已有的直接线性变换方法和非线性优化方法求出相机的内参,外参,畸变参数后,将得到的初始参数与世界坐标作为待优化集合,利用LM法和光束法平差对该集合进行更进一步的优化,使得双线阵系统的重投影误差降到最低。实验表明,该方法与传统的线阵相机标定方法相比重投影误差降低了75.01%。     

单目相机-3维激光雷达的外参标定及融合里程计研究

针对单目相机与3维激光雷达的融合里程计问题,提出了双阶段外参标定方法和基于混合残差的融合里程计方法.双阶段相机-激光雷达外参标定结合了基于运动和基于互信息2种标定方法.第1阶段为基于运动的外参标定法,在无初值的情况下得到外参的粗估计.第2阶段为基于互信息的外参标定法,以第1阶段的结果作为初值,利用互信息原理校准激光雷达反射率和相机灰度值,来优化标定结果.为进一步提高标定精度,第2阶段采用了一种针对稀疏激光雷达点云的遮挡点检测方法.所提出的双阶段外参标定方法在无需预设初值的前提下保证了标定结果的精度.在此基础上,提出了一种基于混合残差的相机与激光雷达融合里程计方法.该方法同时利用图像的直接和非直接图像特征计算重投影残差和光度残差.然后将不同类型的残差统一到非线性优化框架下,实现里程计估计.针对激光雷达数据稀疏性带来的深度信息缺失的问题,提出了一种基于颜色信息的深度插值方法,有效补充了特征点数量.最后,基于实物和公共数据集实验,对所提出的外参标定和融合里程计算法的鲁棒性和精度进行了评估.实验结果表明,所提出的外参标定方法可以在没有初值的情况下,给出精确的外参估计;所提出的融合里程计方法在公共数据集上和实物实验中均表现出了良好的估计精度和鲁棒性.     

基于Halcon标定靶的双目相机高精度标定方法

基于张氏标定原理的传统双目相机标定方法在单一背景下标定精度高,但在复杂背景下不能精确提取特征点坐标,导致相机标定精度受到影响。文中提出一种基于Halcon标定靶感兴趣区域约束的透视变换方法,可以从复杂背景中精确提取特征点坐标,提高双目相机标定精度。首先通过改进的角点提取方法从背景中提取Halcon标定靶上的感兴趣区域,利用透视变换和最小二乘法提取特征点的精确坐标;然后匹配左、右图像中同名的特征点,利用张氏标定原理计算双目相机的参数。实验表明,利用文中方法标定的相机参数,计算特征点平均重投影精度达0.01像素,相比于传统方法平均重投影精度提高0.02像素,提高了双目相机参数标定的精度。     

应用激光雷达与相机信息融合的障碍物识别

针对探测器在地外星体表面软着陆过程中的障碍物识别问题,提出了一种融合三维点云数据与灰度图像数据进行精确障碍物识别的方法。首先利用坐标转换将灰度图像与三维点云归一化到同一坐标系下,实现传感器数据的融合。然后采用改进K均值聚类算法对预处理后灰度图像进行图像分割,生成光学障碍图。最后利用开源库PCL(Point Cloud Library)对激光雷达生成的三维激光点云数据进行处理,采用随机采样一致性算法提取着陆区地形水平面,对去除水平面后的点云数据进行点云分割,分离出突起物、凹坑等障碍物,并通过激光雷达与相机转换坐标系,投影到像平面,生成最终障碍图。     

基于梯形棋盘格的摄像机和激光雷达标定方法

针对无人车（UGV）自主跟随目标车辆检测过程中需要对激光雷达（LiDAR）数据和摄像机图像进行信息融合的问题,提出了一种基于梯形棋盘格标定板对激光雷达和摄像机进行联合标定的方法。首先,利用激光雷达在梯形标定板上的扫描信息,获取激光雷达安装的俯仰角和安装高度;然后,通过梯形标定板上的黑白棋盘格标定出摄像机相对于车体的外参数;其次,结合激光雷达数据点与图像像素坐标之间的对应关系,对两个传感器进行联合标定;最后,综合激光雷达和摄像机的标定结果,对激光雷达数据和摄像机图像进行了像素级的数据融合。该方法只要让梯形标定板放置在车体前方,采集一次图像和激光雷达数据就可以满足整个标定过程,实现两种类型传感器的标定。实验结果表明,该标定方法的平均位置偏差为3.5691 pixel,折算精度为13 μm,标定精度高。同时从激光雷达数据和视觉图像融合的效果来看,所提方法有效地完成激光雷达与摄像机的空间对准,融合效果好,对运动中的物体体现出了强鲁棒性。     

Tsai氏相机平面标定算法的一种解析改进

针对径向畸变的针孔透视投影模型,提出了一种简单快速的相机标定算法。该算法在假设图像中心点与CCD或CMOS传感器中心重合的前提下,将相机的内外参数和相机模型的畸变参数分离,以进一步进行线性相机标定,避免了非线性优化带来的误差,降低了算法复杂度,可适当提高标定精度,节约计算时间。首先,根据透视投影的交比不变性原理标定镜头的畸变系数;然后,根据旋转变换关系和平移变换关系,充分利用径向畸变约束、旋转变换的正交性和旋转矩阵特有的性质约束线性求解出相机的内参和外参;最后,通过实验与Tsai氏相机平面标定算法进行对比,所提算法在标定时间上节约了35%左右,在精度上至少提高了15%。     

点云下地平面检测的RGB-D相机外参自动标定

目的 RGB-D相机的外参数可以被用来将相机坐标系下的点云转换到世界坐标系的点云,可以应用在3维场景重建、3维测量、机器人、目标检测等领域。 一般的标定方法利用标定物（比如棋盘）对RGB-D彩色相机的外参标定,但并未利用深度信息,故很难简化标定过程,因此,若充分利用深度信息,则极大地简化外参标定的流程。基于彩色图的标定方法,其标定的对象是深度传感器,然而,RGB-D相机大部分则应用基于深度传感器,而基于深度信息的标定方法则可以直接标定深度传感器的姿势。方法 首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数,即相机坐标系内的点与世界坐标系内的点的转换矩阵。结果 实验以棋盘的外参标定方法为基准,处理从PrimeSense相机所采集的RGB-D视频流,结果表明,外参标定平均侧倾角误差为-1.14°,平均俯仰角误差为4.57°,平均相机高度误差为3.96 cm。结论 该方法通过自动检测地平面,准确估计出相机的外参数,具有很强的自动化,此外,算法具有较高地并行性,进行并行优化后,具有实时性,可应用于自动估计机器人姿势。     

一种基于混沌天牛须搜索算法的摄像机标定方法

为了较好地解决传统智能优化方法在摄像机标定中存在标定精度低、效率和鲁棒性差的问题，提出一种基于混沌天牛须搜索算法的摄像机标定方法。该方法使用MATLAB标定工具箱对摄像机非线性成像模型进行预标定，预标定结果作为混沌天牛须搜索算法的初始值；构造平均重投影误差适应度函数，建立混沌天牛须搜索算法优化模型对标定参数进行优化；与基于传统智能优化方法的摄像机标定方法进行实验对比。实验结果表明，该方法得到的平均重投影误差为0.005 72像素，算法总的运行时间为46.15 s,可以有效提高摄像机标定的精度、鲁棒性与效率。     

一种实用的平板高精度摄像机标定方法

在分析现有平板标定法所存在问题及完整摄像机模型的基础上,提出了一种实用的平板标定方法;首先,针对方格在进行亚像素角点提取时可能出现奇异点的问题对所有角点进行SVD分解;在未考虑畸变的情况下通过最小二乘法求取相机的初始内外参数;然后使用求取出来的初始内外参数及世界坐标求出理想图像坐标,根据畸变模型建立理想图像坐标和实际图像坐标之间的方程,解出畸变系数;最后采用LM算法作全局非线性优化,并根据反投影误差来控制角点校正及迭代运算,得到视觉系统更精确的内外参数;实验表明,该方法在对图像中心领域附近空间距离测量精度能到达0.0526mm,能满足高精度视觉测量及其它方面应用,迭代一次的情况下精度优于张正友方法。     

基于主视图投影的列车障碍物侵限实时感知方法

为提高轨道交通自动驾驶列车的障碍物感知能力,需增加列车对运行场景中障碍物侵限的感知能力。针对目前多传感融合算法对限界分析较少、实时性差、算力要求高的问题,文章提出一种使用相机和激光雷达作为传感器实时感知侵限障碍物的方法。该方法基于主视图（front view, FV）二维投影平面进行信息融合,通过离线联合标定获得投影矩阵,将激光雷达点云投影到FV平面,从相机图像中提取轨道计算限界;并使用点云预测修正传感器同步误差,根据投影的障碍物点云和限界做出侵限判断。通过在列车上安装传感器和感知系统进行了数据采集和实验验证,结果显示,本方法能够在低功耗嵌入式设备中运行,算法平均耗时16.2 ms;可以实时检测列车运行时前方障碍物是否侵限,并同时获得障碍物的位置和尺寸信息。     

基于长基线双目系统的信号弹高度测量方法

针对信号弹测量的实际需求,增加了现有双目视觉系统的基线长度。使用标准尺寸的特征物来搭建外参数标定系统,利用最小二乘法拟合特征物轮廓,提取特征点像素坐标,建立约束方程组;使用LM优化算法分别计算出两相机与标定系统的旋转量与平移量,进而求解两相机之间的外部参数。利用五帧差分法提取信号弹目标,最终获得信号弹飞行高度。试验证明,该方法测量精度高,鲁棒性较好。     

基于激光雷达与单目相机融合的人体多目标室内定位系统

针对室内场景下无源人体目标无法准确定位的问题,提出了一种基于激光雷达与单目相机融合的人体多目标室内定位系统。使用多个低成本固态激光雷达在不同位置采集点云,拼接出整个场景的点云;结合视觉传感器捕获人脸目标,通过预先标定的内外参数将点云和图像实现映射,计算出人体的空间坐标。在室内场景(5.4 m×1.5 m)和室外场景(5.0 m×5.0 m)下进行验证实验,结果表明基于激光雷达与单目相机融合的室内定位系统能实时定位多个人体目标,平均定位误差约1.0 cm。     

一种基于Kruppa方程的分步自标定方法

针对摄像机自标定中Kruppa方程求解的非线性优化问题和标定结果的欠鲁棒性,提出一种基于Kruppa方程的分步自标定方法。根据两图像匹配的特征点对采用8点算法求解相应的基本矩阵,其中待匹配图像选用摄像机对同一场景在不同焦距下拍摄的两帧图片,对图片的特征匹配点建立约束关系,采用最小二乘法求出摄像机的主点坐标,然后利用遗传算法优化Kruppa方程的比例因子,最后通过优化后的比例因子完成摄像机的标定。实验表明,该方法可提高标定精度,并通过对特征点坐标加入高斯噪声,验证了算法的鲁棒性。     

一种自动、快速的Kinect标定方法

针对目前Kinect传感器人工标定方法误差大、速度慢等问题,提出一种自动、快速的Kinect传感器外参标定方法。首先,根据彩色图像提取的角点,生成彩色图像的角点集合;其次,为了实现角点点云的自动提取,对点云图像进行深度分割,提取棋盘格点云,采用三维哈夫(Hough)变换检测方法将棋盘格点云投影到深度图像的模板平面上,在深度图像模板中提取深度图像中的角点;然后,将深度图像中的角点映射到棋盘格点云中,形成角点点云;最后,将角点点云与彩色图像的角点集合进行配准,得到角点的3D空间坐标,进而计算出深度相机到彩色相机的姿态变换矩阵。实验结果表明,本文提出的算法在保证相机标定精度的前提下,将相机参数的计算时间从平均218ms降低到166ms,实现了自动、快速的Kinect相机标定。     

基于伪随机阵列和正弦光栅的结构光标定

针对投影仪-摄像机结构光系统标定精度低的问题,提出一种基于伪随机阵列与正弦光栅结合的标定算法。该方法直接对标定板角点进行编码,根据角点在不同坐标系下的点对关系求解系统参数,提高了传统的编码精度和结构光系统标定精度。在正弦光栅条纹中心处投射伪随机阵列,根据伪随机阵列窗口的唯一性和相移法可求出正弦光栅的真实相位;分别在水平和竖直方向投射正弦光栅,根据不同方向的真实相位值形成对标定板角点的唯一编码;根据编码值获得标定板角点在投影仪像平面、摄像机像平面和世界坐标系下对应点集,根据相机标定算法可得到投影仪、相机的内外参数。该方法直接对标定板角点高精度编码,求解世界坐标点和像素坐标点的对应关系,仅需要普通棋盘格标定板可实现高精度标定。实验结果表明最大反投影残差为0.7像素,棋盘格角点重建均方差为0.08 mm。     

鱼眼镜头的标定和畸变校正研究

为在使用鱼眼镜头得到大视野图像的同时得到正常的视觉效果,研究鱼眼镜头的成像模型及内外参数的标定过程.相比常用的标定算法,采用基于镜头模型的标定方法;针对Davide Scaramuzza提出的全方位相机标定工具箱,指出其不足之处,对角点坐标的精度、标定系数矩阵稳定性和角点范围随意性三方面进行优化和提高;根据标定结果对鱼眼畸变图像进行畸变校正,得到正常视觉的平面图.实验结果表明,优化后的方法实现简单、鲁棒性强、结果准确.     

基于独立三视图的图像序列三维重建

针对图像序列的高效、稳定三维重建问题,提出一种基于独立三视图的三维重建方法.首先以三视图为重建单元,叠加三视图约束,实现基础矩阵的鲁棒性计算,然后通过三角测量恢复得到三视图对应的三维场景局部三维点云.对于三视图的稳定三维点云刚体结构,通过求解相邻三视图间转换参数,将整个图像序列的三维点云统一到同一空间坐标系,实现完整图像序列的三维点云重建.实验表明,所提出算法计算简单、效率高,并且不产生误差累积,重投影误差在1个像素左右,实现建模所需可靠三维点云数据的快速生成.     

基于投影仪和摄像机的结构光视觉标定方法

为实现基于投影仪和摄像机的结构光视觉系统连续扫描,需要计算投影仪投影的任意光平面与摄像机图像平面的空间位置关系,进而需要求取摄像机光心与投影仪光心之间的相对位置关系。求取摄像机的内参数,在标定板上选取四个角点作为特征点并利用摄像机内参数求取该四个特征点的外参数,从而知道四个特征点在摄像机坐标系中的坐标。利用投影仪自身参数求解特征点在投影仪坐标系中的坐标,从而计算出摄像机光心与投影仪光心之间的相对位置关系,实现结构光视觉标定。利用标定后的视觉系统,对标定板上的角点距离进行测量,最大相对误差为0.277%,表明该标定算法可以应用于基于投影仪和摄像机的结构光视觉系统。     

一种基于线结构光的水下目标3维信息测量方法

针对现有水下探测方式精度不佳、标定误差较大、效率较低等不足,设计了一种基于线结构光的水下目标3维信息测量方法。首先利用交比不变原理求解特征点在世界坐标系下的相对位置,随后基于像面特征点的方向向量及特征点的位置信息求解其在相机坐标下的真实坐标值,利用多个特征点完成结构光平面的标定。通过目标物扫描实验验证了该方法的可行性及有效性。线结构光平面的标定仅需要对特制的简单结构立体靶标进行一次扫描即可完成,无需多次移动靶标,避免了人为误差的影响。在标定线结构光平面的同时可以同步完成位移平台各自由度的位移速度标定,有效降低了实验平台系统误差,在提升系统精度的同时也极大地提升了整个系统标定过程的效率,非常适用于大尺度线结构光系统在水下现场标定。经验证,扫描水下目标物所得3维点云坐标沿X、Y轴方向的误差均小于2%,沿Z轴方向的误差略大,平均误差2.77%。