基于梯形棋盘格的摄像机和激光雷达标定方法

针对无人车（UGV）自主跟随目标车辆检测过程中需要对激光雷达（LiDAR）数据和摄像机图像进行信息融合的问题,提出了一种基于梯形棋盘格标定板对激光雷达和摄像机进行联合标定的方法。首先,利用激光雷达在梯形标定板上的扫描信息,获取激光雷达安装的俯仰角和安装高度;然后,通过梯形标定板上的黑白棋盘格标定出摄像机相对于车体的外参数;其次,结合激光雷达数据点与图像像素坐标之间的对应关系,对两个传感器进行联合标定;最后,综合激光雷达和摄像机的标定结果,对激光雷达数据和摄像机图像进行了像素级的数据融合。该方法只要让梯形标定板放置在车体前方,采集一次图像和激光雷达数据就可以满足整个标定过程,实现两种类型传感器的标定。实验结果表明,该标定方法的平均位置偏差为3.5691 pixel,折算精度为13 μm,标定精度高。同时从激光雷达数据和视觉图像融合的效果来看,所提方法有效地完成激光雷达与摄像机的空间对准,融合效果好,对运动中的物体体现出了强鲁棒性。     

基于 ADAS 平台的下线标定系统设计与实现

标定是汽车驾驶辅助系统中至关重要的一环,为了使驾驶辅助系统更加精确地感知目标,提升汽车驾驶主动安全性,设计了一种针对摄像头和毫米波雷达的多传感器下线标定系统;该系统通过利用摄像头和毫米波雷达自身结构特性建立数学模型,计算出各传感器的外部参数,将不同传感器感知的目标数据转换到一个统一的世界坐标系下,实现了摄像头和毫米波雷达的单独标定和联合标定;采用了基于CAN总线的UDS诊断服务作为通信媒介,实现了会话控制、安全访问、待机握手、例行程序控制等诊断服务,设计了符合前装量产标准的下线标定流程;为方便产线工人操作和简化前装量产中的操作步骤,设计了专门针对前装量产场景下的上位机标定软件;经过实验测试验证了该下线标定系统的可靠性、实时性和准确性,标定之后的测距误差均值在0.25m附近,毫米波雷达投影点与图像检测框坐标匹配的比率是93.2%,可以满足汽车辅助驾驶系统中摄像头和毫米波雷达感知精度的要求。     

基于旋转多视角深度配准的三维重建方法

针对在旋转平台上采集得到的多视角数据,提出一种有效的配准方法,同时结合双目立体视觉测量构建了完整的三维重建系统。通过拍摄旋转平台上多个视角下的标定板图像,提取标定板图像角点信息,计算出旋转平台坐标系和摄像机坐标系的空间位置关系,进一步推导出不同视角下的坐标转换关系,从而实现不同视角的数据配准。实验结果表明,基于本配准方法的旋转多视角双目测量系统具有较高的配准精度,能有效用于物体表面三维重建。     

基于特征匹配的激光雷达和相机外参标定方法

智能驾驶系统的车载传感信息通常由激光雷达信息和相机信息融合而成,精确稳定的外参数标定是有效多源信息融合的基础。为提高感知系统鲁棒性,文章提出一种基于特征匹配的激光雷达和相机标定方法。首先,提出点云数据球心算法和图像数据椭圆算法提取特征点的点云三维坐标和像素二维坐标;接着,建立特征点在激光雷达坐标系和相机坐标系下的点对约束,构建非线性优化问题;最后,采用非线性优化算法优化激光雷达和相机的外参数。利用优化后的外参数将激光雷达点云投影至图像,结果显示,激光雷达和相机联合标定精度横向平均误差和纵向平均误差分别为3.06像素和1.19像素。文章提出的方法与livox＿camera＿lidar＿calibration方法相比,平均投影误差减少了40.8%,误差方差减少了56.4%,其精度和鲁棒性明显优于后者。     

一种基于手眼标定的增强现实跟踪注册方法..

手眼标定是机器人领域常用的一种确定机器人末端坐标系和摄像机坐标系之间相互关系的标定方法。跟踪和定位是增强现实研究的热点,跟踪定位通常为复合跟踪系统,结合多传感器跟踪信息,优势互补,达到更高测量精度和准确度。跟踪注册是实现信息有效融合的基本前提。文章将机器人手眼标定引入多传感器跟踪注册,并通过实验验证了这种基于手眼标定的跟踪注册方法的有效性。     

路侧多激光雷达协同感知和误差自校准方法

多激光雷达3D点云数据融合能够弥补单个激光雷达感知范围有限的缺陷,而雷达安装误差自校准能够获取更加准确的感知数据。基于此,提出了路侧激光雷达协同感知数据融合算法和安装误差自校准方法。首先,使用KD-tree和k近邻算法查找两幅点云的重叠点,并对重叠点进行拼接处理。其次,基于深度学习模型实现多激光雷达数据融合,利用点云数据拼接特征实现激光雷达的误差自校准。最后,基于长安大学车联网与智能汽车试验场搭建多激光雷达数据采集平台,采集试验场内的点云数据来验证本次提出的数据融合算法和误差自校准方法。结果表明,后融合目标识别比前融合目标识别效率提升11.6%,且激光雷达误差自校准方法使有效数据精度提升了13.44%。     

基于视觉显著性的无人车图像检测及分割方法

障碍物检测与分割是地面无人车辆环境感知领域中一项重要的任务。针对传统障碍物检测与分割算法的计算量大、分割精度较差等问题,提出了一种基于显著性分析的障碍物检测、分割优化算法。首先,利用基于频率调谐的方法生成场景图像的显著图;然后,通过单目摄像机与激光雷达的联合标定将雷达反射点映射到显著图上;最后,结合单目摄像机和激光雷达两种传感器信息,通过改进的图像区域分割算法,实现障碍物的检测与分割。为了验证所提出算法有效性,采集多幅包含障碍物的典型越野场景图像,对该算法进行实验与仿真验证,结果证明了该算法的有效性。     

基于信息融合的移动机器人目标识别与定位

针对单目摄像头工作的双足机器人的视觉定位问题,设计了一种视觉传感器与超声波传感器相结合的信息融合方法,进行目标的识别和定位。对拍摄的图像进行HSV颜色空间的阈值分割得到二值图像,并对其进行形态学滤波处理和Hu轮廓不变矩匹配,以此识别到目标和其重心点图像坐标;建立单目定位模型,用机器人自身的超声波传感器得到与目标物之间的距离,采用Zhang标定法得到摄像机参数,把这些已知数据带入坐标转换,得到目标物在世界坐标系下的坐标,实现定位。借助NAO机器人的平台,将基于信息融合的定位方法和一般单帧图像定位方法进行对比实验。实验结果表明上述方法的误差相对较小,且能得到目标物的三维信息,验证了该定位方法的实际可行性。     

基于边缘关联点云的激光雷达与相机外参标定方法

激光雷达的点云和相机的图像经常被融合应用在多个领域。准确的外参标定是融合两者信息的前提。点云特征提取是外参标定的关键步骤。但是点云的低分辨率和低质量会影响标定结果的精度。针对这些问题,提出一种基于边缘关联点云的激光雷达与相机外参标定方法。首先,利用双回波提取标定板边缘关联点云;然后,通过优化方法从边缘关联点云中提取出与实际标定板尺寸大小兼容的标定板角点;最后,将点云中角点和图像中角点匹配。用多点透视方法求解激光雷达与相机之间的外参。实验结果表明,该方法的重投影误差为1.602px,低于同类对比方法,验证了该方法的有效性与准确性。     

车路协同路侧感知融合方法的研究

随着智能网联汽车技术和产业的不断发展,智能网联汽车逐渐成为人们交通出行的选择之一。但受智能网联汽车自身环境感知系统对特定道路交通场景信息处理的局限,无法实现在所有行驶工况下安全高效的运行,其需车路协同路侧感知技术的辅助方能更安全高效的运行。海量的车路协同感知数据是城市道路和高速公路车路协同、运行分析和科学管理的宝藏,理解和分析这些数据是车路协同路侧感知融合的关键。面对车路协同路侧多传感器的不同数据,如何高效准确地挖掘和提取雷达、视频在不同时间、不同空间维度的数据,实现对重点交通场景(如视野盲区、急转弯道、隧道、桥梁)和交通事件、环境、设施安全等的雷达、视频数据进行快速融合检测、识别与检索,通过蜂窝车联网C-V2X网络在一定时延范围内有效地将路侧感知融合结果数据发送给智能网联汽车,确保其安全高效的行驶,是面向智能网联汽车辅助驾驶的车路协同路侧感知融合的关键问题。基于智能网联汽车其自身环境感知能力,对道路智能基础设施感知网络中的多传感器融合方法进行研究分析,提出了基于误差方差的多传感器融合算法,与非智能道路相比,其效率更高,更加智能化,可有效解决道路交通运行环境中存在的常见问题,为人们提供更加安全、高效、优质的交通出行服务。     

基于校准靶的C形臂相机模型自动校准方法

根据校准靶标志点影像的特点,提出一种自动的离线C形臂相机模型校准方法。应用聚类算法实现标志点信息的自动识别,通过行列索引表简化标志点网格姿态的识别,自动建立标志点在影像坐标系和空间坐标系下坐标的对应关系,经几何变形校正后,实现C形臂相机的校准。实验数据证明,该方法具有良好的鲁棒性,误差小于1 mm,可应用于基于术中C形臂X线影像的手术导航系统。     

基于相机标定的跨相机场景拼接方法

针对单相机场景下的智能交通应用得到了较好的发展,但跨区域研究还处在起步阶段的问题,本文提出一种基于相机标定的跨相机场景拼接方法.首先,通过消失点标定分别建立两个相机场景中子世界坐标系下的物理信息到二维图像的映射关系;其次通过两个子世界坐标系间的公共信息来完成相机间的投影变换;最后,通过提出的逆投影思想和平移矢量关系来完成道路场景拼接.通过实验结果表明,该方法能够较好的实现道路场景拼接和跨区域道路物理测量,为相关实际应用研究奠定基础.     

点云下地平面检测的RGB-D相机外参自动标定

目的 RGB-D相机的外参数可以被用来将相机坐标系下的点云转换到世界坐标系的点云,可以应用在3维场景重建、3维测量、机器人、目标检测等领域。 一般的标定方法利用标定物（比如棋盘）对RGB-D彩色相机的外参标定,但并未利用深度信息,故很难简化标定过程,因此,若充分利用深度信息,则极大地简化外参标定的流程。基于彩色图的标定方法,其标定的对象是深度传感器,然而,RGB-D相机大部分则应用基于深度传感器,而基于深度信息的标定方法则可以直接标定深度传感器的姿势。方法 首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数,即相机坐标系内的点与世界坐标系内的点的转换矩阵。结果 实验以棋盘的外参标定方法为基准,处理从PrimeSense相机所采集的RGB-D视频流,结果表明,外参标定平均侧倾角误差为-1.14°,平均俯仰角误差为4.57°,平均相机高度误差为3.96 cm。结论 该方法通过自动检测地平面,准确估计出相机的外参数,具有很强的自动化,此外,算法具有较高地并行性,进行并行优化后,具有实时性,可应用于自动估计机器人姿势。     

基于投影仪和摄像机的结构光视觉标定方法

为实现基于投影仪和摄像机的结构光视觉系统连续扫描,需要计算投影仪投影的任意光平面与摄像机图像平面的空间位置关系,进而需要求取摄像机光心与投影仪光心之间的相对位置关系。求取摄像机的内参数,在标定板上选取四个角点作为特征点并利用摄像机内参数求取该四个特征点的外参数,从而知道四个特征点在摄像机坐标系中的坐标。利用投影仪自身参数求解特征点在投影仪坐标系中的坐标,从而计算出摄像机光心与投影仪光心之间的相对位置关系,实现结构光视觉标定。利用标定后的视觉系统,对标定板上的角点距离进行测量,最大相对误差为0.277%,表明该标定算法可以应用于基于投影仪和摄像机的结构光视觉系统。     

结构光测量系统的投影仪标定方法研究

传统单目视觉结构光测量系统通过解相位间接计算被测物的高度信息,系统约束性过强、不易操作、且标定精度较低.将双目立体视觉原理引入单目结构光视觉测量系统,根据投影仪图像坐标和摄像机图像坐标的对应关系,将投影仪当作一个逆向的相机,建立了投影仪模型,使用成熟的相机标定算法对投影仪进行标定.再配合四步相移法和基于多频外差原理的时域相位展开法,实现条纹图像的快速精确解相位.相对于传统的单目视觉结构光测量系统,本方法具有单目视觉系统操作简单、鲁棒性强的特点,同时也可以达到双目视觉测量的精度.实验结果表明,这种方法的投影仪标定精度达到了实际应用的要求.     

自主导航移动机器人视觉系统的一种标定方法

设计了一种基于视场中单个目标点的视觉系统标定方法,任意选取视场中的一点作为目标点,以该目标点为基准,机器人作相对运动来获得多个特征点。建立图像系列对应点之间的几何约束关系及各坐标系之间的变换矩阵,确定变换矩阵关系式,进一步求解摄像机的内外参数。该标定方法只需提取场景中的一个景物点,对机器人的运动控制操作方便、算法实现简洁。实验结果验证了该方法的有效性。     

基于共面圆的距离传感器与相机的相对位姿标定

近年来, 距离传感器与摄像机的组合系统标定在无人车环境感知中得到了广泛的研究与应用, 其中基于平面特征的方法简单易行而被广泛采用. 然而, 目前多数方法基于点匹配进行, 易错且鲁棒性较低. 本文提出了一种基于共面圆的距离传感器与相机的组合系统相对位姿估计方法. 该方法使用含有两个共面圆的标定板, 可以获取相机与标定板间的位姿, 以及距离传感器与标定板间的位姿. 此外, 移动标定板获取多组数据, 根据计算得到两个共面圆的圆心在距离传感器和相机下的坐标, 优化重投影误差与3D对应点之间的误差, 得到距离传感器与相机之间的位姿关系. 该方法不需要进行特征点的匹配, 利用射影不变性来获取相机与三维距离传感器的位姿. 仿真实验与真实数据实验结果表明, 本方法对噪声有较强的鲁棒性, 得到了精确的结果.     

A low-complexity sensor fusion algorithm based on a fiber-optic gyroscope aided camera pose estimation system

Visual tracking, as a popular computer vision technique, has a wide range of applications, such as camera pose estimation. Conventional methods for it are mostly based on vision only, which are complex for image processing due to the use of only one sensor. This paper proposes a novel sensor fusion algorithm fusing the data from the camera and the fiber-optic gyroscope. In this system, the camera acquires images and detects the object directly at the beginning of each tracking stage; while the relative motion between the camera and the object measured by the fiber-optic gyroscope can track the object coordinate so that it can improve the effectiveness of visual tracking. Therefore, the sensor fusion algorithm presented based on the tracking system can overcome the drawbacks of the two sensors and take advantage of the sensor fusion to track the object accurately. In addition, the computational complexity of our proposed algorithm is obviously lower compared with the existing approaches(86% reducing for a 0.5 min visual tracking). Experiment results show that this visual tracking system reduces the tracking error by 6.15% comparing with the conventional vision-only tracking scheme(edge detection), and our proposed sensor fusion algorithm can achieve a long-term tracking with the help of bias drift suppression calibration.     

移动机器人足目标定方法

为构建完整的移动机器人视觉导航系统，提出了一种移动机器人足目标定方法．该方法以一个带有数个已知标记点的平面反射镜为中介，分别标定出平面镜坐标系与摄像机坐标系的欧氏变换关系、镜像坐标系与摄像机坐标系的欧氏变换关系、镜像坐标系与平面镜坐标系的欧氏变换关系及机器人坐标系与平面镜坐标系的欧氏变换关系，从而确定摄像机坐标系和移动机器人车体坐标系的欧氏变换关系，实现了移动机器人足目标定．实验结果表明，该方法简单、有效，无需昂贵的标定装置和复杂的标定过程，且可实现现场标定．