基于点云中心的激光雷达与相机联合标定方法研究

针对激光雷达与相机联合使用遇到的点云稀疏、相机受环境光照影响失真等问题,提出一种基于点云中心的激光雷达与相机自动配准方法,避免了传统联合标定需要手动选择特征点以及连续采集多帧等问题。该方法在对点云与图像预处理后,利用平面法向量的一致性实现多标定板点云自动分割,提取标定板在激光坐标系和相机坐标下的点云;然后通过点云聚集迭代求解中心点,实现两个传感器标定板对应点云中心的粗配准;最终利用迭代最近点算法进行精配准,获得标定参数,完成联合标定。实测表明,在激光雷达误差±3 cm范围内,点云正确投影比例达到97.93%,可以有效获取高精度联合标定参数,满足空间环境对激光雷达和相机数据融合的要求。     

智能汽车激光雷达和相机数据融合系统标定

智能汽车采用激光雷达和相机的数据融合实现对环境的感知,针对数据融合中不同传感器坐标系的联合标定问题提出了特征点法和棋盘格法两种标定方法。特征点法采用专门设计的标定模板,提取若干对激光雷达和图像对应点,建立约束方程组,采用最小二乘法求解结果。棋盘格法采用张正友标定法获取相机的内部参数,利用棋盘格平面在两个坐标系的一致性,建立约束方程组,采用线性方法求解两个坐标系的外部参数初始解,再用非线性优化方法进一步优化。利用两种方法得到的标定结果将激光雷达点投影到图像上并比较其对准精度。实验表明,两种方法都可以获取各传感器坐标系之间的位置关系,其投影对准误差分别为特征点法3.03像素和棋盘格法2.33像素。     

三维激光雷达-相机间外参的高效标定方法

在自动驾驶、移动机器人等领域,激光雷达与相机是常用的传感器,融合这两者的信息首先应该标定两者间的外参。本文在考虑平面移动机器人运动特点的基础上提出两阶段外参标定方法,在尽可能少的人为干预下实现快速标定。第一阶段,在机器人运动过程中同时估算激光里程计和视觉里程计,提取平移、旋转两种运动信息以修改的Kabsch算法初步估计外参中的旋转矩阵;第二阶段,以箱体三面相交组成的三面体作为标识物,优化点云中三面体边的投影点和图像中对应三面体边的距离,从而得到精确的外参。此两阶段方法效率高、无需专业设备,在少量人工干预下即可实现外参标定。最后,实验结果表明,在3个坐标轴上的平均误差仅为3.67、1.11、0.78 mm,在典型移动计算平台上相应的平均标定时间仅需约635 ms。     

一种融合二维激光雷达和RGB-D相机的移动机器人建图方法研究

针对单独使用二维激光雷达描述环境信息不足、单独使用RGB-D相机构建地图精度不足以及三维激光雷达使用成本高的问题，提出一种使用低成本二维激光雷达和RGB-D相机点云信息融合的方法。首先，通过Autoware联合标定的方式获取相机的内部参数和外部参数，建立激光雷达数据和相机数据的变换关系。然后，基于体素网格滤波的方式降低相机原始数据的噪声和密度，并将滤波后的数据进行投影转换成伪激光雷达数据。最后，通过将转换后激光雷达数据与相机的伪激光雷达数据叠加的方式，实现两传感器信息融合。实验结果表明，有效弥补了移动机器人搭载单一传感器地图构建精度不足和获取环境信息描述不足的问题，提高了移动机器人建图的可靠性和完整性，为机器人有效导航提供保障。     

采用自适应背景聚类的激光雷达与相机外参标定优化方法

针对在复杂外部环境下激光雷达外参标定过程中遇到的标定板三维点云提取不准确的问题,提出一种基于背景聚类的激光雷达和相机外参标定优化方法,避免了在整个三维点云中盲目检测标定板点云,而导致标定结果存在较大误差以及需要人工手动纠正错误特征点的问题。该方法利用无标定板的背景点云与有标定板的目标点云之间部分空间域内的密度差异性,通过自适应空间阈值模型获得标定板点云与背景点云之间的差异系数K,然后聚类两点云中的部分三维点,完成标定板的三维点云提取。实验证明,该方法可以在复杂环境中准确高效地提取标定板三维点云,从而提高激光雷达和相机外参标定的准确性,在此基础上点云正确投影比例可达97.43%,与对比方法相比投影误差降低25.33%左右。     

基于立体视觉与激光雷达的车辆目标外形 位置融合算法研究

环境感知技术是智能汽车的关键技术之一,单独使用视觉传感器或激光雷达在目标检测和目标定位方面存在局限性。本文在图像和激光雷达目标检测的基础上,提出了一种基于立体视觉与激光雷达的车辆目标外形位置融合算法。首先,采用深度学习方法对图像和点云数据进行目标检测,再通过基于目标三维点和目标种类的目标外形位置估计方法确定目标的外形和位置,最后在数据关联后对同一时刻的图像目标及点云目标进行融合处理,获取目标的外形和位置。在KITTI数据集以及实际道路场景上验证了本文算法,实验结果表明,本文方法在检测精度上分别比YOLOv3网络、Point-GNN网络提高了5.72%和1.8%。另外,在20 m内目标外形及位置平均误差分别为4.34%和4.52%。     

一种可参数自标定的鲁棒视觉 / 惯性定位方法

以视觉/惯性里程计为代表的视觉/惯性定位方法近年来被广泛应用。传统的视觉/惯性里程计通过离线标定方法得到固定的相机畸变参数,当相机畸变参数标定不准确或发生变化时定位精度会下降。针对于此,提出了一种面向相机畸变参数在线自标定的鲁棒视觉/惯性里程计方法:首先,将相机畸变参数加入到视觉/惯性里程计的待优化变量中,推导了视觉重投影误差关于待优化变量的雅可比矩阵;然后通过因子图优化技术,实现相机畸变参数的在线自标定与载体导航信息的实时优化求解;最后,通过EuRoC数据集试验和实际试验验证了所提方法的有效性。实际试验结果表明:相对传统的视觉/惯性里程计方法,所提方法在室外开阔场景中精度提升了65.40%。     

车载 LiDAR-IMU 外参联合标定算法

为提高 LIO-SAM 算法的定位精度,本文从 LiDAR-IMU 外参标定方面开展研究,针对现有的传感器标定算法在车载条件下 标定精度低的缺点,提出一种新的车载传感器联合标定算法。 针对车载条件下自由度低导致俯仰、横滚方向约束建立不充分的问 题,利用车辆的大范围运动轨迹消除平移参数影响,使用正态分布变换(NDT)和迭代最近点(ICP)的点云匹配算法快速得到旋转 参数初值,提高俯仰角和横滚角的标定精度。 针对粗标定过程中激光里程计存在漂移以及没有标定平移外参的问题,对基于点云 优化的全参数标定方案进行改进,利用转弯区域构建对平移外参的约束,结合统计误差平均效应和位移约束构建新的目标函数, 迭代优化后得到全参数标定结果。 实验结果表明,加入了外参标定模块的 LIO-SAM 算法的定位精度提升了 1. 74% ~5. 92% 。     

基于信息融合的城市自主车辆实时目标识别

针对单一传感器感知维度不足、实时性差的问题,提出一种激光雷达与相机融合的城市自主车辆实时目标识别方法。建立两传感器间的坐标变换模型,实现两传感器的像素级匹配。改进yolov3-tiny算法,提高目标检测准确率。对激光雷达点进行体素网格滤波,根据点云坡度进行地面分割。建立聚类半径与距离作用模型,对非地面点云进行聚类。引入图像中包络的思想,获取目标三维边界框以及位姿信息;将视觉目标特征与激光雷达目标特征融合。试验结果表明,改进的yolov3-tiny算法对于城市密集目标具有更高的识别率,雷达算法能够完整的完成三维目标检测以及位姿估计,融合识别系统在准确率、实时性方面达到实际行驶要求。     

利用圆心不对称投影精确标定工业相机

工业相机常采用基于圆形控制点的方法进行标定,但该方法存在不对称投影问题,极易产生标定误差。为了避免引入不对称投影误差并能以迭代方式修正这一误差,本文提出了一种利用圆心不对称投影所蕴含信息的相机标定方法。首先,推导了平面模板上的圆形控制点投影成为椭圆之后的理论坐标;然后,提取每一幅标定板图像中实际椭圆的中心坐标,通过最小二乘算法求得该幅图像对应的精确投影变换矩阵;最后,利用所有的投影变换矩阵求出相机内参数。实验结果表明:采用本文提出的标定方法,标定结果的重投影误差降到了1/50pixel。该方法可一次完成标定,计算简单,标定精度高,适用于工业相机的标定。     

基于一致性点漂移的智能车视觉目标跟踪方法

针对智能车未知运动下的多目标跟踪问题,提出一种基于一致性点漂移的视觉多目标跟踪方法。 首先利用一致性点漂 移算法构建智能车未知运动模型,得到局部目标状态变换关系;其次建立一种基于外观相似性和运动一致性的自适应特征融合 函数;最后通过匈牙利算法求解轨迹与检测的对应关系,以实现面向智能车的鲁棒数据关联。 实验结果表明,与现有的 5 种主 流目标跟踪方法对比,所提方法在多个指标方面具有更好的效果,相较于结构约束(SCEA)算法,在 KITTI 数据集中较大运动场 景下,所提方法多目标跟踪准确率提高了 6. 3% ,在实拍实验数据下,所提方法多目标跟踪准确率提高了 7. 3% ,证明该算法能 在智能车未知运动下有效的进行多目标跟踪。     

基于ASODVS的全景相机运动估计及管网3D重构技术

针对地下管网的空间三维测量、三维形貌重构难等问题,提出了一种基于主动式全方位视觉传感器(ASODVS)的相机运动估计及管网3D重构解决方案。通过携带有ASODVS的管道机器人进入管道内部,实时获取管道内壁纹理全景图像和全景激光扫描图像;首先对全景激光扫描图像处理解析出投射在管道内壁上的激光中心点,通过计算得到管道横截面的点云数据;另一方面,对全景纹理图像进行处理,首先利用快速鲁棒性特征(SURF)算法快速提取特征点并进行匹配,然后采用随机抽样一致性(RANSAC)算法去除误匹配点,接着利用全景相机的极几何原理估计相机运动位姿,并利用光束法平差(BA)进行优化,最后利用相机运动位姿将相机坐标系下的点云坐标实时转换到世界坐标系下,完成对地下管网的三维重构。实验结果表明,所提出的方案能够精确估计相机运动位姿,实时对管道内部进行三维重构,实现了管道检测机器人边行走、边采集数据、边检测分析处理、边三维建模的设计目标。     

基于惯性测量单元辅助的激光里程计求解方法

在同步定位与建图(SLAM)问题中,里程计部分的求解精度对后续建图起着至关重要的作用,惯性测量单元(IMU)可以为SLAM中里程计求解提供良好辅助。在考虑平面移动机器人运动特点及室内环境特征的基础上提出一种基于IMU松耦合的激光里程计求解方法,实现里程计部分的精准定位。第1阶段,机器人运动过程中实时处理点云信息,将地面点分割并提取有效关键点;第2阶段,将IMU信息引入卡尔曼滤波器,为帧间匹配提供位姿先验;第3阶段,滤波器输出位姿估计值后,利用非线性优化方法进行点云帧间匹配,实现里程计运动的求解。实验表明,所提方法在激光点云处理、运动求解,具有良好的稳定性和准确性,可将偏移量误差控制在0.4%以内,为后续建图提供有力数据保障。     

基于激光点云与图像信息融合的交通环境车辆检测

随着无人驾驶汽车的快速发展,仅依靠单一传感器的环境感知已经无法满足车辆在复杂交通场景下的目标检测需求。融合多种传感器数据已成为无人驾驶汽车的主流感知方案。提出一种基于激光点云与图像信息融合的交通环境车辆检测方法。首先,利用深度学习方法对激光雷达和摄像头传感器所采集的数据分别进行目标检测;其次,利用匈牙利算法对两种目标检测结果进行实时目标跟踪,进而对两种传感器检测及跟踪结果的特征进行最优匹配;最后,将已匹配及未匹配的目标进行择优输出,作为最终感知结果。利用公开数据集KITTI的部分交通环境跟踪序列及实际道路测试来验证所提方法,结果表明,所提融合方法实时车辆检测精度提升12%以上、误检数减少50%以上。     

电阻应变片在侧面碰撞中车门开启过程监控的应用研究

在侧面碰撞试验中,车辆门锁系统的运动状态因监控位置特殊,目前只能通过高速摄像观察、加速度传感器曲线以及试验后变形结果判断,无法定量分析门锁开启原因。为解决上述问题,对电阻应变片传感器在门锁开启监控上的应用进行研究,利用电阻应变片传感器采集及安装便利性,将应变片与门锁机构运动结合,并运用最小二乘法线性拟合得到了门锁锁体摆臂在水平线上的相对运动位移。试验结果表明,利用电阻应变片在试验过程中能有效监控门锁开启最大运动位移及相对应时刻,可为车辆门锁系统问题研究提供参考。     

基于表面贴合的不同视点传感器点云拼合方法研究

针对视觉传感器对物体表面点云数据采集的离散性,提出基于表面贴合的点云精确拼合方法。先对不同视点传感器获得的点云进行初始配准拼合,再以包容球方法选取点云重合表面区域的三处局部表面,用三维二次曲面方程拟合;旋转变换采用四元数法,经非线性最小二乘优化得到精确拼合的平移和旋转参数。该方法具有较快的收敛速度和较高的拼合精度,实例验证了所提方法的可行性。       

Implementation of real-time positioning system using extended Kalman filter and artificial landmark on ceiling

Most localization algorithms use a range sensor or vision in a horizontal view, which usually imparts some disruption from a dynamic or static obstacle. By using landmarks on ceiling which the vehicle position were vertically measured, the disruption from horizontal view was reduced. We propose an indoor localization and navigation system based on an extended Kalman filter (EKF) and real-time vision system. A single upward facing digital camera was mounted on an autonomous vehicle as a vision sensor to recognize the landmarks. The landmarks consisted of multiple circles that were arranged in a defined pattern. Information on a landmark’s direction and its identity as a reference for an autonomous vehicle was produced by the circular arrangements. The pattern of the circles was detected using a robust image processing algorithm. To reduce the noise that came from uneven light, the process of noise reduction was separated into several regions of interest. The accumulative error caused by odometry sensors (i.e., encoders and a gyro) and the vehicle’s position were calculated and estimated, respectively, using the EKF algorithm. Both algorithms were tested on a vehicle in a real environment. The image processing method could precisely recognize the landmarks, and the EKF algorithm could accurately estimate the vehicle’s position. The experimental results confirmed that the proposed approaches are implementable.     

基于深度卷积神经网络的视觉里程计研究

视觉里程计利用视频信息来估计相机运动的位姿参数，实现对智能体的定位。传统视觉里程计方法需要特征提取、特征匹配/跟踪、外点剔除、运动估计、优化等流程，解算非常复杂，因此，提出了基于卷积神经网络的方法来实现端对端的单目视觉里程计。借助卷积神经网络对彩色图片自动学习提取图像帧间变化的全局特征，将用于分类的卷积神经网络转化为帧间时序特征网络，通过三层全连接层输出相机的帧间相对位姿参数。在KITTI数据集上的实验结果表明，提出的Deep-CNN-VO模型可以较准确地估计车辆的运动轨迹，证明了方法的可行性。在简化了复杂模型的基础上，与传统的视觉里程计系统相比，该模型的精度也有所提高。