自适应容积卡尔曼滤波激光视觉融合定位研究

针对激光雷达在长直环境下鲁棒性低以及视觉相机受光照条件影响大的问题,提出一种利用容积卡尔曼滤波将两种传感器采集到的信息进行融合的定位方法,同时为算法添加自适应成分,以提高移动机器人在未知环境下的定位精度。首先通过激光与视觉在同一位置同时对周围物体进行观测,利用图优化算法与PnP算法获得当前机器人位姿信息,再以激光和视觉采集的数据分别作为状态值和量测值不断更新,得到滤波融合后的定位结果。通过Sage-Husa自适应滤波理论增加自适应修正项,解决了长距离观测后的数据发散问题。仿真实验结果表明,以自适应容积卡尔曼滤波的形式进行优化,融合定位误差相较于激光与视觉降低超过25%,有效提升了移动机器人长距离行驶过程中的定位精度。     

多传感器融合的移动机器人同步定位与建图

在移动机器人的同步定位与建图(SLAM)研究中,使用单一的Kinect传感器或激光传感器时,出现建图精度低、信息不完整、回环检测易出错、可靠性差等问题,为此提出一种方案,将这两种传感器进行融合,利用融合之后的数据来创建环境地图。该方法首先将Kinect采集的深度图转换成伪激光数据后,与激光传感器的数据进行融合,来构建环境的局部栅格地图,并利用融合后的数据进行激光回环检测。当检测到有回环时,再利用Kinect的RGB图的丰富的视觉信息进行视觉回环检测。通过双回环检测来过滤掉错误的回环信息,提高全局地图的精度和完整性。最后在机器人操作系统上进行试验,结果表明该方案能显著提高建图的精度和完整性。     

激光雷达与相机自适应紧耦合的同时定位与建图算法

同时定位与建图（SLAM）是自动驾驶的基本要求之一。多传感器融合，尤其是激光雷达和相机的融合，对于自动驾驶来说是必不可少的。其中，如何针对各种场景调整不同传感器的置信度是关键问题，基于此，提出一种自适应紧耦合的激光雷达相机融合的SLAM(AVLS)算法。首先，所提AVLS算法建立在基于滑动窗口的因子图上，包含提升整体算法精度和鲁棒性的灵活深度关联和弹性初始化等模块。其次，为了充分探索激光雷达和相机在不同环境中的性能，采用一种基于先验知识的动态加权方案。最后，将所提AVLS算法在两个公开的大规模自动驾驶数据集上进行了全面实验，包括与经典算法的对比及消融实验，实验结果表明，AVLS算法的鲁棒性和精确度可以达到目前领先水平。     

基于单目相机与激光雷达融合的SLAM方法

视觉传感器与激光雷达融合的SLAM方法是当下研究的热点,实际效果优于单一传感器的SLAM方法.针对当下视觉传感器与激光雷达融合的算法仍然存在着用于定位的特征点不足导致定位精度不高的问题,充分利用激光雷达提供的深度信息,提出了一种多策略的视觉与激光融合的SLAM算法,在估计帧间位姿前对上一帧中的特征点深度值进行判断,通过...     

基于IMU/视觉融合的导航定位算法研究

针对基于视觉传感器的移动机器人在快速运动或发生旋转时出现图像模糊和特征丢失,以至无法进行特征匹配,从而导致系统定位和建图的准确度及精确度下降问题,该文提出了一种以深度相机(RGB_D)融合惯性测量单元(IMU)的方案。采用ORB SLAM2算法进行位姿估计,同时将IMU信息作为约束弥补相机数据的缺失。两种传感器的测量数据采用基于扩展卡尔曼滤波的松耦合方式进行非线性优化,通过数据采集实验表明,该方法能有效提高机器人的定位精度和系统建图效果。     

基于强度信息的激光雷达和相机空间位姿标定方法

激光雷达和相机融合系统可感知环境的几何尺寸和颜色信息,在多个领域中得到了广泛应用。为了准确融合两种信息,提出了一种基于自然特征点的激光雷达和相机外部参数标定方法。首先,在激光雷达自校正的基础上,利用激光雷达数据的强度信息对点云以中心投影的方式生成灰度图。然后,通过尺度不变特征变换算法对投影生成的灰度图和相机图像进行特征点提取和匹配。最后,以同名特征点得到的信息建立标定数学模型,并进行数据优化,标定出三维激光雷达系统和相机系统的外部参数。实验结果表明,该方法计算的点云到图像像素点的重投影误差为2.3 pixel,验证了该位姿标定方法的有效性和准确性。     

基于改进PFPN的语义地图构建方法研究

针对园区等环境结构性强而全球导航卫星系统(GNSS)信号不稳定的应用场景及无人车应用激光雷达同时定位与建图(SLAM)技术缺乏对于场景的语义理解能力而造成的定位误差问题,提出了一种单目相机与激光雷达融合构建三维语义地图的方法.该方法以园区环境结构性强、车辆行人动态变化高的特征为依据,通过改进的全景特征金字塔网络(PFP...     

基于视觉、LiDAR与IMU的实时无人车里程计研究

视觉/LiDAR里程计可以根据传感器数据对无人车在多个自由度上运动的过程进行估计,是无人车定位建图系统的重要组成部分。文中提出了一种使用视觉、LiDAR和IMU进行信息融合的里程计,支持多种运行模式和初始化方式。前端部分采用了改进后的ICP CUDA算法进行激光点云配准,利用光流法对视觉特征进行跟踪,并利用激光点云数据对视觉特征的深度进行估计。后端部分采用了基于滑动窗口的图优化模型,并为视觉和LiDAR关键帧创建状态节点,以前端结果作为量测,将相邻状态节点通过预积分因子关联。文中方案实验结果表明:在城市场景系统平均相对位移精度为0.2%~0.5%,系统全量传感器运行模式（VLIO模式）整体要比关闭视觉的模式（LIO模式）和关闭LiDAR的模式（VIO模式）精度高。文中提出的方法对于提高无人车定位建图系统的精度有着积极意义。     

激光雷达与相机融合标定技术研究进展

单传感器存在采集数据信息不完整的缺点，比如激光雷达缺乏纹理色彩信息，相机缺乏深度信息。激光雷达和相机数据融合可实现传感器之间信息互补，感知空间精准的彩色三维数据，被广泛应用于自动驾驶、移动机器人等领域。针对现阶段激光雷达和相机外参标定文献多、杂、乱等问题，文中系统地梳理了校准流程和归纳了校准方法。首先介绍了激光雷达和相机单传感器内参标定的原理和方法，并建立数学模型概述它们外参的标定原理。然后将现有标定方法从基于标靶、基于无标靶、基于运动和基于深度学习四个方向综述归纳，并分析每种标定方法的特点。最后总结全文，并指出提升标定精度基础上实现自动化和智能化的校准方案是未来标定趋势。     

基于动态特征剔除的图像与点云融合的机器人位姿估计方法

针对动态物体影响传感器进行机器人位姿估计的问题,本文提出了一种基于动态特征剔除点云与图像融合的位姿估计方法。首先,YOLOv4和PointRCNN分别被用于识别图像和点云中的潜在运动目标并提取候选框。其次,在视觉定位方面,双目视觉与稀疏光流被用于路标点的构建与追踪,并根据候选框剔除动态特征点,随后构建重投影误差函数,通过基于RANSAC剔除的非线性优化方法求解相机位姿;在激光定位方面,提取前后帧的直线与平面特征点,并根据候选框进行筛选,基于特征点到直线或平面的距离构建误差函数,进而求解激光雷达位姿。为使系统不再局限于单一传感器的使用环境限制,通过自适应加权方法,有效融合了两种位姿结果。最后,通过KITTI数据集和动态场景采集的数据进行定量实验对比,验证了剔除动态特征后的位姿估计的精确性以及融合算法的有效性。     

基于LDSO的机器人视觉定位与稠密建图的应用

针对基于特征点匹配的SLAM(Simultaneous Localization and Mapping)系统在缺乏角点的弱纹理区域无法提取足够的特征点而导致位姿估计失败等问题,提出应用直接视觉里程计算法LDSO(Direct Sparse Odometry with Loop Closure)进行室内机器人视觉定位并结合深度估计或深度相机采集到的关键帧深度图,关键帧相机位姿,原始关键帧图像数据,点云拼接生成三维点云稠密地图,实验结果表明,机器人可在复杂环境中准确快速的定位自身位置,且算法在没有全局BA(Bundle Adjustment)的情况下通过位姿图优化显著减少了旋转,平移与尺度漂移等累积误差,算法整体性能与基于特征点匹配的SLAM系统相媲美,耗时更少,实时性更佳,在缺乏角点区域具有较强的鲁棒性.     

视觉深度估计与点云建图研究进展

即时定位导航(SLAM)是无人驾驶和机器人实现自主移动的关键技术.目前广泛应用于SLAM技术中的激光雷达传感器存在成本高昂、激光点云空间分辨率低及难以获得精确的语义信息等一系列问题.视觉传感器可以有效避免上述问题,但是在深度预测和建图等方面需要更复杂的算法.近年来,随着处理器算力的提升、数据集的丰富和新机器视觉算法的出...     

一种融合深度相机与激光雷达的室内移动机器人建图与导航方法

为解决室内移动机器人导航过程中容易碰撞障碍物的问题,本文提出一种融合深度相机和激光雷达的室内移动机器人建图与导航方法,在机器人底盘上安装激光雷达、深度相机和里程计,利用Gmapping算法进行室内二维地图构建,同时用ROS中depthimage_to_laserscan功能包对深度图像进行二维投影,生成的二维栅格地图与...     

基于三维激光雷达的室外环境定位算法研究

针对使用激光雷达进行室外定位的问题,提出一种基于三维立体激光视觉的特征匹配定位算法,以提高激光视觉在室外环境的位置特征可靠性和定位精度。该算法首先从原始点云数据中提取三维视觉的物类信息;再对提取的物体类进行特征提取,根据其个体特征进行分类并剔除非地标类,根据与相邻类的位置关系提取群体特征;最后通过与特征地图进行匹配实现全局定位。通过数据集仿真验证,该算法能够准确地提取有效类和位置特征,平均每帧的类提取率达到90%以上,对95%以上的场景都能成功定位,且定位误差不随地图范围增大而积累,具有稳定的定位性能和较高的定位精度。     

基于激光雷达与视觉融合的水面漂浮物检测

针对水面清污机器人对漂浮目标的检测问题,提出了一种将三维激光雷达点云数据与视觉信息融合检测的方法.首先,视觉识别部分采用CornerNet-Lite目标检测网络,通过对大量样本的训练实现水面漂浮物的检测,得到候选目标的种类和置信度.然后,通过相机和激光雷达的标定将激光雷达三维点云数据投影到二维像素平面,并根据相对像素面...     

基于激光雷达和特征地图的车辆智能定位研究

针对激光雷达采集行驶车辆的三维点云数据中包含过多畸变数据，影响车辆定位效果的问题，本文研究一种基于激光雷达和特征地图的车辆智能定位方法。激光雷达利用基于飞行时间的激光测距法，采集车辆及其行驶环境的三维激光点云数据，去除激光点云数据中的畸变数据。利用正态分布变换方法，优化删除畸变数据的点云集的正态分布概率值，配准三维激光点云数据。从完成配准后的三维激光点云数据中，提取柱状物体的圆形特征，构建车辆行驶的自然柱状特征地图。利用卡尔曼滤波算法，结合自然柱状特征地图信息，实现高精度的车辆智能定位。实验结果证明：该方法可以精准定位车辆目标，车辆智能定位精度较高，最高可达到97%,定位效率较好，最短可在5 s时间内完成定位，具有一定应用价值。     

同步定位与建图技术研究进展

同步定位与建图(SLAM)技术是自主移动机器人的主要技术支撑,成为当今的研究热点。介绍了SLAM技术的发展历程及主要传感器,梳理了基于视觉、激光雷达以及多传感器融合的SLAM技术,并对常见的SLAM算法进行归纳总结,对比分析各实现方案的优缺点。最后探讨了SLAM的技术难题和发展趋势。     

基于激光视觉技术的运动目标位姿测量与误差分析

针对当前方法测量运动目标姿态和位置存在精度较低的问题,将激光视觉技术应用到运动目标位姿的测量中,提出基于激光视觉技术的运动目标位姿测量与误差分析方法。利用三维激光扫描仪和双目相机构成的系统,实现运动目标位姿的测量,分别采用三维激光扫描仪和双目相机采集运动目标的深度信息和二维图像信息,融合深度信息和二维图像信息,获取运动目标的位姿。通过三维坐标和光斑图像坐标、外部参数以及位姿解算之间存在的误差传递矩阵,构建运动目标位姿测量综合误差传递模型,利用误差传递模型对测量结果中存在的位姿误差进行分析,根据分析结果对运动目标位姿测量过程进行改进和优化,提高运动目标位姿测量结果的精度。在模拟风洞的实验环境中,验证了基于激光视觉技术的运动目标位姿测量与误差分析方法的可行性。     

3DPanoGo2三维全景采集子系统研究

3DPanoGo2三维全景采集子系统是通过将微型的全景相机、存储介质、以及各种传感器,包括时间和空间传感器、姿态传感器、GPS设备等、在移动的状态下,采集全景三维数据、GPS轨迹信息等。获得的数据成果包括各种姿态数据、三维全景数据、轨迹图层等等。新颖性及优势本产品将当前火热的街景影像延伸到室内三维全景,同时无缝融合室内导航技术,将三维全景与定位结合起来,即能提高定位的精确性,又能提升导航的互动性、可视性。     

3DPanoGo2维全景采集子系统研究

3DPanoGo2三维全景采集子系统是通过将微型的全景相机、存储介质、以及各种传感器,包括时间和空间传感器、姿态传感器、GPS设备等、在移动的状态下,采集全景三维数据、GPS轨迹信息等。获得的数据成果包括各种姿态数据、三维全景数据、轨迹图层等等。新颖性及优势本产品将当前火热的街景影像延伸到室内三维全景,同时无缝融合室内导航技术,将三维全景与定位结合起来,即能提高定位的精确性,又能提升导航的互动性、可视性。