基于多传感信息融合的语义词袋SLAM优化算法

针对室外大范围场景移动机器人建图中,激光雷达里程计位姿计算不准确导致SLAM (simultaneous localization and mapping)算法精度下降的问题,提出一种基于多传感信息融合的SLAM语义词袋优化算法MSW-SLAM(multi-sensor information fusion SLAM based on semantic word bags)。采用视觉惯性系统引入激光雷达原始观测数据,并通过滑动窗口实现了IMU (inertia measurement unit)量测、视觉特征和激光点云特征的多源数据联合非线性优化;最后算法利用视觉与激光雷达的语义词袋互补特性进行闭环优化,进一步提升了多传感器融合SLAM系统的全局定位和建图精度。实验结果显示,相比于传统的紧耦合双目视觉惯性里程计和激光雷达里程计定位,MSW-SLAM算法能够有效探测轨迹中的闭环信息,并实现高精度的全局位姿图优化,闭环检测后的点云地图具有良好的分辨率和全局一致性。     

一种多层次数据融合的SLAM定位算法

针对2D激光SLAM(同步定位和地图构建)机器人导航中激光点云匹配计算量大、轨迹闭合效果差、位姿累积误差大、以及各环节传感器观测数据利用不充分等问题,提出一种基于多层次传感器数据融合的实时定位与建图方法——Multilevel-SLAM.首先,在数据预处理方面,利用IMU(惯性测量单元)数据预积分结果为激光点云配准提供坐标转换依据.对激光点云进行特征采样,降低点云匹配计算量.其次,通过无迹卡尔曼滤波算法融合IMU、LiDAR(激光雷达)观测量得到机器人位姿,来提高闭环检测效果.最后,将激光点云配准约束、闭环约束、IMU预积分约束加入到SLAM算法的后端优化中,对全局地图位姿节点估计提供约束配准,实现多层次的数据融合.在实验中利用LiDAR-IMU公开数据集对Karto-SLAM、Cartographer和Multilevel-SLAM算法进行性能测试对比.Multilevel-SLAM算法的定位精度始终保持在5 cm以内,而对比方法则存在不同程度的定位偏移.实验结果表明,在没有显著增加计算量的前提下,Multilevel-SLAM算法有效提高了闭环处的轨迹闭合效果,具有更低的定位误差.     

基于激光雷达和视觉融合的机器人SLAM应用研究

通过研究激光雷达和视觉传感器融合SLAM,实现双目视觉传感器对单线激光雷达点云的补充,以提高建图精度。实现方案以2D激光雷达点云数据为主,双目视觉传感器作为激光雷达点云盲区的补充,搭建SLAM实验平台,完成机器人实时地图构建并获取当前位置信息,同时降低携带传感器的成本。     

基于激光雷达增强的视觉SLAM多机器人协作地图构建方法的研究

针对光线强度对机器人视觉同步定位与地图构建（Simultaneous Localization and Mapping, SLAM）建图信息量、时效性和鲁棒性影响大的问题,提出一种基于激光雷达（Light Detection And Ranging,LiDAR）增强的视觉SLAM多机器人协作地图构建方法。在地图构建过程中,将LiDAR深度测量值集成到现有的特征点检测和特征描述子同步定位与地图构建（Oriented FAST and Rotated BRIEF-Simultaneous Localization and Mapping,ORB-SLAM3）算法中,利用改进的扩展卡尔曼滤波算法将激光雷达的高精度数据和视觉传感器的时序信息融合在一起,获得单个机器人的位姿状态,结合深度图进行单个机器人稠密点云地图的构建;利用关键帧跟踪模型和迭代最近点（Iterative Closest Point, ICP）算法得到存在共识关系的机器人之间的坐标转换关系,进而得到各机器人的世界坐标系,在世界坐标系中实现多机器人协作地图的融合与构建。在Gazebo仿真平台中实验验证了方法的时效性和鲁棒性。     

基于视觉语义与激光点云交融构建的SLAM算法

激光雷达作为同时定位与地图构建(SLAM)传感器之一,因精度高、性能稳定等特点而被广泛研究使用.但其获得的点云数据较稀疏,包含特征信息少,会导致误匹配、位姿估计误差大等问题,影响SLAM的定位和建图精度.对此,提出一种将视觉语义信息与激光点云数据融合的SLAM算法(VSIL-SLAM).首先,基于投影思想将聚类后的点云映射到语义检测框内,生成语义物体,解决原始激光点云特征稀缺问题;然后,在形状特征的基础上引入拓扑特征对语义物体进行表述,提出基于匹配的拓扑相似性度量方法,解决单一特征造成的误匹配问题,提高匹配准确度;最后,加入语义物体点到点的几何约束,基于几何特征和语义物体构建前端里程计,并完成后端回环检测和位姿图优化设计.实验结果表明,所提出算法在定位和建图效果上都有显著提高,改善了激光SLAM算法的性能.     

线特征融合光流的单目SLAM算法

针对移动机器人的定位与建图问题,提出了基于图优化的单目线特征融合光流的同时定位和地图构建(SLAM)的算法。首先,针对主流视觉SLAM算法因采用点作为特征而导致构建的点云地图稀疏、难以准确表达环境结构信息等缺点,采用直线作为特征来构建地图,并采用图优化方法来提高定位精度和地图构建的准确性。然后,针对定位系统的处理速度很难达到实时性要求,将光流法引入以达到实时定位的效果。实验表明,基于线特征的地图构建有较高的建图精度,并且融合算法克服了光流法定位精度差和特征法处理速度慢的缺点,可提供较准确的实时定位输出,并对光照变化和场景纹理较少的情况有一定的鲁棒性。     

融合双目视觉和2D激光雷达的室外定位

高精度的定位对于自动驾驶至关重要. 2D激光雷达作为一种高精度的传感器被广泛应用于各种室内定位系统.然而在室外环境下,大量动态目标的存在使得相邻点云的匹配变得尤为困难,且2D激光雷达的点云数据存在稀疏性的问题,导致2D激光雷达在室外环境下的定位精度极低甚至无法实现定位.为此,提出一种融合双目视觉和2D激光雷达的室外定位算法.首先,利用双目视觉作为里程计提供相对位姿,将一个局部时间窗口内多个时刻得到的2D激光雷达数据融合成一个局部子图;然后,采用DS证据理论融合局部子图中的时态信息,以消除动态目标带来的噪声;最后,利用基于ICA的图像匹配方法将局部子图与预先构建的全局先验地图进行匹配,消除里程计的累积误差,实现高精度定位.在KITTI数据集上的实验结果表明,仅利用低成本的双目相机和2D激光雷达便可实现较高精度的定位,所提出算法的定位精度相比于ORB-SLAM2里程计最高可提升37.9%.     

LiDAR/IMU紧耦合的实时定位方法

本文以实现移动小型智能化系统的实时自主定位为目标, 针对激光里程计误差累计大, 旋转估计不稳定, 以及观测信息利用不充分等问题, 提出一种LiDAR/IMU紧耦合的实时定位方法 — Inertial-LOAM. 数据预处理部分, 对IMU数据预积分, 降低优化变量维度, 并为点云畸变校正提供参考. 提出一种基于角度图像的快速点云分割方法, 筛选结构性显著的点作为特征点, 降低点云规模, 保证激光里程计的效率; 针对地图构建部分存在的地图匹配点搜索效率低和离散点云地图的不完整性问题, 提出传感器中心的多尺度地图模型, 利用环形容器保持地图点恒定, 并结合多尺度格网保证地图模型中点的均匀分布. 数据融合部分, 提出LiDAR/IMU紧耦合的优化方法, 将IMU和LiDAR构成的预积分因子、配准因子、闭环因子插入全局因子图中, 采用基于贝叶斯树的因子图优化算法对变量节点进行增量式优化估计, 实现数据融合. 最后, 采用实测数据评估Inertial-LOAM的性能并与LeGO-LOAM, LOAM和Cartographer对比. 结果表明, Inertial-LOAM在不明显增加运算负担的前提下大幅降低连续配准误差造成的误差累计, 具有良好的实时性; 在结构性特征明显的室内环境, 定位精度达厘米级, 与对比方法持平; 在开阔的室外环境, 定位精度达分米级, 而对比方法均存在不同程度的漂移.     

惯导卫星组合导航辅助的视觉导盲仪定位建图

视觉即时定位与建图(VSLAM)算法能够为穿戴式视觉导盲仪提供必要的位姿信息和环境信息。针对穿戴式视觉导盲仪对定位与建图精度的要求,提出了一种利用IMU/GPS组合导航辅助VSLAM的算法。在双目ORB-SLAM的跟踪线程中,将匀速运动模型改进为基于IMU/GPS组合导航位姿数据的运动模型,并且构造了综合视觉与组合导航数据的非线性优化,以提高跟踪线程的稳定性、提升定位精度。同时,局部建图线程的地图优化中也融合了组合导航数据,提高局部地图的精度,便于导盲仪检测环境信息,最终得到在大范围场景下稳定运行的定位与建图算法。在实际场景中的试验结果表明,该融合算法抑制了VSLAM的累积误差,同时VSLAM能够有效抑制GPS受环境影响产生的定位偏移误差,最终的定位精度达到0. 47 m。该算法提高了VSLAM建图效果,基本满足了视觉导盲仪对定位精度和环境信息的应用需求。     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

基于二维码视觉与激光雷达融合的高精度定位算法

为解决以蒙特卡罗定位算法为代表的激光室内定位算法存在的定位精度差和抗机器人绑架性能差的问题,以及传统二维码定位算法环境布置复杂且对机器人运行轨迹有严格要求的问题,提出了一种融合二维码视觉和激光雷达数据的移动机器人定位算法。机器人首先利用机器视觉技术搜索检测环境中的二维码,然后将检测出二维码的位姿分别转换至地图坐标系下,并融合生成先验位姿信息。而后以此作为初始位姿进行点云对准以得到优化后的位姿。同时引入里程计-视觉监督机制,从而有效解决了包括二维码信息缺失、二维码识别错误等由环境因素带来的问题,并保证了位姿的平滑性。基于移动机器人的实验结果表明,所提算法比经典的自适应蒙特卡罗定位（AMCL）算法的雷达采样点平均误差下降了92%,单次位姿计算时间减少了88%,可有效解决机器人绑架问题,并应用于以仓储机器人为代表的室内移动机器人。     

基于栈式卷积自编码的视觉SLAM闭环检测

同时定位与构图(SLAM)主要用于解决移动机器人在未知环境中进行地图构建和导航的问题,是移动机器人实现自主移动的基础.闭环检测是视觉SLAM的关键步骤,对构建一致性地图和减少位姿累积误差具有重要作用.当前的闭环检测方法通常采用传统的SIFT、SURF等特征,很容易受到环境影响,为了提高闭环检测的准确性和鲁棒性,提出基于无监督栈式卷积自编码(CAEs)模型的特征提取方法,运用训练好的CAEs卷积神经网络对输入图像进行学习,将输出的特征应用于闭环检测.实验结果表明:与传统的BoW方法及其他基于深度学习模型的方法相比,所提出的算法能够有效降低图像特征的维数并改善特征描述的效果,可以在机器人SLAM闭环检测环节获得更好的精确性和鲁棒性.     

基于WiFi指纹序列匹配的机器人同步定位与地图构建

同步定位与地图构建（SLAM）是当前机器人定位导航的研究热点,可靠的闭环检测是图优化SLAM的关键。而在大范围的复杂环境下,通过视觉或激光雷达进行闭环检测的可靠性低且计算开销大。针对这一问题,提出了一种基于WiFi指纹序列匹配的图优化SLAM算法。所提算法采用指纹序列进行闭环检测,由于指纹序列中包含多个指纹数据,信息量比单个指纹点对的数据丰富,因此将传统的基于指纹点对的匹配扩展到指纹序列的匹配可以大幅减小闭环误判的几率,从而确保了闭环检测的准确性,满足了SLAM在大范围复杂环境下的算法高精度要求。采用两组实验数据（机器人从不同的起点开始）对所提算法进行验证的结果表明：与高斯相似度的方法相比,所提算法的精度在第一组数据上提高了22.94%;在第二组数据上提高了39.18%。实验结果充分验证了所提算法在提高定位精度、确保闭环检测可靠性方面的优越性。     

一种适用于激光SLAM大尺度地图的闭环检测方法

针对2D激光slam在大尺度地图的闭环检测中,存在匹配候选集数量庞大和容易发生误检的问题,提出了基于子地图匹配的闭环检测方法。该方法首先使用连续几帧的激光数据构建子地图,并将构建的子地图生成压缩表,然后结合机器人的位姿估计,利用压缩表进行粗扫描匹配,筛选出闭环检测的匹配候选集, 提升匹配速度,最后用经筛选的匹配候选集进行细扫描匹配来检测闭环,以满足SLAM在大尺度地图下闭环检测的速度和准确率要求。实验结果表明,该算法可有效提高闭环检测的可靠性并显著减少匹配候选集数量。     

栅格法视觉传感集成及机器人实时避障

研究移动机器人在室内环境下集成双目视觉和激光测距仪信息进行障碍物实时检测。由双目视觉系统检测环境获取视差信息,通过直接对视差信息进行地平面拟合的方法快速检测障碍物;拟合过程中采用了随机采样一致性估计算法去除干扰点的影响,提高了障碍物检测的鲁棒性。用栅格地图表示基于机器人坐标系的地平面障碍物信息并对栅格信息进行提取,最后把双目视觉与激光测距得到的栅格信息进行集成。实验表明,通过传感信息集成,移动机器人既得到了充分的障碍物信息,又保证了检测的实时性、准确性。     

双目视觉辅助的激光惯导SLAM算法

激光同步定位与地图构建(simultaneous localization and mapping, SLAM)算法在位姿估计和构建环境地图时依赖环境结构特征信息,在结构特征缺乏的场景下,此类算法的位姿估计精度与鲁棒性将下降甚至运行失败.对此,结合惯性测量单元(inertial measurement unit, IMU)不受环境约束、相机依赖视觉纹理的特点,提出一种双目视觉辅助的激光惯导SLAM算法,以解决纯激光SLAM算法在环境结构特征缺乏时的退化问题.即采用双目视觉惯导里程计算法为激光扫描匹配模块提供视觉先验位姿,并进一步兼顾视觉约束与激光结构特征约束进行联合位姿估计.此外,提出一种互补滤波算法与因子图优化求解的组合策略,完成激光里程计参考系与惯性参考系对准,并基于因子图将激光位姿与IMU数据融合以约束IMU偏置,在视觉里程计失效的情况下为激光扫描匹配提供候补的相对位姿预测.为进一步提高全局轨迹估计精度,提出基于迭代最近点匹配算法(iterative closest point, ICP)与基于图像特征匹配算法融合的混合闭环检测策略,利用6自由度位姿图优化方法显著降低里程计漂移误...     

RTAB‐Map as an open‐source lidar and visual simultaneous localization and mapping library for large‐scale and long‐term online operation

Distributed as an open‐source library since 2013, real‐time appearance‐based mapping (RTAB‐Map) started as an appearance‐based loop closure detection approach with memory management to deal with large‐scale and long‐term online operation. It then grew to implement simultaneous localization and mapping (SLAM) on various robots and mobile platforms. As each application brings its own set of constraints on sensors, processing capabilities, and locomotion, it raises the question of which SLAM approach is the most appropriate to use in terms of cost, accuracy, computation power, and ease of integration. Since most of SLAM approaches are either visual‐ or lidar‐based, comparison is difficult. Therefore, we decided to extend RTAB‐Map to support both visual and lidar SLAM, providing in one package a tool allowing users to implement and compare a variety of 3D and 2D solutions for a wide range of applications with different robots and sensors. This paper presents this extended version of RTAB‐Map and its use in comparing, both quantitatively and qualitatively, a large selection of popular real‐world datasets (e.g., KITTI, EuRoC, TUM RGB‐D, MIT Stata Center on PR2 robot), outlining strengths, and limitations of visual and lidar SLAM configurations from a practical perspective for autonomous navigation applications.     

基于单目视频路径移动机器人导航方法研究

以单目视觉中双视图定位为基础,提出了一种基于单目视频路径的导航方法.算法基于单目摄像机提取一组有序的关键图像,以代表视频路径,使用Harris角点算法提取图像特征点,利用零均值归一化互相关算法进行图像匹配,根据单目摄像机双视图匹配点之间的约束关系求出基础矩阵并优化,得到位姿参数,完成了移动机器人定位,使其在视频路径的指导下实现自主导航.验证表明:方法在室外环境中具有较好的实用性.     

基于视觉的机器人自主定位与障碍物检测方法

针对稀疏型同时定位与地图构建（SLAM）算法环境信息丢失导致无法检测障碍物问题，提出一种基于视觉的机器人自主定位与障碍物检测方法。首先，利用双目相机得到观测场景的视差图。然后，在机器人操作系统（ROS）架构下，同时运行定位与建图和障碍物检测两个节点。定位与建图节点基于ORB-SLAM2完成位姿估计与环境建图。障碍物检测节点引入深度阈值，将视差图二值化；运用轮廓提取算法得到障碍物轮廓信息并计算障碍物凸包面积；再引入面积阈值，剔除误检测区域，从而实时准确地解算出障碍物坐标。最后，将检测到的障碍物信息插入到环境的稀疏特征地图当中。实验结果表明，该方法能够在实现机器人自主定位的同时，快速检测出环境中的障碍物，检测精度能够保证机器人顺利避障。     

考虑多位姿估计约束的双目视觉里程计

为了提升复杂环境中双目视觉里程计的精度,提出一种考虑多位姿估计约束的双目视觉里程计方法.首先,分别建立匹配深度已知点与深度未知点的数学模型,将深度未知点引入2D-2D位姿估计模型,从而充分利用图像信息;然后,基于关键帧地图点改进3D-2D位姿估计模型,并结合当前帧地图点更新关键帧地图点,从而增加匹配点对数,提高位姿估计精度;最后,根据改进的2D-2D及3D-2D位姿估计模型,建立多位姿估计约束位姿估计模型,结合局部光束平差法对位姿估计进行局部优化,达到定位精度高且累积误差小的效果.数据集实验和实际场景在线实验表明,所提出方法满足实时定位要求,且有效地提高了自主定位精度.