室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

基于VSLAM的自主移动机器人三维同时定位与地图构建

移动机器人在探索未知环境且没有外部参考系统的情况下,面临着同时定位和地图构建（SLAM）问题。针对基于特征的视觉SLAM（VSLAM）算法构建的稀疏地图不利于机器人应用的问题,提出一种基于八叉树结构的高效、紧凑的地图构建算法。首先,根据关键帧的位姿和深度数据,构建图像对应场景的点云地图;然后利用八叉树地图技术进行处理,构建出了适合于机器人应用的地图。将所提算法同RGB-D SLAM（RGB-Depth SLAM）算法、ElasticFusion算法和ORB-SLAM（Oriented FAST and Rotated BRIEF SLAM）算法通过权威数据集进行了对比实验,实验结果表明,所提算法具有较高的有效性、精度和鲁棒性。最后,搭建了自主移动机器人,将改进的VSLAM系统应用到移动机器人中,能够实时地完成自主避障和三维地图构建,解决稀疏地图无法用于避障和导航的问题。     

融合直接法与特征法的快速双目SLAM算法

为了实时得到搭载双目相机的机器人准确的3维位姿状态和环境信息,提出一种融合直接法与特征法的双目SLAM(同时定位与地图创建)算法.该算法主要分为4个线程:跟踪线程、特征提取线程、局部建图线程和闭环线程.跟踪线程通过最小化图像光度误差,获取双目的初始位姿估计和特征对应关系,而后通过最小化局部地图点的重投影误差,得到更为准确的机器人位姿估计.特征提取线程负责提取关键帧的关键点和描述子,能够保证待处理的关键帧较多时不影响后续局部建图线程的执行.局部建图线程管理局部地图,执行局部BA(光束平差法),优化局部关键帧位姿和局部地图点的位置,提高SLAM的局部一致性.闭环线程通过对关键帧的闭环检测和优化,提高SLAM的全局一致性.另外利用闭环线程处理机器人被绑架后重回已探测环境的定位问题.KITTI数据集、TUM数据集以及采集的双目数据实验表明,本文算法相对于ORB-SLAM2算法,在保证定位精度的同时,有效提高了相机位姿的输出帧率,并且在机器人被绑架的情况下,能够得到更为丰富的姿态信息和环境信息.     

基于混合位姿估计模型的移动机器人三维地图创建方法

针对室内复杂环境下的稠密三维建模问题, 提出一种基于RGB-D 相机的移动机器人同时定位与三维地图创建方法. 该方法利用架设在移动机器人上的RGB-D 相机获取环境信息, 根据点云和纹理加权模型建立结合局部纹理约束的混合位姿估计方法, 确保定位精度的同时减小失败率. 在关键帧选取机制下, 结合视觉闭环检测方法, 运用树结构网络优化(TORO) 算法最小化闭环误差, 实现三维地图的全局一致性优化. 在室内环境下的实验结果验证了所提出算法的有效性和可行性.

     

基于动态耦合与空间数据关联的RGB-D SLAM算法

为了解决动态环境下视觉SLAM（同步定位与地图创建）算法定位与建图精度下降的问题,提出了一种基于动态耦合与空间数据关联的RGB-D SLAM算法。首先,使用语义网络获得预处理的语义分割图像,并利用边缘检测算法和相邻语义判定获得完整的语义动态物体;其次,利用稠密直接法模块实现对相机姿态的初始估计,这里动态耦合分数值的计算在利用了传统的动态区域剔除之外,还使用了空间平面一致性判据和深度信息筛选;然后,结合空间数据关联算法和相机位姿实时更新地图点集,并利用最小化重投影误差和闭环优化线程完成对相机位姿的优化;最后,使用相机位姿和地图点集构建八叉树稠密地图,实现从平面到空间的动态区域剔除,完成静态地图在动态环境下的构建。根据高动态环境下TUM数据集测试结果,本文算法定位误差相比于ORB-SLAM算法减小了约90%,有效提高了RGB-D SLAM算法的定位精度和相机位姿估计精度。     

改进ORB特征的机器人RGB-D SLAM算法

基于特征的视觉同时定位与地图构建（Simultaneous Localization and Mapping，SLAM）存在实时性和鲁棒性差等问题，提出一种改进的基于四叉树的ORB特征提取方法，设计包含前后端及地图构建的机器人RGB-D SLAM算法。在前端使用四叉树方法完成ORB特征的均匀提取，计算描述子间汉明距离实现特征匹配。根据随机采样一致性算法思想，结合EPNP（Efficient Perspective-N-Point）和迭代最近点法求解位姿，获取多次迭代后的准确位姿。采用关键帧进行回环检测，并且基于光速法平差优化位姿图，从而构建全局一致的3D地图，达到减少累积误差的目的。通过TUM数据集和多履带式全向移动机器人进行对比验证，实验结果满足实时性和稳定性要求，证明了算法的可行性和有效性。     

基于BoW模型的增强RGB-D SLAM算法

即时定位与地图构建(simultaneous localization and mapping,SLAM)被认为是机器人自主运动的核心技术。针对目前的RGB-D SLAM算法实时性和鲁棒性差的问题,提出了一种增强的RGB-D SLAM算法。提取RGB图像的ORB特征描述子,然后利用BoW(bag of word)模型缩小特征描述子的匹配范围从而提高算法的实时性;接着采用PROSAC算法结合PnP算法解算初始相机位姿并通过非线性优化的方式得到优化的相机位姿;利用BoW模型结合关键帧技术和结构一致性几何约束提高回环检测的鲁棒性;采用通用图优化工具g2o对位姿图进行优化,得到全局一致的位姿和点云;最后采用贪心三角化算法将点云转换成网格地图。针对Fr1数据集,该算法的平均定位误差为0.0797 m,每帧数据平均处理时间为0.04 s。与RGB-D SLAM原始算法相比,该算法具有良好的实时性和鲁棒性,可以满足机器人实时SLAM的要求。     

基于半直接法SLAM的大场景稠密三维重建系统

当前三维重建系统大多基于特征点法和直接法的同时定位与地图重建(SLAM)系统,特征点法SLAM难以在特征点缺失的地方具有较好的重建结果,直接法SLAM在相机运动过快时难以进行位姿估计,从而造成重建效果不理想.针对上述问题,文中提出基于半直接法SLAM的大场景稠密三维重建系统.通过深度相机(RGB-D相机)扫描,在特征点丰富的区域使用特征点法进行相机位姿估计,在特征点缺失区域使用直接法进行位姿估计,减小光度误差,优化相机位姿.然后使用优化后较准确的相机位姿进行地图构建,采用面元模型,应用构建变形图的方法进行点云的位姿估计和融合,最终获得较理想的三维重建模型.实验表明,文中系统可适用于各个场合的三维重建,得到较理想的三维重建模型.     

基于平面约束的RGB-D SLAM系统

针对现有室内环境存在多个平面特征的特点,提出了一种使用平面特征优化相机位姿和建图的实时室内RGB-D 同时定位与地图构建（SLAM）系统。系统在前端采用迭代最近点（ICP）算法和直接法联合估计相机位姿,在后端提取相机关键帧平面特征并建立多种基于平面特征的约束关系,优化相机关键帧的位姿和平面特征参数,同时增量式地构建环境的平面结构模型。在多个公开数据序列上的实验结果表明,在平面信息丰富的环境中,平面特征约束能够减小位姿估计的累积误差,系统能够构建场景平面模型并只消耗少量的存储空间,在真实环境下的实验结果验证了系统在室内增强现实领域具有可行性和应用价值。     

基于点线结合特征的单目视觉里程计

SLAM(即时定位与地图构建)系统是近年来计算机视觉领域的一大重要课题,其中特征法的SLAM凭借稳定性好、计算效率高的优点成为SLAM算法的主流。目前特征法SLAM主要基于点特征进行。针对基于点特征的视觉里程计依赖于数据质量,相机运动过快时容易跟丢,且生成的特征地图不包含场景结构信息等缺点,提出了一种基于点线结合特征的优化算法。相较于传统基于线段端点的六参数表达方式,算法采用一种四参数的方式表示空间直线,并使用点线特征进行联合图优化估计相机位姿。使用公开数据集和自采集鱼眼影像数据分别进行实验的结果表明,与仅使用点特征的方法相比,该方法可有效改善因相机运动过快产生的跟丢问题,增加轨迹长度,提升位姿估计精度,且生成的稀疏特征地图更能反映场景结构特征。     

动态场景下基于语义和光流约束的视觉同步定位与地图构建

针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建（SLAM）算法,以降低动态物体对定位与建图的影响。首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图。最后,基于静态点云与语义分割创建稀疏语义地图。公共TUM数据集上的测试结果表明,高动态场景下,所提算法与ORB-SLAM2相比,在绝对轨迹误差和相对位姿误差上能取得95%以上的性能提升,与DS-SLAM、DynaSLAM相比分别减小了41%和11%的绝对轨迹误差,验证了该算法在高动态场景中具有较好的定位精度和鲁棒性。地图构建的实验结果表明,所提算法创建了静态语义地图,与点云地图相比,稀疏语义地图的存储空间需求量降低了99%。     

动态环境下基于增强分割的RGB-D SLAM方法

目前视觉SLAM（同步定位与地图创建）方法在动态环境下易出现漏剔除动态物体的问题,影响相机位姿估计精度以及地图的可用性。为此,本文提出一种基于增强分割的RGB-D SLAM方法。首先结合实例分割网络与深度图像聚类的结果,判断当前帧是否出现漏分割现象,若出现则根据多帧信息对分割结果进行修补,同时,提取当前帧的Shi-To...     

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建（SLAM）是机器人在未知环境实现自主导航的关键技术，针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题，提出一种新的RGB-D SLAM系统，以进一步提升实时性和精确度。首先，采用ORB算法检测图像特征点，并对提取的特征点采用基于四叉树的均匀化策略进行处理，并结合词袋模型（BoW）进行特征匹配。然后，在系统相机姿态初始值估计阶段，结合PnP和非线性优化方法为后端优化提供一个更接近最优值的初始值；在后端优化中，使用光束法平差（BA）对相机姿态初始值进行迭代优化，从而得到相机姿态的最优值。最后，根据相机姿态和每帧点云地图的对应关系，将所有的点云数据注册到同一个坐标系中，得到场景的稠密点云地图，并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上，将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比，实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。     

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建（SLAM）是机器人在未知环境实现自主导航的关键技术,针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题,提出一种新的RGB-D SLAM系统,以进一步提升实时性和精确度。首先,采用ORB算法检测图像特征点,并对提取的特征点采用基于四叉树的均匀化策略进行处理,并结合词袋模型（BoW）进行特征匹配。然后,在系统相机姿态初始值估计阶段,结合PnP和非线性优化方法为后端优化提供一个更接近最优值的初始值;在后端优化中,使用光束法平差（BA）对相机姿态初始值进行迭代优化,从而得到相机姿态的最优值。最后,根据相机姿态和每帧点云地图的对应关系,将所有的点云数据注册到同一个坐标系中,得到场景的稠密点云地图,并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上,将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比,实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。     

基于视觉语义与激光点云交融构建的SLAM算法

激光雷达作为同时定位与地图构建(SLAM)传感器之一,因精度高、性能稳定等特点而被广泛研究使用.但其获得的点云数据较稀疏,包含特征信息少,会导致误匹配、位姿估计误差大等问题,影响SLAM的定位和建图精度.对此,提出一种将视觉语义信息与激光点云数据融合的SLAM算法(VSIL-SLAM).首先,基于投影思想将聚类后的点云映射到语义检测框内,生成语义物体,解决原始激光点云特征稀缺问题;然后,在形状特征的基础上引入拓扑特征对语义物体进行表述,提出基于匹配的拓扑相似性度量方法,解决单一特征造成的误匹配问题,提高匹配准确度;最后,加入语义物体点到点的几何约束,基于几何特征和语义物体构建前端里程计,并完成后端回环检测和位姿图优化设计.实验结果表明,所提出算法在定位和建图效果上都有显著提高,改善了激光SLAM算法的性能.     

YOLOv4-tiny-based robust RGB-D SLAM approach with point and surface feature fusion in complex indoor environments

Algorithm frameworks based on feature point matching are mature and widely used in simultaneous localization and mapping (SLAM). However, in the complex and changeable indoor environment, feature point matching-based SLAM currently has two major problems, namely, decreased accuracy of pose estimation due to the interference caused by dynamic objects to the SLAM system and tracking loss caused by the lack of feature points in weak texture scenes. To address these problems, herein, we present a robust and real-time RGB-D SLAM algorithm that is based on ORBSLAM3. For interference caused by indoor moving objects, we add the improved lightweight object detection network YOLOv4-tiny to detect dynamic regions, and the dynamic features in the dynamic area are then eliminated in the algorithm tracking stage. In the case of indoor weak texture scenes, while extracting point features the system extracts surface features at the same time. The framework fuses point and surface features to track camera pose. Experiments on the public TUM RGB-D data sets show that compared with the ORB-SLAM3 algorithm in highly dynamic scenes, the root mean square error (RMSE) of the absolute path error of the proposed algorithm improved by an average of 94.08%. Camera pose is tracked without loss over time. The algorithm takes an average of 34 ms to track each frame of the picture just with a CPU, which is suitably real-time and practical. The proposed algorithm is compared with other similar algorithms, and it exhibits excellent real-time performance and accuracy. We also used a Kinect camera to evaluate our algorithm in complex indoor environment, and also showed high robustness and real-time. To sum up, our algorithm can not only deal with the interference caused by dynamic objects to the system but also stably run in the open indoor weak texture scene.     

基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。     

复杂场景下视觉先验信息的地图恢复SLAM

目的 目前已有的单目视觉SLAM（simultaneous localization and mapping）系统每次开始运行时都将初始帧而不是绝对位置设置为参考帧,不能在一个固定的坐标系中获得位姿,导致无法重用已有的建图信息,而且在复杂场景中相机容易跟踪失败,需要当前帧与已有的关键帧非常相似时才能重定位并继续建图。针对这个问题,提出一种具有重新初始化、地图重用与地图恢复能力的视觉SLAM系统。方法 首先,加载先验地图,通过ORB（oriented brief）特征匹配SLAM系统当前帧与先验地图关键帧,并结合重定位方法完成SLAM系统的初始化。接着,为了避免丢失地图,建立一种应对SLAM系统跟踪失败的地图保存机制,保存跟踪成功地图,并提出一种自适应快速重新初始化算法,引入灭点检测,自动选择最佳重新初始化策略,保证SLAM系统继续跟踪与建图,建立的地图称为恢复地图。最后,对于跟踪成功地图与恢复地图,采用改进的回环方法获得它们之间的转换关系,并提出一种地图恢复法,减少跟踪成功地图与恢复地图尺度不一带来的误差,确保得到的全局一致地图更加准确。结果 在经过加噪处理的KITTI数据集上进行地图恢复融合的测试,实验结果表明,在KITTI00、KITTI02、KITTI05数据集下,本文提出的SLAM系统比ORB-SLAM2系统分别可以多获得39.25%、47.75%、32.46%的地图信息。在EuRoC数据集上的运行结果表明,本文提出的单目视觉SLAM系统不仅在建图精度方面与ORB-SLAM2效果相当,还在跟踪稳定性方面有显著提升。结论 本文提出的SLAM系统可以在跟踪失败的情况下有效恢复地图;此外,还可以高效重用SLAM系统已有的建图结果,固定SLAM地图坐标系,提升SLAM系统运行稳定性。