基于语义分割动态特征点剔除的SLAM算法

针对动态物体容易干扰SLAM建图准确性的问题,提出了一种新的动态环境下的RGB-D SLAM框架,将深度学习中的神经网络与运动信息相结合。首先,算法使用Mask R-CNN网络检测可能生成动态对象掩模的潜在运动对象。其次,算法将光流方法和Mask R-CNN相结合进行全动态特征点的剔除。最后在TUM RGB-D数据集下的实验结果表明,该方法可以提高SLAM系统在动态环境下的位姿估计精度,比现有的ORB-SLAM2的表现效果更好。     

动态场景下基于自适应语义分割的RGB-D SLAM算法

目前较为成熟的视觉SLAM算法在应用于动态场景时,往往会因动态对象干扰而导致系统所估计的位姿误差急剧增大甚至算法失效。为解决上述问题,本文提出一种适用于室内动态场景的视觉SLAM算法,根据当前帧中特征点的运动等级信息自适应判断当前帧是否需要进行语义分割,进而实现语义信息的跨帧检测;根据语义分割网络提供的先验信息以及该对象在先前场景中的运动状态,为每个特征点分配运动等级,将其归类为静态点、可移静态点或动态点。选取合适的特征点进行位姿的初估计,再根据加权静态约束的结果对位姿进行二次优化。最后为验证本文算法的有效性,在TUM RGB-D动态场景数据集上进行实验,并与ORB-SLAM2算法及其他处理动态场景的SLAM算法进行对比,结果表明本文算法在大部分数据集上表现良好,相较改进前的ORB-SLAM算法,本文算法在室内动态场景中的定位精度可提升90.57%。     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM（同步定位与地图创建）算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度．在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题．算法具有全局重定位的能力．在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化．算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性．基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强．     

室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。     

动态场景下基于语义和光流约束的视觉同步定位与地图构建

针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建（SLAM）算法,以降低动态物体对定位与建图的影响。首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图。最后,基于静态点云与语义分割创建稀疏语义地图。公共TUM数据集上的测试结果表明,高动态场景下,所提算法与ORB-SLAM2相比,在绝对轨迹误差和相对位姿误差上能取得95%以上的性能提升,与DS-SLAM、DynaSLAM相比分别减小了41%和11%的绝对轨迹误差,验证了该算法在高动态场景中具有较好的定位精度和鲁棒性。地图构建的实验结果表明,所提算法创建了静态语义地图,与点云地图相比,稀疏语义地图的存储空间需求量降低了99%。     

动态环境下基于动态区域剔除的双目视觉SLAM算法

现有的同步定位与地图创建（SLAM）算法在动态环境中的定位与建图精度通常会大幅度下降,为此提出了一种基于动态区域剔除的双目视觉SLAM算法．首先,基于立体视觉几何约束方法判别场景中动态的稀疏特征点,接下来根据场景深度和颜色信息进行场景区域分割;然后利用动态点与场景分割结果标记出场景中的动态区域,进而剔除现有双目ORB-SLAM算法中动态区域内的特征点,消除场景中的动态目标对SLAM精度的影响;最后进行实验验证,本文算法在KITTI数据集上的动态区域分割查全率达到92.31%．在室外动态环境下,视觉导盲仪测试中动态区域分割查全率达到93.62%,较改进前的双目ORB-SLAM算法的直线行走定位精度提高82.75%,环境建图效果也明显改善,算法的平均处理速度达到4.6帧/秒．实验结果表明本文算法能够显著提高双目视觉SLAM算法在动态场景中的定位与建图精度,且能够满足视觉导盲的实时性要求．     

基于动态耦合与空间数据关联的RGB-D SLAM算法

为了解决动态环境下视觉SLAM（同步定位与地图创建）算法定位与建图精度下降的问题,提出了一种基于动态耦合与空间数据关联的RGB-D SLAM算法。首先,使用语义网络获得预处理的语义分割图像,并利用边缘检测算法和相邻语义判定获得完整的语义动态物体;其次,利用稠密直接法模块实现对相机姿态的初始估计,这里动态耦合分数值的计算在利用了传统的动态区域剔除之外,还使用了空间平面一致性判据和深度信息筛选;然后,结合空间数据关联算法和相机位姿实时更新地图点集,并利用最小化重投影误差和闭环优化线程完成对相机位姿的优化;最后,使用相机位姿和地图点集构建八叉树稠密地图,实现从平面到空间的动态区域剔除,完成静态地图在动态环境下的构建。根据高动态环境下TUM数据集测试结果,本文算法定位误差相比于ORB-SLAM算法减小了约90%,有效提高了RGB-D SLAM算法的定位精度和相机位姿估计精度。     

动态环境下基于增强分割的RGB-D SLAM方法

目前视觉SLAM（同步定位与地图创建）方法在动态环境下易出现漏剔除动态物体的问题,影响相机位姿估计精度以及地图的可用性。为此,本文提出一种基于增强分割的RGB-D SLAM方法。首先结合实例分割网络与深度图像聚类的结果,判断当前帧是否出现漏分割现象,若出现则根据多帧信息对分割结果进行修补,同时,提取当前帧的Shi-To...     

YOLOv4-tiny-based robust RGB-D SLAM approach with point and surface feature fusion in complex indoor environments

Algorithm frameworks based on feature point matching are mature and widely used in simultaneous localization and mapping (SLAM). However, in the complex and changeable indoor environment, feature point matching-based SLAM currently has two major problems, namely, decreased accuracy of pose estimation due to the interference caused by dynamic objects to the SLAM system and tracking loss caused by the lack of feature points in weak texture scenes. To address these problems, herein, we present a robust and real-time RGB-D SLAM algorithm that is based on ORBSLAM3. For interference caused by indoor moving objects, we add the improved lightweight object detection network YOLOv4-tiny to detect dynamic regions, and the dynamic features in the dynamic area are then eliminated in the algorithm tracking stage. In the case of indoor weak texture scenes, while extracting point features the system extracts surface features at the same time. The framework fuses point and surface features to track camera pose. Experiments on the public TUM RGB-D data sets show that compared with the ORB-SLAM3 algorithm in highly dynamic scenes, the root mean square error (RMSE) of the absolute path error of the proposed algorithm improved by an average of 94.08%. Camera pose is tracked without loss over time. The algorithm takes an average of 34 ms to track each frame of the picture just with a CPU, which is suitably real-time and practical. The proposed algorithm is compared with other similar algorithms, and it exhibits excellent real-time performance and accuracy. We also used a Kinect camera to evaluate our algorithm in complex indoor environment, and also showed high robustness and real-time. To sum up, our algorithm can not only deal with the interference caused by dynamic objects to the system but also stably run in the open indoor weak texture scene.     

动态环境下基于深度学习的语义SLAM算法

针对应用场景中存在的运动物体会降低视觉同步定位与地图构建（SLAM）系统的定位精度和鲁棒性的问题,提出一种基于语义信息的动态环境下的视觉SLAM算法。首先,将传统视觉SLAM前端与YOLOv4目标检测算法相结合,在对输入图像进行ORB特征提取的同时,对该图像进行语义分割;然后,判断目标类型以获得动态目标在图像中的区域,剔除分布在动态物体上的特征点;最后,使用处理后的特征点与相邻帧进行帧间匹配来求解相机位姿。实验采用TUM数据集进行测试,测试结果表明,所提算法相较于ORB-SLAM2在高动态环境下在位姿估计精度上提升了96.78%,同时该算法的跟踪线程处理一帧的平均耗时为0.065 5 s,相较于其他应用在动态环境下的SLAM算法耗时最短。实验结果表明,所提算法能够实现在动态环境中的实时精确定位与建图。     

基于几何约束的室内动态环境视觉SLAM

同时定位与地图创建（Simultaneous Localization and Mapping,SLAM）作为自主移动机器人的基本功能,近年来已成为机器人领域的研究热点。然而现有视觉SLAM算法大多将外部场景作为静态假设,忽略了环境中运动物体对SLAM系统精度的影响,影响SLAM系统在实际环境中的应用。鉴于此,提出一种适用于动态场景的鲁棒视觉SLAM算法,以ORB-SLAM2框架RGB-D模式为基础,在前端添加一种基于几何约束的动态检测方法。首先对场景中的动态特征点利用一种几何约束方法进行粗滤除,然后将剩余的特征点作为改进随机抽样一致算法（Random Sample Consensus,RANSAC）的样本点估算稳定的基本矩阵,使用极线几何滤除场景中真正的动态特征点。最后对改进系统在TUM数据集上进行测试,结果表明改进系统可以有效提高ORB-SLAM2系统在高动态场景中的性能。     

动态环境下融合轻量级YOLOv5s的视觉SLAM

移动机器人在未知环境下依靠同步定位与地图构建（SLAM）实现自身的精确定位,目前大多数视觉SLAM系统在运行时均假设外部环境是静态的,但在实际应用场景下该假设并不成立,传统的视觉SLAM系统在动态环境下易受移动目标的影响,导致系统定位精度下降。提出一种新的视觉SLAM系统,将轻量级网络MobileNetV3作为目标检测网络YOLOv5s的主干网络,从而减少模型参数量,提高算法在CPU上的推理速度。将目标检测网络、光流法与ORB-SLAM系统相结合,使SLAM系统前端提取ORB特征点的同时能够有效剔除动态特征点。仅利用静态目标上的特征点进行帧间匹配,从而求解相机位姿,提高系统在动态环境下的定位精度。在TUM动态数据集上的实验结果表明,与ORB-SLAM3系统相比,该系统的位姿估计精度提升了80.16%,与DS-SLAM、DVO-SLAM系统等动态SLAM系统相比,该系统在定位精度上有大幅提升,相比使用MASK-RCNN的DynaSLAM系统,在保持相近ATE指标的情况下,该系统具有更高的实时性。     

基于目标检测的室内动态场景定位与建图

针对室内场景中动态对象严重影响相机位姿估计准确性的问题,提出一种基于目标检测的室内动态场景同步定位与地图构建（SLAM）系统。当相机捕获图像后,首先,利用YOLOv4目标检测网络检测环境中的动态对象,并生成对应边界框的掩膜区域;然后,提取图像中的ORB特征点,并将掩膜区域内部的特征点剔除掉;同时结合GMS算法进一步剔除误匹配,并仅利用剩余静态特征点来估计相机位姿;最后,完成滤除动态对象的静态稠密点云地图和八叉树地图的构建。在TUM RGB-D公开数据集上进行的多次对比测试的结果表明,相对于ORB-SLAM2系统、GCNv2_SLAM系统和YOLOv4+ORB-SLAM2系统,所提系统在绝对轨迹误差（ATE）和相对位姿误差（RPE）上有明显的降低,说明该系统能够显著提高室内动态环境中相机位姿估计的准确性。     

一种室内动态场景下RGB-D SLAM的前端优化方法

针对动态物体会导致位姿估计误差过大的问题,提出一种适用于动态场景下的RGB-D SLAM算法。首先,将目标检测的结果根据物体是否具有自主移动能力划分为动态物体与潜在动态物体,并使用大津法在对应的深度图中完成检测框内区域的前、背景分割;然后,结合检测框的位置坐标与深度信息确定潜在动态物体与动态物体在三维空间内是否关联,初步筛选出具有一定运动概率的潜在动态物体;最后,通过运动一致性检测算法来最终确定是否将潜在动态物体作为动态物体处理。实验部分选用公开的TUM数据集,结果表明,该算法在保持实时性的同时具有较高的定位精度和鲁棒性。     

基于动态分级的自适应运动目标处理SLAM算法

针对移动机器人在动态环境中视觉同时定位和地图构建（visual simultaneous localization and mapping,VSLAM）精度低、鲁棒性差的问题,提出了一种自适应运动目标处理SLAM算法（adaptive dynamic SLAM,AD-SLAM）。基于对极几何约束的场景动态分级前端实时感知运行环境的动态变化。通过基于几何约束和运动概率的低动态环境动态特征和基于语义分割的高动态环境动态目标处理消除运动目标。在计算机视觉数据集TUM上进行实验验证,结果表明提出方案在复杂动态环境中保证算法实时性的前提下提升了移动机器人建图过程中定位的精度和鲁棒性。     

基于K-Means聚类与深度学习的RGB-D SLAM算法

传统的RGB-D视觉同时定位与制图（SLAM）算法在动态场景中识别动态特征时会产生数据错误关联,导致视觉SLAM估计姿态精度退化。提出一种适用于动态场景的RGB-D SLAM算法,利用全新的跨平台神经网络深度学习框架检测场景中的动态语义特征,并分割提取对应的动态语义特征区域。结合深度图像的K均值聚类算法和动态语义特征区域对点特征深度值进行聚类,根据聚类结果剔除动态特征点,同时通过剩余特征点计算RGB-D相机的位姿。实验结果表明,相比ORB-SLAM2、OFD-SLAM、MR-SLAM等算法,该算法能够减小动态场景下的跟踪误差,提高相机位姿估计的精度和鲁棒性,其在TUM动态数据集上相机绝对轨迹的均方根误差约为0.019 m。     

基于混合位姿估计模型的移动机器人三维地图创建方法

针对室内复杂环境下的稠密三维建模问题, 提出一种基于RGB-D 相机的移动机器人同时定位与三维地图创建方法. 该方法利用架设在移动机器人上的RGB-D 相机获取环境信息, 根据点云和纹理加权模型建立结合局部纹理约束的混合位姿估计方法, 确保定位精度的同时减小失败率. 在关键帧选取机制下, 结合视觉闭环检测方法, 运用树结构网络优化(TORO) 算法最小化闭环误差, 实现三维地图的全局一致性优化. 在室内环境下的实验结果验证了所提出算法的有效性和可行性.

     

基于BoW模型的增强RGB-D SLAM算法

即时定位与地图构建(simultaneous localization and mapping,SLAM)被认为是机器人自主运动的核心技术。针对目前的RGB-D SLAM算法实时性和鲁棒性差的问题,提出了一种增强的RGB-D SLAM算法。提取RGB图像的ORB特征描述子,然后利用BoW(bag of word)模型缩小特征描述子的匹配范围从而提高算法的实时性;接着采用PROSAC算法结合PnP算法解算初始相机位姿并通过非线性优化的方式得到优化的相机位姿;利用BoW模型结合关键帧技术和结构一致性几何约束提高回环检测的鲁棒性;采用通用图优化工具g2o对位姿图进行优化,得到全局一致的位姿和点云;最后采用贪心三角化算法将点云转换成网格地图。针对Fr1数据集,该算法的平均定位误差为0.0797 m,每帧数据平均处理时间为0.04 s。与RGB-D SLAM原始算法相比,该算法具有良好的实时性和鲁棒性,可以满足机器人实时SLAM的要求。     

一种基于地磁信号的激光同时定位与建图的闭环 检测方法

激光同时定位与建图(Simultaneous Localization and Mapping,SLAM)技术在激光干扰或结 构高度相似的环境中,容易产生闭环误检。针对这一问题,该研究提出一种闭环粗匹配与地磁特征 筛选闭环检测算法。通过在闭环检测环节中加入地磁匹配算法,对候选闭环检测位姿节点集进一步 筛选,降低了传统激光闭环检测的误检现象,并对定位与建图环境中由于反射与透射干扰而引起的误 检测与建图失真进行修正。该研究采集了真实的激光点云与地磁信号数据集,并将所研究算法与传统 激光 SLAM 进行了对比。实验结果显示,该算法在匹配速度和准确率上都有明显提升,与 Google 的 Cartographer 算法相比,在闭环检测速度上提升了 31%,在 0.8 召回率的情况下闭环检测的误检率降低 了 23%,提升了 SLAM 技术在激光干扰条件下工作的稳定性。