动态场景下基于图像掩模技术的双目SLAM算法

视觉SLAM技术在动态场景中存在定位漂移和创建地图扭曲的情况,本研究提出一种基于图像掩模技术的双目SLAM算法,运用视觉几何约束法在动态场景中得出动态特征点,将检测出的运动物体区域作为图像掩模。在ORB-SLAM算法中引入动态区域掩模分割和剔除动态区域的功能,可以保证相机的定位和构图不受动态场景中的运动物体的影响。根据动态特征点和分割结果在动态场景中用矩形框标识出动态区域掩模,剔除特征匹配中动态特征点,从而可以降低运动物体对SLAM算法精度的影响。经实验得出,改进算法较双目ORB-SLAM算法在动态场景中的定位精度提高76.1%,其动态场景构图效果改善明显,算法处理的平均速度可以达到实时视觉定位和构图的需求,平均可达4.7帧/秒。     

动态环境下基于深度学习的语义SLAM算法

针对应用场景中存在的运动物体会降低视觉同步定位与地图构建（SLAM）系统的定位精度和鲁棒性的问题,提出一种基于语义信息的动态环境下的视觉SLAM算法。首先,将传统视觉SLAM前端与YOLOv4目标检测算法相结合,在对输入图像进行ORB特征提取的同时,对该图像进行语义分割;然后,判断目标类型以获得动态目标在图像中的区域,剔除分布在动态物体上的特征点;最后,使用处理后的特征点与相邻帧进行帧间匹配来求解相机位姿。实验采用TUM数据集进行测试,测试结果表明,所提算法相较于ORB-SLAM2在高动态环境下在位姿估计精度上提升了96.78%,同时该算法的跟踪线程处理一帧的平均耗时为0.065 5 s,相较于其他应用在动态环境下的SLAM算法耗时最短。实验结果表明,所提算法能够实现在动态环境中的实时精确定位与建图。     

基于Mask R-CNN的动态物体剔除方法在RGB-D视觉SLAM中的应用

运行的场景中没有运动物体是大多数SLAM算法的前提,这个假设过于理想化,导致大多数视觉SLAM算法在动态环境下无法使用,因此也就限制了其在服务型机器人和自动驾驶等中的应用。提出了一种动态物体检测及剔除方法并将其整合到ORB-SLAM2[1]算法中,提升了其在动态场景中使用RGB-D摄像头时的稳定性。基于Mask R0CNN获得动态物体的检测和移除能力从而剔除从动态物体上提取到的ORB特征。在公共的RGB-D数据集上评估了加入动态物体剔除方法后的ORB-SLAM2系统,对比了在动态场景下和原系统的差异。改造后的系统在动态场景下的定位和建图精度提升较为明显。     

基于几何-语义联合约束的动态环境视觉SLAM算法

传统视觉同步定位和地图构建（Simultaneous localization and mapping, SLAM）算法建立在静态环境假设的基础之上,当场景中出现动态物体时,会影响系统稳定性,造成位姿估计精度下降。现有方法大多基于概率统计和几何约束来减轻少量动态物体对视觉SLAM系统的影响,但是当场景中动态物体较多时,这些方法失效。针对这一问题,本文提出了一种将动态视觉SLAM算法与多目标跟踪算法相结合的方法。首先采用实例语义分割网络,结合几何约束,在有效地分离静态特征点和动态特征点的同时,进一步实现多目标跟踪,改善跟踪结果,并能够获得运动物体的轨迹和速度矢量信息,从而能够更好地为机器人自主导航提供决策信息。在KITTI数据集上的实验表明,该算法在动态场景中相较ORB-SLAM2算法精度提高了28%。     

惯导卫星组合导航辅助的视觉导盲仪定位建图

视觉即时定位与建图(VSLAM)算法能够为穿戴式视觉导盲仪提供必要的位姿信息和环境信息。针对穿戴式视觉导盲仪对定位与建图精度的要求,提出了一种利用IMU/GPS组合导航辅助VSLAM的算法。在双目ORB-SLAM的跟踪线程中,将匀速运动模型改进为基于IMU/GPS组合导航位姿数据的运动模型,并且构造了综合视觉与组合导航数据的非线性优化,以提高跟踪线程的稳定性、提升定位精度。同时,局部建图线程的地图优化中也融合了组合导航数据,提高局部地图的精度,便于导盲仪检测环境信息,最终得到在大范围场景下稳定运行的定位与建图算法。在实际场景中的试验结果表明,该融合算法抑制了VSLAM的累积误差,同时VSLAM能够有效抑制GPS受环境影响产生的定位偏移误差,最终的定位精度达到0. 47 m。该算法提高了VSLAM建图效果,基本满足了视觉导盲仪对定位精度和环境信息的应用需求。     

基于语义概率预测的动态场景单目视觉SLAM

目的 基于视觉的同步定位与建图（visual-based simultaneous localization and mapping,vSLAM）是计算机视觉以及机器人领域中的关键技术,其通过对输入的图像进行处理分析来感知周围的3维环境以及进行自身的定位。现有的SLAM系统大多依赖静态世界假设,在真实环境中的动态物体会严重影响视觉SLAM系统的稳定运行。同时,场景中静止与运动部分往往和其语义有密切关系,因而可以借助场景中的语义信息来提升视觉SLAM系统在动态环境下的稳定性。为此,提出一种新的基于语义概率预测的面向动态场景的单目视觉SLAM算法。方法 结合语义分割的结果以及鲁棒性估计算法,通过对分割进行数据关联、状态检测,从概率的角度来表示观测的静止/运动状态,剔除动态物体上的观测对相机位姿估计的干扰,同时借助运动概率及时剔除失效的地图点,使系统在复杂动态的场景中依然能够稳定运行。结果 在本文构建的复杂动态场景数据集上,提出的方法在跟踪精度和完整度上都显著优于现有的单目视觉SLAM方法,而且在TUM-RGBD数据集中的多个高动态序列上也取得了更好的结果。此外,本文定性比较了动态场景下的建图质量以及AR（augmented reality）效果。结果表明,本文方法明显优于对比方法。结论 本文通过结合语义分割信息以及鲁棒性估计算法,对分割区域进行数据关联以及运动状态检测,以概率的形式表示2D观测的运动状态,同时及时剔除失效地图点,使相机位姿估计的精度以及建图质量有了明显提升,有效提高了单目视觉SLAM在高度动态环境中运行的鲁棒性。     

基于几何约束的室内动态环境视觉SLAM

同时定位与地图创建（Simultaneous Localization and Mapping,SLAM）作为自主移动机器人的基本功能,近年来已成为机器人领域的研究热点。然而现有视觉SLAM算法大多将外部场景作为静态假设,忽略了环境中运动物体对SLAM系统精度的影响,影响SLAM系统在实际环境中的应用。鉴于此,提出一种适用于动态场景的鲁棒视觉SLAM算法,以ORB-SLAM2框架RGB-D模式为基础,在前端添加一种基于几何约束的动态检测方法。首先对场景中的动态特征点利用一种几何约束方法进行粗滤除,然后将剩余的特征点作为改进随机抽样一致算法（Random Sample Consensus,RANSAC）的样本点估算稳定的基本矩阵,使用极线几何滤除场景中真正的动态特征点。最后对改进系统在TUM数据集上进行测试,结果表明改进系统可以有效提高ORB-SLAM2系统在高动态场景中的性能。     

基于视觉的机器人自主定位与障碍物检测方法

针对稀疏型同时定位与地图构建（SLAM）算法环境信息丢失导致无法检测障碍物问题，提出一种基于视觉的机器人自主定位与障碍物检测方法。首先，利用双目相机得到观测场景的视差图。然后，在机器人操作系统（ROS）架构下，同时运行定位与建图和障碍物检测两个节点。定位与建图节点基于ORB-SLAM2完成位姿估计与环境建图。障碍物检测节点引入深度阈值，将视差图二值化；运用轮廓提取算法得到障碍物轮廓信息并计算障碍物凸包面积；再引入面积阈值，剔除误检测区域，从而实时准确地解算出障碍物坐标。最后，将检测到的障碍物信息插入到环境的稀疏特征地图当中。实验结果表明，该方法能够在实现机器人自主定位的同时，快速检测出环境中的障碍物，检测精度能够保证机器人顺利避障。     

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图（SLAM）鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差（SD）值最高分别提升98%和97%。     

基于目标检测的动态鲁棒视觉SLAM

针对传统视觉即时定位与建图(simultaneouslocalizationandmapping,SLAM)算法的环境静态假设在高动态场景下不成立,导致无法实现准确定位的问题,通过在视觉SLAM前端引入语义模块、优化动态特征点剔除策略,构建动态鲁棒的相机自定位系统。引入YOLOv4识别动态和静态目标,根据特征点与动、静态目标框的位置关系及动态点占比将所有特征点划分为动态和静态,将动态点从定位算法中剔除。为准确评估算法有效性,构建复杂城市道路场景数据集,实验结果表明,该方法能有效抑制动态目标给相机自定位带来的不利影响,在多段图像序列中实现更低的定位误差,提升相机的定位精度和运动轨迹准确性。     

动态场景下基于自适应语义分割的RGB-D SLAM算法

目前较为成熟的视觉SLAM算法在应用于动态场景时,往往会因动态对象干扰而导致系统所估计的位姿误差急剧增大甚至算法失效。为解决上述问题,本文提出一种适用于室内动态场景的视觉SLAM算法,根据当前帧中特征点的运动等级信息自适应判断当前帧是否需要进行语义分割,进而实现语义信息的跨帧检测;根据语义分割网络提供的先验信息以及该对象在先前场景中的运动状态,为每个特征点分配运动等级,将其归类为静态点、可移静态点或动态点。选取合适的特征点进行位姿的初估计,再根据加权静态约束的结果对位姿进行二次优化。最后为验证本文算法的有效性,在TUM RGB-D动态场景数据集上进行实验,并与ORB-SLAM2算法及其他处理动态场景的SLAM算法进行对比,结果表明本文算法在大部分数据集上表现良好,相较改进前的ORB-SLAM算法,本文算法在室内动态场景中的定位精度可提升90.57%。     

动态环境下基于增强分割的RGB-D SLAM方法

目前视觉SLAM（同步定位与地图创建）方法在动态环境下易出现漏剔除动态物体的问题,影响相机位姿估计精度以及地图的可用性。为此,本文提出一种基于增强分割的RGB-D SLAM方法。首先结合实例分割网络与深度图像聚类的结果,判断当前帧是否出现漏分割现象,若出现则根据多帧信息对分割结果进行修补,同时,提取当前帧的Shi-To...     

GMSK-SLAM: a new RGB-D SLAM method with dynamic areas detection towards dynamic environments

As a research hotspot in the field of robotics, Simultaneous localization and mapping (SLAM) has made great progress in recent years, but few SLAM algorithms take dynamic or movable targets in the scene into account. In this paper, a robust new RGB-D SLAM method with dynamic area detection towards dynamic environments named GMSK-SLAM is proposed. Most of the existing related papers use the method of directly eliminating the whole dynamic targets. Although rejecting dynamic objects can increase the accuracy of robot positioning to a certain extent, this type of algorithm will result in the reduction of the number of available feature points in the image. The lack of sufficient feature points will seriously affect the subsequent precision of positioning and mapping for feature-based SLAM. The proposed GMSK-SLAM method innovatively combines Grid-based Motion Statistics (GMS) feature points matching method with K-means cluster algorithm to distinguish dynamic areas from the images and retain static information from dynamic environments, which can effectively increase the number of reliable feature points and keep more environment features. This method can achieve a highly improvements on localization accuracy in dynamic environments. Finally, sufficient experiments were conducted on the public TUM RGB-D dataset. Compared with ORB-SLAM2 and the RGB-D SLAM, our system, respectively, got 97.3% and 90.2% improvements in dynamic environments localization evaluated by root-mean-square error. The empirical results show that the proposed algorithm can eliminate the influence of the dynamic objects effectively and achieve a comparable or better performance than state-of-the-art methods.

     

基于空洞补全的动态SLAM方法

视觉同步定位与建图（simultaneous localization and mapping,SLAM）是智能机器人、无人驾驶等领域的核心技术。通常大多数视觉SLAM关注的是静态场景,它们难以应用于动态场景,也有一些视觉SLAM应用于动态场景,它们借助神经网络来剔除动态物体从而减少动态物体的干扰,但剔除后的图像留有的...     

面向室内动态场景的多传感视觉SLAM方法

针对传统同时定位与地图构建(simultaneous localization and mapping,SLAM)框架面临动态场景时产生明显定位误差,建立的场景稠密地图会包含动态对象及其运动叠影,从而导致定位与建图鲁棒性不足的问题,面向以人类为主要动态对象的室内动态场景,从“温度”的角度出发,提出基于热像仪与深度相机结合的多传感SLAM协同方案,解决室内动态场景中的定位与建图难题。首先,建立一套针对热像仪与深度相机的联合标定策略,重新设计标定板与标定方案,完成相机的内参标定、外参标定与图像配准,得到一一对应的RGB、深度、热(RDH)三模图像;其次,由热图像得到人体掩模图像,进而在ORB-SLAM2系统框架下构建静态特征提取与数据关联策略,实现基于三模图像的视觉里程计;然后,基于人体掩模图像更新深度图像,滤除人体区域,进而完成基于三模图像的静态环境稠密地图构建;最后,在室内动态场景下进行实验验证,结果表明所提出算法在室内动态场景下可有效剔除动态对象的干扰特征,相对传统SLAM算法具有明显优势。     

动态环境下融合轻量级YOLOv5s的视觉SLAM

移动机器人在未知环境下依靠同步定位与地图构建（SLAM）实现自身的精确定位,目前大多数视觉SLAM系统在运行时均假设外部环境是静态的,但在实际应用场景下该假设并不成立,传统的视觉SLAM系统在动态环境下易受移动目标的影响,导致系统定位精度下降。提出一种新的视觉SLAM系统,将轻量级网络MobileNetV3作为目标检测网络YOLOv5s的主干网络,从而减少模型参数量,提高算法在CPU上的推理速度。将目标检测网络、光流法与ORB-SLAM系统相结合,使SLAM系统前端提取ORB特征点的同时能够有效剔除动态特征点。仅利用静态目标上的特征点进行帧间匹配,从而求解相机位姿,提高系统在动态环境下的定位精度。在TUM动态数据集上的实验结果表明,与ORB-SLAM3系统相比,该系统的位姿估计精度提升了80.16%,与DS-SLAM、DVO-SLAM系统等动态SLAM系统相比,该系统在定位精度上有大幅提升,相比使用MASK-RCNN的DynaSLAM系统,在保持相近ATE指标的情况下,该系统具有更高的实时性。     

基于动态分级的自适应运动目标处理SLAM算法

针对移动机器人在动态环境中视觉同时定位和地图构建（visual simultaneous localization and mapping,VSLAM）精度低、鲁棒性差的问题,提出了一种自适应运动目标处理SLAM算法（adaptive dynamic SLAM,AD-SLAM）。基于对极几何约束的场景动态分级前端实时感知运行环境的动态变化。通过基于几何约束和运动概率的低动态环境动态特征和基于语义分割的高动态环境动态目标处理消除运动目标。在计算机视觉数据集TUM上进行实验验证,结果表明提出方案在复杂动态环境中保证算法实时性的前提下提升了移动机器人建图过程中定位的精度和鲁棒性。