动态环境下基于动态区域剔除的双目视觉SLAM算法

现有的同步定位与地图创建（SLAM）算法在动态环境中的定位与建图精度通常会大幅度下降,为此提出了一种基于动态区域剔除的双目视觉SLAM算法．首先,基于立体视觉几何约束方法判别场景中动态的稀疏特征点,接下来根据场景深度和颜色信息进行场景区域分割;然后利用动态点与场景分割结果标记出场景中的动态区域,进而剔除现有双目ORB-SLAM算法中动态区域内的特征点,消除场景中的动态目标对SLAM精度的影响;最后进行实验验证,本文算法在KITTI数据集上的动态区域分割查全率达到92.31%．在室外动态环境下,视觉导盲仪测试中动态区域分割查全率达到93.62%,较改进前的双目ORB-SLAM算法的直线行走定位精度提高82.75%,环境建图效果也明显改善,算法的平均处理速度达到4.6帧/秒．实验结果表明本文算法能够显著提高双目视觉SLAM算法在动态场景中的定位与建图精度,且能够满足视觉导盲的实时性要求．     

基于动态分级的自适应运动目标处理SLAM算法

针对移动机器人在动态环境中视觉同时定位和地图构建（visual simultaneous localization and mapping,VSLAM）精度低、鲁棒性差的问题,提出了一种自适应运动目标处理SLAM算法（adaptive dynamic SLAM,AD-SLAM）。基于对极几何约束的场景动态分级前端实时感知运行环境的动态变化。通过基于几何约束和运动概率的低动态环境动态特征和基于语义分割的高动态环境动态目标处理消除运动目标。在计算机视觉数据集TUM上进行实验验证,结果表明提出方案在复杂动态环境中保证算法实时性的前提下提升了移动机器人建图过程中定位的精度和鲁棒性。     

基于语义概率预测的动态场景单目视觉SLAM

目的 基于视觉的同步定位与建图（visual-based simultaneous localization and mapping,vSLAM）是计算机视觉以及机器人领域中的关键技术,其通过对输入的图像进行处理分析来感知周围的3维环境以及进行自身的定位。现有的SLAM系统大多依赖静态世界假设,在真实环境中的动态物体会严重影响视觉SLAM系统的稳定运行。同时,场景中静止与运动部分往往和其语义有密切关系,因而可以借助场景中的语义信息来提升视觉SLAM系统在动态环境下的稳定性。为此,提出一种新的基于语义概率预测的面向动态场景的单目视觉SLAM算法。方法 结合语义分割的结果以及鲁棒性估计算法,通过对分割进行数据关联、状态检测,从概率的角度来表示观测的静止/运动状态,剔除动态物体上的观测对相机位姿估计的干扰,同时借助运动概率及时剔除失效的地图点,使系统在复杂动态的场景中依然能够稳定运行。结果 在本文构建的复杂动态场景数据集上,提出的方法在跟踪精度和完整度上都显著优于现有的单目视觉SLAM方法,而且在TUM-RGBD数据集中的多个高动态序列上也取得了更好的结果。此外,本文定性比较了动态场景下的建图质量以及AR（augmented reality）效果。结果表明,本文方法明显优于对比方法。结论 本文通过结合语义分割信息以及鲁棒性估计算法,对分割区域进行数据关联以及运动状态检测,以概率的形式表示2D观测的运动状态,同时及时剔除失效地图点,使相机位姿估计的精度以及建图质量有了明显提升,有效提高了单目视觉SLAM在高度动态环境中运行的鲁棒性。     

一种结合深度学习的运动重检测视觉SLAM算法

在现实场景中,传统视觉同步定位与建图（SLAM）算法存在静态环境假设的限制。由于运动物体的影响,传统的视觉里程计存在大量误匹配,从而影响整个SLAM算法的运行精度,导致系统无法在现实场景中稳定运行。基于深度学习和多视图几何,提出一种面向室内动态环境的视觉SLAM算法。采用目标检测网络对动态物体进行预检测确定潜在运动对象,根据预检测结果,利用多视图几何完成运动物体重检测,确认实际产生运动的物体并将场景中的对象划分为动态和静态两种状态。基于跟踪线程和局部建图线程,提出一种语义数据关联方法和关键帧选取策略,以减少运动物体对算法精度的影响,提高系统的稳定性。在TUM公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,该算法平均均方根误差降低了40%,与同样具有运动剔除的DynaSLAM算法相比,算法实时性提高10倍以上,且运行速度与精度均明显提高。     

融合光流与多视角几何的动态视觉SLAM系统

视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几何,得到动态区域掩码对视野内图像帧进行分割,实现动态区域检测并滤除动态区域中的特征点,在保证视觉SLAM系统实时性的同时提高追踪准确度,替换原本的地图构建线程。在新的地图构建线程中,引入光流信息及Mobile NetV2实例分割网络。利用实例分割网络分割结果结合光流动态区域掩码对获取到的有序点云逐层分割,解决地图构建中动态物体造成的“拖影”问题。同时对分割后的点云团融合语义信息,最终构建静态语义八叉树地图。在TUM Dynamic Objects数据集上的实验结果表明,相较于ORB-SLAM2,在高动态场景序列测试中,该算法的定位精度平均提升70.4%,最高可提升90%。     

基于SLAM算法和深度神经网络的语义地图构建研究

语义地图在移动机器人的导航等任务中有着关键的作用。目前基于视觉的机器人自动定位和制图(SLAM)系统已经能够达到较高的定位精度要求,但是基于多目几何的视觉SLAM算法并未充分利用空间中丰富的语义信息,地图中保留的地图点信息只是没有语义的空间几何点。由于基于卷积神经网络的算法在目标检测领域取得了突破性的成绩,利用目前最新的基于卷积神经网络的目标检测算法YOLO,实现场景的实时目标检测,并结合SLAM算法构建语义地图。将视觉SLAM定位的精确性和深度神经网络在语义提取方面的优势相结合,既能够提高SLAM算法的准确性,同时采集到的丰富图像信息又能进一步训练更加深的神经网络。该算法能够应用于机器人的智能导航,同时也能作为数据采集器为其他视觉任务提供具备语义与几何信息的图像数据。     

动态环境下基于深度学习的实时视觉SLAM

针对动态环境下视觉同步定位与建图（SLAM）系统运行效率低的问题,提出了一种基于深度学习的实时语义视觉SLAM算法。所提算法的语义线程不会阻塞跟踪线程的运行,只对最新的待分割图像进行语义分割,分割后对分割结果进行检测与修复,并更新语义信息。图像输入后,首先,更新待分割的图像;然后,利用最新的语义信息和L-K光流法剔除动态关键点,并用剩余的特征点对位姿进行估计;最后,利用语义信息和跟踪信息构建出语义点云地图。在TUM数据集上对所提算法进行实验,实验测试结果表明：高动态环境下,所提算法相较于DS-SLAM在绝对轨迹误差上减小了12.54%～91.78%,跟踪一帧的平均耗时为25.91 ms,验证了所提算法在高动态环境中有较高的定位精度以及实时性,相较于无检测修复的算法在高动态环境下拥有更好的建图效果。     

动态环境下基于深度学习的语义SLAM算法

针对应用场景中存在的运动物体会降低视觉同步定位与地图构建（SLAM）系统的定位精度和鲁棒性的问题,提出一种基于语义信息的动态环境下的视觉SLAM算法。首先,将传统视觉SLAM前端与YOLOv4目标检测算法相结合,在对输入图像进行ORB特征提取的同时,对该图像进行语义分割;然后,判断目标类型以获得动态目标在图像中的区域,剔除分布在动态物体上的特征点;最后,使用处理后的特征点与相邻帧进行帧间匹配来求解相机位姿。实验采用TUM数据集进行测试,测试结果表明,所提算法相较于ORB-SLAM2在高动态环境下在位姿估计精度上提升了96.78%,同时该算法的跟踪线程处理一帧的平均耗时为0.065 5 s,相较于其他应用在动态环境下的SLAM算法耗时最短。实验结果表明,所提算法能够实现在动态环境中的实时精确定位与建图。     

基于动态物体跟踪的语义SLAM

针对传统视觉SLAM在动态场景下容易出现特征匹配错误从而导致定位精度下降的问题,提出了一种基于动态物体跟踪的语义SLAM算法。基于经典的视觉SLAM框架,提取动态物体进行帧间跟踪,并利用动态物体的位姿信息来辅助相机自身的定位。首先,算法在数据预处理中使用YOLACT、RAFT以及SC-Depth网络,分别提取图像中的语义掩膜、光流向量以及像素深度值。其次,视觉前端模块根据所提信息,通过语义分割掩膜、运动一致性检验以及遮挡点检验算法计算概率图以平滑区分场景中的动态特征与静态特征。然后,后端中的捆集调整模块融合了物体运动的多特征约束以提高算法在动态场景中的位姿估计性能。最后,在KITTI和OMD数据集的动态场景中进行对比验证。实验表明,所提算法能够准确地跟踪动态物体,在室内外动态场景中具备鲁棒、良好的定位性能。     

面向动态环境的视觉惯性SLAM算法

针对传统的同时定位与建图(SLAM)算法在动态环境中会降低自身运动估计的精确性以及系统鲁棒性的问题,提出一种适用于动态环境的视觉惯性SLAM算法——DVI-SLAM(dynamic visual inertial SLAM).根据对极几何约束检测并去掉动态特征,利用更加精确的静态特征进行状态估计;添加视觉信息自适应权重...     

联合深度图聚类与目标检测的像素级分割算法

获取周围环境中的语义信息是语义同时定位与建图(Simultaneous Localization and Mapping,SLAM)的重要任务,然而,采用语义分割或实例分割网络会影响系统的时间性能,采用目标检测方法又会损失一部分精度.因此,文中提出联合深度图聚类与目标检测的像素级分割算法,在保证实时性的前提下,提高当前语义SLAM系统的定位精度.首先,采用均值滤波算法对深度图的无效点进行修复,使深度信息更真实可靠.然后,分别对RGB图像和对应的深度图像进行目标检测和K-means聚类处理,结合两者结果,得出像素级的物体分割结果.最后,利用上述结果剔除周围环境中的动态点,建立完整、不含动态物体的语义地图.在TUM数据集和真实家居场景中分别进行深度图修复、像素级分割、估计相机轨迹与真实相机轨迹对比实验,结果表明,文中算法具有较好的实时性与鲁棒性.     

视觉SLAM在室内动态场景中的应用研究

视觉SLAM（Simultaneous Localization And Mapping,同时定位与建图）是移动机器人领域的核心技术,传统视觉SLAM还难以适用于高动态场景并且地图中缺少语义信息。提出一种动态环境语义SLAM方法,用深度学习网络对图像进行目标检测,检测动态目标所在区域,对图像进行特征提取并剔除动态物体所在区域的特征点,利用静态的特征点进行位姿计算,对关键帧进行语义分割,在构建语义地图时滤除动态物体的地图点构建出无动态物体干扰的语义地图。在TUM数据集上进行实验,结果显示该方法在动态环境下可以提升88.3%位姿估计精度,并且可同时构建出无动态物体干扰的语义地图。     

基于几何-语义联合约束的动态环境视觉SLAM算法

传统视觉同步定位和地图构建（Simultaneous localization and mapping, SLAM）算法建立在静态环境假设的基础之上,当场景中出现动态物体时,会影响系统稳定性,造成位姿估计精度下降。现有方法大多基于概率统计和几何约束来减轻少量动态物体对视觉SLAM系统的影响,但是当场景中动态物体较多时,这些方法失效。针对这一问题,本文提出了一种将动态视觉SLAM算法与多目标跟踪算法相结合的方法。首先采用实例语义分割网络,结合几何约束,在有效地分离静态特征点和动态特征点的同时,进一步实现多目标跟踪,改善跟踪结果,并能够获得运动物体的轨迹和速度矢量信息,从而能够更好地为机器人自主导航提供决策信息。在KITTI数据集上的实验表明,该算法在动态场景中相较ORB-SLAM2算法精度提高了28%。     

基于K-Means聚类与深度学习的RGB-D SLAM算法

传统的RGB-D视觉同时定位与制图（SLAM）算法在动态场景中识别动态特征时会产生数据错误关联,导致视觉SLAM估计姿态精度退化。提出一种适用于动态场景的RGB-D SLAM算法,利用全新的跨平台神经网络深度学习框架检测场景中的动态语义特征,并分割提取对应的动态语义特征区域。结合深度图像的K均值聚类算法和动态语义特征区域对点特征深度值进行聚类,根据聚类结果剔除动态特征点,同时通过剩余特征点计算RGB-D相机的位姿。实验结果表明,相比ORB-SLAM2、OFD-SLAM、MR-SLAM等算法,该算法能够减小动态场景下的跟踪误差,提高相机位姿估计的精度和鲁棒性,其在TUM动态数据集上相机绝对轨迹的均方根误差约为0.019 m。     

结合语义信息的视觉里程计动态特征点剔除方法

针对视觉同时定位与地图构建(SLAM)算法的视觉里程计在动态场景中受动态物体干扰致使帧间特征点误匹配,导致相机位姿估计误差大、定位精度低、鲁棒性差等问题,提出一种结合语义信息的视觉里程计动态特征点剔除方法。采用改进的YOLOv5目标检测网络为视觉里程计提供物体的语义信息,然后结合对极几何约束的运动一致性检测算法确定目标检测边界框中的动态物体,从而实现动态特征点的有效剔除,最后,仅利用静态特征完成位姿估计与定位。在TUM数据集上对比实验结果表明,其绝对轨迹误差(ATE)、平移和旋转相对位姿误差(RPE)的均方根误差(RMSE)值与ORB-SLAM2相比分别降低了97.71%、 95.10%和91.97%,验证了所提出的方法显著降低了动态场景下的位姿估计误差,提高了系统的准确性和鲁棒性。     

动态场景下基于自适应语义分割的RGB-D SLAM算法

目前较为成熟的视觉SLAM算法在应用于动态场景时,往往会因动态对象干扰而导致系统所估计的位姿误差急剧增大甚至算法失效。为解决上述问题,本文提出一种适用于室内动态场景的视觉SLAM算法,根据当前帧中特征点的运动等级信息自适应判断当前帧是否需要进行语义分割,进而实现语义信息的跨帧检测;根据语义分割网络提供的先验信息以及该对象在先前场景中的运动状态,为每个特征点分配运动等级,将其归类为静态点、可移静态点或动态点。选取合适的特征点进行位姿的初估计,再根据加权静态约束的结果对位姿进行二次优化。最后为验证本文算法的有效性,在TUM RGB-D动态场景数据集上进行实验,并与ORB-SLAM2算法及其他处理动态场景的SLAM算法进行对比,结果表明本文算法在大部分数据集上表现良好,相较改进前的ORB-SLAM算法,本文算法在室内动态场景中的定位精度可提升90.57%。     

结合语义信息与3D点云技术的未知环境地图构建方法

目的 机器人在进行同时定位与地图构建（simultaneous localization and mapping,SLAM）时需要有效利用未知复杂环境的场景信息,针对现有SLAM算法对场景细节理解不够及建图细节信息缺失的问题,本文构造出一种将SLAM点云定位技术与语义分割网络相结合的未知环境地图构建方法,实现高精度三维地图重建。方法 首先,利用场景的实时彩色信息进行相机的位姿估计,并构造融合空间多尺度稀疏及稠密特征的深度学习网络HieSemNet（hierarchical semantic network）,对未知场景信息进行语义分割,得到场景的实时二维语义信息;其次,利用深度信息和相机位姿进行空间点云估计,并将二维语义分割信息与三维点云信息融合,使语义分割的结果对应到点云的相应空间位置,构建出具有语义信息的高精度点云地图,实现三维地图重建。结果 为验证本文方法的有效性,分别针对所构造的HieSemNet网络和语义SLAM系统进行验证实验。实验结果表明,本文的网络在平均像素准确度和平均交并比上均取得了较好的精度,MPA（mean pixel accuracy）指标相较于其他网络分别提高了17.47%、11.67%、4.86%、2.90%和0.44%,MIoU（mean intersection over union）指标分别提高了13.94%、1.10%、6.28%、2.28%和0.62%。本文的SLAM算法可以获得更多的建图信息,构建的地图精度和准确度都更好。结论 本文方法充分考虑了不同尺寸物体的分割效果,提出的HieSemNet网络能有效提高场景语义分割准确性,此外,与现有的前沿语义SLAM系统相比,本文方法能够明显提高建图的精度和准确度,获得更高质量的地图。     

基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。     

动态场景下基于图像掩模技术的双目SLAM算法

视觉SLAM技术在动态场景中存在定位漂移和创建地图扭曲的情况,本研究提出一种基于图像掩模技术的双目SLAM算法,运用视觉几何约束法在动态场景中得出动态特征点,将检测出的运动物体区域作为图像掩模。在ORB-SLAM算法中引入动态区域掩模分割和剔除动态区域的功能,可以保证相机的定位和构图不受动态场景中的运动物体的影响。根据动态特征点和分割结果在动态场景中用矩形框标识出动态区域掩模,剔除特征匹配中动态特征点,从而可以降低运动物体对SLAM算法精度的影响。经实验得出,改进算法较双目ORB-SLAM算法在动态场景中的定位精度提高76.1%,其动态场景构图效果改善明显,算法处理的平均速度可以达到实时视觉定位和构图的需求,平均可达4.7帧/秒。     

动态环境下结合实例分割与聚类的鲁棒RGB-D SLAM系统

视觉同步定位与建图（VSLAM）技术常常用于室内机器人的导航与感知,然而VSLAM的位姿估算方法是针对静态环境的,当场景中存在运动对象时,可能会导致定位和建图失败。针对此问题,提出了一个结合实例分割与聚类的VSLAM系统。所提系统使用实例分割网络生成场景中动态对象的概率掩膜,同时利用多视图几何的方法检测场景中的动态点,并将检测到的动态点与获得的概率掩膜匹配之后确定动态物体的精确动态掩膜;利用动态掩膜删除动态物体的特征点,然后利用剩余的静态特征点准确估计摄像机的位置。为了解决实例分割网络欠分割的问题,采用深度填充算法和聚类算法保证动态特征点完全删除。最后,重建图片被动态物体遮挡的背景,在正确的相机位姿下建立静态稠密点云地图。在公开的TUM(Technical University of Munich)数据集上的实验结果表明,在动态环境中,所提系统在保证实时性的同时能实现鲁棒的定位与建图。