基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。     

动态场景下基于图像掩模技术的双目SLAM算法

视觉SLAM技术在动态场景中存在定位漂移和创建地图扭曲的情况,本研究提出一种基于图像掩模技术的双目SLAM算法,运用视觉几何约束法在动态场景中得出动态特征点,将检测出的运动物体区域作为图像掩模。在ORB-SLAM算法中引入动态区域掩模分割和剔除动态区域的功能,可以保证相机的定位和构图不受动态场景中的运动物体的影响。根据动态特征点和分割结果在动态场景中用矩形框标识出动态区域掩模,剔除特征匹配中动态特征点,从而可以降低运动物体对SLAM算法精度的影响。经实验得出,改进算法较双目ORB-SLAM算法在动态场景中的定位精度提高76.1%,其动态场景构图效果改善明显,算法处理的平均速度可以达到实时视觉定位和构图的需求,平均可达4.7帧/秒。     

结合语义信息的视觉里程计动态特征点剔除方法

针对视觉同时定位与地图构建(SLAM)算法的视觉里程计在动态场景中受动态物体干扰致使帧间特征点误匹配,导致相机位姿估计误差大、定位精度低、鲁棒性差等问题,提出一种结合语义信息的视觉里程计动态特征点剔除方法。采用改进的YOLOv5目标检测网络为视觉里程计提供物体的语义信息,然后结合对极几何约束的运动一致性检测算法确定目标检测边界框中的动态物体,从而实现动态特征点的有效剔除,最后,仅利用静态特征完成位姿估计与定位。在TUM数据集上对比实验结果表明,其绝对轨迹误差(ATE)、平移和旋转相对位姿误差(RPE)的均方根误差(RMSE)值与ORB-SLAM2相比分别降低了97.71%、 95.10%和91.97%,验证了所提出的方法显著降低了动态场景下的位姿估计误差,提高了系统的准确性和鲁棒性。     

基于K-Means聚类与深度学习的RGB-D SLAM算法

传统的RGB-D视觉同时定位与制图（SLAM）算法在动态场景中识别动态特征时会产生数据错误关联,导致视觉SLAM估计姿态精度退化。提出一种适用于动态场景的RGB-D SLAM算法,利用全新的跨平台神经网络深度学习框架检测场景中的动态语义特征,并分割提取对应的动态语义特征区域。结合深度图像的K均值聚类算法和动态语义特征区域对点特征深度值进行聚类,根据聚类结果剔除动态特征点,同时通过剩余特征点计算RGB-D相机的位姿。实验结果表明,相比ORB-SLAM2、OFD-SLAM、MR-SLAM等算法,该算法能够减小动态场景下的跟踪误差,提高相机位姿估计的精度和鲁棒性,其在TUM动态数据集上相机绝对轨迹的均方根误差约为0.019 m。     

动态环境下融合轻量级YOLOv5s的视觉SLAM

移动机器人在未知环境下依靠同步定位与地图构建（SLAM）实现自身的精确定位,目前大多数视觉SLAM系统在运行时均假设外部环境是静态的,但在实际应用场景下该假设并不成立,传统的视觉SLAM系统在动态环境下易受移动目标的影响,导致系统定位精度下降。提出一种新的视觉SLAM系统,将轻量级网络MobileNetV3作为目标检测网络YOLOv5s的主干网络,从而减少模型参数量,提高算法在CPU上的推理速度。将目标检测网络、光流法与ORB-SLAM系统相结合,使SLAM系统前端提取ORB特征点的同时能够有效剔除动态特征点。仅利用静态目标上的特征点进行帧间匹配,从而求解相机位姿,提高系统在动态环境下的定位精度。在TUM动态数据集上的实验结果表明,与ORB-SLAM3系统相比,该系统的位姿估计精度提升了80.16%,与DS-SLAM、DVO-SLAM系统等动态SLAM系统相比,该系统在定位精度上有大幅提升,相比使用MASK-RCNN的DynaSLAM系统,在保持相近ATE指标的情况下,该系统具有更高的实时性。     

动态环境下基于动态区域剔除的双目视觉SLAM算法

现有的同步定位与地图创建（SLAM）算法在动态环境中的定位与建图精度通常会大幅度下降,为此提出了一种基于动态区域剔除的双目视觉SLAM算法．首先,基于立体视觉几何约束方法判别场景中动态的稀疏特征点,接下来根据场景深度和颜色信息进行场景区域分割;然后利用动态点与场景分割结果标记出场景中的动态区域,进而剔除现有双目ORB-SLAM算法中动态区域内的特征点,消除场景中的动态目标对SLAM精度的影响;最后进行实验验证,本文算法在KITTI数据集上的动态区域分割查全率达到92.31%．在室外动态环境下,视觉导盲仪测试中动态区域分割查全率达到93.62%,较改进前的双目ORB-SLAM算法的直线行走定位精度提高82.75%,环境建图效果也明显改善,算法的平均处理速度达到4.6帧/秒．实验结果表明本文算法能够显著提高双目视觉SLAM算法在动态场景中的定位与建图精度,且能够满足视觉导盲的实时性要求．     

动态环境下基于深度学习的语义SLAM算法

针对应用场景中存在的运动物体会降低视觉同步定位与地图构建（SLAM）系统的定位精度和鲁棒性的问题,提出一种基于语义信息的动态环境下的视觉SLAM算法。首先,将传统视觉SLAM前端与YOLOv4目标检测算法相结合,在对输入图像进行ORB特征提取的同时,对该图像进行语义分割;然后,判断目标类型以获得动态目标在图像中的区域,剔除分布在动态物体上的特征点;最后,使用处理后的特征点与相邻帧进行帧间匹配来求解相机位姿。实验采用TUM数据集进行测试,测试结果表明,所提算法相较于ORB-SLAM2在高动态环境下在位姿估计精度上提升了96.78%,同时该算法的跟踪线程处理一帧的平均耗时为0.065 5 s,相较于其他应用在动态环境下的SLAM算法耗时最短。实验结果表明,所提算法能够实现在动态环境中的实时精确定位与建图。     

基于目标检测的室内动态场景定位与建图

针对室内场景中动态对象严重影响相机位姿估计准确性的问题,提出一种基于目标检测的室内动态场景同步定位与地图构建（SLAM）系统。当相机捕获图像后,首先,利用YOLOv4目标检测网络检测环境中的动态对象,并生成对应边界框的掩膜区域;然后,提取图像中的ORB特征点,并将掩膜区域内部的特征点剔除掉;同时结合GMS算法进一步剔除误匹配,并仅利用剩余静态特征点来估计相机位姿;最后,完成滤除动态对象的静态稠密点云地图和八叉树地图的构建。在TUM RGB-D公开数据集上进行的多次对比测试的结果表明,相对于ORB-SLAM2系统、GCNv2_SLAM系统和YOLOv4+ORB-SLAM2系统,所提系统在绝对轨迹误差（ATE）和相对位姿误差（RPE）上有明显的降低,说明该系统能够显著提高室内动态环境中相机位姿估计的准确性。     

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建（SLAM）系统中影响位姿估计的问题，提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后，首先用PSPNet（Pyramid Scene Parsing Network）对图像进行语义分割；之后提取图像特征点，剔除分布在动态物体内的特征点，并用静态的特征点进行相机位姿估计；最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明，相对于使用SegNet网络的SLAM系统，所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降，平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明，改进的系统能够显著减小动态场景下位姿估计的误差，准确地在动态场景中进行相机位姿估计。     

基于深度学习和边缘检测的动态场景下鲁棒SLAM

机器人在执行同时定位与地图创建(simultaneous localization and mapping,SLAM)的复杂任务时,容易受到移动物体的干扰,导致定位精度下降、地图可读性较差、系统鲁棒性不足,为此提出一种基于深度学习和边缘检测的SLAM算法。首先,利用YOLOv4目标检测算法获取场景中的语义信息,得到初步的语义动静态区域,同时提取ORB特征点并计算光流场,筛选动态特征点,通过语义关联进一步得到动态物体,利用canny算子计算动态物体的轮廓边缘,利用动态物体以外的静态特征点进行相机位姿估计,筛选关键帧,进行点云叠加,利用剔除动态物体的点云信息构建静态环境地图。本文算法在公开数据集上与ORB_SLAM2进行对比,定位精度提升90%以上,地图可读性明显增强,实验结果表明本文算法可以有效降低移动物体对定位与建图的影响,显著提升算法稳健性。     

动态环境下基于延迟语义的RGB-D SLAM算法

目前,将分割网络与SLAM(Simultaneous Localization and Mapping)结合已成为解决视觉SLAM不能应用于动态环境的主流方案之一,但是SLAM系统受到分割网络处理速度的限制,无法保证实时运行.为此,文中提出基于延迟语义的RGB-D SLAM算法.首先,并行运行跟踪线程与分割线程,为了得到最新的延迟语义信息,采取跨帧分割的策略处理图像,跟踪线程根据延迟语义信息实时生成当前帧的语义信息.然后,结合成功跟踪计数(STC)与极线约束,筛选当前帧动态点的集合,并确定环境中先验动态物体的真实运动状态.若确定该物体在移动,继续将物体区域细分为矩形网格,以网格为最小单位剔除动态特征点.最后,利用静态特征点追踪相机位姿并构建环境地图.在TUM RGB-D动态场景数据集及真实场景上的实验表明文中算法在大部分数据集上表现较优,由此验证算法的有效性.     

动态环境下基于改进几何与运动约束的机器人RGB-D SLAM算法

室内移动机器人使用传统视觉SLAM算法在动态场景下进行位姿估计时精度低、鲁棒性差,其主要原因是错误地将运动的特征点加入了相机位姿计算.为了解决这一问题,本文将特征点分为静态特征点、状态未知点、可疑静态特征点、动态特征点和错误匹配点.其中,静态特征点使用严格的几何约束进行筛选,并将状态未知点使用多帧的观测信息区分为可疑静态特征点、动态特征点以及错误匹配点,并进行卡尔曼滤波.最后,将静态特征点、可疑静态特征点和动态特征点一起加入位姿优化.利用TUM数据集,在室内存在运动物体的场景下进行实验.结果表明,所提出的算法在动态场景下的综合性能(包括精度、鲁棒性、运行速度)要优于其他动态场景下的SLAM算法.     

室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

视觉SLAM在室内动态场景中的应用研究

视觉SLAM（Simultaneous Localization And Mapping,同时定位与建图）是移动机器人领域的核心技术,传统视觉SLAM还难以适用于高动态场景并且地图中缺少语义信息。提出一种动态环境语义SLAM方法,用深度学习网络对图像进行目标检测,检测动态目标所在区域,对图像进行特征提取并剔除动态物体所在区域的特征点,利用静态的特征点进行位姿计算,对关键帧进行语义分割,在构建语义地图时滤除动态物体的地图点构建出无动态物体干扰的语义地图。在TUM数据集上进行实验,结果显示该方法在动态环境下可以提升88.3%位姿估计精度,并且可同时构建出无动态物体干扰的语义地图。     

动态环境下基于线特征的RGB-D视觉里程计

基于RGB-D的视觉SLAM(同时定位与建图)算法基本都假设环境是静态的,然而在实际环境中经常会出现动态物体,导致SLAM算法性能的下降.为此,本文提出一种基于线特征的RGB-D视觉里程计方法,通过计算直线特征的静态权重来剔除动态直线特征,并根据剩余的直线特征估计相机位姿.本文方法既可以减小动态物体的影响,又能避免点特征过少而导致的跟踪失效.公共数据集实验结果表明,与现有的基于ORB(orientedFAST and rotated BRIEF)点特征的方法相比,本文方法减小了动态环境下的跟踪误差约30%,提高了视觉里程计在动态环境下的精度和鲁棒性.     

面向室内动态场景的多传感视觉SLAM方法

针对传统同时定位与地图构建(simultaneous localization and mapping,SLAM)框架面临动态场景时产生明显定位误差,建立的场景稠密地图会包含动态对象及其运动叠影,从而导致定位与建图鲁棒性不足的问题,面向以人类为主要动态对象的室内动态场景,从“温度”的角度出发,提出基于热像仪与深度相机结合的多传感SLAM协同方案,解决室内动态场景中的定位与建图难题。首先,建立一套针对热像仪与深度相机的联合标定策略,重新设计标定板与标定方案,完成相机的内参标定、外参标定与图像配准,得到一一对应的RGB、深度、热(RDH)三模图像;其次,由热图像得到人体掩模图像,进而在ORB-SLAM2系统框架下构建静态特征提取与数据关联策略,实现基于三模图像的视觉里程计;然后,基于人体掩模图像更新深度图像,滤除人体区域,进而完成基于三模图像的静态环境稠密地图构建;最后,在室内动态场景下进行实验验证,结果表明所提出算法在室内动态场景下可有效剔除动态对象的干扰特征,相对传统SLAM算法具有明显优势。     

基于几何-语义联合约束的动态环境视觉SLAM算法

传统视觉同步定位和地图构建（Simultaneous localization and mapping, SLAM）算法建立在静态环境假设的基础之上,当场景中出现动态物体时,会影响系统稳定性,造成位姿估计精度下降。现有方法大多基于概率统计和几何约束来减轻少量动态物体对视觉SLAM系统的影响,但是当场景中动态物体较多时,这些方法失效。针对这一问题,本文提出了一种将动态视觉SLAM算法与多目标跟踪算法相结合的方法。首先采用实例语义分割网络,结合几何约束,在有效地分离静态特征点和动态特征点的同时,进一步实现多目标跟踪,改善跟踪结果,并能够获得运动物体的轨迹和速度矢量信息,从而能够更好地为机器人自主导航提供决策信息。在KITTI数据集上的实验表明,该算法在动态场景中相较ORB-SLAM2算法精度提高了28%。     

基于语义光流和几何约束紧耦合的动态特征剔除方法

SLAM技术是机器人自动导航、无人驾驶、AR增强现实的关键技术,而视觉SLAM因为可以获取更多的环境信息,同时成本远低于激光雷达的方案,受到了业界广泛的关注。但是,传统的SLAM框架为了分析方便,采用了静态环境的假设,如何应对动态目标干扰至关重要。现有的面向动态场景的SLAM系统要么只利用语义信息,要么只利用几何约束,要么以松散耦合的方式简单结合起来,设计一个面向动态环境的视觉语义SLAM系统,它建立在经典的ORB-SLAM框架之上,采用一种新的动态特征检测方法,称为语义光流,充分利用隐藏在语义和几何信息中的动态特性,准确地去除前端提取到的动态目标特征点。利用SegNet生成逐像素语义分割结果作为语义光流中的掩码,计算可靠的基本矩阵,然后利用几何约束找到真正的动态特征点并过滤。在跟踪和优化模块中仅保留剩余的静态特征,以实现动态环境中准确的相机位姿估计。在TUM的RGB-D数据集和真实环境中进行了实验,与ORB-SLAM相比,在高动态场景中实现了98.49%的精度提升,优于四个经典动态视觉SLAM系统。     

融合光流与多视角几何的动态视觉SLAM系统

视觉同步定位与地图构建(SLAM)在动态干扰的情况下,导致定位精度下降且无法准确构建静态地图,提出一种结合光流和多视角几何的动态视觉SLAM系统,该系统是在ORB-SLAM2的基础上进行改进的。在追踪线程中引入处理后的光流信息,结合多视图几何,得到动态区域掩码对视野内图像帧进行分割,实现动态区域检测并滤除动态区域中的特征点,在保证视觉SLAM系统实时性的同时提高追踪准确度,替换原本的地图构建线程。在新的地图构建线程中,引入光流信息及Mobile NetV2实例分割网络。利用实例分割网络分割结果结合光流动态区域掩码对获取到的有序点云逐层分割,解决地图构建中动态物体造成的“拖影”问题。同时对分割后的点云团融合语义信息,最终构建静态语义八叉树地图。在TUM Dynamic Objects数据集上的实验结果表明,相较于ORB-SLAM2,在高动态场景序列测试中,该算法的定位精度平均提升70.4%,最高可提升90%。     

自适应窗隔匹配与深度学习相结合的RGB-D SLAM算法

在动态场景的SLAM系统中,传统的特征点法视觉SLAM系统易受动态物体的影响,使得图像前后两帧的动态物体区域出现大量的误匹配,导致机器人定位精度不高。为此,提出一种结合自适应窗隔匹配模型与深度学习算法的动态场景RGB-D SLAM算法。构建基于自适应窗隔匹配模型的视觉SLAM前端算法框架,该框架筛选图像帧后采用基于网格的概率运动统计方式实现匹配点筛选,以获得静态区域的特征匹配点对,然后使用恒速度模型或参考帧模型实现位姿估计。利用深度学习算法Mask R-CNN提供的语义信息进行动态场景的静态三维稠密地图构建。在TUM数据集和实际环境中进行算法性能验证,结果表明,该算法在动态场景下的定位精度和跟踪速度均优于ORB-SLAM2及DynaSLAM系统,在全长为6.62 m的高动态场景中定位精度可达1.475 cm,平均跟踪时间为0.024 s。