动态环境下的视觉SLAM研究评述

针对动态环境下的视觉SLAM(同时定位与地图构建)系统,首先分析了环境中动态目标对经典视觉SLAM系统的危害性,并以一种新颖的方式将当前动态视觉SLAM系统分为基于相机自身运动的系统和不依赖于相机自身运动的系统两大类.随后分析总结了当前动态环境下视觉SLAM的研究进展.最后对动态环境下的视觉SLAM处理手段及未来发展趋势进行讨论与展望.     

动态环境下结合语义的鲁棒视觉SLAM

针对传统同时定位与地图构建(SLAM)在动态环境中受动态物体干扰而导致精度低、鲁棒性差的缺点,提出了一种结合语义的鲁棒视觉SLAM算法。采用深度学习技术构建基于卷积神经网络的物体检测器,结合先验知识,在语义层面实现对动态物体的检测;提出基于速度不变性的相邻帧漏检补偿模型,进一步提高物体检测网络的检出率;构建基于特征点的视觉SLAM系统,在跟踪线程中对动态物体特征点进行剔除,以减小错误匹配造成的位姿估计的误差。经实验验证:系统在极端动态环境测试中保持定位不丢失,在TUM动态环境数据集测试中,定位精度比ORB-SLAM2提高22. 6%,性能提高10%。     

基于几何约束的室内动态环境视觉SLAM

同时定位与地图创建(Simultaneous Localization and Mapping,SLAM)作为自主移动机器人的基本功能,近年来已成为机器人领域的研究热点.然而现有视觉SLAM算法大多将外部场景作为静态假设,忽略了环境中运动物体对SLAM系统精度的影响,影响SLAM系统在实际环境中的应用.鉴于此,提出一种...     

一种室内动态场景下RGB-D SLAM的前端优化方法

针对动态物体会导致位姿估计误差过大的问题,提出一种适用于动态场景下的RGB-D SLAM算法。首先,将目标检测的结果根据物体是否具有自主移动能力划分为动态物体与潜在动态物体,并使用大津法在对应的深度图中完成检测框内区域的前、背景分割;然后,结合检测框的位置坐标与深度信息确定潜在动态物体与动态物体在三维空间内是否关联,初步筛选出具有一定运动概率的潜在动态物体;最后,通过运动一致性检测算法来最终确定是否将潜在动态物体作为动态物体处理。实验部分选用公开的TUM数据集,结果表明,该算法在保持实时性的同时具有较高的定位精度和鲁棒性。     

工厂环境下改进的视觉SLAM算法

针对工业场景对自动导引车(AGV)高定位精度的要求,提出一种改进的视觉同时定位与地图创建(VSLAM)算法.在算法前端,双目相机采集立体图像,通过双目匹配算法得到亚像素级的匹配点对,计算出这些特征点在相机坐标系中的3D信息.然后利用RansacPnP算法根据3D-2D匹配点对计算位姿变换,并以它为初值进一步最小化重投影误差,实现局部优化.基于匹配点对描述子的汉明距离提出一种不确定性模型,该模型为局部优化中的约束条件提供信息矩阵,提高定位精度.在算法的后端,通过竖直向上拍摄的单目相机检测可靠的人工信标闭环信息,进行全局位姿优化,并针对AGV的运动模型和工作场景,提出一种基于全局平面约束的优化方法,降低SLAM系统的误差.实验通过KITTI离线数据集对比了该算法前端双目里程计与ORB-SLAM2及libviso2算法里程计的定位精度,并在工厂环境中对整个算法进行实地测试来判断其实际精度和鲁棒性.实验结果表明该算法具有良好的综合性能,定位误差在10 cm以内,定位频率达20 Hz,能够满足工业现场要求.     

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图（SLAM）鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差（SD）值最高分别提升98%和97%。     

动态环境下基于深度学习的实时视觉SLAM

针对动态环境下视觉同步定位与建图（SLAM）系统运行效率低的问题,提出了一种基于深度学习的实时语义视觉SLAM算法。所提算法的语义线程不会阻塞跟踪线程的运行,只对最新的待分割图像进行语义分割,分割后对分割结果进行检测与修复,并更新语义信息。图像输入后,首先,更新待分割的图像;然后,利用最新的语义信息和L-K光流法剔除动态关键点,并用剩余的特征点对位姿进行估计;最后,利用语义信息和跟踪信息构建出语义点云地图。在TUM数据集上对所提算法进行实验,实验测试结果表明：高动态环境下,所提算法相较于DS-SLAM在绝对轨迹误差上减小了12.54%～91.78%,跟踪一帧的平均耗时为25.91 ms,验证了所提算法在高动态环境中有较高的定位精度以及实时性,相较于无检测修复的算法在高动态环境下拥有更好的建图效果。     

面向室内动态环境的半直接法RGB-D SLAM算法

为了解决室内动态环境下移动机器人的准确定位问题,提出了一种融合运动检测算法的半直接法RGB-D视觉SLAM(同时定位与地图创建)算法,它由运动检测、相机位姿估计、基于TSDF (truncated signed distance function)模型的稠密地图构建3个步骤组成.首先,通过最小化图像光度误差,利用稀疏图像对齐算法实现对相机位姿的初步估计.然后,使用视觉里程计的位姿估计对图像进行运动补偿,建立基于图像块实时更新的高斯模型,依据方差变化分割出图像中的运动物体,进而剔除投影在图像运动区域的局部地图点,通过最小化重投影误差对相机位姿进行进一步优化,提升相机位姿估计精度.最后,使用相机位姿和RGB-D相机图像信息构建TSDF稠密地图,利用图像运动检测结果和地图体素块的颜色变化,完成地图在动态环境下的实时更新.实验结果表明,在室内动态环境下,本文算法能够有效提高相机位姿估计精度,实现稠密地图的实时更新,在提升系统鲁棒性的同时也提升了环境重构的准确性.     

动态场景下基于语义和光流约束的视觉同步定位与地图构建

针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建（SLAM）算法,以降低动态物体对定位与建图的影响。首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图。最后,基于静态点云与语义分割创建稀疏语义地图。公共TUM数据集上的测试结果表明,高动态场景下,所提算法与ORB-SLAM2相比,在绝对轨迹误差和相对位姿误差上能取得95%以上的性能提升,与DS-SLAM、DynaSLAM相比分别减小了41%和11%的绝对轨迹误差,验证了该算法在高动态场景中具有较好的定位精度和鲁棒性。地图构建的实验结果表明,所提算法创建了静态语义地图,与点云地图相比,稀疏语义地图的存储空间需求量降低了99%。     

动态环境下基于深度学习的语义SLAM算法

针对应用场景中存在的运动物体会降低视觉同步定位与地图构建（SLAM）系统的定位精度和鲁棒性的问题,提出一种基于语义信息的动态环境下的视觉SLAM算法。首先,将传统视觉SLAM前端与YOLOv4目标检测算法相结合,在对输入图像进行ORB特征提取的同时,对该图像进行语义分割;然后,判断目标类型以获得动态目标在图像中的区域,剔除分布在动态物体上的特征点;最后,使用处理后的特征点与相邻帧进行帧间匹配来求解相机位姿。实验采用TUM数据集进行测试,测试结果表明,所提算法相较于ORB-SLAM2在高动态环境下在位姿估计精度上提升了96.78%,同时该算法的跟踪线程处理一帧的平均耗时为0.065 5 s,相较于其他应用在动态环境下的SLAM算法耗时最短。实验结果表明,所提算法能够实现在动态环境中的实时精确定位与建图。     

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建（SLAM）系统中影响位姿估计的问题，提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后，首先用PSPNet（Pyramid Scene Parsing Network）对图像进行语义分割；之后提取图像特征点，剔除分布在动态物体内的特征点，并用静态的特征点进行相机位姿估计；最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明，相对于使用SegNet网络的SLAM系统，所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降，平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明，改进的系统能够显著减小动态场景下位姿估计的误差，准确地在动态场景中进行相机位姿估计。     

图形相似性匹配在多机器人地图中的应用

在多机器人同时定位与地图创建（Simultaneous Localization and Mapping,SLAM）协同工作下,要求融合各机器人的特征子地图形成单一的公共地图,利用三角形相似性原理,实现SLAM定位中各机器人子地图的相互匹配。在机器人创建的地图中,依据路标位置相关的特征组成最小三角形,并通过三角形相似性原理对各机器人创建子地图进行相似性匹配,并记录相似三角形对应点匹配次数,最后彼此匹配次数最多的对应路标即为相关联的路标对。实验结果表明该方法是有效的,且鲁棒性强。     

面向室内动态场景的多传感视觉SLAM方法

针对传统同时定位与地图构建(simultaneous localization and mapping,SLAM)框架面临动态场景时产生明显定位误差,建立的场景稠密地图会包含动态对象及其运动叠影,从而导致定位与建图鲁棒性不足的问题,面向以人类为主要动态对象的室内动态场景,从“温度”的角度出发,提出基于热像仪与深度相机结合的多传感SLAM协同方案,解决室内动态场景中的定位与建图难题。首先,建立一套针对热像仪与深度相机的联合标定策略,重新设计标定板与标定方案,完成相机的内参标定、外参标定与图像配准,得到一一对应的RGB、深度、热(RDH)三模图像;其次,由热图像得到人体掩模图像,进而在ORB-SLAM2系统框架下构建静态特征提取与数据关联策略,实现基于三模图像的视觉里程计;然后,基于人体掩模图像更新深度图像,滤除人体区域,进而完成基于三模图像的静态环境稠密地图构建;最后,在室内动态场景下进行实验验证,结果表明所提出算法在室内动态场景下可有效剔除动态对象的干扰特征,相对传统SLAM算法具有明显优势。     

家庭服务机器人基于NDT扫描匹配的SLAM研究

将正态分布变换（NDT）应用于基于扫描匹配的SLAM中,实现了家庭服务机器人较大规模室内环境下的建图。该方法利用计算扫描点的正态概率分布匹配代替几何特征之间的匹配,有效解决了现有方法匹配速度慢的问题。     

动态环境下融合轻量级YOLOv5s的视觉SLAM

移动机器人在未知环境下依靠同步定位与地图构建（SLAM）实现自身的精确定位,目前大多数视觉SLAM系统在运行时均假设外部环境是静态的,但在实际应用场景下该假设并不成立,传统的视觉SLAM系统在动态环境下易受移动目标的影响,导致系统定位精度下降。提出一种新的视觉SLAM系统,将轻量级网络MobileNetV3作为目标检测网络YOLOv5s的主干网络,从而减少模型参数量,提高算法在CPU上的推理速度。将目标检测网络、光流法与ORB-SLAM系统相结合,使SLAM系统前端提取ORB特征点的同时能够有效剔除动态特征点。仅利用静态目标上的特征点进行帧间匹配,从而求解相机位姿,提高系统在动态环境下的定位精度。在TUM动态数据集上的实验结果表明,与ORB-SLAM3系统相比,该系统的位姿估计精度提升了80.16%,与DS-SLAM、DVO-SLAM系统等动态SLAM系统相比,该系统在定位精度上有大幅提升,相比使用MASK-RCNN的DynaSLAM系统,在保持相近ATE指标的情况下,该系统具有更高的实时性。     

融合语义激光与地标信息的SLAM技术研究

针对移动机器人在SLAM（即时定位与地图构建）过程中出现的定位失真问题,提出一种通过搭建地标数据库和位姿推导模型,修正机器人错误定位的方法。建图过程中,融合视觉信息与激光数据,得到语义激光,赋予地标语义标签并记录其在地图上的位置信息。导航过程中,当产生定位偏差时,结合多种位姿数据和相对位置关系,推算出机器人在地图上的实际位置,完成重定位。通过实验测试可知,该方法克服了现有机器人在实际室内动态环境下,单一地采用激光或视觉进行定位或重定位技术的缺点和不足,能有效解决“机器人位置漂移问题”。将机器人从当前位置劫持到另一位置,也能根据提出的算法迅速重定位,且定位精度高。     

增强现实游戏的场景重建和运动物体跟踪技术

针对增强现实游戏应用,介绍了一种基于自然特征的实时跟踪算法,它可以在一个未知但纹理丰富的环境中,不需要任何预先的学习,对相机和若干出现在相机视野里的刚体进行并行跟踪,获得相机和各个刚体的姿态和运动信息,可以在刚体移出相机视野以及相机剧烈运动导致跟踪丢失的情况下进行自动恢复。基于静态环境中并行相机跟踪和三维重建的算法框架进行扩展和改进,引入了用于交互的运动刚体。结果表明,利用现有的多核处理技术,在含有运动物体的环境中进行相机和运动物体的并行跟踪是可行的,为增强现实环境中同时支持显示和交互提出了廉价易行的解决方案。