动态环境下的视觉SLAM研究评述

针对动态环境下的视觉SLAM(同时定位与地图构建)系统,首先分析了环境中动态目标对经典视觉SLAM系统的危害性,并以一种新颖的方式将当前动态视觉SLAM系统分为基于相机自身运动的系统和不依赖于相机自身运动的系统两大类.随后分析总结了当前动态环境下视觉SLAM的研究进展.最后对动态环境下的视觉SLAM处理手段及未来发展趋势进行讨论与展望.     

动态环境下基于延迟语义的RGB-D SLAM算法

目前,将分割网络与SLAM(Simultaneous Localization and Mapping)结合已成为解决视觉SLAM不能应用于动态环境的主流方案之一,但是SLAM系统受到分割网络处理速度的限制,无法保证实时运行.为此,文中提出基于延迟语义的RGB-D SLAM算法.首先,并行运行跟踪线程与分割线程,为了得到最新的延迟语义信息,采取跨帧分割的策略处理图像,跟踪线程根据延迟语义信息实时生成当前帧的语义信息.然后,结合成功跟踪计数(STC)与极线约束,筛选当前帧动态点的集合,并确定环境中先验动态物体的真实运动状态.若确定该物体在移动,继续将物体区域细分为矩形网格,以网格为最小单位剔除动态特征点.最后,利用静态特征点追踪相机位姿并构建环境地图.在TUM RGB-D动态场景数据集及真实场景上的实验表明文中算法在大部分数据集上表现较优,由此验证算法的有效性.     

动态环境下基于动态区域剔除的双目视觉SLAM算法

现有的同步定位与地图创建(SLAM)算法在动态环境中的定位与建图精度通常会大幅度下降,为此提出了一种基于动态区域剔除的双目视觉SLAM算法.首先,基于立体视觉几何约束方法判别场景中动态的稀疏特征点,接下来根据场景深度和颜色信息进行场景区域分割;然后利用动态点与场景分割结果标记出场景中的动态区域,进而剔除现有双目ORB-SLAM算法中动态区域内的特征点,消除场景中的动态目标对SLAM精度的影响;最后进行实验验证,本文算法在KITTI数据集上的动态区域分割查全率达到92.31%.在室外动态环境下,视觉导盲仪测试中动态区域分割查全率达到93.62%,较改进前的双目ORB-SLAM算法的直线行走定位精度提高82.75%,环境建图效果也明显改善,算法的平均处理速度达到4.6帧/秒.实验结果表明本文算法能够显著提高双目视觉SLAM算法在动态场景中的定位与建图精度,且能够满足视觉导盲的实时性要求.     

工厂环境下改进的视觉SLAM算法

针对工业场景对自动导引车(AGV)高定位精度的要求,提出一种改进的视觉同时定位与地图创建(VSLAM)算法.在算法前端,双目相机采集立体图像,通过双目匹配算法得到亚像素级的匹配点对,计算出这些特征点在相机坐标系中的3D信息.然后利用RansacPnP算法根据3D-2D匹配点对计算位姿变换,并以它为初值进一步最小化重投影误差,实现局部优化.基于匹配点对描述子的汉明距离提出一种不确定性模型,该模型为局部优化中的约束条件提供信息矩阵,提高定位精度.在算法的后端,通过竖直向上拍摄的单目相机检测可靠的人工信标闭环信息,进行全局位姿优化,并针对AGV的运动模型和工作场景,提出一种基于全局平面约束的优化方法,降低SLAM系统的误差.实验通过KITTI离线数据集对比了该算法前端双目里程计与ORB-SLAM2及libviso2算法里程计的定位精度,并在工厂环境中对整个算法进行实地测试来判断其实际精度和鲁棒性.实验结果表明该算法具有良好的综合性能,定位误差在10 cm以内,定位频率达20 Hz,能够满足工业现场要求.     

动态环境下基于深度学习的语义SLAM算法

针对应用场景中存在的运动物体会降低视觉同步定位与地图构建（SLAM）系统的定位精度和鲁棒性的问题,提出一种基于语义信息的动态环境下的视觉SLAM算法。首先,将传统视觉SLAM前端与YOLOv4目标检测算法相结合,在对输入图像进行ORB特征提取的同时,对该图像进行语义分割;然后,判断目标类型以获得动态目标在图像中的区域,剔除分布在动态物体上的特征点;最后,使用处理后的特征点与相邻帧进行帧间匹配来求解相机位姿。实验采用TUM数据集进行测试,测试结果表明,所提算法相较于ORB-SLAM2在高动态环境下在位姿估计精度上提升了96.78%,同时该算法的跟踪线程处理一帧的平均耗时为0.065 5 s,相较于其他应用在动态环境下的SLAM算法耗时最短。实验结果表明,所提算法能够实现在动态环境中的实时精确定位与建图。     

基于几何约束的室内动态环境视觉SLAM

同时定位与地图创建（Simultaneous Localization and Mapping,SLAM）作为自主移动机器人的基本功能,近年来已成为机器人领域的研究热点。然而现有视觉SLAM算法大多将外部场景作为静态假设,忽略了环境中运动物体对SLAM系统精度的影响,影响SLAM系统在实际环境中的应用。鉴于此,提出一种适用于动态场景的鲁棒视觉SLAM算法,以ORB-SLAM2框架RGB-D模式为基础,在前端添加一种基于几何约束的动态检测方法。首先对场景中的动态特征点利用一种几何约束方法进行粗滤除,然后将剩余的特征点作为改进随机抽样一致算法（Random Sample Consensus,RANSAC）的样本点估算稳定的基本矩阵,使用极线几何滤除场景中真正的动态特征点。最后对改进系统在TUM数据集上进行测试,结果表明改进系统可以有效提高ORB-SLAM2系统在高动态场景中的性能。     

面向室内动态环境的半直接法RGB-D SLAM算法

为了解决室内动态环境下移动机器人的准确定位问题,提出了一种融合运动检测算法的半直接法RGB-D视觉SLAM(同时定位与地图创建)算法,它由运动检测、相机位姿估计、基于TSDF (truncated signed distance function)模型的稠密地图构建3个步骤组成.首先,通过最小化图像光度误差,利用稀疏图像对齐算法实现对相机位姿的初步估计.然后,使用视觉里程计的位姿估计对图像进行运动补偿,建立基于图像块实时更新的高斯模型,依据方差变化分割出图像中的运动物体,进而剔除投影在图像运动区域的局部地图点,通过最小化重投影误差对相机位姿进行进一步优化,提升相机位姿估计精度.最后,使用相机位姿和RGB-D相机图像信息构建TSDF稠密地图,利用图像运动检测结果和地图体素块的颜色变化,完成地图在动态环境下的实时更新.实验结果表明,在室内动态环境下,本文算法能够有效提高相机位姿估计精度,实现稠密地图的实时更新,在提升系统鲁棒性的同时也提升了环境重构的准确性.     

视觉SLAM在室内动态场景中的应用研究

视觉SLAM（Simultaneous Localization And Mapping,同时定位与建图）是移动机器人领域的核心技术,传统视觉SLAM还难以适用于高动态场景并且地图中缺少语义信息。提出一种动态环境语义SLAM方法,用深度学习网络对图像进行目标检测,检测动态目标所在区域,对图像进行特征提取并剔除动态物体所在区域的特征点,利用静态的特征点进行位姿计算,对关键帧进行语义分割,在构建语义地图时滤除动态物体的地图点构建出无动态物体干扰的语义地图。在TUM数据集上进行实验,结果显示该方法在动态环境下可以提升88.3%位姿估计精度,并且可同时构建出无动态物体干扰的语义地图。     

基于语义信息和边缘一致性的鲁棒SLAM算法

为解决动态环境中视觉定位精度下降、鲁棒性不足的问题,并改善构建的环境地图,提出一种基于语义信息和边缘一致性的鲁棒同时定位与地图创建(SLAM)算法.首先使用YOLOv3算法获取环境语义信息,得到初步的图像语义动静态分割.而后使用基于图像中边缘的距离变换误差和光度误差的一致性评估,进一步对图像的动静态区域进行细分,并利用连通区域分析和漏洞修补算法修正动态区域.使用图像非动态区域的特征点进行特征匹配,利用非线性优化算法最小化特征点的重投影误差,得到优化的相机位姿.利用特征点共视性和动静态区域面积进行绘图关键帧的选取,从而构建不包含动态物体信息的静态环境地图.公开数据集中高动态环境的实验表明,本文算法能够准确地区分图像中的动静态信息,完成动态环境下的精确定位与地图构建任务.并且本文算法在纯静态环境下不存在定位精度下降的情况.     

面向动态环境的视觉惯性SLAM算法

针对传统的同时定位与建图(SLAM)算法在动态环境中会降低自身运动估计的精确性以及系统鲁棒性的问题,提出一种适用于动态环境的视觉惯性SLAM算法——DVI-SLAM(dynamic visual inertial SLAM).根据对极几何约束检测并去掉动态特征,利用更加精确的静态特征进行状态估计;添加视觉信息自适应权重...     

动态场景下结合语义的半直接法视觉里程计

针对传统视觉里程计方法在动态环境中跟踪效果差、容易失效的问题,提出了一种适用于动态场景下融合语义的半直接法视觉里程计,主要由语义分割、位姿跟踪和地图管理三部分组成。首先,使用语义分割网络Mask R-CNN对每一帧图像进行语义分割,得到语义分割二值图,结合语义先验信息删除动态特征;然后,利用静态部分特征进行帧间对齐和特征匹配完成位姿跟踪;最后,通过筛选关键帧和更新3D点深度对地图更新,并利用光束平差算法对局部地图的位姿和3D点进行优化。在公共数据集TUM RGB-D的动态序列集上的实验结果表明,该方法与ORB-SLAM2、OpenVSLAM相比,其跟踪误差分别减少了68%和72%,验证了该方法在动态场景中位姿跟踪的准确性。     

基于视觉语义与激光点云交融构建的SLAM算法

激光雷达作为同时定位与地图构建(SLAM)传感器之一,因精度高、性能稳定等特点而被广泛研究使用.但其获得的点云数据较稀疏,包含特征信息少,会导致误匹配、位姿估计误差大等问题,影响SLAM的定位和建图精度.对此,提出一种将视觉语义信息与激光点云数据融合的SLAM算法(VSIL-SLAM).首先,基于投影思想将聚类后的点云映射到语义检测框内,生成语义物体,解决原始激光点云特征稀缺问题;然后,在形状特征的基础上引入拓扑特征对语义物体进行表述,提出基于匹配的拓扑相似性度量方法,解决单一特征造成的误匹配问题,提高匹配准确度;最后,加入语义物体点到点的几何约束,基于几何特征和语义物体构建前端里程计,并完成后端回环检测和位姿图优化设计.实验结果表明,所提出算法在定位和建图效果上都有显著提高,改善了激光SLAM算法的性能.     

基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。     

Improving monocular visual SLAM in dynamic environments: an optical-flow-based approach

Visual Simultaneous Localization and Mapping (visual SLAM) has attracted more and more researchers in recent decades and many state-of-the-art algorithms have been proposed with rather satisfactory performance in static scenarios. However, in dynamic scenarios, the performance of current visual SLAM algorithms degrades significantly due to the disturbance of the dynamic objects. To address this problem, we propose a novel method which uses optical flow to distinguish and eliminate the dynamic feature points from the extracted ones using RGB images as the only input. The static feature points are fed into the visual SLAM system for the camera pose estimation. We integrate our method with the original ORB-SLAM system and validate the proposed method with the challenging dynamic sequences from the TUM dataset and our recorded office dataset. The whole system can work in real time. Qualitative and quantitative evaluations demonstrate that our method significantly improves the performance of ORB-SLAM in dynamic scenarios.     

Channel invariant online visibility enhancement for visual SLAM in a turbid environment

This paper presents a real‐time and channel‐invariant visibility enhancement algorithm using a hybrid image enhancement approach. The proposed method is initially motivated by an underwater visual simultaneous localization and mapping (SLAM) failure in a turbid medium. The environments studied contain various particles and are dominated by a different image degradation model. Targeting image enhancement for degraded images but not being limited to it, the proposed method provides a highly effective solution for both color and gray images with substantial improvement in the process time compared to conventional methods. The proposed method introduces a hybrid scheme of two image enhancement modules: a model‐based (extensive) enhancement and a model‐free (immediate) enhancement. The proposed method is validated by using simulated synthetic color images and real‐world color and grayscale underwater images. Real‐world validation is performed in various environments such as hazy indoor, smoky indoor, and underwater. Using the ground truth trajectory or clear images acquired from the same area but without turbidity, we evaluate the proposed visibility enhancement and camera registration improvement for a feature based (ORB‐SLAM2), a direct (LSD‐SLAM), and a visual underwater SLAM application.     

视觉SLAM研究进展

视觉SLAM是指相机作为传感器进行自身定位同步创建环境地图。SLAM在机器人、无人机和无人车导航中具有重要作用,定位精度会影响避障精度,地图构建质量直接影响后续路径规划等算法的性能,是智能移动体应用的核心算法。本文介绍主流的视觉SLAM系统架构,包括几种最常见的视觉传感器,以及前端的功能和基于优化的后端。并根据视觉SLAM系统的度量地图的种类不同将视觉SLAM分为稀疏视觉SLAM、半稠密视觉SLAM和稠密视觉SLAM 3种,分别介绍其标志性成果和研究进展,提出视觉SLAM目前存在的问题以及未来可能的发展。     

Robust airline schedule design in a dynamic scheduling environment

In the past decade, major airlines in the US have moved from banked hub-and-spoke operations to de-banked hub-and-spoke operations in order to lower operating costs. In Jiang and Barnhart (2009) [1], it is shown that dynamic airline scheduling, an approach that makes minor adjustments to flight schedules in the booking period by re-fleeting and re-timing flight legs, can significantly improve utilization of capacity and hence increase profit. In this paper, we develop robust schedule design models and algorithms to generate schedules that facilitate the application of dynamic scheduling in de-banked hub-and-spoke operations. Such schedule design approaches are robust in the sense that the schedules produced can more easily be manipulated in response to demand variability when embedded in a dynamic scheduling environment. In our robust schedule design model, we maximize the number of potentially connecting itineraries weighted by their respective revenues. We provide two equivalent formulations of the robust schedule design model and develop a decomposition-based solution approach involving a variable reduction technique and a variant of column generation. We demonstrate, through experiments using data from a major U.S. airline that the schedule generated can improve profitability when dynamic scheduling is applied. It is also observed that the greater the demand variability, the more profit our robust schedules achieve when compared to existing ones.