基于RGB-D相机的SLAM技术研究综述

视觉同时定位与地图构建（Simultaneous Localization and Mapping,SLAM）是自主移动机器人、自动驾驶车和无人机关键技术,是当前机器人和计算机视觉领域的研究热点。对当前主流的SLAM技术发展历程及研究现状进行概述。重点围绕RGB-D SLAM研究展开讨论,包括：对各类视觉传感器进行性能分析和对比;对当前具有代表性的几类RGB-D SLAM系统的原理、方法和技术性能进行详细的分析;对RGB-D SLAM的关键问题、测试数据集及评估指标进行综合性归纳。最后,对视觉SLAM的发展趋势进行展望与总结。     

基于RGB-D深度相机的室内场景重建

目的 重建包含真实纹理的彩色场景3维模型是计算机视觉领域重要的研究课题之一,由于室内场景复杂、采样图像序列长且运动无规则,现有的3维重建算法存在重建尺度受限、局部细节重建效果差的等问题。方法 以RGBD-SLAM 算法为基础并提出了两方面的改进,一是将深度图中的平面信息加入帧间配准算法,提高了帧间配准算法的鲁棒性与精度;二是在截断符号距离函数(TSDF)体重建过程中,提出了一种指数权重函数,相比普通的权重函数能更好地减少相机深度畸变对重建的影响。结果 本文方法在相机姿态估计中带来了比RGBD-SLAM方法更好的结果,平均绝对路径误差减少1.3 cm,能取得到更好的重建效果。结论 本文方法有效地提高了相机姿态估计精度,可以应用于室内场景重建中。     

一种室内动态场景下RGB-D SLAM的前端优化方法

针对动态物体会导致位姿估计误差过大的问题,提出一种适用于动态场景下的RGB-D SLAM算法。首先,将目标检测的结果根据物体是否具有自主移动能力划分为动态物体与潜在动态物体,并使用大津法在对应的深度图中完成检测框内区域的前、背景分割;然后,结合检测框的位置坐标与深度信息确定潜在动态物体与动态物体在三维空间内是否关联,初步筛选出具有一定运动概率的潜在动态物体;最后,通过运动一致性检测算法来最终确定是否将潜在动态物体作为动态物体处理。实验部分选用公开的TUM数据集,结果表明,该算法在保持实时性的同时具有较高的定位精度和鲁棒性。     

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建（SLAM）是机器人在未知环境实现自主导航的关键技术，针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题，提出一种新的RGB-D SLAM系统，以进一步提升实时性和精确度。首先，采用ORB算法检测图像特征点，并对提取的特征点采用基于四叉树的均匀化策略进行处理，并结合词袋模型（BoW）进行特征匹配。然后，在系统相机姿态初始值估计阶段，结合PnP和非线性优化方法为后端优化提供一个更接近最优值的初始值；在后端优化中，使用光束法平差（BA）对相机姿态初始值进行迭代优化，从而得到相机姿态的最优值。最后，根据相机姿态和每帧点云地图的对应关系，将所有的点云数据注册到同一个坐标系中，得到场景的稠密点云地图，并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上，将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比，实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。     

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建（SLAM）是机器人在未知环境实现自主导航的关键技术,针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题,提出一种新的RGB-D SLAM系统,以进一步提升实时性和精确度。首先,采用ORB算法检测图像特征点,并对提取的特征点采用基于四叉树的均匀化策略进行处理,并结合词袋模型（BoW）进行特征匹配。然后,在系统相机姿态初始值估计阶段,结合PnP和非线性优化方法为后端优化提供一个更接近最优值的初始值;在后端优化中,使用光束法平差（BA）对相机姿态初始值进行迭代优化,从而得到相机姿态的最优值。最后,根据相机姿态和每帧点云地图的对应关系,将所有的点云数据注册到同一个坐标系中,得到场景的稠密点云地图,并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上,将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比,实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。     

基于RGB-D相机数据的SLAM算法研究

提出了一种基于RGB-D相机数据的同时定位与地图构建(SLAM)算法系统,实现对RGB-D数据的快速和准确构建.首先在RGB图中提取较好鲁棒性的SURF特征,结合使用快速最近邻近似(FLANN)来完成特征点匹配的方式,再使用基于改进的最小距离与随机采样一致性(RANSAC)组合的方法剔除误匹配,然后使用PNP求解相邻帧间的相机位姿变换关系,后端的优化使用G2O(general graph optimization)来优化全局位姿,并使用回环检测消除累计误差.实验证明该方法具有有效性和可行性,能够迅速、准确地构建出三维稠密地图.     

面向嵌入式平台的单目ORB-SLAM稠密化建图实现

针对现有方法在机器人室内定位中无法同时满足高精度定位、快速处理及稠密地图重建的问题,在拥有跟踪、地图构建和回环检测三线程的ORB-SLAM3系统基础上设计了三维稠密地图构建算法,分别在跟踪阶段、局部光束法平差阶段（bundle adjustment,BA）和全局BA阶段,对满足需求的关键帧进行二次采样和位姿更新,然后通过关键帧和对应位姿计算得到三维点云,最终获得稠密地图。实验结果表明,所提方法在Jetson AGX Xavier嵌入式平台上对TUM数据集的定位速度达到了10.8 frame/s,均方根误差仅有0.213%,验证了该系统的高精度与快速性,可以满足机器人室内定位与建图需求。     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM(同步定位与地图创建)算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度.在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题.算法具有全局重定位的能力.在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化.算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性.基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强.     

基于RGB-D相机的视觉里程计设计

同时定位与地图构建(SLAM,Simultaneous Localization And Mapping)技术,突破了传统的GPS与二维码定位的环境依赖性,仅依靠自身携带的相机作为视觉传感器,通过一系列的图像处理算法,完成相机位姿的估计,进而在世界坐标系下标定相机的运动轨迹。同时,对相机采集的有效帧结合位姿估计值,便可以重现相机所在空间的稠密地图。本文将从视觉SLAM(Simultaneous Localization And Mapping)技术传统的原理如相机模型、特征点的提取与匹配等出发并做出改进,结合RGB-D相机的应用,进而详细阐述各物理模型的实现方法,经过优化之后,以此作为视觉里程计的最终框架,完成视觉里程计的设计。     

动态环境下基于延迟语义的RGB-D SLAM算法

目前,将分割网络与SLAM(Simultaneous Localization and Mapping)结合已成为解决视觉SLAM不能应用于动态环境的主流方案之一,但是SLAM系统受到分割网络处理速度的限制,无法保证实时运行.为此,文中提出基于延迟语义的RGB-D SLAM算法.首先,并行运行跟踪线程与分割线程,为了得到最新的延迟语义信息,采取跨帧分割的策略处理图像,跟踪线程根据延迟语义信息实时生成当前帧的语义信息.然后,结合成功跟踪计数(STC)与极线约束,筛选当前帧动态点的集合,并确定环境中先验动态物体的真实运动状态.若确定该物体在移动,继续将物体区域细分为矩形网格,以网格为最小单位剔除动态特征点.最后,利用静态特征点追踪相机位姿并构建环境地图.在TUM RGB-D动态场景数据集及真实场景上的实验表明文中算法在大部分数据集上表现较优,由此验证算法的有效性.     

Real-Time Accurate 3D Head Tracking and Pose Estimation with Consumer RGB-D Cameras

We demonstrate how 3D head tracking and pose estimation can be effectively and efficiently achieved from noisy RGB-D sequences. Our proposal leverages on a random forest framework, designed to regress the 3D head pose at every frame in a temporal tracking manner. One peculiarity of the algorithm is that it exploits together (1) a generic training dataset of 3D head models, which is learned once offline; and, (2) an online refinement with subject-specific 3D data, which aims for the tracker to withstand slight facial deformations and to adapt its forest to the specific characteristics of an individual subject. The combination of these works allows our algorithm to be robust even under extreme poses, where the user’s face is no longer visible on the image. Finally, we also propose another solution that utilizes a multi-camera system such that the data simultaneously acquired from multiple RGB-D sensors helps the tracker to handle challenging conditions that affect a subset of the cameras. Notably, the proposed multi-camera frameworks yields a real-time performance of approximately 8 ms per frame given six cameras and one CPU core, and scales up linearly to 30 fps with 25 cameras.     

Q-PSO: Fast Quaternion-Based Pose Estimation from RGB-D Images

This paper investigates the leader–follower formation control problem for a group of networked nonholonomic mobile robots that are subject to bounded time-varying communication delays and an asynchronous clock. First we convert the formation control problem into a trajectory tracking problem, and then a fully distributed unified control framework based on the receding horizon control is implemented to converge the tracking errors. By adding an auxiliary acceleration term into the receding horizon controller, the framework is able to solve the impractical velocity jump problem. Considering the time-varying delays, the timing and order features of the messages are utilized to guarantee their logical correctness. To compensate for the delay effect, an improved control framework that exploits the predictability of the receding horizon controller is proposed. The asynchronous clock problem, which makes the communication delay unmeasurable, is studied. We give a definition of the syn point that is inspired from investigation of the property that messages are received out of order in a bounded time-varying delayed network. A novel method that detects the occurrence of syn points is integrated into the control framework to solve the asynchronous clock problem. Finally the effectiveness of the proposed approaches is demonstrated in the Player/Stage simulation environment.     

CAD-based Pose Estimation Design for Random Bin Picking using a RGB-D Camera

This paper presents a CAD-based six-degrees-of-freedom (6-DoF) pose estimation design for random bin picking for multiple objects. A virtual camera generates a point cloud database for the objects using their 3D CAD models. To reduce the computational time of 3D pose estimation, a voxel grid filter reduces the number of points for the 3D cloud of the objects. A voting scheme is used for object recognition and to estimate the 6-DoF pose for different objects. An outlier filter filters out badly matching poses so that the robot arm always picks up the upper object in the bin, which increases the success rate. In a computer simulation using a synthetic scene, the average recognition rate is 97.81 % for three different objects with various poses. A series of experiments have been conducted to validate the proposed method using a Kuka robot arm. The average recognition rate for three objects is 92.39 % and the picking success rate is 89.67 %.     

基于卷帘快门RGB-D相机的视觉惯性SLAM方法

针对当前单目视觉惯性SLAM(同步定位与地图创建)中初始化需要加速度激励以及高IMU(惯性测量单元)噪声条件下系统精度下降的问题,提出一种基于卷帘快门RGB-D相机的视觉惯性SLAM方法——VINS-RSD方法.VINS-RSD方法联合卷帘快门RGB-D图像和IMU对系统进行初始化,通过控制特征的速度对卷帘快门效应进行校正,并采用一种带置信因子的损失核函数进行滑动窗口优化.为了评测该方法,在WHU-RSVI数据集的基础上制作了一个可以评价RGB-D视觉惯性SLAM算法的开源深度数据集并进行实验验证.结果表明,与VINS-Mono方法相比,VINS-RSD方法的均方根误差平均值下降了30.76％,表明该方法能获得更高的跟踪精度.     

Deep Bingham Networks: Dealing with Uncertainty and Ambiguity in Pose Estimation

International Journal of Computer Vision - In this work, we introduce Deep Bingham Networks (DBN), a generic framework that can naturally handle pose-related uncertainties and ambiguities arising...     

人体上肢姿态的估计及多解分析

人体是复杂的变形物体(deformable objects),结构自由度多.仅仅从2D表观特征出发,很难分析和识别精细的动作,更谈不上理解用户的意图.因为手势是交流的主要方式,所以,以3D模型为基础,对人体上肢建模,重构人体上肢的3D姿态.从实用化和尽可能少引入误差出发,分析了重构人体上肢姿态所必须的最少条件.在此条件下,提出了端点固定的关节模型(end-determined articulate model)及其对应的方程组,以估计各个关节点的3D坐标.然后,分析方程组解的最大可能数目,并给出相应的求解方法.最后,利用结果误差和位姿来检验解的合理性.     

A Tighter Relaxation for the Relative Pose Problem Between Cameras

Journal of Mathematical Imaging and Vision - This paper tackles the resolution of the Relative Pose problem with optimality guarantees by stating it as an optimization problem over the set of...     

典型相关分析在人脸姿态估计中的应用

在单一物体角度估计中,典型相关分析(CCA)可以用来建立图像空间和角度空间的联系.基于人脸总体形状的相似性,提出了基于外观的人脸姿态估计方法.使用CCA建立姿态变化时人脸这一类物体的外观空间和姿态空间的关系.典型相关向量最大化人脸外观空间和姿态空间的相关性,张成了它们的相关子空间.在相关子空间中,通过线性回归的方法,估计未知姿态图像的角度.为了更好的处理外观空间的非线性问题,引入了该方法.在CUbiC FacePix数据库上的实验验证了这两种算法的有效性.     

基于目标检索的RGB-D协同显著性研究

为了解决在RGB-D协同显著检测算法中和前景区域相似的背景部分易被分类为显著区域的问题。提出了基于目标检索挑选出前景概率更高的显著种子,减少误分类率的RGB-D协同显著检测算法。输入原始图片、深度图,及现有算法得到的最初显著图,进行超像素分割,利用DSP（深度形状先验）算法优化初始显著图得到更佳初始显著图。使用目标检索挑选出显著值更高且更有可能是显著物体的超像素,使用协同显著判断准则求得显著值。协同传播算法加以元胞优化被利用来得到更加准确的显著图。在RGBD Cosal150数据集上的实验表明了该算法的有效性和杰出性,取得了较高的准确度。