动态环境下基于线特征的RGB-D视觉里程计

基于RGB-D的视觉SLAM(同时定位与建图)算法基本都假设环境是静态的,然而在实际环境中经常会出现动态物体,导致SLAM算法性能的下降.为此,本文提出一种基于线特征的RGB-D视觉里程计方法,通过计算直线特征的静态权重来剔除动态直线特征,并根据剩余的直线特征估计相机位姿.本文方法既可以减小动态物体的影响,又能避免点特征过少而导致的跟踪失效.公共数据集实验结果表明,与现有的基于ORB(orientedFAST and rotated BRIEF)点特征的方法相比,本文方法减小了动态环境下的跟踪误差约30%,提高了视觉里程计在动态环境下的精度和鲁棒性.     

基于RGB-D相机的视觉里程计设计

同时定位与地图构建(SLAM,Simultaneous Localization And Mapping)技术,突破了传统的GPS与二维码定位的环境依赖性,仅依靠自身携带的相机作为视觉传感器,通过一系列的图像处理算法,完成相机位姿的估计,进而在世界坐标系下标定相机的运动轨迹。同时,对相机采集的有效帧结合位姿估计值,便可以重现相机所在空间的稠密地图。本文将从视觉SLAM(Simultaneous Localization And Mapping)技术传统的原理如相机模型、特征点的提取与匹配等出发并做出改进,结合RGB-D相机的应用,进而详细阐述各物理模型的实现方法,经过优化之后,以此作为视觉里程计的最终框架,完成视觉里程计的设计。     

PLVO: 基于平面和直线融合的RGB-D视觉里程计

针对利用平面特征计算RGB-D相机位姿时的求解退化问题, 提出平面和直线融合的RGB-D视觉里程计(Plane-line-based RGB-D visual odometry, PLVO). 首先, 提出基于平面−直线混合关联图(Plane-line hybrid association graph, PLHAG)的多特征关联方法, 充分考虑平面和平面、平面和直线之间的几何关系, 对平面和直线两类几何特征进行一体化关联. 然后, 提出基于平面和直线主辅相济、自适应融合的RGB-D相机位姿估计方法. 具体来说, 鉴于平面特征通常比直线特征具有更好的准确性和稳定性, 通过自适应加权的方法, 确保平面特征在位姿计算中的主导作用, 而对平面特征无法约束的位姿自由度(Degree of freedom, DoF), 使用直线特征进行补充, 得到相机的6自由度位姿估计结果, 从而实现两类特征的融合, 解决了单纯使用平面特征求解位姿时的退化问题. 最后, 通过公开数据集上的定量实验以及真实室内环境下的机器人实验, 验证了所提出方法的有效性.     

基于单目视觉的同时定位与建图算法研究综述*

与传统基于激光传感器的同时定位与建图（SLAM）方法相比,基于图像视觉传感器SLAM方法能廉价的获得更多环境信息,帮助移动机器人提高智能性。不同于用带深度信息的3D传感器研究SLAM问题,单目视觉SLAM算法用二维图像序列在线构建三维环境地图并实现实时定位。针对多种单目视觉SLAM算法进行对比研究,分析了近10年来流行的单目视觉定位算法的主要思路及其分类,指出基于优化方法正取代滤波器方法成为主流方法。从初始化、位姿估计、地图创建、闭环检测等功能组件的角度分别总结了当下流行的各种单目视觉 SLAM 或Odometry系统的工作原理和关键技术,阐述它们的工作过程和性能特点。总结了近年最新单目视觉定位算法的设计思路,最后概括指出本领域的研究热点与发展趋势。     

基于视觉的移动机器人同时定位与建图研究进展

同时定位与建图(SLAM)是实现移动机器人真正自治的必要前提, 视觉传感器由于能够提供丰富的环境信息而在SLAM研究中受到重视, 本文从视觉传感器配置方式、视觉特征提取方法、视觉SLAM实现机制、地图表示类型以及环境对视觉SLAM的影响五个方面综述基于视觉传感器的同时定位与建图研究的发展现状, 对已有的典型视觉SLAM方法进行分析和比较, 并展望了未来的发展趋势.     

移动机器人视觉里程计综述

定位是移动机器人导航的重要组成部分.在定位问题中,视觉发挥了越来越重要的作用.本文首先给出了视觉定位的数学描述,然后按照数据关联方式的不同介绍了视觉里程计（Visual odometry,VO）所使用的较为代表性方法,讨论了提高视觉里程计鲁棒性的方法.此外,本文讨论了语义分析在视觉定位中作用以及如何使用深度学习神经网络进行视觉定位的问题.最后,本文简述了视觉定位目前存在的问题和未来的发展方向.     

基于视觉和里程计信息融合的移动机器人自定位

受鸽子定向启发,将装备有全维视觉和里程计等传感器的自主移动机器人的自定位分为两种模式：全维视觉定位模式和里程计定位模式．机器人依据一定准则选择具体的主导定位模式：先试视觉定位,若视觉定位不可得或获得的视觉定位不可靠,则采用里程计定位．针对标记物信息失真问题,应用初步视觉定位结果反推标记物理论值,然后通过比较从原始图像中分离出的可能的标记物信息和反推出来的标记物信息理论值,滤除不可靠的视觉定位．针对运动过程中的机器人自定位,分析了影响定位准确性的信息时间延迟因素．     

工厂环境下改进的视觉SLAM算法

针对工业场景对自动导引车(AGV)高定位精度的要求,提出一种改进的视觉同时定位与地图创建(VSLAM)算法.在算法前端,双目相机采集立体图像,通过双目匹配算法得到亚像素级的匹配点对,计算出这些特征点在相机坐标系中的3D信息.然后利用RansacPnP算法根据3D-2D匹配点对计算位姿变换,并以它为初值进一步最小化重投影误差,实现局部优化.基于匹配点对描述子的汉明距离提出一种不确定性模型,该模型为局部优化中的约束条件提供信息矩阵,提高定位精度.在算法的后端,通过竖直向上拍摄的单目相机检测可靠的人工信标闭环信息,进行全局位姿优化,并针对AGV的运动模型和工作场景,提出一种基于全局平面约束的优化方法,降低SLAM系统的误差.实验通过KITTI离线数据集对比了该算法前端双目里程计与ORB-SLAM2及libviso2算法里程计的定位精度,并在工厂环境中对整个算法进行实地测试来判断其实际精度和鲁棒性.实验结果表明该算法具有良好的综合性能,定位误差在10 cm以内,定位频率达20 Hz,能够满足工业现场要求.     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM(同步定位与地图创建)算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度.在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题.算法具有全局重定位的能力.在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化.算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性.基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强.     

基于RGB-D相机的室内环境3D地图创建

RGB-D相机（如微软的Kinect）能够在获取彩色图像的同时得到每个像素的深度信息,在移动机器人三维地图创建方向具有广泛应用。本文设计了一种利用RGB-D相机进行机器人自定位及创建室内场景三维模型的方法,该方法首先由RGB-D相机获取周围环境的连续帧信息;其次提取并匹配连续帧间的SURF特征点,通过特征点的位置变化计算机器人的位姿并结合非线性最小二乘优化算法最小化对应点的双向投影误差;最后结合关键帧技术及观察中心法将相机观测到的三维点云依据当前位姿投影到全局地图。本文选择三个不同的场景试验了该方法,并对比了不同特征点下该方法的效果,试验中本文方法在轨迹长度为5.88m情况下误差仅为0.023,能够准确地创建周围环境的三维模型。     

双舵轮AGV视觉里程计的设计方法

针对双舵轮AGV在地面崎岖不平和轮胎打滑的情况下编码器失效的问题.本文提出一种使用价格低廉的RGB-D相机做视觉里程计的方案,避免了双舵轮AGV直接运动学建模导致里程计航迹推算累积误差过大的问题.本文采用ORB算子对图像进行特征提取和匹配,使用ICP的方法进行位姿估计.然后在Linux+ROS平台下搭建视觉里程计,并且和激光雷达数据融合,通过粒子滤波算法进行定位.最后,分别在不同环境下对比了编码器和视觉里程计的定位效果,并验证了整个系统的鲁棒性.     

基于点线结合特征的单目视觉里程计

SLAM(即时定位与地图构建)系统是近年来计算机视觉领域的一大重要课题,其中特征法的SLAM凭借稳定性好、计算效率高的优点成为SLAM算法的主流。目前特征法SLAM主要基于点特征进行。针对基于点特征的视觉里程计依赖于数据质量,相机运动过快时容易跟丢,且生成的特征地图不包含场景结构信息等缺点,提出了一种基于点线结合特征的优化算法。相较于传统基于线段端点的六参数表达方式,算法采用一种四参数的方式表示空间直线,并使用点线特征进行联合图优化估计相机位姿。使用公开数据集和自采集鱼眼影像数据分别进行实验的结果表明,与仅使用点特征的方法相比,该方法可有效改善因相机运动过快产生的跟丢问题,增加轨迹长度,提升位姿估计精度,且生成的稀疏特征地图更能反映场景结构特征。     

室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

A new 2-point absolute pose estimation algorithm under planar motion

Several pose estimation algorithms, such as n-point and perspective n-point (PnP), have been introduced over the last few decades to solve the relative and absolute pose estimation problems in robotics research. Since the n-point algorithms cannot decide the real scale of robot motion, the PnP algorithms are often addressed to find the absolute scale of motion. This paper introduce a new PnP algorithm which use only two 3D–2D correspondences by considering only planar motion. Experiment results prove that the proposed algorithm solves the absolute motion in real scale with high accuracy and less computational time compared to previous algorithms.     

基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。     

动态环境下基于增强分割的RGB-D SLAM方法

目前视觉SLAM（同步定位与地图创建）方法在动态环境下易出现漏剔除动态物体的问题,影响相机位姿估计精度以及地图的可用性。为此,本文提出一种基于增强分割的RGB-D SLAM方法。首先结合实例分割网络与深度图像聚类的结果,判断当前帧是否出现漏分割现象,若出现则根据多帧信息对分割结果进行修补,同时,提取当前帧的Shi-To...     

基于语义分割不确定性的特征点选择算法

针对基于特征点法的视觉里程计中的特征点提取问题,提出一种基于互信息和语义分割不确定性的特征点选择算法。算法依据特征点的语义信息和几何信息,保留提取于潜在静态物体的特征点。算法根据语义上下文信息对特征点的语义不确定性进行修正,并根据特征点的信息熵变化量对特征点进行筛选。最后,用公开的KITTI视觉里程计数据集评估上述算法,并与其他算法的实验结果对比。结果表明,该算法能够实现更准确的位姿估计,验证了算法的有效性和可行性。