基于先验地图的视觉重定位方法综述

在自动驾驶、增强现实和智能移动机器人领域,视觉重定位是非常重要的基础问题.视觉重定位是指根据视觉传感器实时拍摄的数据,在已有先验地图中确定位置和姿态的问题.过去数十年间,该问题受到广泛关注,涌现出种类繁多的先验地图构建方法和视觉重定位方法.这些工作差异大,涉及范围广,技术概括和总结尚缺乏.因此,对视觉重定位领域进行综述具有重要的理论和应用价值.尝试为视觉重定位相关方法建立一个统一的蓝图,从图像数据在大规模地图数据库中查询的角度对相关工作进行分析和总结.综述不同类型地图数据库构建方法、不同特征匹配、重定位和位姿计算方法,总结目前视觉重定位的主流数据集,最后分析视觉重定位存在的挑战和潜在发展方向.     

单目视觉定位方法研究综述

根据单目视觉定位所用图像帧数不同把定位方法分为基于单帧图像的定位和基于双帧或多帧图像的定位两类。单帧图像定位常利用已知的点特征、直线特征或曲线特征与其在图像上的投影关系进行定位,其中用点特征和直线特征的定位方法简单有效而应用较多;基于双帧或多帧图像的定位方法因其操作复杂、精度不高而研究的还较少。通过对各方法的介绍和评述,为单目视觉定位问题的研究提供参考。     

改进场景坐标回归网络的室内相机重定位方法

传统相机重定位依赖手工特征,场景的变化会影响其后续特征匹配,导致算法总体性能下降。然而,基于深度学习场景坐标回归的相机重定位方法在室内场景下有着较好的表现。针对复杂场景下定位精度低以及在特征提取过程中空间信息丢失的问题,在场景坐标回归方法的基础上,提出一种基于深度过参化卷积与细粒度信息的相机定位方法。该方法在特征提取网络中,引入深度过参化卷积层取代传统的卷积层,使提取的特征更具有鲁棒性;在特征提取网络之后,增加细粒度信息,加强特征提取,解决特征提取带来的空间信息丢失问题;通过全连接层输出场景坐标,建立二维图像像素和三维场景坐标之间的关系,然后使用多点透视随机抽样一致性算法得到相机位姿。实验结果表明,改进后的方法与同类型算法相比有明显的提升,该方法能够将平均角度精度提高20.00%,对相机重定位有显著效果,验证了该方法在一定程度上能够克服视觉特征对相机重定位的影响。     

基于深度学习的视觉里程计方法综述

视觉里程计（visual odometry,VO）是处理搭载视觉传感器的移动设备定位问题的一种常用方法,在自动驾驶、移动机器人、AR/VR等领域得到了广泛应用。与传统基于模型的方法相比,基于深度学习的方法可在不需显式计算的情况下从数据中学习高效且鲁棒的特征表达,从而提升其对于光照变化、少纹理等挑战性场景的鲁棒性。简略回顾了基于模型的视觉里程计方法,从监督学习方法、无监督学习方法、模型与学习融合方法、常用数据集、评价指标、模型法与深度学习方法对比分析六个方面全面介绍了基于深度学习的视觉里程计方法。指出了基于深度学习视觉里程计仍存在的问题和未来的发展趋势。     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

单目视觉的深度与位姿联合预测网络

深度图与相机位姿参数是图像三维场景重建的重要数据,使用两个卷积网络分别预测,不仅效率低并且切断了二者之间的联系.对此提出一种联合预测深度图与相机位姿的卷积神经网络,输入单幅RGB图像,经过共享编码器编码,经两路子网络分别解码输出深度图与相机位姿参数,其中位姿预测子网络也为双路结构,将位置与姿态参数分离,避免两类参数的串扰.该网络的多任务结构通过信息共享可提升预测精度和效率.实验验证了该方法的可行性与优异性.     

工业机器人装配中基于相机位姿估计算法的单目视觉定位研究

为了提升工业机器人在装配作业中的效率和精准度,结合软指派算法进行研究,构建基于相机位姿估计算法的单目标视觉定位系统,并对其进行仿真验证。实验结果显示,在参数对成功率的影响实验中实验成功率最低为92.5%,在图像噪声对成功率的影响实验中成功率最高达到了97.5%,位置估计误差最大值不超过4 mm,旋转误差在伪特征点的数量为最大时得到了最大值7°。     

基于深度相机的边缘融合直接位姿估计方法

针对基于边缘的视觉里程计方法对光度变化敏感、提取边缘不稳定的问题,提岀了基于深度相机的边缘融合直接位姿估计方法.融合了传统方法与深度学习的优势进行边缘提取,提高了边缘提取的信噪比;然后将提取的边缘进行基于直接法的相机位姿估计,并使用非参数统计的方法拟合边缘像素残差,给出参与计算的像素权重,使得所提方法对光度变化具有更强...     

基于深度学习的刚体位姿估计方法综述

刚体位姿估计旨在获取刚体在相机坐标系下的3D平移信息和3D旋转信息,在自动驾驶、机器人、增强现实等快速发展的领域起着重要作用。现对2017-2021年间的基于深度学习的刚体位姿估计方向具有代表性的研究进行汇总与分析。将刚体位姿估计的方法分为基于坐标、基于关键点和基于模板的方法。将刚体位姿估计任务划分为图像预处理、空间映射或特征匹配、位姿恢复和位姿优化4项子任务,详细介绍每一类方法的子任务实现及其优势和存在的问题。分析刚体位姿估计任务面临的挑战,总结现有解决方案及其优缺点。介绍刚体位姿估计常用的数据集和性能评价指标,并对比分析现有方法在常用数据集上的表现。最后从位姿跟踪、类别级位姿估计等多个角度对未来研究方向进行了展望。     

视觉里程计算法研究综述

视觉里程计通过分析相机所获取的图像流信息估计移动机器人的位姿。为了深入分析视觉里程计算法的发展现状,结合一些先进的视觉里程计系统,综述了视觉里程计的相关技术以及最新的研究成果。首先简述了视觉里程计的概念和发展历程,介绍了视觉里程计问题的数学描述和分类方法;然后,详细阐述了视觉里程计的关键技术,包括特征模块、帧间位姿估计和减少漂移;此外,还介绍了基于深度学习的视觉里程计的发展动态。最后,总结了视觉里程计目前存在的问题,展望了未来的发展趋势。     

基于单目视觉的同时定位与建图算法研究综述*

与传统基于激光传感器的同时定位与建图（SLAM）方法相比,基于图像视觉传感器SLAM方法能廉价的获得更多环境信息,帮助移动机器人提高智能性。不同于用带深度信息的3D传感器研究SLAM问题,单目视觉SLAM算法用二维图像序列在线构建三维环境地图并实现实时定位。针对多种单目视觉SLAM算法进行对比研究,分析了近10年来流行的单目视觉定位算法的主要思路及其分类,指出基于优化方法正取代滤波器方法成为主流方法。从初始化、位姿估计、地图创建、闭环检测等功能组件的角度分别总结了当下流行的各种单目视觉 SLAM 或Odometry系统的工作原理和关键技术,阐述它们的工作过程和性能特点。总结了近年最新单目视觉定位算法的设计思路,最后概括指出本领域的研究热点与发展趋势。     

单目视觉伺服研究综述

视觉伺服是机器人视觉领域的研究热点之一,具有十分广泛的应用前景.本文针对单目视觉系统,从视觉伺服的运动映射关系、误差表征、控制律设计、关键影响因素等多个层面,对视觉伺服的研究现状进行了论述,并分析了不同视觉伺服方法的特点,给出了视觉伺服在不同领域的典型应用.最后,指出了视觉伺服未来的主要发展方向.     

单目视觉定位中SURF算法参数的优化

为了提升单目视觉定位方法的定位效率,在基于SURF算法的单目视觉定位系统上对SURF算法参数的选取进行了优化.首先分析了路面图像的特点及路面图像中SURF特征点的特性,据此选取了SURF算法中组数和层数这两个重要参数;其次分析了路面序列图像中特征点数目与hessian矩阵行列式阈值之间的关系,提出了hessian矩阵行列式阈值动态设定方法.通过对SURF算法参数的优化,有效降低了程序的运算量.实验结果表明,该方法能较好满足路面环境下定位的要求,在保证算法精度和稳定性的同时,大幅提高了程序的效率.     

融合自监督单目图像深度估计的视觉里程计

针对直接法DSO（Direct Sparse Odometry）存在的明显的尺度不确定性问题,对尺度不确定性给系统定位精度带来的影响进行分析,提出将对单幅图像进行深度估计的深度学习网络和DSO相结合的融合算法;针对DSO后端耗时问题,提出运用预处理共轭梯度（Preconditioned Conjugate gradient,PCG）算法优化后端求解部分。在KITTI公开数据集上与ORB-SLAM2、DSO、LDSO进行对比测试,系统的定位精度得到显著提高。     

Monocular Visual Mapping for Obstacle Avoidance on UAVs

An unmanned aerial vehicle requires adequate knowledge of its surroundings in order to operate in close proximity to obstacles. UAVs also have strict payload and power constraints which limit the number and variety of sensors available to gather this information. It is desirable, therefore, to enable a UAV to gather information about potential obstacles or interesting landmarks using common and lightweight sensor systems. This paper presents a method of fast terrain mapping with a monocular camera. Features are extracted from camera images and used to update a sequential extended Kalman filter. The features locations are parameterized in inverse depth to enable fast depth convergence. Converged features are added to a persistent terrain map which can be used for obstacle avoidance and additional vehicle guidance. Simulation results, results from recorded flight test data, and flight test results are presented to validate the algorithm.     

基于改进BRISK算法的单目视觉里程计

在传统的BRISK算法中使用自定义的抽样模式来描述检测到的特征点,使用基于汉明距离的方法进行特征点匹配。BRISK的这种特征点描述与匹配的方法使得其匹配准确率不高。因此本文提出将匹配准确率较高的SURF算法与BRISK算法相结合,在BRISK特征点描述与匹配阶段使用SURF描述符和基于欧氏距离的匹配方法。实验结果表明,该算法在时间消耗下降不大的情况下,特征点匹配准确率有很大提高,且该算法具有较好的鲁棒性。     

基于视觉惯性融合的半直接单目视觉里程计

针对半直接单目视觉里程计缺乏尺度信息并且在快速运动中鲁棒性较差的缺点,设计了一种融合惯性测量信息的半直接单目视觉里程计,通过IMU(惯性测量单元)信息弥补视觉里程计的缺陷,有效提高跟踪精度与系统鲁棒性.本文联合惯性测量信息与视觉信息进行初始化,较准确地恢复了环境尺度信息.为提高运动跟踪的鲁棒性,提出一种IMU加权的运动先验模型.通过预积分获取IMU的状态估计,根据IMU先验误差调整权重系数,使用IMU先验信息的加权值为前端提供精确的初值.后端构建了紧耦合的图优化模型,融合惯性、视觉以及3维地图点信息进行联合优化,同时在滑动窗口中使用强共视关系作为约束,在消除局部累积误差的同时提高优化效率与优化精度.实验结果表明,本文的先验模型优于匀速运动模型与IMU先验模型,单帧先验误差小于1 cm.后端优化方法改进后,计算效率提高为原来的1.52倍,同时轨迹精度与优化稳定性也得到提高.在EuRoC数据集上进行测试,定位效果优于OKVIS算法,轨迹均方根误差减小为原视觉里程计的1/3.     

基于在线光度标定的单目直接视觉SLAM

为了减少场景点的光照变化对直接视觉SLAM （simultaneous localization and mapping,SLAM）的影响,在稀疏直接法（direct sparse odometry with loop closure,LDSO）的基础上对其优化,结合光度标定来增强系统的整体性能。直接视觉SLAM,其图像配对的基本假设是建立在灰度一致性之上的,即同一个场景点在多个图像中是以恒定亮度值出现的。为了更好地满足这一假设,采用KLT （Kanade-Lucas-Tracker）来跟踪关键点,利用带光度参数的像素跟踪模型建立优化方程,优化序列的光度参数（曝光时间、晕影和响应函数）,从而实现实时曝光补偿,增强了系统视觉前端的跟踪稳定性。最后,在公开数据集上进行实验。实验结果标明所提方法在部分序列上能有效地提高系统性能。     

空间目标的单目视觉测量技术研究

针对卫星视觉监测相机的图像处理系统要求,对目标图像进行处理,通过动态获取阈值,完成对图像的二值化。然后利用区域分割法寻找图象的特征点,最后根据我们提出的算法公式计算出目标相对于相机的位置和姿态。实验结果显示该方法能够准确、有效地测量出目标物的位置。