基于深度学习的视觉惯性里程计技术综述

视觉惯性里程计在很多方面可以很好地实现视觉和惯性传感器的优势互补,获得高精度的6自由度导航定位,因此应用领域极为广泛。然而,传感器自身的误差、异常视觉环境的扰动、多传感器之间的时空校准误差都会干扰导航结果,导致导航精度下降。近年来,正在迅速发展的深度学习方法凭借其强大的数据处理和预测能力,给视觉惯性里程计的发展提供了全新的发展方向。对基于深度学习的视觉惯性里程计的主要发展成果进行了回顾与总结。首先,按照两种融合策略分别概述研究方法,包括深度学习与传统模型结合的方法和基于深度学习的端到端的方法。之后,根据深度学习类型分为监督学习和无监督/自监督学习的方法,并分别阐述了这些方法的模型结构。然后,概述了系统的优化与评估方法,并比较了其中一些具有代表性的方法的性能。最后,对该领域需要解决的关键难点问题进行了总结,对未来发展进行了展望。     

移动机器人中视觉里程计技术综述

视觉里程计（VO）是实现移动机器人自主导航的主要技术之一,不同类型的VO技术在不同应用场景中受环境和硬件计算能力的影响,导致其性能各有优劣。概述VO技术的发展历程,对基于传统几何和基于深度学习的两类VO技术的性能进行对比与分析,重点介绍传统VO技术中特征点法的原理及其改进方法。在此基础上,归纳VO领域常用的公共数据集并对部分现有方法进行对比评测,为VO技术的实际应用提供参考和借鉴,并展望该领域未来的发展方向。     

移动机器人视觉里程计综述

定位是移动机器人导航的重要组成部分.在定位问题中,视觉发挥了越来越重要的作用.本文首先给出了视觉定位的数学描述,然后按照数据关联方式的不同介绍了视觉里程计（Visual odometry,VO）所使用的较为代表性方法,讨论了提高视觉里程计鲁棒性的方法.此外,本文讨论了语义分析在视觉定位中作用以及如何使用深度学习神经网络进行视觉定位的问题.最后,本文简述了视觉定位目前存在的问题和未来的发展方向.     

基于图像对齐和不确定估计的深度视觉里程计

基于深度学习的视觉里程计方法（deep visual odometry,DVO）通过神经网络直接估计单目图像的深度和相邻图像之间的相机运动,在保证精度的同时大大提高了运行速度。但这是基于灰度不变假设,作为一个很强的假设,灰度不变假设在现实场景中往往难以满足。为此,提出一种基于图像对齐（image alignment,IA）的直接视觉里程计方法AUDVO(aligned U-CNN deep VO),通过不确定性估计网络（uncertainty CNN,U-CNN）引入正则项进行约束,使得估计的结果更具鲁棒性。为了处理大面积纹理缺失区域上因估计不准确带来的空洞,在设计深度估计模块时通过嵌入超分辨率网络进行上采样。在公开的KITTI数据集上的实验证明了AUDVO在深度和相机位姿估计上的有效性。     

基于深度学习的刚体位姿估计方法综述

刚体位姿估计旨在获取刚体在相机坐标系下的3D平移信息和3D旋转信息,在自动驾驶、机器人、增强现实等快速发展的领域起着重要作用。现对2017-2021年间的基于深度学习的刚体位姿估计方向具有代表性的研究进行汇总与分析。将刚体位姿估计的方法分为基于坐标、基于关键点和基于模板的方法。将刚体位姿估计任务划分为图像预处理、空间映射或特征匹配、位姿恢复和位姿优化4项子任务,详细介绍每一类方法的子任务实现及其优势和存在的问题。分析刚体位姿估计任务面临的挑战,总结现有解决方案及其优缺点。介绍刚体位姿估计常用的数据集和性能评价指标,并对比分析现有方法在常用数据集上的表现。最后从位姿跟踪、类别级位姿估计等多个角度对未来研究方向进行了展望。     

视觉里程计算法研究综述

视觉里程计通过分析相机所获取的图像流信息估计移动机器人的位姿。为了深入分析视觉里程计算法的发展现状,结合一些先进的视觉里程计系统,综述了视觉里程计的相关技术以及最新的研究成果。首先简述了视觉里程计的概念和发展历程,介绍了视觉里程计问题的数学描述和分类方法;然后,详细阐述了视觉里程计的关键技术,包括特征模块、帧间位姿估计和减少漂移;此外,还介绍了基于深度学习的视觉里程计的发展动态。最后,总结了视觉里程计目前存在的问题,展望了未来的发展趋势。     

基于深度学习SuperGlue算法的单目视觉里程计

基于特征点法的视觉里程计中,光照和视角变化会导致特征点提取不稳定,进而影响相机位姿估计精度,针对该问题,提出了一种基于深度学习SuperGlue匹配算法的单目视觉里程计建模方法。首先,通过SuperPoint检测器获取特征点,并对得到的特征点进行编码,得到包含特征点坐标和描述子的向量;然后,通过注意力GNN网络生成更具代表性的描述子,并创建M×N型得分分配矩阵,采用Sinkhorn算法求解最优得分分配矩阵,从而得到最优特征匹配;最后,根据最优特征匹配进行相机位姿恢复,采用最小化投影误差法进行相机位姿优化。实验结果表明,在无后端优化的条件下,该算法与基于ORB或SIFT算法的视觉里程计相比,不仅对视角和光线变化更鲁棒,而且其绝对轨迹误差和相对位姿误差的精度均有显著提升,进一步验证了基于深度学习的SuperGlue匹配算法在视觉SLAM中的可行性和优越性。     

基于改进ORB算法的单目视觉里程计研究

针对AGV视觉里程计累积漂移产生的误差问题,提出一种鲁棒性较强的单目视觉定位及优化方法.采用改进的ORB算法对特征点进行快速高效的提取,根据暴力匹配算法和快速最近邻算法以及渐进采样一致性算法,进行特征点匹配及剔除误匹配.通过构建最小二乘问题,采用改良的列文伯格—马夸尔特方法以及非线性优化库g2o对AGV位姿进行优化.实...     

基于深度学习的RGB图像目标位姿估计综述

6自由度（DoF）位姿估计是计算机视觉与机器人技术中的一项关键技术,它能从给定的输入图像中估计物体的6DoF位姿,即3DoF平移和3DoF旋转,已经成为机器人操作、自动驾驶、增强现实等领域中的一项至关重要的任务。首先,介绍了6DoF位姿的概念以及基于特征点对应、基于模板匹配、基于三维特征描述符等传统方法存在的问题;然后,以基于特征对应、基于像素投票、基于回归和面向多物体实例、面向合成数据、面向类别级的不同角度详细介绍了当前主流的基于深度学习的6DoF位姿估计算法,归纳整理了在位姿估计方面常用的数据集以及评价指标,并对部分算法进行了实验性能评价;最后,给出了当前位姿估计面临的挑战和未来的重点研究方向。     

基于深度学习的二维人体姿态估计算法综述

二维人体姿态估计作为人体动作识别的基础,随着深度学习和神经网络的流行已经成为备受学者关注的研究热点.与传统方法相比,深度学习能够得到更深层图像特征,对数据的表达更准确,因此已成为研究的主流方向.本文主要介绍了二维人体姿态估计算法,首先根据检测人数分为单人姿态估计与多人姿态估计两类,其次对单人姿态估计分为基于坐标回归与基于热图检测的方法;对多人姿态估计可分为自顶向下(top-down)和自底向上(bottom-up)的方法.最后介绍了姿态估计常用数据集以及评价指标对部分多人姿态估计算法的性能指标进行了对比,并对人体姿态估计研究所面临的问题与发展趋势进行了阐述.     

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.     

基于手绘草图的视觉内容生成深度学习方法综述

手绘草图通过绘制简单的线条直观呈现用户的创作意图, 支持用户采用手绘的方式快速表达思维过程及设计灵感, 创作目标图像或视频. 随着深度学习的发展, 基于草图的视觉内容生成通过学习草图和视觉对象(即图像和视频)的特征分布进行跨领域特征映射, 实现图像自动生成草图以及草图自动生成对应的图像或视频, 与传统的人工创作方式相比有效地提高了生成的效率和多样性, 成为计算机视觉、图形学领域的重要研究方向, 并且在设计、视觉创作等领域具有重要作用. 综述基于草图的视觉内容生成深度学习方法的研究现状和发展趋势, 按照视觉对象的不同将现有工作分为基于草图的图像生成和基于草图的视频生成方法, 并结合草图和视觉内容跨域生成、风格转化、视觉内容编辑等任务对生成模型进行详细分析, 然后比较和总结常用的数据集、针对草图数据不足提出的扩充方法以及生成模型的评估方法, 进一步通过草图在视觉内容生成应用中面临的挑战及生成模型未来发展方向对研究趋势进行展望.     

融合自监督单目图像深度估计的视觉里程计

针对直接法DSO(Direct Sparse Odometry)存在的明显的尺度不确定性问题,对尺度不确定性给系统定位精度带来的影响进行分析,提出将对单幅图像进行深度估计的深度学习网络和DSO相结合的融合算法;针对DSO后端耗时问题,提出运用预处理共轭梯度(Preconditioned Conjugate gradie...     

基于改进BRISK算法的单目视觉里程计

在传统的BRISK算法中使用自定义的抽样模式来描述检测到的特征点,使用基于汉明距离的方法进行特征点匹配。BRISK的这种特征点描述与匹配的方法使得其匹配准确率不高。因此本文提出将匹配准确率较高的SURF算法与BRISK算法相结合,在BRISK特征点描述与匹配阶段使用SURF描述符和基于欧氏距离的匹配方法。实验结果表明,该算法在时间消耗下降不大的情况下,特征点匹配准确率有很大提高,且该算法具有较好的鲁棒性。     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM(同步定位与地图创建)算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度.在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题.算法具有全局重定位的能力.在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化.算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性.基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强.