基于深度学习的RGB图像目标位姿估计综述

6自由度（DoF）位姿估计是计算机视觉与机器人技术中的一项关键技术,它能从给定的输入图像中估计物体的6DoF位姿,即3DoF平移和3DoF旋转,已经成为机器人操作、自动驾驶、增强现实等领域中的一项至关重要的任务。首先,介绍了6DoF位姿的概念以及基于特征点对应、基于模板匹配、基于三维特征描述符等传统方法存在的问题;然后,以基于特征对应、基于像素投票、基于回归和面向多物体实例、面向合成数据、面向类别级的不同角度详细介绍了当前主流的基于深度学习的6DoF位姿估计算法,归纳整理了在位姿估计方面常用的数据集以及评价指标,并对部分算法进行了实验性能评价;最后,给出了当前位姿估计面临的挑战和未来的重点研究方向。     

基于合成数据的水下机器人视觉定位方法

针对水下场景水下机器人(AUV)位姿数据集难以获取、现有的基于深度学习的位姿估计方法无法应用的问题,提出了一种基于合成数据的AUV视觉定位方法。首先基于Unity3D仿真搭建虚拟水下场景,通过虚拟相机获取仿真环境下已知的渲染位姿数据。其次,通过非配对图像转换工作实现渲染图片到真实水下场景下的风格迁移,结合已知渲染图片的位姿信息得到了合成的水下位姿数据集。最后,提出一种基于局部区域关键点投影的卷积神经网络(CNN)位姿估计方法,并基于合成数据训练网络,预测已知参考角点的2维投影,产生2D-3D点对,基于随机一致性采样的Perspective-n-Point(PnP)算法获得相对位置和姿态。本文在渲染数据集以及合成数据集上进行了定量实验,并在真实水下场景进行了定性实验,论证了所提出方法的有效性。实验结果表明,非配对图像转换能够有效消除渲染图像与真实水下图像之间的差距,所提出的局部区域关键点投影方法可以进行更有效的6D位姿估计。     

低质量渲染图像的目标物体6D姿态估计

从图像中获取目标物体的6D位姿信息在机器人操作和虚拟现实等领域有着广泛的应用,然而,基于深度学习的位姿估计方法在训练模型时通常需要大量的训练数据集来提高模型的泛化能力,一般的数据采集方法存在收集成本高同时缺乏3D空间位置信息等问题.鉴于此,提出一种低质量渲染图像的目标物体6D姿态估计网络框架.该网络中,特征提取部分以单张RGB图像作为输入,用残差网络提取输入图像特征;位姿估计部分的目标物体分类流用于预测目标物体的类别,姿态回归流在3D空间中回归目标物体的旋转角度和平移矢量.另外,采用域随机化方法以低收集成本方式构建大规模低质量渲染、带有物体3D空间位置信息的图像数据集Pose6DDR.在所建立的Pose6DDR数据集和LineMod公共数据集上的测试结果表明了所提出位姿估计方法的优越性以及大规模数据集域随机化生成数据方法的有效性.     

考虑多位姿估计约束的双目视觉里程计

为了提升复杂环境中双目视觉里程计的精度,提出一种考虑多位姿估计约束的双目视觉里程计方法.首先,分别建立匹配深度已知点与深度未知点的数学模型,将深度未知点引入2D-2D位姿估计模型,从而充分利用图像信息;然后,基于关键帧地图点改进3D-2D位姿估计模型,并结合当前帧地图点更新关键帧地图点,从而增加匹配点对数,提高位姿估计精度;最后,根据改进的2D-2D及3D-2D位姿估计模型,建立多位姿估计约束位姿估计模型,结合局部光束平差法对位姿估计进行局部优化,达到定位精度高且累积误差小的效果.数据集实验和实际场景在线实验表明,所提出方法满足实时定位要求,且有效地提高了自主定位精度.     

视频序列中基于头肩分割的人体位姿估计算法

当前常用3维重构的方法表示和计算视频中的人体位姿,但由于这些方法通常需要多个摄像头,不仅限制条件多,且计算复杂度高,为此,提出了一种基于头肩分割的人体位姿估计算法。该算法首先对视频中的人体进行头肩定位;然后利用人体头部的平面成像特点计算头部位姿,同时利用人体肩部的轮廓变化特点计算躯干位姿;最后结合头部和躯干的位姿估计运动中的人体位姿。实验结果证明,该算法是有效和优越的。     

基于深度学习的物体点云六维位姿估计方法

物体位姿估计是机器人在散乱环境中实现三维物体拾取的关键技术,然而目前多数用于物体位姿估计的深度学习方法严重依赖场景的RGB信息,从而限制了其应用范围。提出基于深度学习的六维位姿估计方法,在物理仿真环境下生成针对工业零件的数据集,将三维点云映射到二维平面生成深度特征图和法线特征图,并使用特征融合网络对散乱场景中的工业零件进行六维位姿估计。在仿真数据集和真实数据集上的实验结果表明,该方法相比传统点云位姿估计方法准确率更高、计算时间更短,且对于疏密程度不一致的点云以及噪声均具有更强的鲁棒性。     

一种多模块神经网络与遗传算法相结合的单目位姿估计方法

针对机器人抓取场景中存在的工件位姿不确定、堆叠遮挡等问题，提出一种多模块神经网络与遗传算法相结合的单目位姿估计方法，实现由目标工件检测到平面定位、再到位姿全方位立体匹配的逐级优化过程。首先，利用神经网络识别工件并分割工件区域，结合预测的中心位置构建L形边界，从而得到工件投影的局部有效模型。然后提取工件区域内的边缘信息来生成基于倾角分层的倒角距离函数，结合局部有效模型的形状构建匹配度函数，以适应遮挡情况。采用大范围搜索和小范围优化相结合的策略，利用遗传算法实现6D位姿的快速收敛。基于ArUco码对工件进行数据集构建和实验测试，结果表明该方法能在0.5 s左右实现对工件的位姿估计，在420 mm的观察距离下，横向平移误差能控制在1 mm左右，旋转角度平均误差控制在2°以内。通过实验对比分析可知，本方法能有效应对复杂环境下工件位姿的准确估计，提升机器人工作效率。     

基于特征融合的6D目标位姿估计算法

为提高弱纹理目标和遮挡目标位姿估计的准确性，提出一种基于特征融合的6D目标位姿估计算法。从RGB-D图像中提取目标的颜色特征与点云特征；通过点集抽象在小区域内提取精细的局部几何特征，并扩展到更大局部区域，获得不同层次的局部几何特征以及目标的全局几何特征；将目标的颜色特征与几何特征进行融合，训练神经网络输出初始位姿。实验结果表明，与其它经典算法相比，该方法对于LineMOD数据集及YCB-Video数据集目标的平均位姿估计精度均有提升，对于弱纹理目标和遮挡目标均有较优表现。     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

机器人视觉智能识别与无序抓取实验系统设计

本文针对复杂汽车生产制造环境中,多种类、多目标散乱堆叠场景下的机器人抓取问题,建立对油气分离器等四种不同配件的智能识别无序抓取系统;利用Photoneo公司的3D Scanner-M面结构光传感器采集目标的三维点云数据、大族机器人Elfin-E10为机械操作手臂,设计了6D位姿估计深度学习网络模型,并利用实例分割网络将点云的前景点和背景点解耦,进而将实例聚类,生成统一的点云切片,送入后续网络进行位姿估计。实验是通过在实际精确抓装项目任务中的应用,分别在MFC和ROS-QT软件架构中搭建了基于传统点云位姿估计方法和深度网络位姿估计方法的软件平台,并在实际场景中完成了对油气分离器等工件的全过程抓取,对6D位姿估计的深度网络的有效性进行了对比实验与验证。结果表明,本文提出的位姿估计识别方法在完成对目标工件的抓取上拥有较高的成功率。     

基于扩展卡尔曼滤波的5-Dof圆位姿估计算法

现有圆位姿估计方法对输入帧进行独立处理,忽略了有价值的目标动态信息,圆位姿估计精度有提升空间,提出一种基于EKF的高精度5-Dof圆位姿估计方法,圆位姿由5自由度向量ξ=(X,Y,Z,α,β)^T表示。该方法引入贝叶斯框架捕获视频连续帧的时间信息,优化圆位姿估计系统。首先,为了与2D椭圆轮廓交互,算法构造出5自由度向量ξ表示的空间圆投影轮廓5-Dof模型,进而设计非线性测量函数。其次,将该测量函数与扩展卡尔曼滤波(EKF)算法相结合,用于圆位姿优化。此外,使用简单的线性卡尔曼滤波算法(KF)对圆位姿估计值进行修正。实验表明,针对含有不同方差噪声的图像序列,算法利用图像序列的时间相关性,有效提高圆位姿估计精度。     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

基于地形高程模型的飞行器位姿估计方法

针对无法依靠景象匹配手段进行导航定位和无法有效利用惯导姿态信息的情况,提出了一种基于地形高程模型的飞行器绝对姿态和位置的估计方法。该方法首先利用机载下视摄像系统获取实时立体图像对及利用传感器获得飞行速度信息,通过修改双像运动模型来重建飞行器下方的地形信息;然后利用三维重建结果的刚体约束给出一种匹配机载地形高程模型数据的方法,用于估计飞行器在世界坐标系中的绝对位姿。仿真结果表明：改进的双像运动模型具有更高的精度,更有利于在世界坐标系下进行位姿估计。     

基于激光雷达的移动机器人位姿估计方法综述

位姿估计是移动机器人研究的一个核心问题．本文综述了国内外基于激光雷达的移 动机器人位姿估计的最新进展，并对各种方法进行分类、比较和分析，从中归纳出应用中值 得注意的问题和发展趋势．     

基于条件卷积与极化自注意力的单目深度与位姿估计

基于运动恢复结构与视图合成的自监督范式，引入条件卷积与极化自注意力，提出新的单目深度与位姿估计模型。条件卷积对不同输入数据进行多组动态的卷积权重赋值，所有权重在经过加权整合后共享一次卷积操作，在不显著增加计算量的情况下实现模型容量的提升。图像信息完整性对深度估计任务的性能有极大影响，极化自注意力通过极化滤波使数据在通道或空间维度上保持高分辨率，防止图像的细粒度信息或结构信息丢失；同时压缩与通道或空间正交的维度，减小计算量，并通过非线性函数对压缩过程中损失的特征强度范围进行增强与动态映射。自注意力机制可以实现数据在各维度上的长距离建模。在KITTI数据集上进行实验，证明了所提出模型在自监督单目深度与位姿估计任务中有优异的性能表现。     

基于嵌套剖分的位姿图分层优化算法

位姿图优化 （pose graph optimization,PGO）是一种在同时定位与地图构建（simultaneous localization and mapping,SLAM）后端优化中常用的高维非凸优化算法,通常建模成极大似然估计。由于目前的PGO算法优化大规模大噪声数据集时很难在保证精度的同时提升速度。所以提出了一种基于嵌套剖分的位姿图分层优化算法。该算法首先建立不同距离度量的χ2检验模型,进而剔除异常值点。然后利用嵌套剖分算法将位姿图分割成一组子图,再从这些子图中提取出一个表示原SLAM问题的抽象拓扑的骨架图,从而优化该骨架图,完成初始化。最后在模拟和真实的位姿图数据集上进行实验评估,结果表明该算法在不影响精度的情况下,可以提高算法的计算速度,具有可伸缩性。     

一种高精度鲁棒的基于直线对应的位姿估计迭代算法

2D-3D特征对应位姿估计问题算法多基于点对应,而基于直线对应求解比基于点对应求解更具有优势。从欧氏空间这一新颖角度出发,提出了一种从直线对应求解位姿估计问题的迭代算法,算法思想是先迭代求解出最优的旋转矩阵,然后再得到平移向量。针对不同的直线组情形,给出了相应的迭代初始值计算方法。仿真实验数据表明,算法具有对初始值较不敏感、高精度、鲁棒性好等特点。     

基于单目相机的视觉重定位方法综述

综述了单目相机重定位的研究现状和最新进展,介绍了该领域的关键方法.不同于现有对重定位方法进行纵向分类的方式,本文提出了一种从场景模型构建、环境信息匹配、相机位姿解算3个方面进行展开的直观、统一的横向视觉定位结构体系,在该体系中基于深度学习以及基于几何结构的视觉重定位方法首次被统一地对比阐述.基于深入的性能分析讨论和可视化结果,指出了目前该领域导致性能瓶颈的因素和仍然存在的挑战,并对当前性能优越的相机位姿估计方法进行了分析和总结.最后展望了未来相机重定位估计方法的发展动向.     

一种融合稀疏几何特征与深度流的深度视觉SLAM算法

为了克服移动机器人在视觉退化场景下的位姿估计问题,通过将稠密的深度流与稀疏几何特征相结合,提出了一种实时、鲁棒和低漂移的深度视觉SLAM(同时定位与地图构建)算法.该算法主要由3个优化层组成,基于深度流的视觉里程计层、基于ICP(迭代最近点)的位姿优化层和基于位姿图的优化层.基于深度流的视觉里程计层通过建立深度变化约束方程实现相机帧间快速的6自由度位姿估计;基于ICP的位姿优化层通过构建局部地图来消除局部漂移;基于位姿图的优化层从深度信息中提取、匹配稀疏几何特征,从而建立闭环约束并通过位姿图来实现全局位姿优化.对本文所提出的算法分别在TUM数据集和实际场景中进行了性能测试.实验结果表明本文的前端算法的性能优于当前深度视觉主流算法,后端算法可以较为鲁棒地建立闭环约束并消除前端位姿估计所产生的全局漂移.     

未标定相机的高精度位姿估计方法

针对未标定相机的位姿估计问题,提出了一种焦距和位姿同时迭代的高精度位姿估计算法。现有的未标定相机的位姿估计算法是焦距和相机位姿单独求解,焦距估计精度较差。提出的算法首先通过现有算法得到相机焦距和位姿的初始参数;然后在正交迭代的基础上推导了焦距和位姿最小化函数,将焦距和位姿同时作为初始值进行迭代计算;最后得到高精度的焦距和位姿参数。仿真实验表明提出的算法在点数为10,噪声标准差为2的情况下,角度相对误差小于1%,平移相对误差小于4%,焦距相对误差小于3%;真实实验表明提出的算法与棋盘标定方法的精度相当。与现有算法相比,能够对未标定相机进行高精度的焦距和位姿估计。