基于深度相机的边缘融合直接位姿估计方法

针对基于边缘的视觉里程计方法对光度变化敏感、提取边缘不稳定的问题,提岀了基于深度相机的边缘融合直接位姿估计方法.融合了传统方法与深度学习的优势进行边缘提取,提高了边缘提取的信噪比;然后将提取的边缘进行基于直接法的相机位姿估计,并使用非参数统计的方法拟合边缘像素残差,给出参与计算的像素权重,使得所提方法对光度变化具有更强...     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

一种估计深度相机位姿精度的闭式算法

针对深度相机,提出了估计位姿变换精度的闭式解算法.相对位姿由6自由度向量T=[x,y,z,α,β,γ]表示,计算该向量的协方差矩阵来表征相对位姿精度.定义3维点对到相对位姿的隐式函数,利用隐式定理计算该隐式函数相对于点对集合的偏导数,从而根据隐式函数变化趋势和深度相机测量误差来计算协方差矩阵.该方法要求3维点对匹配准确无误,所以本文同时提出在给定相对位姿情况下匹配3维点对算法,该算法充分利用深度相机可以同时返回深度信息和灰度信息的特点.最后在随机生成数据和真实数据上验证了相对位姿精度估计算法的有效性.     

基于Quaterion EKF的未标定机器人视觉伺服系统位姿估算

针对单目未标定机器人视觉伺服系统中目标位姿估算问题,设计了一个基于Quaternion(四元数)的扩展卡尔曼滤波器,该算法引入四元数描述目标姿态角,以四元数、目标在相机坐标系中的位置、运动速度作为状态向量,以目标特征点在成像平面的像素坐标为观测向量。利用MATLAB分析协方差矩阵R、Q对算法的影响,并确定最优的协方差矩阵。文末通过MATLAB仿真和实验研究对该算法进行了验证,并与传统EKF进行了比较。结果表明,本文提出的算法能显著提高目标位姿估算精度,可以满足应用要求。     

一种高精度鲁棒的基于直线对应的位姿估计迭代算法

2D-3D特征对应位姿估计问题算法多基于点对应,而基于直线对应求解比基于点对应求解更具有优势。从欧氏空间这一新颖角度出发,提出了一种从直线对应求解位姿估计问题的迭代算法,算法思想是先迭代求解出最优的旋转矩阵,然后再得到平移向量。针对不同的直线组情形,给出了相应的迭代初始值计算方法。仿真实验数据表明,算法具有对初始值较不敏感、高精度、鲁棒性好等特点。     

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。     

机器人的位姿标定及其误差补偿

本文用建立机器人目标空间转换矩阵的方法,通过对机器人几点位姿的标定,从而补偿这几点及以这几点为中心的小区域的误差.这种方法简便实用,仅用标定和增加一些软件的方法可使工业机器人位姿精度大大提高.     

一种基于模型的单相机姿态估计方法

利用单幅影像测量目标在空间的位置和姿态参数(Pose)在目标定位、场景监测与更新、目标识别、自动导航等领域有着广泛的应用。目前有很多方法用于解决该问题,这些方法按照目标模型点与对应成像点的对应关系是否已知而分为两大类:一类是对应性已知条件下求解Pose;另一类是对应性未知条件下同时求解Pose与对应性问题。该文提出了一种新的采用单幅影像求解目标位置与姿态参数的方法。与已有的方法不同,该方法完全回避了与Pose问题并存的对应性问题。它利用目标模型投影与真实影像中目标区域的重合程度建立一个包含Pose参数的能量函数,将Pose求解转换为能量最优化问题,并采用了Hooke-Jeeves算法求解这个最优问题。多组仿真数据的仿真实验结果表明,该方法是正确和有效的。     

摄像机位姿的加权线性算法

针对摄像机位姿问题提出了一种加权线性方法,其关键思想是通过加权使经典线性方法的代数误差近似于重投影算法的几何误差,从而达到接近于最大似然估计(Levenberg-Marquardt简称ML)的精度.通过对经典DLT(direct linear transformation)算法和EPnP算法使用加权的方法,给出了加权DLT算法(WDLT)和加权EPnP算法(WEPnP).大量模拟数据和真实图像实验结果均表明,WDLT和WEPnP算法不仅能提高DLT和EPnP算法的精度,而且在深度较小的情况下优于Lu的非线性算法.     

未标定摄像机P5P问题的一种解析解

经典PnP问题是以摄像机内参已知为前提条件的,然而对未标定摄像机PnP问题的研究更具有实际意义.文中对未标定四参数针孔摄像机P5P问题的解析解进行了研究,不仅可以求出摄像机相对于世界坐标系的位姿,而且还能得到摄像机的内参.首先根据投影方程和旋转矩阵的性质,利用16个变量构造出了16个约束方程,然后通过消元推导出只含一个未知数的4次多项式方程,分析证实一般情况下未标定摄像机P5P问题最多有4组解.大量的仿真实验表明该算法在确定摄像机位姿上精度很高,且鲁棒性很强.该算法在物体定位、手眼定标、路标导航等领域具有比较重要的实际应用价值.     

由二次曲线确定摄像机方位的线性算法

该文研究了通过间二次曲线与图像二次曲线的对应关系来线性确定摄像机方位的方法，并从理论上证明了下述结论，给定三给对应的二次曲线，如果三条空间二次曲线相互处于一般位置，则摄像机的方位可线性地唯一确性。模拟实验表明，本文所给的算法与点对应，线对应的定位方法相比，有较好的鲁棒性。     

场景摄像机构型下图像空间内的无标定路径规划研究

基于图像的视觉伺服可用于对机械臂的运动进行有效的控制。然而,正如许多研究者指出的,当初始位置和期望位置相距较远时,此种控制策略将因其局部特性而存在收敛性、稳定性问题。通过在图像平面内定义充分的图像特征轨迹,并对这些轨迹进行跟踪,我们可以充分利用基于图像的视觉伺服所固有的局部收敛性及稳定性特性这一优势,从而避免初始位置与期望位置相距较远时所面临的问题。因此,近年来,图像空间路径规划已成为机器人领域的一个热点研究问题。但是,目前几乎所有的有关结果均是针对手眼视觉系统提出的。本文将针对场景摄像机视觉系统提出一种未标定视觉路径规划算法。此算法在射影空间中直接计算图像特征的轨迹,这样可保证它们与刚体运动一致。通过将旋转及平移运动的射影表示分解为规范化形式,我们可以很容易地对其射影空间内的路径进行插值。在此之后,图像平面中的图像特征轨迹可通过射影路径产生。通过这种方式,此算法并不需要特征点结构和摄像机内部参数的有关知识。为了验证所提算法的可行性及系统性能,本文最后给出了基于PUMA560机械臂的仿真研究结果。     

改进的三维人体姿态估计算法

针对目前三维人体姿态由于遮挡、姿态复杂等预测不准确的问题,提出了一种改进的三维人体姿态估计算法以获得准确的三维人体姿态,提高人体姿态估计性能.本文采用时空图注意力卷积网络中的图注意力块来构建整个网络,在此基础上对全局多头图注意力部分的网络结构进行改进,使节点间更好传播和融合信息,捕获图中没有显式表示的语义信息.同时引入运动学约束,在MPJPE损失的基础上,加上骨骼长度损失.通过对局部和全局的空间节点信息建模,实现对局部运动学连接、对称性和全局姿态的人体骨骼运动学约束的学习.通过实验证明,本文改进后的模型有效地提高了人体姿态估计性能,在Human3.6M数据集上相较于原始模型,实现了1.8%的平均关节位置误差(MPJPE)提升和1.3%的预测关节与真值关节刚性对齐后的平均关节位置误差(P-MPJPE)提升.     

一种新的基于直线的定位方法

我们通常采用任意摆放位置的三条直线来完成三维物体定位. 对于交于两点的三条非共面直线这种配置, 它具有位置任意摆放三条直线不具有的一些特殊性质. 因此, 我们基于这种特殊配置直线提出一种确定物体位姿的新方法. 在理论上, 这种方法是对基于三条直线位姿估计方法的丰富, 同时这种方法也能为实际工程应用提供支持. 而且, 我们提出一种解决多解现象的方法和一种新的迭代方法. 最后, 仿真实验表明我们的算法具有较快的工作速度和较好的鲁棒性.     

相机标定的金字塔迭代优化算法

在当前交通场景中,位姿、焦距均可变的云台相机正在被大规模应用,现有的相机标定模型在求解相机参数的过程中,通常使用先验条件一次性求解相机参数的方法。这种方法在云台相机不断改变位姿和焦距的过程中,标定结果存在不稳定、不精确的情况,其中相机高度的不稳定现象尤为明显。针对这个问题,提出一种基于焦距和相机高度的金字塔迭代优化方案。使用基础的相机标定,得到一个基础标定结果;设定沿道路方向优化对比内容为道路标线,垂直于道路方向上为道路宽度;设定焦距和相机高度优化范围及初始优化步长,并采用金字塔迭代的方式进行结果优化,最终得到最佳优化结果。在高速公路的数据集上的实验结果表明,该方法能够有效提高相机标定参数的精度和稳定性,比之传统标定算法,在沿道路方向上精度提高8%,垂直于道路方向精度提高6.5%,综合精度提高6.5%;在云台相机改变位姿和焦距过程中,相机高度波动稳定在2%以内。     

基于轻量级姿态估计的跳绳检测计数算法

针对人体姿态估计算法可实施性低以及基于姿态估计的跳绳计数精度不高的问题, 提出了一种基于轻量级人体姿态估计网络的跳绳计数算法. 该算法首先输入跳绳视频, 接着利用帧间差分法提取关键帧图像并送入人体姿态估计网络进行关节点检测; 同时为了解决轻量级网络检测精度不高的问题, 提出优化的LitePose检测模型, 采用自适应感知解码方法对模型的解码部分进行优化从而减少量化误差; 然后采用卡尔曼滤波对坐标数据进行平滑降噪, 以减小坐标抖动误差; 最终通过关键点坐标变化判断跳绳计数. 实验结果表明, 在相同图像分辨率和环境配置下, 本文提出的算法使用优化的LitePose-S网络模型, 不仅未增加模型参数量和运算复杂度, 同时网络检测精度提高了0.7%, 且优于其他对比网络, 而且本算法在跳绳计数时的平均误差率最低可达1.00%, 可以利用人体姿态估计的结果有效地判断人体起跳和落地情况, 最终得出计数结果.     

基于TOF相机的非合作矩形目标三维位姿测量方法

针对目前空间非合作矩形目标位姿测量过程中提取像素级特征点误差大、距离测量值不稳定等导致的测量精度不高的问题,提出一种基于TOF（Time-of-Flight）相机的非合作矩形目标三维位姿测量方法。首先对灰度图像进行修正的FAST特征点提取,然后分别计算提取出的特征点在相机坐标系和目标坐标系下的三维坐标,最后检测矩形目标亚像素级角点并融合30帧距离信息后再计算姿态角。实验结果表明,对于1m距离范围内边长为50mm的非合作矩形目标,Z轴、X轴、Y轴方向位置测量的绝对误差平均值分别为2.65mm、1.28mm、0.60mm。姿态角γ测量的绝对误差平均值降为0.52°。相对于传统的基于点云配准的位姿测量方法,姿态角测量的绝对误差降低了48.0%,显著地提高了非合作目标三维位姿测量的精度和稳定性,具有广泛的应用前景。