基于深度学习SuperGlue算法的单目视觉里程计

基于特征点法的视觉里程计中,光照和视角变化会导致特征点提取不稳定,进而影响相机位姿估计精度,针对该问题,提出了一种基于深度学习SuperGlue匹配算法的单目视觉里程计建模方法。首先,通过SuperPoint检测器获取特征点,并对得到的特征点进行编码,得到包含特征点坐标和描述子的向量;然后,通过注意力GNN网络生成更具代表性的描述子,并创建M×N型得分分配矩阵,采用Sinkhorn算法求解最优得分分配矩阵,从而得到最优特征匹配;最后,根据最优特征匹配进行相机位姿恢复,采用最小化投影误差法进行相机位姿优化。实验结果表明,在无后端优化的条件下,该算法与基于ORB或SIFT算法的视觉里程计相比,不仅对视角和光线变化更鲁棒,而且其绝对轨迹误差和相对位姿误差的精度均有显著提升,进一步验证了基于深度学习的SuperGlue匹配算法在视觉SLAM中的可行性和优越性。     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

单目相机轨迹的真实尺度恢复

目的单目相机运动轨迹恢复由于输入只有单目视频序列而缺乏尺度信息,生成的轨迹存在严重漂移而无法进行高精度应用。为了能够运用单目相机普及度高、成本低的优势,提出一种基于场景几何的方法在自动驾驶领域进行真实尺度恢复。方法首先使用深度估计网络对连续图像进行相对深度估计,利用估计的深度值将像素点从2维平面投影到3维空间。然后对光流网络估计出的光流进行前后光流一致性计算得到有效匹配点,使用传统方法求解位姿,使相对深度与位姿尺度统一。再利用相对深度值计算表面法向量图求解地面点群,通过几何关系计算相同尺度的相机高度后引入相机先验高度得到初始尺度。最后为了减小图像噪声对尺度造成的偏差,由额外的车辆检测模块计算出的补偿尺度与初始尺度加权得到最终尺度。结果实验在KITTI(Karlsruhe Institute of Technology and Toyota Technological at Chicago)自动驾驶数据集上进行,相机运动轨迹和图像深度均在精度上得到提高。使用深度真实值尺度还原后的相对深度的绝对误差为0.114,使用本文方法进行尺度恢复后的绝对深度的绝对误差为0.116。对得到的相机运动轨...     

单目主动摄像头真实三维重建

由于单目摄像头尺度缺失,导致鲁棒位姿估计结果不准确,为此提出单目主动摄像头真实三维重建方法.通过融合机器人的控制信息和尺寸信息,得到单目相机的位置信息,利用位置信息计算出等效基线,根据变基线等效双目策略理论获取精度更高的深度估计;采用GoDec-RANSAC算法排除样本点中的局外点,估计鲁棒位姿;通过获取的位姿,估计最后一帧图像与第一帧图像之间的相对位姿,得到全局位姿估计,完成单目主动摄像头真实三维重建.仿真实验结果表明,该方法能够准确的估计鲁棒位姿.     

基于非线性优化的长宽比未知矩形的位姿测量

提出一种新的基于非线性优化的长宽比未知矩形的位姿测量算法．该算法利用矩形顶点对应的4个像点,可有效地估计出矩形长宽比,并且给出矩形目标跟相机之间的相对姿态以及在矩形边长尺度下的相对位置．在该算法中,为了消除相对位姿和长宽比对计算精度的相互影响,将原问题分解为求解相对位姿和求解长宽比两个子问题．对求解相对姿态子问题建立关于相对位姿的代价函数,采用SE（3）李群的方法对相对位姿进行表示,通过优化代价函数对位姿进行求解;对求解长宽比子问题采用二分法搜索最优值的求解方法．通过实验验证了该算法在使用4个像点进行长宽比估计时的有效性和实时性．其相对计算误差小于3%,而且算法在普通PC上可以满足实时测量位姿的需求．     

基于传感器和视觉SLAM的双目相机虚拟注册研究

在无标记增强现实中,针对基于视觉特征的同时定位与地图构建(SLAM)增强现实注册算法在图像模糊、运动过快和特征缺失等情况下存在精度急剧下降问题,提出一种在视觉SLAM基础上融合惯性测量单元(IMU,Inertial measurement unit)改进的相机定位与虚拟注册方法.所提注册方法,在进行特征点匹配时通过IMU预积分模块减小匹配特征点的搜索空间,加速特征点匹配过程,提高时间效率;确定相机位姿时,采用视觉SLAM和IMU数据联合求解相机位姿,提高了注册精度.再根据相机位姿变化信息计算出变换矩阵,完成对虚拟对象的注册.最后,通过EuRoC数据集验证该方法的性能,对比其他方法,所提方法具有更高的时间效率和注册精度.     

平方根容积卡尔曼滤波概率假设密度算法在移动机器人同时定位与地图构建中的应用

针对杂波环境或数据关联模糊环境下移动机器人同时定位与地图构建(SLAM)的问题,本文提出平方根容积卡尔曼滤波概率假设密度(SRCKF-PHD)SLAM算法,该算法的主要特点在于:1)采用容积规则方法计算非线性函数高斯权重积分以及机器人位姿粒子权重,达到改善位姿估计性能的目的;2)在高斯混合概率假设密度更新过程中,将平方根容积卡尔曼滤波应用于高斯项权重更新及观测似然计算中,保证了协方差矩阵的对称性和半正定性,提高了地图估计的精度和稳定性.通过仿真实验及CarPark数据集,将提出算法与RB-PHD-SLAM算法进行对比,结果表明该算法对机器人位姿估计精度及地图估计精度的提高是有效的.     

一种基于CI因子图的多机器人2D地图融合算法

针对地图融合时多机器人位姿估计过程中互协方差未知的问题,提出了一种基于协方差交叉点(covariance intersection,CI)因子图的2D地图融合算法.首先通过坐标变换矩阵实现机器人坐标到全局坐标的转换,然后以最小化非线性性能指标为原则求取局部的估计信息权重,通过算法融合各局部估计信息,计算出融合点的位姿和互协方差.最后通过协方差通用公式,计算出融合点到下一级变量节点的概率约束(协方差),进而完成因子图融合.实验结果表明,该算法具有一定的可行性.     

考虑多位姿估计约束的双目视觉里程计

为了提升复杂环境中双目视觉里程计的精度,提出一种考虑多位姿估计约束的双目视觉里程计方法.首先,分别建立匹配深度已知点与深度未知点的数学模型,将深度未知点引入2D-2D位姿估计模型,从而充分利用图像信息;然后,基于关键帧地图点改进3D-2D位姿估计模型,并结合当前帧地图点更新关键帧地图点,从而增加匹配点对数,提高位姿估计精度;最后,根据改进的2D-2D及3D-2D位姿估计模型,建立多位姿估计约束位姿估计模型,结合局部光束平差法对位姿估计进行局部优化,达到定位精度高且累积误差小的效果.数据集实验和实际场景在线实验表明,所提出方法满足实时定位要求,且有效地提高了自主定位精度.     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

工厂环境下改进的视觉SLAM算法

针对工业场景对自动导引车(AGV)高定位精度的要求,提出一种改进的视觉同时定位与地图创建(VSLAM)算法.在算法前端,双目相机采集立体图像,通过双目匹配算法得到亚像素级的匹配点对,计算出这些特征点在相机坐标系中的3D信息.然后利用RansacPnP算法根据3D-2D匹配点对计算位姿变换,并以它为初值进一步最小化重投影误差,实现局部优化.基于匹配点对描述子的汉明距离提出一种不确定性模型,该模型为局部优化中的约束条件提供信息矩阵,提高定位精度.在算法的后端,通过竖直向上拍摄的单目相机检测可靠的人工信标闭环信息,进行全局位姿优化,并针对AGV的运动模型和工作场景,提出一种基于全局平面约束的优化方法,降低SLAM系统的误差.实验通过KITTI离线数据集对比了该算法前端双目里程计与ORB-SLAM2及libviso2算法里程计的定位精度,并在工厂环境中对整个算法进行实地测试来判断其实际精度和鲁棒性.实验结果表明该算法具有良好的综合性能,定位误差在10 cm以内,定位频率达20 Hz,能够满足工业现场要求.     

基于深度学习的矩阵分解推荐模型

通过对深度学习和矩阵分解技术进行结合,设计一个深度神经网络对用户和物品进行特征提取,形成用户隐向量和物品隐向量的方法,计算这两个隐向量的内积得到用户对物品的评分预测.为提高推荐精度,提出使用显式数据和隐式数据并设计新的损失函数能够同时计算这两类数据损失的方法.在两个公开数据集上的实验结果表明,该方法比基线模型在HR和N...     

人脸位姿协同的多新息抗扰滤波算法

在偏转角度较大时,人脸特征点的显著性明显减弱,会导致人脸位姿计算结果带有较大噪声.针对这一问题,提出了多新息抗扰滤波算法,将运动人脸与标准人脸模型的位姿变化作为滤波观测量:(1)引入多新息修正滤波估计,利用时间序列的多组观测量估计人脸位姿变化的状态量;(2)实时判断滤波敛散性,根据多新息及时估计观测噪声协方差与过程噪声协方差,调整卡尔曼增益矩阵;(3)建立位姿协同模型,依据滤波后的人脸位姿变化计算相机运动参数,达到相机与人脸位姿协同.在给出试验装置硬件构成的基础上,将本文算法与自适应卡尔曼滤波(AKF)算法进行对比.试验结果表明,在人脸位姿协同系统中,本文算法位姿估计误差小于10 mm,相机协同时间约为25 ms,相较于AKF算法位姿准确度提高23%,协同效率提高30%,能够有效抑制位姿协同中人脸位姿计算所带来的噪声影响,在提高人脸位姿协同系统稳定性的同时,保证响应的实时性.     

一种融合稀疏几何特征与深度流的深度视觉SLAM算法

为了克服移动机器人在视觉退化场景下的位姿估计问题,通过将稠密的深度流与稀疏几何特征相结合,提出了一种实时、鲁棒和低漂移的深度视觉SLAM(同时定位与地图构建)算法.该算法主要由3个优化层组成,基于深度流的视觉里程计层、基于ICP(迭代最近点)的位姿优化层和基于位姿图的优化层.基于深度流的视觉里程计层通过建立深度变化约束方程实现相机帧间快速的6自由度位姿估计;基于ICP的位姿优化层通过构建局部地图来消除局部漂移;基于位姿图的优化层从深度信息中提取、匹配稀疏几何特征,从而建立闭环约束并通过位姿图来实现全局位姿优化.对本文所提出的算法分别在TUM数据集和实际场景中进行了性能测试.实验结果表明本文的前端算法的性能优于当前深度视觉主流算法,后端算法可以较为鲁棒地建立闭环约束并消除前端位姿估计所产生的全局漂移.     

基于K-Means聚类与深度学习的RGB-D SLAM算法

传统的RGB-D视觉同时定位与制图（SLAM）算法在动态场景中识别动态特征时会产生数据错误关联,导致视觉SLAM估计姿态精度退化。提出一种适用于动态场景的RGB-D SLAM算法,利用全新的跨平台神经网络深度学习框架检测场景中的动态语义特征,并分割提取对应的动态语义特征区域。结合深度图像的K均值聚类算法和动态语义特征区域对点特征深度值进行聚类,根据聚类结果剔除动态特征点,同时通过剩余特征点计算RGB-D相机的位姿。实验结果表明,相比ORB-SLAM2、OFD-SLAM、MR-SLAM等算法,该算法能够减小动态场景下的跟踪误差,提高相机位姿估计的精度和鲁棒性,其在TUM动态数据集上相机绝对轨迹的均方根误差约为0.019 m。     

基于混合运动估计方法的视觉里程计

由于RGB-D相机深度信息范围有限且易受噪声影响,为了提高其视觉里程计的精度,提出一种基于混合3D-3D和3D-2D运动估计方法的视觉里程计。使用基于RICP算法（RANSAC-ICP）的3D-3D模型,并结合3D-2D运动模型,将深度信息缺失的二维特征点添加到估计方法中,充分利用了图像信息,提高了匹配准确率。综合考虑了关键帧和前一帧的地图信息进行迭代估计,增加了匹配点对数量,提供了更多约束信息。在该混合运动估计方法的基础上,结合稀疏光束平差法SBA对位姿估计结果进行优化,达到定位精度高、积累误差小的效果。在基于Kinect相机的移动平台上进行了验证,结合离线和在线实验表明,该方法满足实时性同时有效地提高了定位精度。     

基于Quaterion EKF的未标定机器人视觉伺服系统位姿估算

针对单目未标定机器人视觉伺服系统中目标位姿估算问题,设计了一个基于Quaternion(四元数)的扩展卡尔曼滤波器,该算法引入四元数描述目标姿态角,以四元数、目标在相机坐标系中的位置、运动速度作为状态向量,以目标特征点在成像平面的像素坐标为观测向量。利用MATLAB分析协方差矩阵R、Q对算法的影响,并确定最优的协方差矩阵。文末通过MATLAB仿真和实验研究对该算法进行了验证,并与传统EKF进行了比较。结果表明,本文提出的算法能显著提高目标位姿估算精度,可以满足应用要求。     

基于直接解算与迭代优化的相对定向方法

为了提高相对定向的鲁棒性和精度,提出了一种直接解算与迭代优化相结合的相对定向方法。该方法首先由同名点估计本征矩阵;然后,通过分解本征矩阵得到两相机的初始相对位姿,详细介绍了确定唯一初始位姿参数的过程;最后,通过建立水平核线坐标系,基于共面约束由同名点构建约束方程组,对初始位姿参数进行迭代优化。通过在直接解算时采用随机采样一致性(RANSAC)策略及迭代优化中进行动态剔点,使算法对外点具有极高的抗性。仿真实验结果表明,在引入各种随机误差的条件下,所提方法的解算效率和精度均优于传统方法。实际数据实验证明所提算法可有效应用于三维重建中的相对位姿估计。     

未标定相机的高精度位姿估计方法

针对未标定相机的位姿估计问题,提出了一种焦距和位姿同时迭代的高精度位姿估计算法。现有的未标定相机的位姿估计算法是焦距和相机位姿单独求解,焦距估计精度较差。提出的算法首先通过现有算法得到相机焦距和位姿的初始参数;然后在正交迭代的基础上推导了焦距和位姿最小化函数,将焦距和位姿同时作为初始值进行迭代计算;最后得到高精度的焦距和位姿参数。仿真实验表明提出的算法在点数为10,噪声标准差为2的情况下,角度相对误差小于1%,平移相对误差小于4%,焦距相对误差小于3%;真实实验表明提出的算法与棋盘标定方法的精度相当。与现有算法相比,能够对未标定相机进行高精度的焦距和位姿估计。     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.