一种融合稀疏几何特征与深度流的深度视觉SLAM算法

为了克服移动机器人在视觉退化场景下的位姿估计问题,通过将稠密的深度流与稀疏几何特征相结合,提出了一种实时、鲁棒和低漂移的深度视觉SLAM(同时定位与地图构建)算法.该算法主要由3个优化层组成,基于深度流的视觉里程计层、基于ICP(迭代最近点)的位姿优化层和基于位姿图的优化层.基于深度流的视觉里程计层通过建立深度变化约束方程实现相机帧间快速的6自由度位姿估计;基于ICP的位姿优化层通过构建局部地图来消除局部漂移;基于位姿图的优化层从深度信息中提取、匹配稀疏几何特征,从而建立闭环约束并通过位姿图来实现全局位姿优化.对本文所提出的算法分别在TUM数据集和实际场景中进行了性能测试.实验结果表明本文的前端算法的性能优于当前深度视觉主流算法,后端算法可以较为鲁棒地建立闭环约束并消除前端位姿估计所产生的全局漂移.     

基于点线结合特征的单目视觉里程计

SLAM(即时定位与地图构建)系统是近年来计算机视觉领域的一大重要课题,其中特征法的SLAM凭借稳定性好、计算效率高的优点成为SLAM算法的主流。目前特征法SLAM主要基于点特征进行。针对基于点特征的视觉里程计依赖于数据质量,相机运动过快时容易跟丢,且生成的特征地图不包含场景结构信息等缺点,提出了一种基于点线结合特征的优化算法。相较于传统基于线段端点的六参数表达方式,算法采用一种四参数的方式表示空间直线,并使用点线特征进行联合图优化估计相机位姿。使用公开数据集和自采集鱼眼影像数据分别进行实验的结果表明,与仅使用点特征的方法相比,该方法可有效改善因相机运动过快产生的跟丢问题,增加轨迹长度,提升位姿估计精度,且生成的稀疏特征地图更能反映场景结构特征。     

RTM框架下基于点线特征的视觉SLAM算法

针对图像纹理较为单一及相对模糊时仅仅依靠点特征难以实现精确位姿估计的问题,采用分散模块化技术提出了一种基于点线特征的视觉SLAM(同时定位与地图创建)算法.首先,提取相机采集环境中的点特征及线特征,并根据帧间特征匹配进行跟踪;随后,采用改进的NICP(normal iterative closest point)算法与关键帧匹配策略构建里程计系统.在此基础上,引入基于点线特征词典的闭环检测与GTSAM(Georgia Tech smoothing and mapping library)图优化方法获取具有全局一致性位姿的3维点云地图.以机器人技术中间件构筑系统框架,在提高系统实时性的同时增强功能模块的可扩展性与灵活性.标准数据集与实际实验室场景下的实验结果验证了所提方法的可行性和有效性.     

基于RGB-D的移动机器人三维视觉SLAM

针对移动机器人三维视觉SLAM中存在的实时性不高,匹配误差较大的问题,提出了一种改进的特征匹配算法,提取ORB特征进行特征匹配,并采用基于最小距离与RANSAC结合的方法剔除误匹配。针对位姿估计不准确的问题,将传统的ICP算法与PNP算法结合提高配准成功率,并通过RANSAC与g^2 o优化位姿估计。实验结果表明该方法能有效提高SLAM系统的实时性和位姿估计的准确性     

语义线特征辅助的动态SLAM

动态环境干扰是视觉同时定位与地图构建（simultaneous localization and mapping,SLAM）领域内一个亟待解决的问题,场景中的运动对象会严重影响系统定位精度。结合语义信息和几何约束更强的线特征辅助基于传统ORB特征的SLAM系统来解决动态SLAM问题。首先采用深度学习领域的优秀成果SOLOv2作为场景分割网络,并赋予线特征语义信息;完成物体跟踪和静态区域初始化后,使用mask金字塔提取并分类特征点;再使用极线约束完成动态物体上点线特征的剔除;最后融合静态点线特征完成位姿的精确估计。在TUM动态数据集上的实验表明,提出的系统比ORB-SLAM3的位姿估计精度提高了72.20％,比DynaSLAM提高了20.42％,即使与近年来同领域内的优秀成果相比也有较好的精度表现。     

单目视觉系统自运动的滚动时域估计算法

单目视觉系统的自运动估计是计算机视觉领域中的一个关键问题。针对包含有建筑、树木等一般景物特征的应用环境,提出一种单目摄像机位姿估计的滚动时域位姿估计算法。首先分析极线约束方程的不同形式,建立多帧图像闭环之间的时空相关位姿约束,归纳全局最优模型。然后,采用滚动时域方法实现时域窗口内多时刻摄像机位姿的优化估计,实现算法复杂程度和精度的折衷。另外,在室外复杂应用环境下,对常规极约束、冗余极约束和滚动时域冗余极约束这3种位姿估计优化算法进行实验对比,验证该方法的有效性。     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

点线特征自适应融合室内SLAM算法

传统的视觉同时定位与地图创建(SLAM)依赖于点特征来估计相机位姿.然而在室内环境中存在大量低纹理区域,使得提取足够多的点特征变得困难.此外,当相机抖动剧烈或转向过快时,基于点特征的SLAM系统也并不鲁棒.针对上述问题,本文提出了一种基于RGB-D的点线特征融合SLAM算法,利用点特征和线特征的优点,在困难环境下获得了鲁棒的结果.首先,提出了一种基于特征丰富度的特征提取策略.解决在模糊和低纹理区域内提取特征困难的问题.其次,设计了一种点线特征关联图,优化线特征匹配效果.该方法不仅参考了线特征之间的相似关系,还考虑了点线特征之间的几何关系.最后,在构建光束法平差的成本函数时建立自适应模型,实现点线双模态特征的"无缝融合".本文分别在两个公开数据集和室内真实场景中进行了算法评估,并与其他先进算法对比.结果表明本文提出的算法具有更好的整体性能.     

3D视觉结合图像检测与导纳控制的圆轴孔零件机器人装配

面向机器人柔顺装配圆轴与圆孔零件,建立基于3D、单目视觉与导纳控制的机器人自动装配系统,提出基于三维点云的轴线位姿估计算法、图像深度学习目标检测、导纳控制结合的圆轴孔零件的装配策略.针对3D视觉估计圆孔零件位姿问题,重点研究基于三维点云的轴线位姿估计算法.首先,介绍三维点云关键点选取方法;然后,以点云表面法线与轴线的几何约束为基础,提出并分析轴线粗估计的算法;最后,在轴线粗估计的基础上,提出并分析基于迭代鲁棒最小二乘的轴线位姿优化的算法.实验结果表明:轴线位姿估计的角度均方根误差为0.248°,位置均方根误差为0.463 mm,与现有流行的轴线估计方法相比,所提方法的精度更高,使装配策略很好地满足了机器人圆形轴孔零件装配的精度高、稳定可靠的要求.     

基于平面约束的RGB-D SLAM系统

针对现有室内环境存在多个平面特征的特点,提出了一种使用平面特征优化相机位姿和建图的实时室内RGB-D 同时定位与地图构建（SLAM）系统。系统在前端采用迭代最近点（ICP）算法和直接法联合估计相机位姿,在后端提取相机关键帧平面特征并建立多种基于平面特征的约束关系,优化相机关键帧的位姿和平面特征参数,同时增量式地构建环境的平面结构模型。在多个公开数据序列上的实验结果表明,在平面信息丰富的环境中,平面特征约束能够减小位姿估计的累积误差,系统能够构建场景平面模型并只消耗少量的存储空间,在真实环境下的实验结果验证了系统在室内增强现实领域具有可行性和应用价值。     

基于共面二点一线特征的单目视觉定位

研究了根据点、线混合特征进行单目视觉定位问题,在给定物体坐标系中共面的两个特征点和一条特征直线的条件下,根据它们在像平面上的对应计算相机与物体之间的位姿参数。根据三个特征之间的几何位置关系,分两种情况给出问题求解的具体过程,最终将问题转换成求解一个二次方程问题,真实的工件定位实验验证了方法的有效性。该结果为应用单目视觉进行工件定位提供了一种新方法。     

一种高精度鲁棒的基于直线对应的位姿估计迭代算法

2D-3D特征对应位姿估计问题算法多基于点对应,而基于直线对应求解比基于点对应求解更具有优势。从欧氏空间这一新颖角度出发,提出了一种从直线对应求解位姿估计问题的迭代算法,算法思想是先迭代求解出最优的旋转矩阵,然后再得到平移向量。针对不同的直线组情形,给出了相应的迭代初始值计算方法。仿真实验数据表明,算法具有对初始值较不敏感、高精度、鲁棒性好等特点。     

Infinitesimal Plane-Based Pose Estimation

Estimating the pose of a plane given a set of point correspondences is a core problem in computer vision with many applications including Augmented Reality (AR), camera calibration and 3D scene reconstruction and interpretation. Despite much progress over recent years there is still the need for a more efficient and more accurate solution, particularly in mobile applications where the run-time budget is critical. We present a new analytic solution to the problem which is far faster than current methods based on solving Pose from \(n\) Points (PnP) and is in most cases more accurate. Our approach involves a new way to exploit redundancy in the homography coefficients. This uses the fact that when the homography is noisy it will estimate the true transform between the model plane and the image better at some regions on the plane than at others. Our method is based on locating a point where the transform is best estimated, and using only the local transformation at that point to constrain pose. This involves solving pose with a local non-redundant 1st-order PDE. We call this framework Infinitesimal Plane-based Pose Estimation (IPPE), because one can think of it as solving pose using the transform about an infinitesimally small region on the surface. We show experimentally that IPPE leads to very accurate pose estimates. Because IPPE is analytic it is both extremely fast and allows us to fully characterise the method in terms of degeneracies, number of returned solutions, and the geometric relationship of these solutions. This characterisation is not possible with state-of-the-art PnP methods.     

Pose Estimation using Point and Line Correspondences

The problem of a real-time pose estimation between a 3D scene and a single camera is a fundamental task in most 3D computer vision and robotics applications such as object tracking, visual servoing, and virtual reality. In this paper we present two fast methods for estimating the 3D pose using 2D to 3D point and line correspondences. The first method is based on the iterative use of a weak perspective camera model and forms a generalization of DeMenthon's method (1995) which consists of determining the pose from point correspondences. In this method the pose is iteratively improved with a weak perspective camera model and at convergence the computed pose corresponds to the perspective camera model. The second method is based on the iterative use of a paraperspective camera model which is a first order approximation of perspective. We describe in detail these two methods for both non-planar and planar objects. Experiments involving synthetic data as well as real range data indicate the feasibility and robustness of these two methods. We analyse the convergence of these methods and we conclude that the iterative paraperspective method has better convergence properties than the iterative weak perspective method. We also introduce a non-linear optimization method for solving the pose problem.     

基于对偶数的透视N线姿态估计

由空间几何信息（如点、线）与其图像元素间的对应关系来确定摄像机的外参数（位置和方向）,即姿态估计问题,是计算机视觉、摄影测量学等的主要研究问题之一。在针孔摄像机模型下,利用对偶数这一数学工具把基于点的姿态估计算法推广到基于线的姿态估计算法,使得点、线姿态估计算法得到了统一。与已有的基于线的姿态估计算法区别在于,并未利用空间线或图像线上孤立的点的信息,而是线的整体信息,这就避免了点对应问题以及由此带来的误差等问题。大量的模拟实验和真实实验验证了方法的可行性和有效性。     

On pose recovery for generalized visual sensors

With the advances in imaging technologies for robot or machine vision, new imaging devices are being developed for robot navigation or image-based rendering. However, to satisfy some design criterion, such as image resolution or viewing ranges, these devices are not necessarily being designed to follow the perspective rule and, thus, the imaging rays may not pass through a common point. Such generalized imaging devices may not be perspective and, therefore, their poses cannot be estimated with traditional techniques. In this paper, we propose a systematic method for pose estimation of such a generalized imaging device. We formulate it as a nonperspective n point (NPnP) problem. The case with exact solutions, n=3, is investigated comprehensively. Approximate solutions can be found for n>3 in a least-squared-error manner by combining an initial-pose-estimation procedure and an orthogonally iterative procedure. This proposed method can be applied not only to nonperspective imaging devices but also perspective ones. Results from experiments show that our approach can solve the NPnP problem accurately.     

一种基于旋转体的摄像机定位方法

基于旋转体的摄像机定位是单目合作目标定位领域中的涉及较少并且较为困难的一个问题,传统的基于点基元、直线基元及曲线基元的定位方法在用于旋转体定位过程中都存在相应的问题.文中设计了一种由4个相切椭圆构成的几何模型,该模型环绕于圆柱体表面,利用二次曲线的投影仍然是二次曲线的特性和椭圆的相应性质能够得到唯一确定模型位置的3个坐标点,从而将旋转体定位问题转化为P3P问题.在对P3P的解模式区域进行分析后,推导了根据模型上可视曲线的弯曲情况来确定P3P问题解模式的判别方法,并给出证明过程.仿真实验表明了这种模型定位方法的有效性.最后利用这个模型引导机械手完成目标定位的实验.     

基于点线特征融合的视觉惯性SLAM算法

针对目前视觉SLAM方法鲁棒性差、耗时高,使系统定位不够精确的问题,提出了一种基于点线特征融合的视觉惯性SLAM算法。首先通过短线剔除和近似线段合并策略改进LSD（line segment detection）提取质量,以提高线特征检测的速率和准确度;然后在后端优化中有效融合了点、线和IMU数据,建立最小化目标函数进行优化,得到更精确的相机位姿;最后在EuRoC数据集和现实走廊场景进行了实验验证。实验表明,所提算法可以有效提升线特征提取的质量和速度,同时有效提高了SLAM系统的定位精度,获得更为丰富的点线结构地图。     

基于SURF特征提取的双目测距在铝锭垛定位中的应用研究

针对高速铝锭连续铸造生产线上铝锭垛定位问题,提出采用双目视觉获取位姿信息,利用铝锭垛上的钢带为特征信息,基于SURF特征提取算法对图像同一特征点进行目标辩识。对提取到的特征点进行优化处理,对铝锭垛钢带上的特征点进行距离约束,选取适量的特征点作为最终特征点,利用特征匹配到的角点坐标点和双目测距公式计算获得铝锭垛的位姿信息。