基于传感器和视觉SLAM的双目相机虚拟注册研究

在无标记增强现实中,针对基于视觉特征的同时定位与地图构建(SLAM)增强现实注册算法在图像模糊、运动过快和特征缺失等情况下存在精度急剧下降问题,提出一种在视觉SLAM基础上融合惯性测量单元(IMU,Inertial measurement unit)改进的相机定位与虚拟注册方法.所提注册方法,在进行特征点匹配时通过IMU预积分模块减小匹配特征点的搜索空间,加速特征点匹配过程,提高时间效率;确定相机位姿时,采用视觉SLAM和IMU数据联合求解相机位姿,提高了注册精度.再根据相机位姿变化信息计算出变换矩阵,完成对虚拟对象的注册.最后,通过EuRoC数据集验证该方法的性能,对比其他方法,所提方法具有更高的时间效率和注册精度.     

扫地机器人增强位姿融合的Cartographer算法及系统实现

Cartographer是谷歌在2016年开源的一个可以在多传感器配置下实现低计算资源消耗的SLAM算法框架.本文针对原有Cartographer中位姿融合不准确,存在延迟的问题,首先设计了一种基于位姿增量的多传感器位姿融合方法;随后针对扫地机器人Player平台,设计并实现基于增强Cartographer算法的多模块SLAM系统;最后通过Cartographer数据集的实验分析和真实场景的实际测试,本论文验证了增强Cartographer算法的有效性以及SLAM系统在Player机器人平台上的可用性.     

双目视觉辅助的激光惯导SLAM算法

激光同步定位与地图构建(simultaneous localization and mapping, SLAM)算法在位姿估计和构建环境地图时依赖环境结构特征信息,在结构特征缺乏的场景下,此类算法的位姿估计精度与鲁棒性将下降甚至运行失败.对此,结合惯性测量单元(inertial measurement unit, IMU)不受环境约束、相机依赖视觉纹理的特点,提出一种双目视觉辅助的激光惯导SLAM算法,以解决纯激光SLAM算法在环境结构特征缺乏时的退化问题.即采用双目视觉惯导里程计算法为激光扫描匹配模块提供视觉先验位姿,并进一步兼顾视觉约束与激光结构特征约束进行联合位姿估计.此外,提出一种互补滤波算法与因子图优化求解的组合策略,完成激光里程计参考系与惯性参考系对准,并基于因子图将激光位姿与IMU数据融合以约束IMU偏置,在视觉里程计失效的情况下为激光扫描匹配提供候补的相对位姿预测.为进一步提高全局轨迹估计精度,提出基于迭代最近点匹配算法(iterative closest point, ICP)与基于图像特征匹配算法融合的混合闭环检测策略,利用6自由度位姿图优化方法显著降低里程计漂移误...     

移动机器人自适应视觉伺服镇定控制

对有单目视觉的移动机器人系统,提出了一种自适应视觉伺服镇定控制算法;在缺乏深度信息传感器并且摄像机外参数未知的情况下,该算法利用视觉反馈实现了移动机器人位置和姿态的渐近稳定.由于机器人坐标系与摄像机坐标系之间的平移外参数(手眼参数)是未知的,本文利用静态特征点的位姿变化特性,建立移动机器人在摄像机坐标系下的运动学模型.然后,利用单应矩阵分解的方法得到了可测的角度误差信号,并结合2维图像误差信号,通过一组坐标变换,得到了系统的开环误差方程.在此基础之上,基于Lyapunov稳定性理论设计了一种自适应镇定控制算法.理论分析、仿真与实验结果均证明了本文所设计的单目视觉控制器在摄像机外参数未知的情况下,可以使移动机器人渐近稳定到期望的位姿.     

基于改进SIFT算法的双目视觉SLAM研究

SIFT算法通常用于移动机器人视觉S LAM中。但其算法复杂、计算时间长,影响视觉SLAM的性能。在两方面对SIFT改进：一是用街区距离与棋盘距离的线性组合作为相似性度量;二是采用部分特征方法完成快速匹配。应用扩展卡尔曼滤波器融合SIFT特征信息与机器人位姿信息完成SLAM。仿真实验表明,在未知室内环境下,该算法运行时间短,定位精度高。     

一种融合稀疏几何特征与深度流的深度视觉SLAM算法

为了克服移动机器人在视觉退化场景下的位姿估计问题,通过将稠密的深度流与稀疏几何特征相结合,提出了一种实时、鲁棒和低漂移的深度视觉SLAM(同时定位与地图构建)算法.该算法主要由3个优化层组成,基于深度流的视觉里程计层、基于ICP(迭代最近点)的位姿优化层和基于位姿图的优化层.基于深度流的视觉里程计层通过建立深度变化约束方程实现相机帧间快速的6自由度位姿估计;基于ICP的位姿优化层通过构建局部地图来消除局部漂移;基于位姿图的优化层从深度信息中提取、匹配稀疏几何特征,从而建立闭环约束并通过位姿图来实现全局位姿优化.对本文所提出的算法分别在TUM数据集和实际场景中进行了性能测试.实验结果表明本文的前端算法的性能优于当前深度视觉主流算法,后端算法可以较为鲁棒地建立闭环约束并消除前端位姿估计所产生的全局漂移.     

基于惯性/磁力传感器与单目视觉融合的SLAM方法

针对单目视觉SLAM（同时定位与地图构建）算法没有尺度信息以及在相机移动过快时无法使用的问题,提出了一种IMU（惯性测量单元）!!/磁力传感器与单目视觉融合的SLAM方法．首先,提出了一种模糊自适应的九轴姿态融合算法,对IMU的航向角进行高精度估计．然后,采用单目ORB-SLAM2（oriented FAST and rotated BRIEF SLAM2）算法,通过IMU估计其尺度因子,并对其输出的位姿信息进行尺度转换．最后,采用松耦合方式,对IMU估计的位姿和ORB-SLAM2算法经过尺度转换后的位姿,进行卡尔曼滤波融合．在公开数据集EuRoC上进行了测试,测试结果表明本文方法总的位置均方根误差为5.73 cm．为了进一步在实际环境中验证,设计了全向移动平台,以平台上激光雷达所测的位姿数据为基准,测试结果表明本文方法的旋转角度误差小于5°,总的位置均方根误差为9.76 cm．     

无人机航拍图像实时位姿估计

针对无人机航拍图像位姿估计采用单目视觉SLAM(simultaneous localization and mapping)时具有尺度不确定性、大场景下累积误差带来的轨迹漂移以及得到的是一个局部坐标系下的相对位姿问题,提出了一种无人机航拍图像实时位姿估计的方案.首先,实时进行视觉图像的跟踪,通过引入RTK(real-time kinematic)信息得到视觉坐标系与世界坐标系的转换关系并且解决尺度不确定性和轨迹漂移的问题,最后得到一个世界坐标系下的位姿.考虑到视觉SLAM处理的视频流会处理冗余的图像,且增加了图像的存储、拍摄和计算的压力,该方案采用处理非连续拍摄的低重叠度图像来计算位姿以避免这些问题.在真实场景下的实验结果表明,该方案的精度比当前主流的开源框架ORB-SLAM2、DSO、OpenMVG的精度更高,并且实现了整体轨迹误差的均值在10 cm以内.     

动态环境下基于改进几何与运动约束的机器人RGB-D SLAM算法

室内移动机器人使用传统视觉SLAM算法在动态场景下进行位姿估计时精度低、鲁棒性差,其主要原因是错误地将运动的特征点加入了相机位姿计算.为了解决这一问题,本文将特征点分为静态特征点、状态未知点、可疑静态特征点、动态特征点和错误匹配点.其中,静态特征点使用严格的几何约束进行筛选,并将状态未知点使用多帧的观测信息区分为可疑静态特征点、动态特征点以及错误匹配点,并进行卡尔曼滤波.最后,将静态特征点、可疑静态特征点和动态特征点一起加入位姿优化.利用TUM数据集,在室内存在运动物体的场景下进行实验.结果表明,所提出的算法在动态场景下的综合性能(包括精度、鲁棒性、运行速度)要优于其他动态场景下的SLAM算法.     

基于动态物体跟踪的语义SLAM

针对传统视觉SLAM在动态场景下容易出现特征匹配错误从而导致定位精度下降的问题,提出了一种基于动态物体跟踪的语义SLAM算法。基于经典的视觉SLAM框架,提取动态物体进行帧间跟踪,并利用动态物体的位姿信息来辅助相机自身的定位。首先,算法在数据预处理中使用YOLACT、RAFT以及SC-Depth网络,分别提取图像中的语义掩膜、光流向量以及像素深度值。其次,视觉前端模块根据所提信息,通过语义分割掩膜、运动一致性检验以及遮挡点检验算法计算概率图以平滑区分场景中的动态特征与静态特征。然后,后端中的捆集调整模块融合了物体运动的多特征约束以提高算法在动态场景中的位姿估计性能。最后,在KITTI和OMD数据集的动态场景中进行对比验证。实验表明,所提算法能够准确地跟踪动态物体,在室内外动态场景中具备鲁棒、良好的定位性能。     

基于LS–SVR的机器人空间4DOF无标定视觉定位

研究了基于智能算法的机器人无标定视觉伺服问题, 提出了一种新的基于最小二乘支持向量回归的机器人无标定视觉免疫控制方法. 利用最小二乘支持向量回归学习机器人位姿变化和观测到的图像特征变化之间的复杂非线性关系, 其中最小二乘支持向量回归的参数由自适应免疫算法加5折交叉检验优化确定, 在此基础上利用免疫控制原理设计了视觉控制器. 六自由度工业机器人空间4DOF 视觉定位实验结果表明了该方法的有效性.     

空间机械臂在轨维修的视觉伺服操控策略

首先分析了空间机械臂/机械手系统在轨旋拧螺钉任务的尺寸链误差．为修正微重力环境和机械臂、模拟维修单机在轨安装导致的位姿偏差,特别是消除机械手抓取电动工具导致的随机误差影响,提出了航天员在轨标定电动工具位姿/全局相机测量电动工具位姿并引入机械臂进行视觉伺服的控制策略．设计了视觉伺服控制器,给出了该控制算法的收敛证明和稳定性分析．通过在轨实施,该策略实现了机械臂/机械手系统拧松螺钉时位姿误差不超过3 mm/2°的任务要求．     

移动机器人视觉伺服镇定quasi-min-max预测控制

针对受限移动机器人视觉伺服系统,提出一种移动机器人视觉伺服镇定准最小最大模型预测控制策略. 基于移动机器人视觉伺服镇定误差模型,建立移动机器人视觉伺服线性参数时变预测模型,进而引入准最小最大策略,设计移动机器人视觉伺服镇定模型预测控制器.与传统视觉伺服预测控制器相比,所提控制器只需求解线性矩阵不等式表示的凸优化问题,降低了视觉伺服预测控制器的计算耗时,同时保证了闭环视觉伺服系统的渐近稳定性.仿真结果验证了所提出策略的有效性和在计算效率上的优越性.     

Image-based visual servoing using improved image moments in 6-DOF robot systems

This paper addresses the challenges of choosing proper image features for planar symmetric shape objects and designing visual servoing controller to enhance the tracking performance in image-based visual servoing (IBVS). Six image moments are chosen as the image features and the analytical image interaction matrix related to the image features are derived. A controller is designed to efficiently increase the robustness of the visual servoing system. Experimental results on a 6-DOF robot visual servoing system are provided to illustrate the effectiveness of the proposed method.     

基于图像矩与神经网络的机器人四自由度视觉伺服

针对传统的视觉伺服方法中图像几何特征的标记、提取与匹配过程复杂且通用性差等问题,本文提出了一种基于图像矩的机器人四自由度(4DOF)视觉伺服方法.首先建立了眼在手系统中图像矩与机器人位姿之间的非线性增量变换关系,为利用图像矩进行机器人视觉伺服控制提供了理论基础,然后在未对摄像机与手眼关系进行标定的情况下,利用反向传播(BP)神经网络的非线性映射特性设计了基于图像矩的机器人视觉伺服控制方案,最后用训练好的神经刚络进行了视觉伺服跟踪控制.实验结果表明基于本文算法可实现0.5 mm的位置与0.5°的姿态跟踪精度,验证了算法的的有效性与较好的伺服性能.     

Visual Object Tracking and Servoing Control of a Nano-Scale Quadrotor: System,Algorithms, and Experiments

There are two main trends in the development of unmanned aerial vehicle(UAV)technologies:miniaturization and intellectualization,in which realizing object tracking capabilities for a nano-scale UAV is one of the most challenging problems.In this paper,we present a visual object tracking and servoing control system utilizing a tailor-made 38 g nano-scale quadrotor.A lightweight visual module is integrated to enable object tracking capabilities,and a micro positioning deck is mounted to provide accurate pose estimation.In order to be robust against object appearance variations,a novel object tracking algorithm,denoted by RMCTer,is proposed,which integrates a powerful short-term tracking module and an efficient long-term processing module.In particular,the long-term processing module can provide additional object information and modify the short-term tracking model in a timely manner.Furthermore,a positionbased visual servoing control method is proposed for the quadrotor,where an adaptive tracking controller is designed by leveraging backstepping and adaptive techniques.Stable and accurate object tracking is achieved even under disturbances.Experimental results are presented to demonstrate the high accuracy and stability of the whole tracking system.     

曲线焊缝跟踪的视觉伺服协调控制

为实现工业机器人自动跟踪曲线焊缝,提出了协调焊枪运动和视觉跟踪的视觉伺服控制方法．建立了特征点的数学模型,并在此基础上确定机器人运动的旋转轴．设计了一种双层结构的模糊视觉伺服控制器,通过动态确定控制量有效范围来保证图像特征存在于视场中．为准确确定有效范围,设计了带模型动态补偿的Kalman滤波器．曲线焊缝的自动跟踪实验验证了所提方法的有效性．     

Visual servoing of mobile robots for posture stabilization: from theory to experiments

On the basis of the kinematic model of a unicycle mobile robot in polar coordinates, an adaptive visual servoing strategy is proposed to regulate the mobile robot to its desired pose. By regarding the unknown depth as model uncertainty, the system error vector can be chosen as measurable signals that are reconstructed by a motion estimation technique. Then, an adaptive controller is carefully designed along with a parameter updating mechanism to compensate for the unknown depth information online. On the basis of Lyapunov techniques and LaSalle's invariance principle, rigorous stability analysis is conducted. Because the control law is elegantly designed on the basis of the polar‐coordinate‐based representation of error dynamics, the consequent maneuver behavior is natural, and the resulting path is short. Experimental results are provided to verify the performance of the proposed approach. Copyright © 2013 John Wiley & Sons, Ltd.     

SLAM-Based Navigation Scheme for Pinpoint Landing on Small Celestial Body

Addressing the need for robust pinpoint landing capabilities, this paper proposes a monocular navigation scheme based on the Rao-Blackwellized particle filter simultaneous localization and mapping (SLAM) approach. The proposed online navigation scheme provides attitude and position (or pose) estimation during the approach, descent, and landing phase for small celestial body missions. This approach relies on one navigation camera and potentially sparse readings from one or more range sensors (e.g. LIDAR (Light Detection And Ranging)). The concept of the proposed navigation scheme is to maintain several hypotheses of the most likely spacecraft pose and landmarks position and to feed the most likely one to the spacecraft controller at any given time. The proposed system uses a double staged Monte-Carlo simulation that represents the population of all possible spacecraft motions between two camera images taken at successive time steps, and that samples this population over all possible scaling factors, converting each relative motion to world-scaled coordinates in the process. The purpose of this Monte-Carlo based visual pose estimation approach is to offer an alternative solution to the drift error and inaccuracy problems of SLAM kinematic models, odometry motion models, and other conventional dead reckoning techniques.     

Sliding mode variable structure control for visual servoing system

A visual servoing tracking controller is proposed based on the sliding mode control theory in order to achieve strong robustness against parameter variations and external disturbances. A sliding plane with time delay compensation is presented by the pre-estimate of states. To reduce the chattering of the sliding mode controller, a modified exponential reaching law and hyperbolic tangent function are applied to the design of visual controller and robot joint controller. Simulation results show that the visual servoing control scheme is robust and has good tracking performance.