单目主动摄像头真实三维重建

由于单目摄像头尺度缺失,导致鲁棒位姿估计结果不准确,为此提出单目主动摄像头真实三维重建方法.通过融合机器人的控制信息和尺寸信息,得到单目相机的位置信息,利用位置信息计算出等效基线,根据变基线等效双目策略理论获取精度更高的深度估计;采用GoDec-RANSAC算法排除样本点中的局外点,估计鲁棒位姿;通过获取的位姿,估计最后一帧图像与第一帧图像之间的相对位姿,得到全局位姿估计,完成单目主动摄像头真实三维重建.仿真实验结果表明,该方法能够准确的估计鲁棒位姿.     

单目相机轨迹的真实尺度恢复

目的单目相机运动轨迹恢复由于输入只有单目视频序列而缺乏尺度信息,生成的轨迹存在严重漂移而无法进行高精度应用。为了能够运用单目相机普及度高、成本低的优势,提出一种基于场景几何的方法在自动驾驶领域进行真实尺度恢复。方法首先使用深度估计网络对连续图像进行相对深度估计,利用估计的深度值将像素点从2维平面投影到3维空间。然后对光流网络估计出的光流进行前后光流一致性计算得到有效匹配点,使用传统方法求解位姿,使相对深度与位姿尺度统一。再利用相对深度值计算表面法向量图求解地面点群,通过几何关系计算相同尺度的相机高度后引入相机先验高度得到初始尺度。最后为了减小图像噪声对尺度造成的偏差,由额外的车辆检测模块计算出的补偿尺度与初始尺度加权得到最终尺度。结果实验在KITTI(Karlsruhe Institute of Technology and Toyota Technological at Chicago)自动驾驶数据集上进行,相机运动轨迹和图像深度均在精度上得到提高。使用深度真实值尺度还原后的相对深度的绝对误差为0.114,使用本文方法进行尺度恢复后的绝对深度的绝对误差为0.116。对得到的相机运动轨...     

一种在线更新的单目视觉里程计

现有的基于深度学习的视觉里程计（visual odometry,VO）训练样本与应用场景存在差异时,普遍存在难以适应新环境的问题,因此提出了一种在线更新单目视觉里程计算法OUMVO。其特点在于应用阶段利用实时采集到的图像序列在线优化位姿估计网络模型,提高网络的泛化能力和对新环境的适用能力。该方法使用了自监督学习方法,无须额外标注地面真值,并采用了Transformer对图像流进行序列建模,以充分利用局部窗口内的视觉信息,提高位姿估计精度,以避免传统方法只能利用相邻两帧图像来估计位姿的局限,还可以弥补采用RNN进行序列建模无法并行计算的缺点。此外,还采用图像空间几何一致性约束,解决了传统单目视觉里程计算法存在的尺度漂移问题。在KITTI数据集上的定量和定性实验结果表明,OUMVO的位姿估计精度和对新环境的适应能力均优于现有的先进单目视觉里程计方法。     

基于特征匹配的单目相机姿态解算

本文采用了一种基于AKAZE特征检测和PnP算法的单目视觉测量方法对相机的相对姿态进行解算,用于快速准确地确定空间中两个目标间的位姿关系.采集合作目标的模板图像,提取附加到合作目标上的4个特征点的像素坐标,利用AKAZE关键点对模板图像和待测图像进行匹配并计算映射矩阵,通过映射矩阵得到4个特征点在待测图像中的像素坐标,然后结合合作目标的尺寸信息求解基于4个共面特征点的PnP问题,解算相机与合作目标的相对位置.实验分析表明该方法计算的实时图像相机位姿与真实结果接近,验证了本文方法的有效性.     

基于惯性/磁力传感器与单目视觉融合的SLAM方法

针对单目视觉SLAM（同时定位与地图构建）算法没有尺度信息以及在相机移动过快时无法使用的问题,提出了一种IMU（惯性测量单元）!!/磁力传感器与单目视觉融合的SLAM方法．首先,提出了一种模糊自适应的九轴姿态融合算法,对IMU的航向角进行高精度估计．然后,采用单目ORB-SLAM2（oriented FAST and rotated BRIEF SLAM2）算法,通过IMU估计其尺度因子,并对其输出的位姿信息进行尺度转换．最后,采用松耦合方式,对IMU估计的位姿和ORB-SLAM2算法经过尺度转换后的位姿,进行卡尔曼滤波融合．在公开数据集EuRoC上进行了测试,测试结果表明本文方法总的位置均方根误差为5.73 cm．为了进一步在实际环境中验证,设计了全向移动平台,以平台上激光雷达所测的位姿数据为基准,测试结果表明本文方法的旋转角度误差小于5°,总的位置均方根误差为9.76 cm．     

基于视觉与激光融合的井下灾后救援无人机自主位姿估计

无人机在灾后矿井的自主导航能力是其胜任抢险救灾任务的前提,而在未知三维空间的自主位姿估计技术是无人机自主导航的关键技术之一。目前基于视觉的位姿估计算法由于单目相机无法直接获取三维空间的深度信息且易受井下昏暗光线影响,导致位姿估计尺度模糊和定位性能较差,而基于激光的位姿估计算法由于激光雷达存在视角小、扫描图案不均匀及受限于矿井场景结构特征,导致位姿估计出现错误。针对上述问题,提出了一种基于视觉与激光融合的井下灾后救援无人机自主位姿估计算法。首先,通过井下无人机搭载的单目相机和激光雷达分别获取井下的图像数据和激光点云数据,对每帧矿井图像数据均匀提取ORB特征点,使用激光点云的深度信息对ORB特征点进行深度恢复,通过特征点的帧间匹配实现基于视觉的无人机位姿估计。其次,对每帧井下激光点云数据分别提取特征角点和特征平面点,通过特征点的帧间匹配实现基于激光的无人机位姿估计。然后,将视觉匹配误差函数和激光匹配误差函数置于同一位姿优化函数下,基于视觉与激光融合来估计井下无人机位姿。最后,通过视觉滑动窗口和激光局部地图引入历史帧数据,构建历史帧数据和最新估计位姿之间的误差函数,通过对误差函数的非线性优化...     

融合距离图像和彩色图像的圆位姿测量方法

针对基于单目视觉的单个圆位姿测量解的二义性问题,提出一种融合距离图像和彩色图像消除二义性的方法。该方法首先用RGB相机获取的高分辨率彩色图像计算圆位姿,获得圆位姿的一组歧义解。然后将彩色图像和飞行时间TOF(time-ofFlight)相机获取的距离图像融合,形成一个高分辨率的距离图像。最后,根据距离图像恢复圆在RGB相机下的三维信息,剔除圆位姿中的虚假解,从而得到圆的真实位姿。实验结果表明,该方法能够有效地解决基于单目视觉的单个圆位姿测量的二义性问题,且能够准确获得较高精度的圆位姿。     

基于三条相互垂直直线的单目位姿估计

基于单目视觉的位姿估计是计算机视觉中的典型问题之一。文中利用目标物体上的三条相互垂直的直线特征和相机像平面上这些特征的对应获得已标定相机相对于目标物体的位姿参数,给出其闭式求解方法,并证明问题解的数量与相机光心和三条直线的相对位置有关。当光心位于两个特殊平面以外时存在唯一解,反之若在该两个平面之间则存在两个解,并且这两个解具有对称性,该性质可作为合理解的判别依据。由于三条相互垂直的直线是长方体的三条边缘,而长方体在现实世界中广泛存在,该结论为应用直线特征进行单目视觉位姿估计及合作目标设计提供理论依据。     

基于循环卷积神经网络的单目视觉里程计

提出了一种基于卷积长短期记忆(LSTM)网络和卷积神经网络(CNN)的单目视觉里程计方法,命名为LSTMVO(LSTM visual odometry).LSTMVO采用无监督的端到端深度学习框架,对单目相机的6-DoF位姿以及场景深度进行同步估计.整个网络框架包含位姿估计网络以及深度估计网络,其中位姿估计网络是以端到端方式实现单目位姿估计的深度循环卷积神经网络(RCNN),由基于卷积神经网络的特征提取和基于循环神经网络(RNN)的时序建模组成,深度估计网络主要基于编码器和解码器架构生成稠密的深度图.同时本文还提出了一种新的损失函数进行网络训练,该损失函数由图像序列之间的时序损失、深度平滑度损失和前后一致性损失组成.基于KITTI数据集的实验结果表明,通过在原始单目RGB图像上进行训练,LSTMVO在位姿估计精度以及深度估计精度方面优于现有的主流单目视觉里程计方法,验证了本文提出的深度学习框架的有效性.     

无人机航拍图像实时位姿估计

针对无人机航拍图像位姿估计采用单目视觉SLAM(simultaneous localization and mapping)时具有尺度不确定性、大场景下累积误差带来的轨迹漂移以及得到的是一个局部坐标系下的相对位姿问题,提出了一种无人机航拍图像实时位姿估计的方案.首先,实时进行视觉图像的跟踪,通过引入RTK(real-time kinematic)信息得到视觉坐标系与世界坐标系的转换关系并且解决尺度不确定性和轨迹漂移的问题,最后得到一个世界坐标系下的位姿.考虑到视觉SLAM处理的视频流会处理冗余的图像,且增加了图像的存储、拍摄和计算的压力,该方案采用处理非连续拍摄的低重叠度图像来计算位姿以避免这些问题.在真实场景下的实验结果表明,该方案的精度比当前主流的开源框架ORB-SLAM2、DSO、OpenMVG的精度更高,并且实现了整体轨迹误差的均值在10 cm以内.     

A monocular structured light vision method for pose determination of large non-cooperative satellites

A space robotic system is expected to perform on-orbit servicing missions to rescue malfunctioned satellites in geostationary orbit (GEO). In final berthing and capture, it is difficult for a space robot to determine the relative pose (attitude and position) of a non-cooperative malfunctioned satellite that is usually huge and without artificial recognition devices. In this paper, a space robot with a monocular structured light vision subsystem is introduced to solve the problem. Firstly, the monocular structured light vision subsystem composed of a single camera and a point light source is designed. Secondly, a partial rectangular shaped framework, which is very common on a non-cooperative malfunctioned satellite, is chosen as the recognition object for non-cooperative pose measurement. Using projection constraints on rectangle and circular points, a rectangle feature reconstruction algorithm is proposed. Thirdly, according to the reconstructed rectangle feature, a least square method of pose determination is presented. Lastly, using a semi-physical vision simulation system, several experiments of typical cases are simulated to verify the pose determination method of large non-cooperative target. The results show the validity and flexibility of the proposed method.     

适用于非合作目标捕获的轻量级位姿估计网络

空间非合作目标的增多导致太空安全受到严重威胁,对非合作目标进行捕获回收具有维护空间安全、节约资源等现实意义。非合作目标捕获回收需要进行位姿估计,而目前在硬件资源有限的航天器平台上,现有的大多数非合作目标位姿估计算法无法同时满足及时性和准确性的要求。设计一种超轻量级目标检测网络YOLO-GhostECA,利用GhostBottleneck网络减少特征图冗余,并使用高效注意力机制提取核心特征图,以降低模型参数,在提升运算速度的同时保证精度水平几乎不下降。根据YOLO-GhostECA网络的检测结果粗略估计姿态,以协助机械臂更加合理地执行智能捕获任务,解决2D识别算法无法检测出物体姿态的问题。在7自由度冗余机械臂上开展的空间非合作目标捕获地面模拟的实验结果表明,与YOLOv5s网络相比,该网络模型大小减小了80.4%,运算复杂度降低了78.9%,而精度基本保持不变,可准确快速地对非合作目标进行位姿估计,能够引导机器人成功捕获非合作物体。     

基于ORB-SLAM的低照度空间非合作目标的姿态估计

相机视觉观测在空间技术中有着广阔的工程应用前景,然而太空的弱光照条件会影响相机所采集图像的质量.本文将低照度增强LIME算法与ORB-SLAM算法相结合,提出了一种弱光照条件下空间非合作目标的姿态估计方案.该方案首先运用LIME算法对图像进行增强处理,以能够从中提取出目标上足够的特征点,然后利用ORB-SLAM算法对目标的姿态进行有效估计.仿真结果表明,本文所提方案可以有效地实现弱光照情况下空间非合作目标的姿态估计.     

分裂合并运动分割的多运动视觉里程计方法

目的 视觉里程计（visual odometry,VO）仅需要普通相机即可实现精度可观的自主定位,已经成为计算机视觉和机器人领域的研究热点,但是当前研究及应用大多基于场景为静态的假设,即场景中只有相机运动这一个运动模型,无法处理多个运动模型,因此本文提出一种基于分裂合并运动分割的多运动视觉里程计方法,获得场景中除相机运动外多个运动目标的运动状态。方法 基于传统的视觉里程计框架,引入多模型拟合的方法分割出动态场景中的多个运动模型,采用RANSAC（random sample consensus）方法估计出多个运动模型的运动参数实例;接着将相机运动信息以及各个运动目标的运动信息转换到统一的坐标系中,获得相机的视觉里程计结果,以及场景中各个运动目标对应各个时刻的位姿信息;最后采用局部窗口光束法平差直接对相机的姿态以及计算出来的相机相对于各个运动目标的姿态进行校正,利用相机运动模型的内点和各个时刻获得的相机相对于运动目标的运动参数,对多个运动模型的轨迹进行优化。结果 本文所构建的连续帧运动分割方法能够达到较好的分割结果,具有较好的鲁棒性,连续帧的分割精度均能达到近100%,充分保证后续估计各个运动模型参数的准确性。本文方法不仅能够有效估计出相机的位姿,还能估计出场景中存在的显著移动目标的位姿,在各个分段路径中相机自定位与移动目标的定位结果位置平均误差均小于6%。结论 本文方法能够同时分割出动态场景中的相机自身运动模型和不同运动的动态物体运动模型,进而同时估计出相机和各个动态物体的绝对运动轨迹,构建出多运动视觉里程计过程。     

Vision-based position and pose determination of non-cooperative target for on-orbit servicing

For finding an effective measurement for space non-cooperative targets in close distance, a vision-based position and pose determination algorithm of non-cooperative target for on-orbit servicing is investigated. First, the satellite-rocket docking ring’s region is separated from the background environment by a selected grayscale thresholding method and the Canny operator algorithm is used to extract the edge of the satellite-rocket docking ring. Furthermore, the mathematical alignment of the image plane and binocular stereo matching are used to obtain the correspondence of 3D points. Finally, the model of 3D reconstruction is established to determine the relative position and pose of the satellite-rocket docking ring. The ground simulation test shows that our method can measure the relative position and pose of the satellite-rocket docking ring effectively. The precision of the relative position is 0.001 m and that of the relative attitude is 0.1 deg., which satisfies the requirements of the relative measurement for non-cooperative target in extra-close range.

     

Robust mapping and localization in indoor environments

Conventional localization methods have been developed for indoor static environments such as the home environment. In dynamic environments such as factories and warehouses, however, it is difficult to estimate the accurate robot pose. Therefore, we propose a novel approach for the estimation of the robot pose in a dynamic or large environment for which fixed features are used. In the proposed method, a ceiling-feature map is built using an upward-looking monocular camera. This map is created accurately from the robot pose using a laser scanner and an estimation based on the iterative closest point method. The ceiling-feature map consists of features such as lamps and the FREAK, and its creation can be more accurate if the sliding-window technique and bundle-adjustment schemes are used. During the post-mapping navigation, the robot pose is estimated using the Monte Carlo localization method based on the ceiling-feature map. In dynamic experiments, the proposed method shows a high repeatability and stability in real-world conditions and applications.     

基于表观的归一化坐标系分类视线估计方法

视线估计能够反映人的关注焦点,对理解人类的情感、兴趣等主观意识有重要作用。但目前用于视线估计的单目眼睛图像容易因头部姿态的变化而失真,导致视线估计的准确性下降。提出一种新型分类视线估计方法,利用三维人脸模型与单目相机的内在参数,通过人脸的眼睛与嘴巴中心的三维坐标形成头部姿态坐标系,从而合成相机坐标系与头部姿态坐标系,并建立归一化坐标系,实现相机坐标系的校正。复原并放大归一化得到的灰度眼部图像,建立基于表观的卷积神经网络模型分类方法以估计视线方向,并利用黄金分割法优化搜索,进一步降低误差。在MPIIGaze数据集上的实验结果表明,相比已公开的同类算法,该方法能降低约7.4%的平均角度误差。     

基于退火粒子群优化的单目视频人体姿态分析方法

提出一种基于退火粒子群优化(Simulated annealing particle swarm optimism, SAPSO)的单目视频人体姿态分析方法. 该方法具有以下特点: 首先, 利用运动捕获数据采用主成分分析方法(Principle component analysis, PCA)得到更能反映人体运动本质的姿态紧致空间, 并在此低维空间中进行姿态分析, 提高了姿态分析的准确性和效率; 其次, 将粒子群优化应用到姿态分析中, 并提出退火粒子群优化姿态分析方法, 该方法具有良好的收敛性和全局最优能力; 再次, 基于退火粒子群优化姿态分析方法, 实现了基于单目视频的人体姿态估计和跟踪. 实验结果表明, 本文方法不仅具有良好的计算效率, 同时具有良好的收敛性和全局搜索能力, 能准确分析单目视频中的人体姿态.     

Multi-sensor based real-time 6-DoF pose tracking for wearable augmented reality

Wearable augmented reality (WAR) combines a live view of a real scene with computer-generated graphic on resource-limited platforms. One of the crucial technologies for WAR is a real-time 6-DoF pose tracking, facilitating registration of virtual components within in a real scene. Generally, artificial markers are typically applied to provide pose tracking for WAR applications. However, these marker-based methods suffer from marker occlusions or large viewpoint changes. Thus, a multi-sensor based tracking approach is applied in this paper, and it can perform real-time 6-DoF pose tracking with real-time scale estimation for WAR on a consumer smartphone. By combining a wide-angle monocular camera and an inertial sensor, a more robust 6-DoF motion tracking is demonstrated with the mutual compensations of the heterogeneous sensors. Moreover, with the help of the depth sensor, the scale initialization of the monocular tracking is addressed, where the initial scale is propagated within the subsequent sensor-fusion process, alleviating the scale drift in traditional monocular tracking approaches. In addition, a sliding-window based Kalman filter framework is used to provide a low jitter pose tracking for WAR. Finally, experiments are carried out to demonstrate the feasibility and robustness of the proposed tracking method for WAR applications.