视觉里程计研究综述

视觉里程计(Visual Odometry)作为视觉同步定位与地图构建技术(Visual Simultaneous Localization and Mapping)的一部分,主要通过相机传感器获取一系列拥有时间序列图像的信息,从而预估机器人的姿态信息,建立局部地图,也被称为前端,已经被广泛应用在了多个领域,并取得了丰...     

多运动视觉里程计的方法与技术

多运动视觉里程计(multi-motion visual odometry,MVO)是在动态场景中估计动态物体位姿变化的算法,对于移动机器人和自动驾驶汽车等自主化设备(autonomous things,AuT)的研发具有重要的理论意义和较大的实用价值.综述机器人领域多运动视觉里程计的发展过程及最新研究进展,根据特征点...     

基于深度特征的单目视觉惯导里程计

视觉里程计是SLAM (Simultaneous Localization and Mapping)领域中的基石,单目视觉里程计因其成本低廉和仅需较少的相机标定工作而占据着重要的地位,但它存在着尺度不确定、尺度漂移、鲁棒性差等缺点。本文在ORB＿SLAM3的基础上,提出了一种基于深度特征的单目视觉惯导里程计,简称DF-VIO(Visual Inertial Odometry Based on Deep Features),它采用深度学习网络提取的深度特征替代传统的人工点特征,并融合了人工线特征,强化了系统在现实复杂场景下的鲁棒性;另外,系统提供了多种位姿跟踪方式,除了基于恒速模型和跟踪参考关键帧的方式外,还提供了一种基于深度学习网络的可重复性图的位姿跟踪方法,进一步提高了系统位姿跟踪的精度。在公开数据集Eu Ro C上进行对比实验,在纯视觉模式下,平均轨迹误差下降了25.9%,在视觉惯导模式下,平均轨迹误差下降了8.6%,证明了本文提出的系统在复杂的场景下能够具有更高的鲁棒性。     

基于稀疏直接法闭环检测定位的视觉里程计

视觉里程计在移动机器人的定位导航中发挥着关键性作用,但当前的算法在运行速度、轨迹精度和鲁棒性等方面依然存在改善空间.为提高相机轨迹精度,提出基于稀疏直接法的闭环检测算法.该算法直接提取两种特征组成混合型特征点提升系统鲁棒性,混合型特征点用于跟踪和匹配关键帧,使视觉里程计能够检测闭环,再用位姿图优化提升定位精度.实验结果...     

无人驾驶车辆单目视觉里程计的研究进展

基于视觉里程计(VO)的研究现状和无人驾驶车辆的应用背景,对无人驾驶车辆单目视觉里程计的最新研究进展进行了综述。首先,详细介绍了无人驾驶车辆单目视觉里程计的研究热点,包括基于路面特征和几何先验、考虑车辆运动特性约束、新型视觉传感器与多传感器融合以及深度学习相关方法。其次,分析了无人驾驶车辆单目视觉里程计目前存在的问题和挑战。最后,展望了无人驾驶车辆单目视觉里程计在考虑车辆动力学模型、将深度学习方法应用于道路复杂动态环境和多传感器融合、基于车联网的多车辆协同视觉里程计等方面的未来研究方向。     

基于通道注意力的自监督深度估计方法

提出了一种基于自监督深度学习和通道注意力的深度估计方法。虽然以往的方法已经能够生成高精度的深度图,但是它们忽略了图像中的通道信息。对通道之间的依赖关系进行显式建模,并根据建模结果重新校准通道权重能有效地提高网络性能,从而提高深度估计的精度。本文从两个方面引入通道注意力机制以增强网络模型的能力：在网络中插入SE (Suqeeze-and-Excitation)模块以提高网络模型获得特征图中通道间关系的能力;设计了一个多尺度融合通道注意力模块,实现融合多尺度像素特征和重新校准通道权重的功能。通过在KITTI数据集上的实验验证,所提方法在精准度、误差和深度图的具体效果上都优于现有的基于自监督深度学习的深度估计方法。     

基于注意力和长短时记忆网络的视觉里程计

近年来通过利用视觉信息估计相机的位姿,实现对无人车的定位成为研究热点,视觉里程计是其中的重要组成部分.传统的视觉里程计需要复杂的流程如特征提取、特征匹配、后端优化,难以求解出最优情况.因此,提出融合注意力和长短时记忆网络的视觉里程计,通过注意力机制增强的卷积网络从帧间变化中提取运动特征,然后使用长短时记忆网络进行时序建模,输入RGB图片序列,模型端到端地输出位姿.在公开的无人驾驶KITTI数据集上完成实验,并与其他算法进行对比.结果表明,该方法在位姿估计上的误差低于其他单目算法,定性分析显示该算法具有较好的泛化能力.     

基于自监督循环卷积神经网络的位姿估计方法

针对基于监督学习的视觉里程计需要数据集提供真实的位姿数据,但实际上符合条件的样本数量又较少的问题,提出了一种基于自监督循环卷积神经网络的位姿估计方法.该方法以图像序列为输入,首先通过卷积神经网络提取与运动相关的特征,然后使用卷积长短期记忆网络进行时序建模,建立多帧之间的运动约束,最后输出六自由度的位姿.该模型使用了一种基于对极几何的损失函数以自监督学习方式优化网络参数.将模型在KITTI数据集上进行实验,并与其他4种算法进行对比.结果表明,该方法在位姿估计准确性上优于其他单目算法,并且具有不错的泛化能力.     

动态环境下融合边缘信息的稠密视觉里程计算法

针对传统的视觉里程计算法在动态环境下存在位姿估计精度不高且鲁棒性较差的问题,提出一种融合边缘信息的稠密视觉里程计算法.首先,使用深度信息计算像素点的空间坐标,并采用K-means算法进行场景聚类.分别基于光度信息与边缘信息的聚类构建出光度及几何一致性误差与边缘对齐误差,两者结合并进行正则化后得到数据融合的残差模型.将平...     

融合互信息估计和对抗自编码器的异常检测

无监督深度学习网络的训练目标从信息论的角度可解释为最大化训练样本及其表示之间的互信息.对抗自编码器（AAE）通过生成对抗的方式学习训练样本集的分布,据此可以由AAE建立基于正常样本集的半监督异常检测模型,但是AAE无法显式最大化正常样本及其表示间的互信息.为此,提出了一种互信息估计网络和AAE相融合（IAAE）的异常检测方法,该方法首先以重构误差最小化为目标,训练编码器和解码器;其次,在对抗正则化阶段将正常样本低维表示的聚集后验分布约束为先验分布,并最大化正常样本与其表示之间的互信息;最后由全连接神经网络估计正常样本与其表示之间的互信息.由待测样本的重构误差及其表示在隐空间中的众数散度计算其异常得分值.公开数据集上的实验结果表明,与已有典型相关的深度异常检测模型相比,IAAE模型在F1取值上具有更好的表现.     

基于RGB-D视觉里程计估计算法的研究

研究了基于ORB的特征点法和半稠密直接法在视觉特征丰富以及视觉特征缺乏环境当中的实时性、精确性和鲁棒性。实验结果表明,基于ORB的特征点法在视觉特征丰富的环境中比半稠密直接法的实时性和精确性好,而在视觉特征缺乏的环境中,半稠密直接法的鲁棒性更好。     

基于区域生长的目标检测方法

针对前视红外图像对比度低、背景干扰严重、不利于目标检测等问题,提出了一种基于区域生长的目标检测方法。首先,在形态学滤波机理的基础上,利用图像的整体纹理分布特点进行逐行扫描,选取有效的极大值点、极小值点,自适应确定结构元素的大小进行图像滤波。其次,在自动种子区域提取的基础上,通过生长条件的判决准则动态调整生长阈值,确定待检测目标。实验结果表明：该方法与NCC方法和OTSU方法相比,检测准确率提高了10%,精确度较高。     

应用变化区域检测方法实现运动车辆分割

研究一种用于视频序列中运动车辆的提取方法,利用3帧对称差分的交集检测出视频帧中的运动区域,并利用2次横纵扫描方法,填充运动目标模板,最后将运动目标模板和当前帧逐像素点相乘,提取出运动目标。实验结果表明:该方法具有良好的分割效果。     

一种基于动态阈值的突发流量异常检测方法

网络异常流量检测是当前网络安全领域的热点问题。传统的基于信息熵的检测方法大多采用固定阈值,无法动态适应不断变化的网络环境。针对该问题提出了一种改进的基于信息熵的突发流量检测方法,能根据正常历史流量的熵值动态调整阈值大小。实验结果表明,该方法对DDo S和Flash Crowd这两种情形引起的突发流量具有较好的检测效果。     

基于无人机和视觉定位的空基GNSS干扰信号检测方法

针对当前机场周边GNSS干扰影响飞机正常飞行的事件频发,而地面GNSS干扰检测方法和基于有人飞机的GNSS干扰检测方法难以快速精确地检测干扰信号和定位干扰源的问题,提出基于无人机和视觉定位的GNSS干扰信号检测方法。首先讨论结合无人机三角测向定位和无迹卡尔曼滤波来定位干扰源,然后在获得干扰源位置的基础上,给出一种融合无人机拍摄的实时图像与地理信息系统(GIS)数据以实现对干扰源外形识别的方案,并提出了基于公共网络的无人机与地面数据处理中心间的低空通信系统构架。     

Semi-Direct Visual Odometry and Mapping System with RGB-D Camera

In this paper a semi-direct visual odometry and mapping system is proposed with a RGB-D camera, which combines the merits of both feature based and direct based methods. The presented system directly estimates the camera motion of two consecutive RGB-D frames by minimizing the photometric error. To permit outliers and noise, a robust sensor model built upon the t-distribution and an error function mixing depth and photometric errors are used to enhance the accuracy and robustness. Local graph optimization based on key frames is used to reduce the accumulative error and refine the local map. The loop closure detection method, which combines the appearance similarity method and spatial location constraints method, increases the speed of detection. Experimental results demonstrate that the proposed approach achieves higher accuracy on the motion estimation and environment reconstruction compared to the other state-of-the-art methods. Moreover, the proposed approach works in real-time on a laptop without a GPU, which makes it attractive for robots equipped with limited computational resources.