基于事件相机的图像重构综述

事件相机是一种新型仿生视觉传感器,当像素点的亮度变化超过阈值后,会输出一系列事件信息。该类视觉传感器异步输出像素的坐标、时间戳以及事件的极性,因此具有低延迟、低功耗、高时间分辨率和高动态范围等特点。它能够捕捉到高速运动和高动态场景中的信息,可以用来重构高动态范围和高速运动场景。图像重构后可以应用在物体识别、分割、跟踪以及光流估计等任务中,是视觉领域重要的研究方向之一。该文从事件相机出发,首先简要叙述事件相机的现状、发展过程、优势与挑战,然后介绍了各种类型事件相机的工作原理和一些基于事件相机的图像重构算法,最后阐述了事件相机面对的挑战和未来趋势,并对文章进行了总结。     

动态环境下基于深度学习的视觉SLAM研究综述

目前的同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)研究大多是基于静态场景的假设,而实际生活中动态物体是不可避免的。在视觉SLAM系统中加入深度学习,可以协同剔除场景中的动态物体,有效提升视觉SLAM在动态环境下的鲁棒性。文章首先介绍了动态环境下基于深度学习的视觉SLAM分类,然后详细介绍了基于目标检测、基于语义分割和基于实例分割的视觉SLAM,并对它们进行了分析比较。最后,结合近年来视觉SLAM的发展趋势,通过对动态环境下基于深度学习的视觉SLAM存在的主要问题进行分析,总结了未来可能的发展方向。     

视觉融合SLAM鲁棒框架研究

通过融合多种传感器,设计了视觉融合同时定位与地图构建(simultaneous localization and mapping,简称SLAM)的基本功能框架,突出了SLAM环境和动态检测功能,重点基于ROS构建了视觉融合SLAM的技术架构,通过DDS实现了多种功能节点的有效通信,较大程度地提升了视觉SLAM的稳定性和...     

动态场景下基于视觉的SLAM技术研究

针对视觉同时定位与地图构建(SLAM)技术在动态环境中存在定位精度低、地图虚影等问题,提出了一种基于深度学习的动态SLAM算法。该算法利用网络参数少且目标识别率高的YOLOv8n改善系统的视觉前端,为视觉前端增加语义信息,提取动态区域特征点。然后采用LK光流法识别动态区域的动态特征点,剔除动态特征点并保留动态区域内的静态特征点,提高特征点利用率。此外,该算法通过增加地图构建线程,剔除YOLOv8n提取的动态物体点云,接收前端提取的语义信息,实现静态语义地图构建,消除由动态物体产生的虚影。实验结果显示,在动态环境下该算法与ORB-SLAM3相比,定位精度提升92.71%,与其他动态视觉SLAM算法相比,也有小幅度改善。     

基于注意力机制的特征点匹配网络的SLAM方法

已有的实时定位与地图构建(simultaneous localization and mapping,SLAM)方案采用的特征点匹配方法普遍会受视角变化的影响使得特征点的匹配比较困 难,进而 干扰到特征点匹配的精度,最终影响到三维(three-dimensional, 3D) 点云地图构建以及相机运动位姿估计的精度。为 此,本文提出 一种基于注意力机制的特征点匹配网络的SLAM方法。相比于现有的SLA M方法,本 文将SLAM中视觉里程计模块的特征点匹配的方法替换成了一个全新的、基于注意力机制的 特征点匹配网 络的特征点匹配方法,并和传统的特征点提取方法做了一个全新的特征点提取与匹配的组合 ,形成了一个 新的视觉里程计,进而形成了一个新的SLAM方法。首先,通过传统的特征点提取算法进行 特征点的提取, 对提取的特征点及描述子向量进行编码,通过图注意力神经网络进行学习得到匹配描述子, 根据匹配描述 子创建得分矩阵,采用最优传输算法求解最优得分矩阵,计算得到最优匹配点对,到这里就 完成了特征点 提取与匹配的整个过程;基于匹配点对完成相机的定位、建图和回环检测。本文采用KITT I公开数据集 进行实验,实验结果表明采用基于注意力机制特征点匹配网络的SLAM方案,在视角变化不 稳定的情况下,相机运动轨迹误差和相机位姿估计误差的精度明显有所提升。     

基于LDSO的机器人视觉定位与稠密建图的应用

针对基于特征点匹配的SLAM(Simultaneous Localization and Mapping)系统在缺乏角点的弱纹理区域无法提取足够的特征点而导致位姿估计失败等问题,提出应用直接视觉里程计算法LDSO(Direct Sparse Odometry with Loop Closure)进行室内机器人视觉定位并结合深度估计或深度相机采集到的关键帧深度图,关键帧相机位姿,原始关键帧图像数据,点云拼接生成三维点云稠密地图,实验结果表明,机器人可在复杂环境中准确快速的定位自身位置,且算法在没有全局BA(Bundle Adjustment)的情况下通过位姿图优化显著减少了旋转,平移与尺度漂移等累积误差,算法整体性能与基于特征点匹配的SLAM系统相媲美,耗时更少,实时性更佳,在缺乏角点区域具有较强的鲁棒性.     

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。     

移动机器人视觉SLAM回环检测现状研究

同步定位与建图(Simultaneous Localization and Mapping, SLAM)是移动机器人实现自主定位与导航的关键技术，已成为该领域研究的热点。视觉SLAM是指相机作为仅有的外部传感器，进行同步定位与建图的技术，随着计算机视觉的迅速发展，视觉SLAM因为信息量大、成本低廉、适用范围广和可提取语义信息等优点受到广泛关注，而回环检测(Loop Closure Detection, LCD)作为其重要的一个环节，受到学者的广泛研究。对视觉SLAM系统进行简单概述，对LCD的原理、传统的LCD算法分类和主流的LCD算法进行总结归纳，介绍了LCD的性能评估标准，对LCD当前面临的挑战及未来前景进行展望。     

基于立体视觉——惯导SLAM的四旋翼无人机导航算法

针对基于视觉的同时定位与地图构建(SLAM)系统在快速运动和特征不足时存在精度低和跟踪易失败的问题,提出了一种基于紧耦合的非线性优化的立体视觉—惯导SLAM(visual inertial SLAM,VI-SLAM)算法.首先,以关键帧的位姿作为约束,初始化惯性测量单元(IMU)的偏差,并根据IMU预积分预测当前帧的位姿;然后,在后端优化中采取非线性局部平滑的方法,融合视觉SLAM的位姿估计与IMU预积分;并通过回环检测消除累积误差,采用图优化算法进行全局地图优化.通过EuRoC数据集验证该系统的性能,对比视觉SLAM算法平均精度提升了1倍左右.并将该算法应用于立体视觉四旋翼飞行控制平台,验证所提算法的实际应用性.     

无人机视觉SLAM算法及仿真

为将SLAM算法从地面机器人的两维空间扩展到无人机的三维环境,研究了SLAM的发展现状,指出无人机视觉SLAM面临的挑战,利用摄像机和惯导传感器的组合,建立了无人机视觉SLAM算法的数学模型;并提出了一种改进的延迟地标初始化的方法,为了便于理解和实施,简化了系统的状态和方差阵的结构,减少了存储和计算量。用EKF滤波对无人机视觉SLAM进行了仿真研究,得到了较好的估计效果,表明了SLAM在无人机上应用的可行性。     

一种视觉SLAM单目半稠密建图方法的实现

SLAM即同时定位与地图构建,一直是机器人和计算机视觉的研究热点.尤其是视觉SLAM技术,21世纪以来在理论和实践上均取得了明显的突破,已逐步迈向市场应用.建图作为SLAM的两大目标之一,可以满足更多的应用需求.本文在给定相机轨迹的情况下,提出一种视觉SLAM单目半稠密建图方法,利用极线搜索和块匹配技术,加入图像变换和...     

融合空洞卷积神经网络的语义SLAM研究

为了解决传统视觉SLAM算法受动态环境因素影响较大、对设备的算力要求高的问题,该文提出一种融合ORB-SLAM2、语义标签以及全局性稠密光流法的视觉SLAM算法。该方法采用空洞卷积神经网络的语义分割模块为双目图像添加语义标签,识别物体类别。再结合相邻帧间位置信息对图像的动态点进行剔除。最后使用Octo-map优化定位与建图,实现动态环境下地图的建立与实时更新。实验结果证明,该文提出的算法在动态环境下的特征点提取速度和质量相较传统视觉SLAM算法有一定提高。     

同步定位与建图技术研究进展

同步定位与建图(SLAM)技术是自主移动机器人的主要技术支撑,成为当今的研究热点。介绍了SLAM技术的发展历程及主要传感器,梳理了基于视觉、激光雷达以及多传感器融合的SLAM技术,并对常见的SLAM算法进行归纳总结,对比分析各实现方案的优缺点。最后探讨了SLAM的技术难题和发展趋势。     

一种基于线特征约束的无人机双目视觉SLAM算法

为了解决点特征SLAM算法在低纹理环境中精度下降的问题,提出了一种基于线特征约束的无人机双目视觉SLAM算法。首先,将双目相机观测线特征分为单目相机在两帧下观测、双目相机在两帧下观测、双目相机在一帧下观测3种情况;然后,计算了3种情况下的残差块和雅可比矩阵;最后,利用所提线特征约束改进了VINS-Fusion算法。在EuRoC数据集上进行实验验证,结果表明提出的算法在数据集半数以上的场景中都有良好的表现,相较于改进前的VINS-Fusion算法定位精度平均提升13.2%。     

基于李群的无迹卡尔曼滤波视觉SLAM算法

视觉SLAM算法的理论框架已经十分完备,但是在实际应用中导航准确性还有待改善.基于此问题,提出了基于李群的无迹卡尔曼滤波(UKF?LG)视觉SLAM算法,优化了传统无迹卡尔曼滤波(UKF)的系统状态,把UKF的系统状态用李群表示,并构建视觉惯性紧耦合模型.在Euroc数据集下对包含该算法在内的5种滤波法进行了仿真对比,...     

动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移...     

基于IMU/视觉融合的导航定位算法研究

针对基于视觉传感器的移动机器人在快速运动或发生旋转时出现图像模糊和特征丢失,以至无法进行特征匹配,从而导致系统定位和建图的准确度及精确度下降问题,该文提出了一种以深度相机(RGB_D)融合惯性测量单元(IMU)的方案。采用ORB SLAM2算法进行位姿估计,同时将IMU信息作为约束弥补相机数据的缺失。两种传感器的测量数据采用基于扩展卡尔曼滤波的松耦合方式进行非线性优化,通过数据采集实验表明,该方法能有效提高机器人的定位精度和系统建图效果。     

一种基于帧图像的动态视觉传感器样本集建模方法

动态视觉传感器（Dynamic Vision Sensor,DVS）利用事件驱动原理实现运动目标的快速提取,具有低延迟、低存储空间和高动态范围等优势.目前研究表明,基于DVS的神经网络在目标检测等领域具有明显的速度优势.但是,这类神经网络在训练时所需要的样本集主要依赖DVS相机产生,缺少高效的样本集生成方法,这制约了这类神经网络的应用与发展.本文根据DVS原理,提出了一种基于帧图像的DVS建模以及样本集建模方法.该方法设定每个像素单元独立工作,经过动态差分和逻辑判断后输出触发的地址-事件数据,这些数据通过编码和归一化生成神经网络训练时所需要的样本集.通过对MNIST和CIFAR-10样本集建模的实验结果表明,该建模方法效果与DVS相机基本一致;与基于帧图像的存储方式相比,该样本集可以明显减少存储空间.该方法所生成样本集已经通过卷积神经网络训练和测试验证.     

基于改进LBD和数据依赖度量的视觉SLAM回环检测

为提高视觉同时定位与建图(SLAM)回环检测的准确率和召回率,提出一种基于改进线带描述符(LBD)和数据依赖度量的点线特征视觉SLAM回环检测算法.首先,针对现有LBD二进制转换操作只在各个条带之间比较大小而忽略条带内部属性,从而导致匹配正确率低的问题,增加了条带描述子内部对比操作.然后,考虑到视觉单词词频分布信息对相...     

用于移动机器人的视觉SLAM综述

由于移动机器人的广泛应用,传统的基于惯性测量单元或GPS/INS的导航系统在某些环境下的应用受到限制.而视觉SLAM的快速发展为移动机器人的导航提供了基础,但是当前还面临着一些挑战,如何让视觉SLAM更好的应用在机器人导航中成为研究的热点.本文介绍了视觉SLAM中的一些关键技术,总结了纯视觉SLAM和多传感器视觉SLA...