动态场景下基于YOLOv5的快速单目视觉SLAM算法北大核心CSCD

针对动态场景下的动态物体容易产生移动和变形,从而直接影响单目视觉SLAM定位和建图的效率等问题,提出了一种使用深度学习对图像进行动态特征点剔除的单目视觉SLAM算法。基于ORB-SLAm3算法的整体框架,在动态物体检测线程中使用YOLOv5构建的卷积神经网络作为目标识别算法,在跟踪线程中对动态物体特征点进行剔除,有效减少了错误特征提取造成的运行时间浪费和位姿估计误差。经实验验证,所提算法在TUM动态场景单目数据集中能够保持准确定位且效率较高,其定位精度比ORB-SLAm3和ORB-SLAM2更好,效率分别提高了20.65%和19.14%。     

高动态环境下的傅里叶梅林变换视觉SLAM算法

针对视觉即时定位与地图构建(SLAM)中的静态假设限制其在动态现实环境中应用的问题，提出了一种在高动态环境下基于傅里叶梅林变换的视觉SLAM算法。首先，采用傅里叶梅林算法配准以补偿相机运动，应用帧间差分算法获取运动掩膜。同时利用短时密集连接网络进行语义分割确定潜在运动物体掩膜。结合运动掩膜与物体掩膜，获得最终的物体运动区域，剔除该区域的特征点。最后，依据稳定的静态特征点跟踪优化，提升位姿精度。实验结果表明，本算法的绝对轨迹误差与相对位姿误差相比于ORB-SLAM2减少了95%以上，相比于DS-SLAM减少了30%以上，验证其在复杂动态场景下具有良好的定位精度与鲁棒性，有效降低运动模糊与光照变化对运动检测的影响，同时，克服了传统动态SLAM难以检测非先验运动对象的弊端。     

动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

快速跟踪分割辅助的动态 SLAM

目前,同时定位与地图构建(SLAM)技术在真实环境中的应用仍受多种因素制约,室内环境中的动态对象干扰就是其中一个亟待解决的问题。提出一种基于ORB-SLAM3并以实例分割网络为辅助的视觉SLAM系统,该系统将分割任务置于后端,在前端结合RGB-D相机输入和核相关滤波(KCF)算法对后端检测到的语义信息进行跟踪传递,并且使用语义信息在贝叶斯概率框架中追踪关键点的运动状态。与目前基于检测或分割的方法相比,该系统使用更为轻量化的方案来分割和跟踪场景中的运动对象,并在贝叶斯滤波模型的进一步辅助下,既实现了准确的动态干扰滤除,又优化了卷积神经网络(CNN)预处理导致的系统运行实时性问题。在TUM RGB-D数据集上的实验表明,该系统能以约16 fps的速度取得较高的定位精度,相较于ORB-SLAM3平均领先78.56%,相较于DynaSLAM平均领先11.85%。     

基于稀疏直接法的特征增强视觉 SLAM 算法

针对基于特征点的视觉同步定位与建图(SLAM)算法在低纹理环境下特征提取能力弱、定位精度降低和鲁棒性差的问 题,本文提出了一种基于稀疏直接法的特征增强视觉 SLAM 算法。 首先对图像序列进行预处理,提高算法的特征提取能力;然 后融合基于图优化的稀疏直接法和特征点法求解位姿,在保证算法定位精度的前提下,提高算法的运行效率和鲁棒性。 由 TUM 数据集的实验结果表明,本文提出的算法定位精度优于当前 SLAM 算法,在 TUM 数据集中纹理稀疏的场景下,该算法提取 的特征点数目是 ORB-SLAM2 算法的 9. 6 倍,平均每帧跟踪耗时减少了 58% 。     

动态环境下基于YOLOv5的RGB-D视觉SLAM优化方法

针对经典视觉SLAM系统的鲁棒性受环境中动态目标特征点影响较大的问题，提出一种使用目标检测算法识别并剔除动态目标特征点的方法。首先使用目标检测算法YOLOv5对采集到的环境图像进行识别，框选出环境中被认定为动态目标的物体，然后将目标检测的结果融合进视觉SLAM前端的特征提取，将提取到的图像特征点中属于动态目标部分的特征点剔除，利用剩余静态的特征点进行地图构建与定位，最终在TUM数据集上进行测试。结果表明，利用目标检测算法剔除动态特征点后的视觉SLAM系统在高动态场景下绝对轨迹误差的均方根误差降低了97.89%，有效提高系统的定位精度与鲁棒性。     

基于ORB关键帧匹配算法的机器人SLAM实现

针对复杂环境下机器人的同时定位与地图构建(SLAM)存在实时性与鲁棒性下降等问题,将一种基于ORB特征点的关键帧闭环检测匹配算法应用到定位与地图构建中。研究并分析了特征点提取与描述符建立、帧间配准、位姿变换估计以及闭环检测对SLAM系统的影响,建立了关键帧闭环匹配算法和SLAM实时性与鲁棒性之间的关系,提出了一种基于ORB关键帧匹配算法的SLAM方法。运用改进ORB算法加快了图像特征点提取与描述符建立速度;结合相机模型与深度信息,可将二维特征图像转换为三维彩色点云;通过随机采样一致性(RANSAC)与最近迭代点(ICP)相结合的改进RANSAC-ICP算法,实现了机器人在初始配准不确定条件下的位姿估计;使用Key Frame的词袋闭环检测算法,减少了地图的冗余结构,生成了具有一致性的地图;通过特征点匹配速度与绝对轨迹误差的均方根值对SLAM系统的实时性与鲁棒性进行了评价。基于标准测试集数据集的实验结果表明,ORB关键帧匹配算法能够有效提高SLAM系统建图速度与稳定性。     

视觉SLAM中图像特征点提取与匹配算法研究

在视觉SLAM(visual Simultaneous Localization And Mapping,v SLAM)中,利用提取到的图像特征点进行相机位姿估测是一种非常重要的位姿估算方法,为了实现相机的定位,图像特征点必须具备鲁棒性、尺度性和高效率等特点。介绍了图像特征点提取与匹配在视觉SLAM中的作用和场景中图像特征点需要具备的特性;对几种主流的图像特征点提取算法,即尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法、加速稳健特征(Speeded-Up Robust Features,SURF)算法、快速特征点提取与描述(Oriented FAST and Rotated BRIEF,ORB)算法分别进行了简要说明;并通过设计实验,在室内环境中,对几种图像特征点提取算法的运行效率和图像特征点匹配正确率进行了对比测试。实验表明,ORB算法在运行效率和匹配正确率上占据优势,能够较好地满足视觉SLAM中实时性和鲁棒性的要求。     

基于 RANSAC 的视觉里程计优化方法研究

针对图像特征产生误匹配影响基础矩阵计算,导致同步定位与地图构建(SLAM)视觉里程计估计精度差的问题,提出一种基于随机抽样一致(RANSAC)的视觉里程计优化方法。该方法首先通过最小距离阈值法对初始匹配集粗滤除,再采用RANSAC计算图像间相对变换关系,若符合变换关系为内点,内点数最多的迭代结果为正确匹配结果;然后计算图像间单应变换并利用其计算基础矩阵,采用对极几何约束确定内点,得到具有最多内点的基础矩阵;最后采用TUM数据集从特征匹配与基础矩阵计算两方面进行优化算法效果验证。结果表明,该算法可提高运行效率且有效去除误匹配特征点,使匹配正确率提高7.7%,基础矩阵估计算法在提高基础矩阵计算精度的同时,内点率也提高了3%,算法为提高视觉里程计精度估计精度提供了理论基础。     

基于运动避免特征提取的动态视觉SLAM方法

SLAM是移动机器人最基本的功能.传统的SLAM方法服从静态世界假设,然而真实世界经常包含行人、车辆等动态物,将其作为参照物将导致错误的定位结果.现有的动态SLAM方法大多基于语义分割检测和剔除动态物,但语义分割模型通常计算量很大,使得该类方法难以满足实时性要求.因此,提出一种高效的动态视觉SLAM方法.基于目标检测和运动一致性验证实现一种运动避免的特征提取方法,然后结合著名的ORB-SLAM2实现动态SLAM方法MA-SLAM.实验结果表明,MA-SLAM能够解决动态物造成的问题,并且相比于基于特征过滤的动态SLAM方法,其能够获得数量更充足的特征,从而获得更高的定位精度和鲁棒性.此外,MA-SLAM追踪一帧仅需50 ms,适用于实时任务.     

大视场双目视觉传感器现场标定方法

针对大视场视觉测量应用,分析了摄像机和双目视觉传感器的数学模型,提出了一种基于基线尺的大视场双目视觉传感器标定方法。在测量空间内任意多次摆放基线尺,两摄像机拍摄基线尺图像。利用基本矩阵及基线尺上两特征点之间距离的约束,采用线性解和非线性优化方法结合同时估计摄像机的内部参数以及双目视觉传感器的结构参数。该标定方法操作简单,标定效率高,无需初始参数即可估计双目立体传感器的全部参数。实验结果表明该方法在6000mm×4500mm的范围内可以达到0.06mm的测量精度,适合双目立体视觉传感器的现场标定。     

大视场双目视觉传感器的现场标定

分析了摄像机和双目视觉传感器的数学模型,针对大视场视觉测量应用,提出了一种基于基线尺的大视场双目视觉传感器标定方法.在测量空间内任意多次摆放基线尺,由两摄像机拍摄基线尺图像.利用基本矩阵及基线尺上两特征点之间距离的约束,采用线性解和非线性优化相结合的方法同时估计摄像机的内部参数以及双目视觉传感器的结构参数.该标定方法操作简单,标定效率高,无需初始参数即可估计双目立体传感器的全部参数.实验结果表明,该方法适合双目立体视觉传感器的现场标定,在6 000 mm×4 500 mm的范围内可以得到0.06 mm的测量精度.     

动态场景下基于光流的语义 RGBD-SLAM 算法

为解决传统的同时定位与建图算法在复杂动态环境下容易受到动态目标干扰而导致定位精度差和建图错误的问题,提 出了一种动态场景下基于光流的语义 RGBD-SLAM 算法。 首先,通过优化的二维相邻帧透视矫正方法,对当前帧进行透视矫正 以补偿相机运动;然后,将矫正后的图像输入 RAFT-S 网络中,在获得低分辨率的稠密光流场后提取动态目标的掩码,并根据上 一帧掩码中动态目标的位置和速度信息,对当前掩码中的动态区域进行跟踪和优化,从而提取动态目标在每一帧中的精确区 域;最后,分离静态和动态特征点,通过最小化静态特征点的重投影误差,得到优化后的相机位姿,并结合轻量级语义分割网络 BiSeNetv2 提供的语义信息和相机提供的深度信息,构建无人的静态语义八叉树地图。 公开数据集 TUM 上的测试结果表明,本 文算法的绝对轨迹误差相对于 ORB-SLAM2 减少了 90% 以上,并能获取精确的动态区域掩码以及准确的语义地图,验证了该算 法在复杂动态场景中具有良好的定位精度和鲁棒性。     

基于精确控制点的立体像机校准技术

给出了将改进的两步法与精确控制点相结合来精确校准立体像机的新技术,像机镜头畸变模型考虑了径向畸变和切向畸变.利用红外发光二极管随三坐标测量机测头移动以确定间距来形成立体校准模板上的精确控制点.校准程序包括先使用位于图像中心的控制点来线性求取部分校准参数,然后再使用所有控制点来迭代优化所有参数.实验中使用非线性优化参数来反推控制点的空间位置,发现精度比线性求解参数提高了0.11 mm,结果表明,此技术可以满足像机精确校准和测量的要求.     

立体视觉和三维激光系统的联合标定方法

双目立体视觉和三维激光扫描是移动机器人环境探测与建模的常见传感测量方法。为实现两个系统的数据融合应用,必须为二者的测量坐标系建立数学关系,即对其进行传感器之间的位姿联合标定。为此提出了一种基于三维特征点距离匹配的联合标定新方法,设计了一种镂空棋盘格作为标定板。使用双目立体相机提取棋盘格角点三维坐标信息,使用激光测距雷达扫描获取镂空区域中心点三维坐标,最终通过最小化两组特征点的理论与实际测量距离的平方差获取两传感器坐标系之间的旋转矩阵和平移向量。进行的联合标定测量实验结果表明了该方法的准确性和可靠性。     

长度约束下双相机外参数不稳定定向

动态立体视觉测量技术在几何量测量特别是大视场测量中应用越来越广。在分析动态双相机立体视觉测量相对定向算法的基础上,提出了一种基于一定数量距离约束的相机不稳定定向算法。在测量场中固定放置一定数量的一维标定靶标,双相机获取标定靶标上点的中心坐标,由极线几何约束快速准确解算双相机外参数,每次测量根据标定靶重新定向相机,由靶标补偿相机在测量过程中的位置变动,保证在测量场中即使相机站位发生位置变化仍可精确测量。实验中对分布范围2.5 m×1.6 m×4.5 m测量场中90个自反射目标点进行测量,选用5对点间距离作为距离约束,并与V-STARS/S进行结果比对。结果表明在相机站位发生明显变动情况下,90个空间点三维重建位置误差小于0.160 mm,标准差小于0.042 mm。将该方法应用于合成孔径雷达测量,得到相近结果。     

基于可视点法剔除动态目标的激光-惯导 SLAM

针对传统激光同时定位与建图在动态环境中位姿估计累计误差大、地图中存在动态目标错误点云的问题,本文提出了 一种基于可视点法实时剔除动态目标的激光-惯导 SLAM 方法(DM-LIO)。 该方法使用 IMU 测量值为基于可视点法的动态目 标剔除模块提供先验位姿,并引入基于弯曲体素空间的点云聚类方法,以解决在低分辨率可视点法下动态点不能被完全捕捉的 问题,从而实现了在算法前端剔除激光点云中的动态目标。 本文通过自主搭建室内真机实验平台和使用公开数据集两种方式 对算法性能进行评估。 真机实验结果表明本文提出的 DM-LIO 能够对多个动态目标以及非先验动态目标进行实时剔除;在公 开数据集 Urbanloco 上的测试结果表明,在高动态的环境下 DM-LIO 的绝对轨迹误差相较于 LIO-SAM 减少了 60% 以上,验证了 该算法在高动态环境中具有良好的定位精度。