融合特征法与直接法的RGB-D稠密视觉SLAM算法

为了保持直接法的快速性与特征法的高精度和闭环能力,提出了一种融合直接法与特征法的RGB-D同时定位与地图创建(SLAM)算法。该算法主要包含3个并行线程:跟踪线程、局部建图线程和闭环线程。在跟踪线程中对非关键帧进行跟踪,通过最小化光度图像误差来进行相机的初始位姿估计以及像素点的对应关系计算,利用最小化局部地图点重投影误差进一步优化相机位姿,实现快速准确的跟踪与定位;在局部建图线程中对关键帧进行提取并匹配ORB特征,执行局部BA(光束平差法),对局部关键帧位姿和局部地图点的位置进行优化,提高SLAM的局部一致性;在闭环线程中执行对关键帧的闭环检测和优化,从而保证SLAM全局一致性。另外,根据RGB-D图像和相机位姿信息,通过基于Octomap的建图框架,构建完整准确的3D稠密环境地图。在TUM数据集下的实验表明,所提出的方法可以得到与基于特征法相当的精度,且所需时间更少。     

视觉SLAM在动态场景下的图像处理方法

SLAM一直是机器人领域的研究热点,近年来取得了万众瞩目的进步,但很少有SLAM算法考虑到动态场景的处理。针对视觉SLAM场景中动态目标的处理,提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到ORB_SLAM2方法中,对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在TUM数据集上与ORB_SLAM2进行对比,在动态场景下的绝对轨迹误差和相对路径误差精度提高了90%以上。在保证地图精度的前提下,改善了地图的适用性。     

融合空洞卷积神经网络的语义SLAM研究

为了解决传统视觉SLAM算法受动态环境因素影响较大、对设备的算力要求高的问题,该文提出一种融合ORB-SLAM2、语义标签以及全局性稠密光流法的视觉SLAM算法。该方法采用空洞卷积神经网络的语义分割模块为双目图像添加语义标签,识别物体类别。再结合相邻帧间位置信息对图像的动态点进行剔除。最后使用Octo-map优化定位与建图,实现动态环境下地图的建立与实时更新。实验结果证明,该文提出的算法在动态环境下的特征点提取速度和质量相较传统视觉SLAM算法有一定提高。     

面向动态场景的语义视觉里程计

针对传统视觉同时定位与地图构建(vSLAM)相机跟踪模块在动态环境中无法精确定位的问题,提出一种基于语义的视觉里程计.首先,在利用金字塔Lucas-Kanade光流追踪匹配帧间特征点的同时,对图像进行像素级的语义分割.然后,将语义信息与几何特征紧密结合用以准确地剔除图像中的外点,使得位姿估计和建图仅依靠图像中值得信赖的...     

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。     

动态场景下基于视觉的SLAM技术研究

针对视觉同时定位与地图构建(SLAM)技术在动态环境中存在定位精度低、地图虚影等问题,提出了一种基于深度学习的动态SLAM算法。该算法利用网络参数少且目标识别率高的YOLOv8n改善系统的视觉前端,为视觉前端增加语义信息,提取动态区域特征点。然后采用LK光流法识别动态区域的动态特征点,剔除动态特征点并保留动态区域内的静态特征点,提高特征点利用率。此外,该算法通过增加地图构建线程,剔除YOLOv8n提取的动态物体点云,接收前端提取的语义信息,实现静态语义地图构建,消除由动态物体产生的虚影。实验结果显示,在动态环境下该算法与ORB-SLAM3相比,定位精度提升92.71%,与其他动态视觉SLAM算法相比,也有小幅度改善。     

动态场景下融合语义分割的同时定位与建图

针对动态场景下移动机器人同时定位与地图构建的准确性问题,提出了一种基于深度学习的改进ORBSLAM2系统.首先,采用Mask RCNN对传感器数据进行图像分割,剔除具有先验动态信息的物体,获得静态图像;然后,利用GCNv2网络对静态图像进行特征点提取;最后,实验结果显示,应用改进后算法的SLAM系统相比于ORBSLAM...     

动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移...     

变结构的鲁棒语义SLAM算法

基于深度学习的飞速发展,语义信息逐渐成为SLAM(Simultaneous Location and Mapping)领域的研究热点.由于环境以及传感器本身带来的噪声问题,现有大多数语义SLAM算法所构建的语义地图中存在一些异常点,导致构建的语义地图缺乏一致性,并且影响算法精度.损失函数可以调整对异常点分配的权重,从而...     

基于空间图卷积的三维点云语义分割

随着科技智能化建设需求的提高，语义分割技术受到图形、图像领域内学者的广泛关注，其为目标跟踪、视觉控制等技术提供有效的决策支持。然而三维点云语义分割模型的运行效率和分割准确率是限制其发展的瓶颈所在。基于此，提出一种基于空间图卷积的三维点云语义分割网络（PCGCN）。PCGCN采用边缘图卷积网络提取局部特征，并使用残差网增强特征的传递，对不同尺度的局部特征进行融合并参与三维点云语义分割。PCGCN解决了在深度学习过程中因局部特征丢失产生的语义分割效果不佳的问题，同时，点云深度学习网络中，残差网的引入提高语义分割的准确度。在ShapeNet和S3DIS数据集上进行实验，实验结果表明，PCGCN在ShapeNet数据集的准确率达到85.1%，在S3DIS数据集的准确率达到81.3%。     

动态环境下基于深度学习的视觉SLAM研究综述

目前的同时定位与地图构建(Simultaneous Localization and Mapping,SLAM)研究大多是基于静态场景的假设,而实际生活中动态物体是不可避免的。在视觉SLAM系统中加入深度学习,可以协同剔除场景中的动态物体,有效提升视觉SLAM在动态环境下的鲁棒性。文章首先介绍了动态环境下基于深度学习的视觉SLAM分类,然后详细介绍了基于目标检测、基于语义分割和基于实例分割的视觉SLAM,并对它们进行了分析比较。最后,结合近年来视觉SLAM的发展趋势,通过对动态环境下基于深度学习的视觉SLAM存在的主要问题进行分析,总结了未来可能的发展方向。     

基于视觉SLAM的动态图像处理方法研究

为解决动态图像处理方法误差大、处理精确性差的问题,以热门的SLAM为目标,对动态图像的处理做进一步的研究,提出基于视觉SLAM的动态图像处理方法。通过设计的ORB-SLAM线程和动态场景下结合PSP网络,实现目标运作的图像切割技术。实现了对ORB-SLAM和图像分割的完美融合。同时剔除目标的动态点,通过将数据集与传统的动态图像处理方法进行对比,得到相应的误差分析数据。实验证明,相较于传统的动态图像处理方法,在动态场景下的绝对轨迹误差、相对路径误差的精度均稳定提高,间接证明了提出的动态图像处理方法的实用性。     

面向室内动态场景的VSLAM

传统VSLAM算法基于静态场景实现,其在室内动态场景下定位精度退化,三维稀疏点云地图也会出现动态特征点误匹配等问题.文中在ORB-SLAM2框架上进行改进,结合Mask R-CNN进行图像的语义分割,剔除位于动态物体上的动态特征点,优化了相机位姿,得到了静态的三维稀疏点云地图.在公开的TUM数据集上的实验结果表明,结合...     

基于SIFT算法的单目视觉SLAM路标观测研究

移动机器人在未知环境中利用视觉信息进行同时定位与地图构建时,如何提高机器人路标观测质量,成为了视觉SLAM研究中的重要问题。文中首先采用SIFT算法进行视觉图像信息特征点的提取和匹配,然后结合一点随机采样一致性原理,使用扩展卡尔曼滤波算法进行视觉路标的预测和更新。实验结果表明,与传统的基于FAST角点检测的路标观测方法相比,本文提出的SIFT-1pRANSAC-EKF单目视觉SLAM路标观测方法能够有效提高视觉路标的匹配成功率,提高观测质量。     

基于语义信息补偿全局特征的物体点云分类分割

3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小,难以描述局部高级语义信息,进而导致点云特征表述不完整。针对这些问题,提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先,将输入的点云数据对齐到规范空间,进行数据的输入转换预处理。然后,利用扩张边缘卷积模块提取转换后数据的每一层特征,并叠加生成全局特征。而在局部特征提取时,利用提取到的低级语义信息来描述高级语义信息和有效几何特征,用于补偿全局特征中遗漏的点云特征。最后,融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明,文中方法在分类和分割性能上优于目前经典和新颖的算法。     

基于融合改进RANSAC光流法的无人机视觉SLAM研究

针对同时定位与建图(SLAM)中存在定位精度不足、匹配特征点误差累积和特征匹配时间较长,提出了一种融合改进RANSAC光流法的优化算法。该方法基于传统RANSAC算法,加入最小二乘法对模型进行迭代优化来估计最优模型,对光流法的误匹配点进行剔除,大量减少图像误匹配特征点;把融合改进后的RANSAC光流法与特征点通过卡尔曼滤波进行融合,最后使用改进后的算法在公开的EuRoC MAV数据集中进行SLAM定位精度实验。实验结果表明：该改进算法能够有效减小光流法特征匹配的误差,从而提高无人机视觉SLAM的定位精度。     

基于PROSAC的视觉SLAM特征匹配方法

当前视觉即时定位与地图重构技术（SLAM）的过程中,通常采用随机采样一致性（RANSAC）的图像特征匹配算法,随机估计图像模型容易造成算法时间复杂度不确定,进而导致图像匹配时耗过大,难以满足视觉SLAM实时性的要求。为了改善这一问题,使用渐进采样一致性（PROSAC）的算法对图像特征进行筛选,剔除误匹配特征点,有效改善了图像特征匹配的效率与鲁棒性,进一步增强了视觉SLAM的稳定性与实时性。试验验证表明,相比于当前视觉SLAM特征匹配算法,计算效率明显提升。     

基于GAN的ISAR图像语义分割方法

逆合成孔径雷达（ISAR）成像技术能够对空间目标进行远距离成像,刻画目标的外形、结构和尺寸等信息。ISAR图像语义分割能够获取目标的感兴趣区域,是ISAR图像解译的重要技术支撑,具有非常重要的研究价值。由于ISAR图像表征性较差,图像中散射点的不连续和强散射点存在的旁瓣效应使得人工精准标注十分困难,基于交叉熵损失的传统深度学习语义分割方法在语义标注不精准情况下无法保证分割性能的稳健。针对这一问题,提出了一种基于生成对抗网络（GAN）的ISAR图像语义分割方法,采用对抗学习思想学习ISAR图像分布到其语义分割图像分布的映射关系,同时通过构建分割图像的局部信息和全局信息来保证语义分割的精度。基于仿真卫星目标ISAR图像数据集的实验结果证明,本文方法能够取得较好的语义分割结果,且在语义标注不够精准的情况下模型更稳健。     

YOLO-NKLT视觉SLAM回环检测方法

针对存在明显光照变化或遮挡物等室外复杂场景下,现有基于深度学习的视觉即时定位与地图构建(visual simultaneous localization and mapping,视觉SLAM)回环检测方法没有很好地利用图像的语义信息、场景细节且实时性差等问题,本文提出了一种YOLO-NKLT视觉SLAM回环检测方法。采用改进损失函数的YOLOv5网络模型获取具有语义信息的图像特征,构建训练集,对网络重训练,使提取的特征更加适用于复杂场景下的回环检测。为了进一步提高闭环检测的实时性,提出了一种基于非支配排序的KLT降维方法。通过在New College数据集和光照等变化更复杂的Nordland数据集上进行实验,结果表明：室外复杂场景下,相较于其他传统和基于深度学习的方法,所提方法具有更高的鲁棒性,可以取得更佳的准确率和实时性表现。     

多尺度特征对齐聚合的语义分割方法

卷积神经网络在对图像进行语义分割时，高层特征经过降采样和padding操作和低层特征之间容易产生错位。为了解决高低层特征之间的错位问题，更好地聚合多尺度特征信息，提出了一种带有多尺度特征对齐聚合（MFAA）模块的语义分割方法。MFAA模块采用一种可学习插值策略来学习像素的变换偏移，可以有效缓解不同尺度特征聚合的特征不对齐问题，同时模块内的注意力机制提高了解码器恢复重要细节特征的能力。该方法利用高层特征的语义信息和低层特征的空间信息，通过多个MFAA模块将高低层特征对齐之后聚合到一起，从而实现图像更加精细的语义分割效果。将所提网络结构在语义分割数据集PASCAL VOC 2012上进行了验证，使用ResNet-50作为骨干网络时在验证集上的平均交并比值达到了78.4%。实验结果表明，该方法与几种主流分割方法相比在评价指标方面存在优越性，可以有效提高图像分割的效果。