动态场景下融合YOLOv5s的视觉SLAM算法研究

为了解决视觉同步定位与建图(Simultaneous Localization and Mapping, SLAM)系统在动态场景下容易受到动态物体干扰,导致算法定位精度和鲁棒性下降的问题,提出了一种融合YOLOv5s轻量级目标检测网络的视觉SLAM算法。在ORB-SLAM2的跟踪线程中添加了目标检测和剔除动态特征点模块,通过剔除图像中的动态特征点,提高SLAM系统的定位精度和鲁棒性。改进了YOLOv5s的轻量化目标检测算法,提高了网络在移动设备中的推理速度和检测精度。将轻量化目标检测算法与ORB特征点算法结合,以提取图像中的语义信息并剔除先验的动态特征。结合LK光流法和对极几何约束来剔除动态特征点,并利用剩余的特征点进行位姿匹配。在TUM数据集上的验证表明,提出的算法与原ORB-SLAM2相比,在高动态序列下的绝对轨迹误差(Absolute Trajectory Error, ATE)和相对轨迹误差(Relative Pose Error, RPE)均提高了95%以上,有效提升了系统的定位精度和鲁棒性。相对当前一些优秀的SLAM算法,在精度上也有明显的提升,并且具有更高的实时性,在移...     

基于视觉SLAM的动态图像处理方法研究

为解决动态图像处理方法误差大、处理精确性差的问题,以热门的SLAM为目标,对动态图像的处理做进一步的研究,提出基于视觉SLAM的动态图像处理方法。通过设计的ORB-SLAM线程和动态场景下结合PSP网络,实现目标运作的图像切割技术。实现了对ORB-SLAM和图像分割的完美融合。同时剔除目标的动态点,通过将数据集与传统的动态图像处理方法进行对比,得到相应的误差分析数据。实验证明,相较于传统的动态图像处理方法,在动态场景下的绝对轨迹误差、相对路径误差的精度均稳定提高,间接证明了提出的动态图像处理方法的实用性。     

基于Deeplab V3+的机器人语义SLAM算法研究

针对机器人在同步定位与地图构建(SLAM)系统中受几何场景信息计算力和带宽负载的限制，对ORB-SLAM2框架进行改进，提出语义跟踪和语义建图线程，语义跟踪线程通过Deeplab V3+对图像语义分割，同时提取该图像特征点，进行移动一致性检查来剔除动态噪声点，结合一致性检查后的特征点和分割后的图像信息来二次检查动态点，随后位姿估计，而语义建图线程主要完成语义八叉树地图的构建。在TUM RGB-D数据集上进行了广泛实验，在walking系列数据中的旋转漂移误差达到1.19m、平移漂移误差达到0.046m,满足实时性要求，所提方法有效提高了SLAM的精度和鲁棒性。     

动态场景下融合语义分割的同时定位与建图

针对动态场景下移动机器人同时定位与地图构建的准确性问题,提出了一种基于深度学习的改进ORBSLAM2系统.首先,采用Mask RCNN对传感器数据进行图像分割,剔除具有先验动态信息的物体,获得静态图像;然后,利用GCNv2网络对静态图像进行特征点提取;最后,实验结果显示,应用改进后算法的SLAM系统相比于ORBSLAM...     

动态场景下基于视觉同时定位与地图构建技术的多层次语义地图构建方法

为提高视觉同时定位与地图构建(SLAM)技术的环境适应性和语义信息理解能力,该文提出一种可以在动态场景下实现多层次语义地图构建的视觉SLAM方案。首先利用被迫移动物体与动态目标间的空间位置关系,并结合目标检测网络和光流约束判断真正的动态目标,从而剔除动态特征点;其次提出一种基于超体素的快速点云分割方案,将基于静态区域构建的3维地图进行优化,构建了物体级的点云语义地图;同时构建的语义地图可以提供更高精度的训练数据样本,进一步用来提升目标检测网络性能。在TUM和ICL-NUIM数据集上的实验结果表明,该方法在定位精度上远优于目前主流的动态场景下的视觉SLAM方案,证明了该方法在高动态场景中具有较好的稳定性和鲁棒性;在建图精度和质量上,经过将重建的不同种类地图与各个现有方法进行比较,验证了提出的多层次语义地图构建的方法在静态和高动态场景中的有效性与适用性。     

面向室内动态场景的VSLAM

传统VSLAM算法基于静态场景实现,其在室内动态场景下定位精度退化,三维稀疏点云地图也会出现动态特征点误匹配等问题.文中在ORB-SLAM2框架上进行改进,结合Mask R-CNN进行图像的语义分割,剔除位于动态物体上的动态特征点,优化了相机位姿,得到了静态的三维稀疏点云地图.在公开的TUM数据集上的实验结果表明,结合...     

动态场景下基于视觉的SLAM技术研究

针对视觉同时定位与地图构建(SLAM)技术在动态环境中存在定位精度低、地图虚影等问题,提出了一种基于深度学习的动态SLAM算法。该算法利用网络参数少且目标识别率高的YOLOv8n改善系统的视觉前端,为视觉前端增加语义信息,提取动态区域特征点。然后采用LK光流法识别动态区域的动态特征点,剔除动态特征点并保留动态区域内的静态特征点,提高特征点利用率。此外,该算法通过增加地图构建线程,剔除YOLOv8n提取的动态物体点云,接收前端提取的语义信息,实现静态语义地图构建,消除由动态物体产生的虚影。实验结果显示,在动态环境下该算法与ORB-SLAM3相比,定位精度提升92.71%,与其他动态视觉SLAM算法相比,也有小幅度改善。     

融合空洞卷积神经网络的语义SLAM研究

为了解决传统视觉SLAM算法受动态环境因素影响较大、对设备的算力要求高的问题,该文提出一种融合ORB-SLAM2、语义标签以及全局性稠密光流法的视觉SLAM算法。该方法采用空洞卷积神经网络的语义分割模块为双目图像添加语义标签,识别物体类别。再结合相邻帧间位置信息对图像的动态点进行剔除。最后使用Octo-map优化定位与建图,实现动态环境下地图的建立与实时更新。实验结果证明,该文提出的算法在动态环境下的特征点提取速度和质量相较传统视觉SLAM算法有一定提高。     

基于Kinect传感器的三维点云地图构建与优化

针对移动机器人在三维点云地图创建过程中存在鲁棒性和实时性不佳的问题,提出一种基于图像特征点的三维地图创建方法.首先,对Kinect采集得到的RGB数据进行特征点提取与匹配,并采用RANSAC算法对误匹配点进行剔除,在保证精度的同时,有效减少了配准算法的迭代次数,通过结合Kinect深度数据得到对应特征点对在三维空间中的位姿,最后采用ICP算法迭代求解刚体变换矩阵完成精确配准,得到室内真实场景下的三维点云地图.为抑制由三维点云配准过程中累积误差造成的位姿漂移,引入了基于TORO图优化算法的闭环检测机制,实验验证了所提方法的有效性.     

融合特征法与直接法的RGB-D稠密视觉SLAM算法

为了保持直接法的快速性与特征法的高精度和闭环能力,提出了一种融合直接法与特征法的RGB-D同时定位与地图创建(SLAM)算法。该算法主要包含3个并行线程:跟踪线程、局部建图线程和闭环线程。在跟踪线程中对非关键帧进行跟踪,通过最小化光度图像误差来进行相机的初始位姿估计以及像素点的对应关系计算,利用最小化局部地图点重投影误差进一步优化相机位姿,实现快速准确的跟踪与定位;在局部建图线程中对关键帧进行提取并匹配ORB特征,执行局部BA(光束平差法),对局部关键帧位姿和局部地图点的位置进行优化,提高SLAM的局部一致性;在闭环线程中执行对关键帧的闭环检测和优化,从而保证SLAM全局一致性。另外,根据RGB-D图像和相机位姿信息,通过基于Octomap的建图框架,构建完整准确的3D稠密环境地图。在TUM数据集下的实验表明,所提出的方法可以得到与基于特征法相当的精度,且所需时间更少。     

基于融合改进RANSAC光流法的无人机视觉SLAM研究

针对同时定位与建图(SLAM)中存在定位精度不足、匹配特征点误差累积和特征匹配时间较长,提出了一种融合改进RANSAC光流法的优化算法。该方法基于传统RANSAC算法,加入最小二乘法对模型进行迭代优化来估计最优模型,对光流法的误匹配点进行剔除,大量减少图像误匹配特征点;把融合改进后的RANSAC光流法与特征点通过卡尔曼滤波进行融合,最后使用改进后的算法在公开的EuRoC MAV数据集中进行SLAM定位精度实验。实验结果表明：该改进算法能够有效减小光流法特征匹配的误差,从而提高无人机视觉SLAM的定位精度。     

单手肩上投篮动作的激光位移检测技术研究

为了提高对单手肩上投篮动作的准确性,需要对单手肩上投篮动作进行检测,为此提出基于激光图像分析的单手肩上投篮动作激光位移检测技术.采集图像和研究图像关键特征点分布,进行单手肩上投篮动作激光图像特征分析和位移检测处理.基于特征标记方法,进行单手肩上投篮动作的激光特征分析和图谱特征检测,结合模糊图像位移检测技术,进行单手肩上...     

基于深度学习的视觉SLAM闭环检测方法

针对在摄像机视角、光照、气候、地貌等条件的大 幅度变化或者存在快速移动物体的 复杂场景下,视觉即时定位与地图构建(simultaneous localization and mapping,SLAM)的精确性和鲁棒性较低等问题,闭环检 测作为解决SLAM位姿漂移的重要环节,提出了一种基于神经网络的闭环检测方法。该方 法通过传感器获取视觉图像的数据,不同于传统方法的特征提取,采用改进三重约束损 失函数训练Darknet提取图像特征,构造对应特征向量矩阵。由于Darknet借鉴了残差网络(resnet)的思想,在具有较深网络层数的同时,仍保持较高的准确率,减少了特征提取 误差。经过自编码器方法对数据进行降维处理,通过余弦相似度计算,设定合理阈值,能够 更快的得到闭环检测结果。最后通过在两个公开视觉SLAM闭环检测数据集,New College数 据集和光照及角度变化更明显的City Centre数据集上进行实验,结果表明复杂环境下本文 提出的方法比现有闭环检测方法,能够得到更高准确率和速率,更好满足了视觉SLAM系统对 消除累计误差和实时性的要求。     

一种视觉SLAM单目半稠密建图方法的实现

SLAM即同时定位与地图构建,一直是机器人和计算机视觉的研究热点.尤其是视觉SLAM技术,21世纪以来在理论和实践上均取得了明显的突破,已逐步迈向市场应用.建图作为SLAM的两大目标之一,可以满足更多的应用需求.本文在给定相机轨迹的情况下,提出一种视觉SLAM单目半稠密建图方法,利用极线搜索和块匹配技术,加入图像变换和...     

Multi‐robot Mapping Using Omnidirectional‐Vision SLAM Based on Fisheye Images

This paper proposes a global mapping algorithm for multiple robots from an omnidirectional‐vision simultaneous localization and mapping (SLAM) approach based on an object extraction method using Lucas–Kanade optical flow motion detection and images obtained through fisheye lenses mounted on robots. The multi‐robot mapping algorithm draws a global map by using map data obtained from all of the individual robots. Global mapping takes a long time to process because it exchanges map data from individual robots while searching all areas. An omnidirectional image sensor has many advantages for object detection and mapping because it can measure all information around a robot simultaneously. The process calculations of the correction algorithm are improved over existing methods by correcting only the object's feature points. The proposed algorithm has two steps: first, a local map is created based on an omnidirectional‐vision SLAM approach for individual robots. Second, a global map is generated by merging individual maps from multiple robots. The reliability of the proposed mapping algorithm is verified through a comparison of maps based on the proposed algorithm and real maps.     

基于视觉的道路场景建模

步入21世纪,随着人工智能的发展,智能车的研究成为一大热点,而智能汽车研究的基础就是定位问题。目前有2种定位方法,一种是实时定位与建图(SLAM),另一种则是基于道路场景表征建模的定位方法,两者各有所长。本文针对基于视觉的道路场景表征建模定位方法进行了优化与改进。首先,本文提出了一种对点云处理的方法,对当前Z坐标一定距离内的点云取不同权值,进行加权投影,以此来构建道路的二维场景。采用ORB特征提取算子提取二维特征,并采用视觉里程计算法获取车辆运动轨迹信息。构建了轻量级神经网络,用来检测道路标志特征,例如车道线、斑马线、道路标志牌等。对二维场景精度差的问题进行补充。     

基于共焦图像序列的自适应聚焦度量场景深度估计方法

为了估计场景深度信息,提出了基于共焦图像序列的自适应聚焦度量方法。首先,利用相机阵列获取场景多视角图像,用相机阵列模拟一个虚拟孔径相机并合成共焦图像序列。接着,采用自适应聚焦度量方法计算共焦图像序列中每个像素点的聚焦度量值并找出最大度量值作为清晰点。最后,根据相机阵列与共焦图像序列的几何配置估计出场景的深度。此方法提高了场景中深度不连续处的准确度,能较准确地恢复出场景的深度信息。