双目视觉辅助的激光惯导SLAM算法

激光同步定位与地图构建(simultaneous localization and mapping, SLAM)算法在位姿估计和构建环境地图时依赖环境结构特征信息,在结构特征缺乏的场景下,此类算法的位姿估计精度与鲁棒性将下降甚至运行失败.对此,结合惯性测量单元(inertial measurement unit, IMU)不受环境约束、相机依赖视觉纹理的特点,提出一种双目视觉辅助的激光惯导SLAM算法,以解决纯激光SLAM算法在环境结构特征缺乏时的退化问题.即采用双目视觉惯导里程计算法为激光扫描匹配模块提供视觉先验位姿,并进一步兼顾视觉约束与激光结构特征约束进行联合位姿估计.此外,提出一种互补滤波算法与因子图优化求解的组合策略,完成激光里程计参考系与惯性参考系对准,并基于因子图将激光位姿与IMU数据融合以约束IMU偏置,在视觉里程计失效的情况下为激光扫描匹配提供候补的相对位姿预测.为进一步提高全局轨迹估计精度,提出基于迭代最近点匹配算法(iterative closest point, ICP)与基于图像特征匹配算法融合的混合闭环检测策略,利用6自由度位姿图优化方法显著降低里程计漂移误...     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM（同步定位与地图创建）算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度．在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题．算法具有全局重定位的能力．在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化．算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性．基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强．     

结合改进密集模块深度估计网络和多视几何的视觉里程计

以多视图几何原理为基础,有效结合卷积神经网络进行图像深度估计和匹配筛选,构造无监督单目视觉里程计方法.针对主流深度估计网络易丢失图像浅层特征的问题,构造一种基于改进密集模块的深度估计网络,有效地聚合浅层特征,提升图像深度估计精度.里程计利用深度估计网络精确预测单目图像深度,利用光流网络获得双向光流,通过前后光流一致性原则筛选高质量匹配.利用多视图几何原理和优化方式求解获得初始位姿和计算深度,并通过特定的尺度对齐原则得到全局尺度一致的6自由度位姿.同时,为了提高网络对场景细节和弱纹理区域的学习能力,将基于特征图合成的特征度量损失结合到网络损失函数中.在KITTI Odometry数据集上进行实验验证,不同阈值下的深度估计取得了85.9%、95.8%、97.2%的准确率.在09和10序列上进行里程计评估,绝对轨迹误差在0.007 m.实验结果验证了所提出方法的有效性和准确性,表明其在深度估计和视觉里程计任务上的性能优于现有方法.     

一种基于改进闭环检测的视觉SLAM算法

针对视觉SLAM中由于视觉里程计存在累积误差导致难以构建全局一致的地图的问题,提出一种基于改进闭环检测的视觉SLAM算法。通过差分信息熵删除冗余关键帧;利用基于词袋模型(bag of words, BoW)改进的金字塔得分函数检测闭环,提高闭环的识别率,并通过改进的感知哈希算法对提取的闭环候选帧进行几何验证,剔除差别较大的候选帧。整个闭环检测算法结合ORB-SLAM2框架进行特征点提取、相机位姿估计和g2o图优化。利用标准RGBD SLAM数据集进行算法验证,实验结果表明,该算法能够有效降低SLAM系统的累积误差,实现更加准确的位姿估计,并且满足机器人建图的实时性要求。     

基于深度学习SuperGlue算法的单目视觉里程计

基于特征点法的视觉里程计中,光照和视角变化会导致特征点提取不稳定,进而影响相机位姿估计精度,针对该问题,提出了一种基于深度学习SuperGlue匹配算法的单目视觉里程计建模方法.首先,通过SuperPoint检测器获取特征点,并对得到的特征点进行编码,得到包含特征点坐标和描述子的向量;然后,通过注意力GNN网络生成更具代表性的描述子,并创建M×N型得分分配矩阵,采用Sinkhorn算法求解最优得分分配矩阵,从而得到最优特征匹配;最后,根据最优特征匹配进行相机位姿恢复,采用最小化投影误差法进行相机位姿优化.实验结果表明,在无后端优化的条件下,该算法与基于ORB或SIFT算法的视觉里程计相比,不仅对视角和光线变化更鲁棒,而且其绝对轨迹误差和相对位姿误差的精度均有显著提升,进一步验证了基于深度学习的SuperGlue匹配算法在视觉SLAM中的可行性和优越性.     

基于主动环形闭合约束的移动机器人分层同时定位和地图创建

基于Rao-Blackwellized粒子滤波器提出了一种基于主动闭环策略的移动机器人分层同时定位和地图创建(simultaneous localization and mapping,SLAM)方法,基于信息熵的主动闭环策略同时考虑机器人位姿和地图的不确定性;局部几何特征地图之间的相对关系通过一致性算法估计,并通过环形闭合约束的最小化过程回溯修正.在仅有单目视觉和里程计的基础上,建立了鲁棒的感知模型;通过有效的尺度不变特征变换(scale invariant feature transform,SIFT)方法提取环境特征,基于KD-Tree的最近邻搜索算法实现特征匹配.实际实验表明该方法为实现SLAM提供了一种有效可靠的途径.     

基于多传感信息融合的语义词袋SLAM优化算法

针对室外大范围场景移动机器人建图中,激光雷达里程计位姿计算不准确导致SLAM (simultaneous localization and mapping)算法精度下降的问题,提出一种基于多传感信息融合的SLAM语义词袋优化算法MSW-SLAM(multi-sensor information fusion SLAM based on semantic word bags)。采用视觉惯性系统引入激光雷达原始观测数据,并通过滑动窗口实现了IMU (inertia measurement unit)量测、视觉特征和激光点云特征的多源数据联合非线性优化;最后算法利用视觉与激光雷达的语义词袋互补特性进行闭环优化,进一步提升了多传感器融合SLAM系统的全局定位和建图精度。实验结果显示,相比于传统的紧耦合双目视觉惯性里程计和激光雷达里程计定位,MSW-SLAM算法能够有效探测轨迹中的闭环信息,并实现高精度的全局位姿图优化,闭环检测后的点云地图具有良好的分辨率和全局一致性。     

基于图优化的Kinect三维视觉里程计设计

针对Kinect相机在未知场景中的路径估计问题,提出了一种基于图优化的视觉里程计算法。通过深度图像的光流匹配筛选出关键帧,并得到关键帧的初始位姿估计;将关键帧的初始位姿估计作为顶点,位姿之间的变换作为边构成一个连通图模型,并通过回环检测在图上增加回环;在连通图模型上利用非线性最小二乘对初始位姿优化,从而得到视觉里程计。实验结果表明:提出的方法在满足实时性的基础上,有效减少了误差,这在以视觉里程计为基础的应用中具有很重要的作用。     

基于kinect的改进RGB-D视觉里程计

针对RGB-D视觉里程计中kinect相机所捕获的图像深度区域缺失的问题,提出了一种基于PnP(perspective-n-point)和ICP(iterative closest point)的融合优化算法。传统ICP算法迭代相机位姿时由于深度缺失,经常出现特征点丢失导致算法无法收敛或误差过大。本算法通过对特征点的深度值判定,建立BA优化模型,并利用g2o求解器进行特征点与相机位姿的优化。实验证明了该方法的有效性,提高了相机位姿估计的精度及算法的收敛成功率,从而提高了RGB-D视觉里程计的精确性和鲁棒性。     

考虑多位姿估计约束的双目视觉里程计

为了提升复杂环境中双目视觉里程计的精度,提出一种考虑多位姿估计约束的双目视觉里程计方法.首先,分别建立匹配深度已知点与深度未知点的数学模型,将深度未知点引入2D-2D位姿估计模型,从而充分利用图像信息;然后,基于关键帧地图点改进3D-2D位姿估计模型,并结合当前帧地图点更新关键帧地图点,从而增加匹配点对数,提高位姿估计精度;最后,根据改进的2D-2D及3D-2D位姿估计模型,建立多位姿估计约束位姿估计模型,结合局部光束平差法对位姿估计进行局部优化,达到定位精度高且累积误差小的效果.数据集实验和实际场景在线实验表明,所提出方法满足实时定位要求,且有效地提高了自主定位精度.     

RTM框架下基于点线特征的视觉SLAM算法

针对图像纹理较为单一及相对模糊时仅仅依靠点特征难以实现精确位姿估计的问题,采用分散模块化技术提出了一种基于点线特征的视觉SLAM(同时定位与地图创建)算法.首先,提取相机采集环境中的点特征及线特征,并根据帧间特征匹配进行跟踪;随后,采用改进的NICP(normal iterative closest point)算法与关键帧匹配策略构建里程计系统.在此基础上,引入基于点线特征词典的闭环检测与GTSAM(Georgia Tech smoothing and mapping library)图优化方法获取具有全局一致性位姿的3维点云地图.以机器人技术中间件构筑系统框架,在提高系统实时性的同时增强功能模块的可扩展性与灵活性.标准数据集与实际实验室场景下的实验结果验证了所提方法的可行性和有效性.     

融合双目视觉与惯导信息的高效视觉里程计算法

为提高视觉里程计(VO)在大尺度环境下运行的实时性,提出一种融合双目视觉与惯导信息的视觉里程计算法,主要由前端位姿跟踪和后端局部地图优化两个线程组成.位姿跟踪线程首先使用惯导信息辅助光流法进行帧间特征点跟踪并估计相机初始位姿;接着通过最小化图像光度误差获取当前帧像素点与局部地图点的对应关系;而后最小化当前帧上局部地图点的重投影误差和惯性测量单元(IMU)预积分误差,得到当前帧准确的位姿估计.后端局部地图优化线程对滑动窗口内的关键帧提取特征点并三角化新地图点,使用光束平差法(BA)对逆深度参数化表示的地图点位置、关键帧位姿、速度以及陀螺仪和加速度计零偏进行滑窗优化,为前端提供更加精确的局部地图相机位姿和环境信息.在EuRoC数据集上的实验表明,相比于ORB-SLAM2、ORB-SLAM3算法,该融合双目视觉与惯导信息的视觉里程计算法的定位精度略有下降,但可以较大程度地提高位姿跟踪的实时性.     

基于点线结合特征的单目视觉里程计

SLAM(即时定位与地图构建)系统是近年来计算机视觉领域的一大重要课题,其中特征法的SLAM凭借稳定性好、计算效率高的优点成为SLAM算法的主流。目前特征法SLAM主要基于点特征进行。针对基于点特征的视觉里程计依赖于数据质量,相机运动过快时容易跟丢,且生成的特征地图不包含场景结构信息等缺点,提出了一种基于点线结合特征的优化算法。相较于传统基于线段端点的六参数表达方式,算法采用一种四参数的方式表示空间直线,并使用点线特征进行联合图优化估计相机位姿。使用公开数据集和自采集鱼眼影像数据分别进行实验的结果表明,与仅使用点特征的方法相比,该方法可有效改善因相机运动过快产生的跟丢问题,增加轨迹长度,提升位姿估计精度,且生成的稀疏特征地图更能反映场景结构特征。     

室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

采用双视觉里程计的SLAM位姿图优化方法

后端轨迹优化是视觉同步定位与建图系统的重要组成部分,可以显著地提高定位精度.然而,现有的基于捆集约束法的优化方法在大场景中计算量大,并且无法应用于端到端视觉里程计.针对这个问题,提出了一种在前端采用2个视觉里程计的后端通用位姿图优化方法,可以应用于端到端视觉里程计.该方法采用一个高速低精度的端到端视觉里程计以高频率运行,同时一个低速高精度的视觉里程计以低频率运行,局部优化通过2个里程计提供的约束条件使用高斯-牛顿法迭代优化;在全局优化中基于关键帧进行场景匹配与局部优化同时进行.实验证明,应用该优化方法的同步定位与建图系统可以在KITTI数据集上实时运行,相较于2个视觉里程计都取得了精度上的较大提升,并且对比现今开源的几种应用后端轨迹优化的著名同步定位与建图方法,在轨迹误差、绝对轨迹误差、旋转误差和相对位姿误差上均取得了较低的误差,兼顾了传统方法精度的优势和端到端方法速度上的优点.除此以外,该优化方法还可以适用于其他更多的视觉里程计.     

面向室内动态环境的半直接法RGB-D SLAM算法

为了解决室内动态环境下移动机器人的准确定位问题,提出了一种融合运动检测算法的半直接法RGB-D视觉SLAM(同时定位与地图创建)算法,它由运动检测、相机位姿估计、基于TSDF (truncated signed distance function)模型的稠密地图构建3个步骤组成.首先,通过最小化图像光度误差,利用稀疏图像对齐算法实现对相机位姿的初步估计.然后,使用视觉里程计的位姿估计对图像进行运动补偿,建立基于图像块实时更新的高斯模型,依据方差变化分割出图像中的运动物体,进而剔除投影在图像运动区域的局部地图点,通过最小化重投影误差对相机位姿进行进一步优化,提升相机位姿估计精度.最后,使用相机位姿和RGB-D相机图像信息构建TSDF稠密地图,利用图像运动检测结果和地图体素块的颜色变化,完成地图在动态环境下的实时更新.实验结果表明,在室内动态环境下,本文算法能够有效提高相机位姿估计精度,实现稠密地图的实时更新,在提升系统鲁棒性的同时也提升了环境重构的准确性.     

工厂环境下改进的视觉SLAM算法

针对工业场景对自动导引车(AGV)高定位精度的要求,提出一种改进的视觉同时定位与地图创建(VSLAM)算法.在算法前端,双目相机采集立体图像,通过双目匹配算法得到亚像素级的匹配点对,计算出这些特征点在相机坐标系中的3D信息.然后利用RansacPnP算法根据3D-2D匹配点对计算位姿变换,并以它为初值进一步最小化重投影误差,实现局部优化.基于匹配点对描述子的汉明距离提出一种不确定性模型,该模型为局部优化中的约束条件提供信息矩阵,提高定位精度.在算法的后端,通过竖直向上拍摄的单目相机检测可靠的人工信标闭环信息,进行全局位姿优化,并针对AGV的运动模型和工作场景,提出一种基于全局平面约束的优化方法,降低SLAM系统的误差.实验通过KITTI离线数据集对比了该算法前端双目里程计与ORB-SLAM2及libviso2算法里程计的定位精度,并在工厂环境中对整个算法进行实地测试来判断其实际精度和鲁棒性.实验结果表明该算法具有良好的综合性能,定位误差在10 cm以内,定位频率达20 Hz,能够满足工业现场要求.     

机器人SLAM的特征点实时提取改进

为解决传统机器人SLAM在复杂场景下难以保持实时性和稳定性的问题,提出一种对ORB(orientedFASTand rotated BREIEF)特征点过于密集的改进方法,对前端视觉里程计以及SLAM后端进行优化。前端利用划分像素结合四叉树完成特征提取,对像素进行划分提高部分区域提取到特征点的概率,四叉树方法对特征点进行均匀分配提取。RANSAC组合EPNP+ICP的方式减少求解相机运动的误差,基于词袋模型和G2O进行闭环检测和图优化,生成轨迹一致的全局点云地图。将传统的算法和改进的算法在TUM数据集下进行实验对比,实验结果表明,改进后算法的实时性和稳定性明显提高。     

视觉里程计算法研究综述

视觉里程计通过分析相机所获取的图像流信息估计移动机器人的位姿。为了深入分析视觉里程计算法的发展现状,结合一些先进的视觉里程计系统,综述了视觉里程计的相关技术以及最新的研究成果。首先简述了视觉里程计的概念和发展历程,介绍了视觉里程计问题的数学描述和分类方法;然后,详细阐述了视觉里程计的关键技术,包括特征模块、帧间位姿估计和减少漂移;此外,还介绍了基于深度学习的视觉里程计的发展动态。最后,总结了视觉里程计目前存在的问题,展望了未来的发展趋势。     

基于动态区域剔除的RGB-D视觉SLAM算法

针对动态场景下视觉SLAM(simultaneous localization and mapping)算法易受运动特征点影响,从而导致位姿估计准确度低、鲁棒性差的问题,提出了一种基于动态区域剔除的RGB-D视觉SLAM算法。首先借助语义信息,识别出属于移动对象的特征点,并借助相机的深度信息利用多视图几何检测特征点在此时是否保持静止;然后使用从静态对象提取的特征点和从可移动对象导出的静态特征点来微调相机姿态估计,以此实现系统在动态场景中准确而鲁棒的运行;最后利用TUM数据集中的动态室内场景进行了实验验证。实验表明,在室内动态环境中,所提算法能够有效提高相机的位姿估计精度,实现动态环境中的地图更新,在提升系统鲁棒性的同时也提高了地图构建的准确性。