一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52ms降至16ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值.     

融合直接法与特征法的快速双目SLAM算法

为了实时得到搭载双目相机的机器人准确的3维位姿状态和环境信息,提出一种融合直接法与特征法的双目SLAM(同时定位与地图创建)算法.该算法主要分为4个线程:跟踪线程、特征提取线程、局部建图线程和闭环线程.跟踪线程通过最小化图像光度误差,获取双目的初始位姿估计和特征对应关系,而后通过最小化局部地图点的重投影误差,得到更为准确的机器人位姿估计.特征提取线程负责提取关键帧的关键点和描述子,能够保证待处理的关键帧较多时不影响后续局部建图线程的执行.局部建图线程管理局部地图,执行局部BA(光束平差法),优化局部关键帧位姿和局部地图点的位置,提高SLAM的局部一致性.闭环线程通过对关键帧的闭环检测和优化,提高SLAM的全局一致性.另外利用闭环线程处理机器人被绑架后重回已探测环境的定位问题.KITTI数据集、TUM数据集以及采集的双目数据实验表明,本文算法相对于ORB-SLAM2算法,在保证定位精度的同时,有效提高了相机位姿的输出帧率,并且在机器人被绑架的情况下,能够得到更为丰富的姿态信息和环境信息.     

利用惯导测量单元确定关键帧的实时SLAM算法

由于嵌入式处理器算力的限制,实时性差一直是视觉惯导同时定位与建图（VI-SLAM）走向实际应用的一个亟待解决的问题,因此提出一种利用惯导测量单元（IMU）确定关键帧的实时同时定位与建图（SLAM）算法,主要分为3个线程：跟踪、局部建图和闭环。首先由跟踪线程通过IMU预积分自适应地确定关键帧,而自适应阈值由视觉惯性紧耦合优化的结果得出;然后仅对关键帧进行跟踪,避免对所有帧进行特征处理;最后利用局部建图线程在滑动窗口中通过视觉惯导光束平差法得到更加精确的无人机位姿,利用闭环线程得到全局一致的轨迹和地图。在数据集EuRoC上的实验结果表明,该算法能在不降低精度和鲁棒性的情况下显著减少跟踪线程耗时,降低VI-SLAM对计算资源的依赖。在实际飞行测试中,该算法能够较实时准确地估计出具有尺度信息的无人机飞行真实轨迹。     

鲁棒的非线性优化的立体视觉－惯导SLAM

针对基于视觉特征的同时定位与地图构建（SLAM）系统在图像模糊、运动过快和特征缺失的情况下存在鲁棒性和精度急剧下降甚至失败的问题,提出了紧耦合的非线性优化的立体视觉-惯导SLAM系统．首先,以关键帧的位姿作为约束,采用分而治之的策略估计惯性测量单元（IMU）的偏差．在前端,针对ORB-SLAM2在跟踪过程中由于运动过快导致匀速运动模型失效的问题,通过预积分上一帧到当前帧的IMU数据,预测当前帧的初始位姿,并在位姿优化中加入了IMU预积分约束．然后,在后端优化中,在滑动窗口内优化关键帧的位姿、地图点和IMU预积分,并更新IMU的偏差．最后,通过EuRoC数据集验证该系统的性能,对比ORB-SLAM2系统、VINS-Mono系统和OKVIS系统,该系统的精度分别提高了1.14倍、1.48倍和4.59倍;相比前沿的SLAM系统,该系统在快速运动、图像模糊和特征缺失条件下的鲁棒性也得到了提高．     

动态场景下结合语义的半直接法视觉里程计

针对传统视觉里程计方法在动态环境中跟踪效果差、容易失效的问题,提出了一种适用于动态场景下融合语义的半直接法视觉里程计,主要由语义分割、位姿跟踪和地图管理三部分组成。首先,使用语义分割网络Mask R-CNN对每一帧图像进行语义分割,得到语义分割二值图,结合语义先验信息删除动态特征;然后,利用静态部分特征进行帧间对齐和特征匹配完成位姿跟踪;最后,通过筛选关键帧和更新3D点深度对地图更新,并利用光束平差算法对局部地图的位姿和3D点进行优化。在公共数据集TUM RGB-D的动态序列集上的实验结果表明,该方法与ORB-SLAM2、OpenVSLAM相比,其跟踪误差分别减少了68%和72%,验证了该方法在动态场景中位姿跟踪的准确性。     

基于局部与全局优化的双目视觉里程计算法

为实现移动机器人的实时精确定位,提出一种新的双目视觉里程计算法。利用加速尺度不变特征变换(SIFT)算子提取左右图像特征并做稀疏立体匹配,对前后帧图像进行帧间SIFT特征追踪,在RANSAC策略下通过运动估计获得初始位姿(旋转和平移矩阵)。在此基础上,将图像序列分为关键帧和非关键帧,采用可变滑动窗口对相邻关键帧的位姿局部非线性优化以减小帧间运动估计误差,同时通过词袋模型进行回环检测,对环内所有关键帧的位姿全局优化,避免位姿误差的累积和轨迹漂移。实验结果表明,该算法满足实时性要求,并且能够减小位姿误差,提高定位精度。     

考虑多位姿估计约束的双目视觉里程计

为了提升复杂环境中双目视觉里程计的精度,提出一种考虑多位姿估计约束的双目视觉里程计方法.首先,分别建立匹配深度已知点与深度未知点的数学模型,将深度未知点引入2D-2D位姿估计模型,从而充分利用图像信息;然后,基于关键帧地图点改进3D-2D位姿估计模型,并结合当前帧地图点更新关键帧地图点,从而增加匹配点对数,提高位姿估计精度;最后,根据改进的2D-2D及3D-2D位姿估计模型,建立多位姿估计约束位姿估计模型,结合局部光束平差法对位姿估计进行局部优化,达到定位精度高且累积误差小的效果.数据集实验和实际场景在线实验表明,所提出方法满足实时定位要求,且有效地提高了自主定位精度.     

惯导卫星组合导航辅助的视觉导盲仪定位建图

视觉即时定位与建图(VSLAM)算法能够为穿戴式视觉导盲仪提供必要的位姿信息和环境信息。针对穿戴式视觉导盲仪对定位与建图精度的要求,提出了一种利用IMU/GPS组合导航辅助VSLAM的算法。在双目ORB-SLAM的跟踪线程中,将匀速运动模型改进为基于IMU/GPS组合导航位姿数据的运动模型,并且构造了综合视觉与组合导航数据的非线性优化,以提高跟踪线程的稳定性、提升定位精度。同时,局部建图线程的地图优化中也融合了组合导航数据,提高局部地图的精度,便于导盲仪检测环境信息,最终得到在大范围场景下稳定运行的定位与建图算法。在实际场景中的试验结果表明,该融合算法抑制了VSLAM的累积误差,同时VSLAM能够有效抑制GPS受环境影响产生的定位偏移误差,最终的定位精度达到0. 47 m。该算法提高了VSLAM建图效果,基本满足了视觉导盲仪对定位精度和环境信息的应用需求。     

基于直接法与惯性测量单元融合的视觉里程计

针对直接法完全依靠梯度搜索来计算相机位姿、容易陷入局部最优的缺点,本文将惯性测量单元(IMU)数据紧密关联到图像跟踪过程,提供精确的短期运动约束和较好的初始梯度方向信息,并对视觉位姿跟踪结果进行校正,提高单目视觉里程计的跟踪精度.在此基础上,基于相机和IMU测量结果建立传感器数据融合模型,采用滑动窗口的方式优化求解,同时在边缘化过程中根据当前帧与上一关键帧之间的相机帧间运动大小,选择应边缘化的状态量和应加入滑动窗口的状态量,确保在优化过程中有足够准确的先验信息,确保优化融合的效果.实验结果表明,与现有的视觉里程计算法相比,本文算法在数据集上的定位角度累积误差在3°左右,位移累积误差小于0.4 m.     

工厂环境下改进的视觉SLAM算法

针对工业场景对自动导引车(AGV)高定位精度的要求,提出一种改进的视觉同时定位与地图创建(VSLAM)算法.在算法前端,双目相机采集立体图像,通过双目匹配算法得到亚像素级的匹配点对,计算出这些特征点在相机坐标系中的3D信息.然后利用RansacPnP算法根据3D-2D匹配点对计算位姿变换,并以它为初值进一步最小化重投影误差,实现局部优化.基于匹配点对描述子的汉明距离提出一种不确定性模型,该模型为局部优化中的约束条件提供信息矩阵,提高定位精度.在算法的后端,通过竖直向上拍摄的单目相机检测可靠的人工信标闭环信息,进行全局位姿优化,并针对AGV的运动模型和工作场景,提出一种基于全局平面约束的优化方法,降低SLAM系统的误差.实验通过KITTI离线数据集对比了该算法前端双目里程计与ORB-SLAM2及libviso2算法里程计的定位精度,并在工厂环境中对整个算法进行实地测试来判断其实际精度和鲁棒性.实验结果表明该算法具有良好的综合性能,定位误差在10 cm以内,定位频率达20 Hz,能够满足工业现场要求.     

基于视觉惯性融合的半直接单目视觉里程计

针对半直接单目视觉里程计缺乏尺度信息并且在快速运动中鲁棒性较差的缺点,设计了一种融合惯性测量信息的半直接单目视觉里程计,通过IMU（惯性测量单元）信息弥补视觉里程计的缺陷,有效提高跟踪精度与系统鲁棒性．本文联合惯性测量信息与视觉信息进行初始化,较准确地恢复了环境尺度信息．为提高运动跟踪的鲁棒性,提出一种IMU加权的运动先验模型．通过预积分获取IMU的状态估计,根据IMU先验误差调整权重系数,使用IMU先验信息的加权值为前端提供精确的初值．后端构建了紧耦合的图优化模型,融合惯性、视觉以及3维地图点信息进行联合优化,同时在滑动窗口中使用强共视关系作为约束,在消除局部累积误差的同时提高优化效率与优化精度．实验结果表明,本文的先验模型优于匀速运动模型与IMU先验模型,单帧先验误差小于1 cm．后端优化方法改进后,计算效率提高为原来的1.52倍,同时轨迹精度与优化稳定性也得到提高．在EuRoC数据集上进行测试,定位效果优于OKVIS算法,轨迹均方根误差减小为原视觉里程计的1/3．     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM（同步定位与地图创建）算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度．在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题．算法具有全局重定位的能力．在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化．算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性．基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强．     

基于ORB-SLAM2系统的快速误匹配剔除算法与地图构建

针对ORB-SLAM2系统中随机抽样一致（RANSAC）算法在误匹配剔除时因其算法本身的随机性而导致效率较低的问题和在ORB-SLAM2系统里未能构建稠密点云地图的问题,采用渐进一致采样（PROSAC）算法来改进ORB-SLAM2系统中的误匹配剔除,并在系统中添加稠密点云地图和八叉树地图构建线程。首先,与RANSAC算法相比,PROSAC算法依据评价函数对特征点进行预排序,并选取评价质量较高的特征点求解单应性矩阵,根据单应性矩阵的解与匹配误差阈值进行误匹配剔除;然后,根据ORB-SLAM2系统进行相机的位姿估计与重定位;最后,根据所选关键帧进行稠密点云地图与八叉树地图的构建。根据TUM数据集上的实验结果,PROSAC算法在进行相同图像的误匹配剔除时所用时间是RANSAC算法的50%左右,并且所提系统的绝对轨迹误差与相对位姿误差与ORB-SLAM2系统基本一致,表现出良好的鲁棒性;另外,与稀疏点云地图相比,提出的新构建地图可以直接用于机器人的导航与路径规划。     

基于ORB-SLAM2系统的快速误匹配剔除算法与地图构建

针对ORB-SLAM2系统中随机抽样一致（RANSAC）算法在误匹配剔除时因其算法本身的随机性而导致效率较低的问题和在ORB-SLAM2系统里未能构建稠密点云地图的问题，采用渐进一致采样（PROSAC）算法来改进ORB-SLAM2系统中的误匹配剔除，并在系统中添加稠密点云地图和八叉树地图构建线程。首先，与RANSAC算法相比，PROSAC算法依据评价函数对特征点进行预排序，并选取评价质量较高的特征点求解单应性矩阵，根据单应性矩阵的解与匹配误差阈值进行误匹配剔除；然后，根据ORB-SLAM2系统进行相机的位姿估计与重定位；最后，根据所选关键帧进行稠密点云地图与八叉树地图的构建。根据TUM数据集上的实验结果，PROSAC算法在进行相同图像的误匹配剔除时所用时间是RANSAC算法的50%左右，并且所提系统的绝对轨迹误差与相对位姿误差与ORB-SLAM2系统基本一致，表现出良好的鲁棒性；另外，与稀疏点云地图相比，提出的新构建地图可以直接用于机器人的导航与路径规划。     

复杂场景下视觉先验信息的地图恢复SLAM

目的 目前已有的单目视觉SLAM（simultaneous localization and mapping）系统每次开始运行时都将初始帧而不是绝对位置设置为参考帧,不能在一个固定的坐标系中获得位姿,导致无法重用已有的建图信息,而且在复杂场景中相机容易跟踪失败,需要当前帧与已有的关键帧非常相似时才能重定位并继续建图。针对这个问题,提出一种具有重新初始化、地图重用与地图恢复能力的视觉SLAM系统。方法 首先,加载先验地图,通过ORB（oriented brief）特征匹配SLAM系统当前帧与先验地图关键帧,并结合重定位方法完成SLAM系统的初始化。接着,为了避免丢失地图,建立一种应对SLAM系统跟踪失败的地图保存机制,保存跟踪成功地图,并提出一种自适应快速重新初始化算法,引入灭点检测,自动选择最佳重新初始化策略,保证SLAM系统继续跟踪与建图,建立的地图称为恢复地图。最后,对于跟踪成功地图与恢复地图,采用改进的回环方法获得它们之间的转换关系,并提出一种地图恢复法,减少跟踪成功地图与恢复地图尺度不一带来的误差,确保得到的全局一致地图更加准确。结果 在经过加噪处理的KITTI数据集上进行地图恢复融合的测试,实验结果表明,在KITTI00、KITTI02、KITTI05数据集下,本文提出的SLAM系统比ORB-SLAM2系统分别可以多获得39.25%、47.75%、32.46%的地图信息。在EuRoC数据集上的运行结果表明,本文提出的单目视觉SLAM系统不仅在建图精度方面与ORB-SLAM2效果相当,还在跟踪稳定性方面有显著提升。结论 本文提出的SLAM系统可以在跟踪失败的情况下有效恢复地图;此外,还可以高效重用SLAM系统已有的建图结果,固定SLAM地图坐标系,提升SLAM系统运行稳定性。     

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建（SLAM）是机器人在未知环境实现自主导航的关键技术，针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题，提出一种新的RGB-D SLAM系统，以进一步提升实时性和精确度。首先，采用ORB算法检测图像特征点，并对提取的特征点采用基于四叉树的均匀化策略进行处理，并结合词袋模型（BoW）进行特征匹配。然后，在系统相机姿态初始值估计阶段，结合PnP和非线性优化方法为后端优化提供一个更接近最优值的初始值；在后端优化中，使用光束法平差（BA）对相机姿态初始值进行迭代优化，从而得到相机姿态的最优值。最后，根据相机姿态和每帧点云地图的对应关系，将所有的点云数据注册到同一个坐标系中，得到场景的稠密点云地图，并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上，将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比，实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。