基于分级关键帧筛选的RGB-D SLAM算法研究

利用关键帧求解SLAM算法(simultaneous localization and mapping)能够提高SLAM系统的实时性与精确度。针对现存关键帧筛选算法中存在的计算复杂度高、图像帧冗余以及鲁棒性较差等问题,提出一种分级关键帧筛选方法。该算法考虑了SLAM系统在不同运行阶段时对关键帧的要求,首先结合旋转度指数与地图点跟踪筛选出一级关键帧用于后端优化与回环检测,再利用相邻帧在空间上的相对运动距离筛选出二级关键帧用于三维地图构建,最后,实现了基于此二级筛选算法的RGB-D SLAM系统。实验表明,一级关键帧算法能提高SLAM系统的定位和建图精度,二级关键帧算法则有效减少了数据冗余,提高了建图效率。     

点云片段匹配约束和轨迹漂移优化的回环检测方法

基于三维点云的同时定位与建图(simultaneous localization and mapping, SLAM)是机器人导航与定位领域重要的技术之一.然而具有回环检测功能的三维点云SLAM系统仍鲜见于文献中.本文首先提出了一种新的基于三维点云的室外SLAM系统的框架,该框架由里程计、回环检测、位姿优化3部分组成.其次针对回环检测,提出一种基于点云片段匹配约束的方法提升回环检测的效率.最后针对位姿优化,提出两种轨迹漂移优化算法,分别为全局一致性的回环调整算法和位姿预测和补偿算法.通过广泛的实验验证本文提出的方法,结果表明本文所提出的SLAM系统具有稳定和精确的位姿估计能力.     

直接法和共视图优化的视觉惯性SLAM系统研究

视觉SLAM系统在相机快速旋转或光照频繁变化时,极易跟踪丢失。为此,提出一种基于直接法和共视图优化的紧耦合视觉惯性SLAM系统,融合IMU信息提高系统的鲁棒性,采用直接法前端提高系统的实时性,共视图优化后端提高系统的定位精度。该系统由前端和后端以及回环检测三个模块组成。跟踪线程利用IMU信息和基于稀疏图像对齐的直接法进行初始位姿估计;后端采用共视图的方法,以当前帧的二级相邻共视关键帧范围为局部优化窗口,利用光束平差法(Bundle Adjustment, BA)对系统状态变量进行优化;另外,仅对关键帧提取ORB特征点,并计算描述子信息供回环检测使用。在TUM VI数据集上的实验证明,与ORB-SLAM3和VINS-mono相比,该算法提高了系统的定位精度,且位姿估计速度提高了50%以上,在一帧完整跟踪任务中,比VINS-mono实时性提高了26%。     

基于双目相机的SLAM回环检测改进算法研究

回环检测算法在视觉即时定位与地图构建(SLAM)系统框架中具有重要的作用,能够修正在前端和后端计算过程结果中产生的不可避免的累计误差,在长时间运行的情况下能够保证定位与建图的准确性。传统的视觉SLAM中主要采用基于词袋模型的图像检索方式,但是在视角差异较大的情况下难以匹配到正确的图像。针对这种情况,基于双目相机提出利用透视变换和基于迭代最近点(ICP)算法的空间信息几何检验,对候选关键帧进行视角变换和匹配,完成较大视角差异情况下的回环检测,修正累计误差。该方法适用于对算法耗时要求不甚严格的场景。实验结果表明,该方法可以提高识别回环检测候选关键帧的准确率和召回率。     

视觉同步定位与建图系统中回环检测研究进展

回环检测又被称为位置识别,是“同步定位与建图”(Simultaneous Localization And Mapping, SLAM)系统中根据图像间的相似度判断运动轨迹是否经过重复地点(即存在回环)的功能,起到阶段性消除累积误差的作用。聚焦于视觉SLAM系统这一特定主题下的回环检测主题进行研究,概述了SLAM系统的基本功能与基本组成,分析了视觉SLAM系统中回环检测的原理与工作流程、前置问题、评测指标。剖析了回环检测发展过程中产生的系列方法,归类了视觉SLAM系统中回环检测存在的两类算法——基于词袋模型的回环检测算法和基于深度学习的回环检测算法,并对这两类算法的原理及优缺点进行了深入分析与总结。分析表明,基于词袋模型的回环检测算法因其在实时性上的优势仍处于主流,基于深度学习的回环检测算法具有较好的准确率和鲁棒性,但受限于设备对计算资源的分配,这一类做法如何应用于注重实时性的视觉SLAM系统仍是亟待解决的问题。最后,对回环检测面临的挑战和存在的问题进行了分析与展望。     

融合全局描述子和半直接法的双目SLAM

针对半直接法SLAM方案的回环闭合问题,提出融合全局描述子和半直接法的双目SLAM方案.全局描述子计算模型结合主成分分析法(PCA)和K近邻方法构建关键帧的全局描述子管理模块;在位姿跟踪模块中使用最小化光度误差的半直接法;结合关键帧全局描述子和半直接法完成闭环检测与全局位姿优化.在公开数据集KITTI和Euroc上进行...     

复杂场景下视觉先验信息的地图恢复SLAM

目的 目前已有的单目视觉SLAM（simultaneous localization and mapping）系统每次开始运行时都将初始帧而不是绝对位置设置为参考帧,不能在一个固定的坐标系中获得位姿,导致无法重用已有的建图信息,而且在复杂场景中相机容易跟踪失败,需要当前帧与已有的关键帧非常相似时才能重定位并继续建图。针对这个问题,提出一种具有重新初始化、地图重用与地图恢复能力的视觉SLAM系统。方法 首先,加载先验地图,通过ORB（oriented brief）特征匹配SLAM系统当前帧与先验地图关键帧,并结合重定位方法完成SLAM系统的初始化。接着,为了避免丢失地图,建立一种应对SLAM系统跟踪失败的地图保存机制,保存跟踪成功地图,并提出一种自适应快速重新初始化算法,引入灭点检测,自动选择最佳重新初始化策略,保证SLAM系统继续跟踪与建图,建立的地图称为恢复地图。最后,对于跟踪成功地图与恢复地图,采用改进的回环方法获得它们之间的转换关系,并提出一种地图恢复法,减少跟踪成功地图与恢复地图尺度不一带来的误差,确保得到的全局一致地图更加准确。结果 在经过加噪处理的KITTI数据集上进行地图恢复融合的测试,实验结果表明,在KITTI00、KITTI02、KITTI05数据集下,本文提出的SLAM系统比ORB-SLAM2系统分别可以多获得39.25%、47.75%、32.46%的地图信息。在EuRoC数据集上的运行结果表明,本文提出的单目视觉SLAM系统不仅在建图精度方面与ORB-SLAM2效果相当,还在跟踪稳定性方面有显著提升。结论 本文提出的SLAM系统可以在跟踪失败的情况下有效恢复地图;此外,还可以高效重用SLAM系统已有的建图结果,固定SLAM地图坐标系,提升SLAM系统运行稳定性。     

融合彩色信息与SIFT特征的帧内复制粘贴篡改检测

近年来在同源复制粘贴篡改检测中,SIFT特征得到了广泛的应用.但由于该特征在提取过程中摒弃了颜色信息,会造成一部分特征点的误匹配和漏匹配.为此,提出一种基于彩色信息与SIFT融合的CSIFT特征的检测方法,在提取特征点时加入颜色不变量信息,提高了匹配的准确性和效率.算法首先利用结构相似度将视频帧序列分段,提取每段序列的关键帧;然后提取关键帧的CSIFT特征;最终定位复制粘贴区域,并利用目标跟踪算法计算篡改区域在后续帧上的位置.通过实验验证了算法的鲁棒性,与基于SIFT等特征的算法相比,时间效率和准确性更高.     

基于深度学习的视觉SLAM回环检测方法

现今主要的视觉SLAM回环检测方法是基于人工标记特征点算法进行图像间匹配,在复杂环境下会出现准确率急速下降的问题。针对此问题,结合卷积神经网络和局部敏感哈希算法,提出一种基于深度学习的回环检测方法。基于回环检测中的图像相似性判断策略构建图像特征向量集,运用级联的余弦距离哈希函数进行回环检测。实验结果表明,该方法较传统方法有着更高的准确率与速率,更好满足了视觉SLAM系统对消除累计误差和实时性的要求。     

基于特征点改进的视觉SLAM定位研究

为改善视觉SLAM(SimultaneousLocalizationandMapping)系统在低纹理环境下定位精度较低的现象,提出一种改进的ORB(OrientedFASTandRotatedBRIEF)特征点提取策略和一种关键帧选择机制;首先采用多尺度分析和基于局部灰度的特征检测方法克服一般ORB算法缺乏尺度和旋转描述的缺点;其次提出一种基于高斯模糊的图像信息增强方法解决传统ORB特征点提取方法在纹理信息不被突出环境下容易失效的问题,并对图像进行象限分割使特征点均匀分布;最后为剔除劣质关键帧,设计了一种综合时间因素与特征点数量因素的关键帧选择机制;将提出的方法移植到ORB_SLAM2上,并在TUM数据集上测试,实验结果表明,视觉SLAM系统的定位误差平均降低14.688%,证实了本文方法的有效性。     

基于稀疏化的快速扩展信息滤波SLAM算法

随着SLAM技术的不断发展,计算效率已经成为制约SLAM发展的主要因素.所提出的算法从稀疏化的角度对扩展信息滤波SLAM算法进行改进.根据信息矩阵几乎稀疏的特点,该算法在合理稀疏化信息矩阵的同时利用环闭合检测技术,不仅大大提高了算法的计算效率,而且所得到的估计结果也很精确.通过仿真对信息矩阵稀疏化、算法效率、重定位以及误差和协方差四个关键问题进行了分析.分别就室内具有摄像头的两轮机器人和室外具有激光雷达的四轮机器人的情况进行了实验讨论.仿真与实验结果表明了所提算法的有效性.     

基于动态边缘化的双目视觉惯性SLAM算法

针对单目视觉惯性SLAM算法鲁棒性不高且尺度恢复困难的问题,提出基于动态边缘化的双目视觉惯性SLAM算法(DM-SVI-SLAM).前端使用光流法进行特征跟踪,利用预积分计算帧间IMU,后端在滑动窗口内融合单/双目匹配点误差、IMU残差及先验误差构建捆集调整的成本函数,利用动态边缘化策略、Dog-Leg算法提升计算效率...     

基于TLD框架的快速目标跟踪方法

现实中目标在被长期跟踪时容易发生形变、遮挡、光照干扰以及其它问题,现有跟踪算法虽能解决该系列问题但算法计算量巨大导致跟踪系统实时性能较差,很难应用于实际场合。因此准确快速跟踪目标成为近年来非常有挑战的热点课题。以国外学者Zdenek Kalal等人提出的TLD(Tracking-Learning-Detection)框架为基础,提出了三点改进方法。一根据目标所占整幅图像的面积大小动态调整被处理图像的分辨率,从总体上减少样本数量;二在目标邻近区域扫描生成样本,缩小检测器的检测范围;三更换检测部分中分类器模板匹配方法,实现快速匹配,提高算法运行速度。针对与不同的场景,实验表明上述问题在改进后的算法中得到了较大的改善,算法的计算量有效降低,系统运行速度得到提高。且对于实时摄像头监控,改进后算法在保证目标跟踪准确率的同时拥有较好的实时性。     

基于软分配SIFT特征的回环检测算法

回环检测能够消除视觉SLAM的累积误差,对SLAM系统意义重大。其中,应用较广泛的视觉词袋模型算法存在着视觉单词同一性和歧义性问题,影响了回环检测效果。为改善这些问题并提高回环检测效果,提出了一种基于软分配SIFT（scale-invariant feature transform）特征的回环检测算法。该算法将图像提取出的SIFT特征点分配到欧氏距离最近的几个单词上,并根据距离排序加权,剔除距离单词较远的特征点,生成更具区分性的描述子。并且在筛选候选项时,加入相同单词特征点占比以及单词偏移稳定性约束,筛选出少量候选项。实验结果中,该算法相较于传统视觉词袋模型以及近些年的几种回环检测算法,在三种数据集中的100%准确率下的召回率有所提升,图像平均查询时间在40 ms左右。结果表明,该算法对回环检测效果有一定提升,并且保证了实时性。     

基于在线光度标定的单目直接视觉SLAM

为了减少场景点的光照变化对直接视觉SLAM （simultaneous localization and mapping,SLAM）的影响,在稀疏直接法（direct sparse odometry with loop closure,LDSO）的基础上对其优化,结合光度标定来增强系统的整体性能。直接视觉SLAM,其图像配对的基本假设是建立在灰度一致性之上的,即同一个场景点在多个图像中是以恒定亮度值出现的。为了更好地满足这一假设,采用KLT （Kanade-Lucas-Tracker）来跟踪关键点,利用带光度参数的像素跟踪模型建立优化方程,优化序列的光度参数（曝光时间、晕影和响应函数）,从而实现实时曝光补偿,增强了系统视觉前端的跟踪稳定性。最后,在公开数据集上进行实验。实验结果标明所提方法在部分序列上能有效地提高系统性能。     

基于两次检测曲线的压缩视频关键帧提取*

针对目前压缩域下提取视频关键帧的算法存在特征选取单一、提取的关键帧准确性不高、算法效率低的缺点,提出了压缩域下基于两次曲线曲率检测的关键帧提取算法。算法利用曲线上的高曲率点表示曲线的显著变化,并在此基础上利用压缩视频的固有特征,即离散余弦变换之后的AC系数和DC系数特征,构建特征相似度曲线,进而对曲线进行两次高曲率点检测并提取视频关键帧。实验表明,该算法能快速有效地实现关键帧的自动提取,并可以提高提取关键帧的查准率和查全率。     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM（同步定位与地图创建）算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度．在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题．算法具有全局重定位的能力．在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化．算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性．基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强．     

无人机视角下的多车辆跟踪算法研究

针对无人机视频中存在目标密集、运动噪声强而导致跟踪性能显著下降的问题,提出了一种改进YOLOv3的车辆检测算法及一种基于深度度量学习的多车辆跟踪算法。针对车辆检测的精度与实时性问题,采用深度可分离卷积网络MobileNetv3作为特征提取网络实现网络结构轻量化,同时采用CIoU Loss作为边框损失函数对网络进行训练。为了在多目标跟踪过程中提取到更具判别力的深度特征,提出了一种基于深度度量学习的多车辆跟踪算法,实验证明,本文提出的算法有效改善车辆ID跳变问题,速度上满足无人机交通视频下车辆跟踪的实时性要求,达到17 f/s。