一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52ms降至16ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值.     

视觉里程计算法研究综述

视觉里程计通过分析相机所获取的图像流信息估计移动机器人的位姿。为了深入分析视觉里程计算法的发展现状,结合一些先进的视觉里程计系统,综述了视觉里程计的相关技术以及最新的研究成果。首先简述了视觉里程计的概念和发展历程,介绍了视觉里程计问题的数学描述和分类方法;然后,详细阐述了视觉里程计的关键技术,包括特征模块、帧间位姿估计和减少漂移;此外,还介绍了基于深度学习的视觉里程计的发展动态。最后,总结了视觉里程计目前存在的问题,展望了未来的发展趋势。     

基于动态物体特征点去除的视觉里程计算法

存在运动物体的场景中,传统立体视觉里程计定位误差大,系统鲁棒性低。为了有效解决此问题,提出了一种基于动态物体检测与特征点去除的立体视觉里程计算法。利用二维稀疏光流法计算由相机运动带来的运动变换矩阵,然后利用变换矩阵对相机运动进行补偿。进一步地,采用了向前向后帧间差分方法进行运动物体检测,将场景中的动态物体和静态物体初步区分开来。将检测到的运动物体区域作为mask,去除动态物体上的部分特征点,然后利用静态点集继续优化变换矩阵,将动态物体影响不断减小,并将其应用于立体视觉里程计系统中。经TUM的RGBD数据集测试评估,提出的算法有效提高了动态场景下的视觉里程计定位精度。     

双目视觉基于修正卡尔曼滤波器的运动估计

研究了目标物体的远程运动估计.首先,建立了一种双目视觉系统的基于卡尔曼滤波器的目标物体运动估计的运动学模型,并且证明了双目视觉系统同步的各自连续两帧图像中至少三个对应图像点能完全确定刚性物体的运动参数和空间位置;然后,通过对状态向量中的速度分量进行再估计,提出了一种修正卡尔曼滤波器对目标物体远程运动估计的算法,与直接卡尔曼滤波器的远程运动估计相比,提高了估计的精度.将该方法运用到一种实时预测的实验中,其结果证明了该算法的有效性.     

基于SIFT特征与区域相结合的双目视觉匹配算法

以SIFT特征对旋转、尺度缩放、亮度变化保持不变性的特点,使用双目视觉系统从两个不同的视觉角度采集立体图像对,提出基于SIFT特征匹配和改进的区域匹配相结合的匹配算法。该方法确定符合SIFT特征的边缘为可靠特征点,并确定其视差;根据视差梯度原理确定其他点的视差,最后生成稠密的视差图。实验结果表明,SIFT特征与区域相结合的匹配算法的引入,提高了特征点视差的准确性,一些弱纹理区的匹配也有所改善。     

基于改进ORB的视觉里程计算法

ORB-SLAM2因高斯金字塔离散、量化尺度的因素,易造成尺度量化误差.针对这一缺陷,提出孪生过滤器算法.通过在对数极坐标系下进行描述子构造,减少其量化误差,并在同层金字塔中构造笛卡尔坐标系下孪生描述子,利用该描述子距离实现过滤,从而提高特征点的尺度不变性,增强其匹配准确率.同时,针对ORB-SLAM2的四叉树算法过度追求离散度而忽略特征点质量问题这一情况,提出深度有限四叉树算法.利用特征点提取阈值以及特征点所在金字塔层进行自适应深度阈值设置,减小弱特征点区域的划分次数,从而减少弱特征点提取数目.实验表明,所提出算法能够有效提高特征点离散度、正确匹配特征点数目和匹配精度,具有更高的轨迹精度.     

基于EVision的双目视觉系统的设计与实现

设计和开发了一个排爆机器人的双目立体视觉系统。该系统使用Matlab7.0和机器视觉软件EVision6.2的EasyMultiCam进行图像捕获并和EasyMath模式匹配库进行图像特征匹配,能实时捕获排爆机器人周围的图像信息、进行摄像机标定、图像预处理、立体图像匹配、求取可疑目标物的特征点的立体坐标，并把图中实时显示在控制台上，控制排爆机器人准确地抓取可疑目标物。该机器人视觉系统成功的抓取实验，表明了它在精度上能够满足排爆机器人的项目要求。     

基于拉普拉斯分布的双目视觉里程计EI北大核心CSCD

针对相机在未知环境中定位及其周围环境地图重建的问题,本文基于拉普拉斯分布提出了一种快速精确的双目视觉里程计算法.在使用光流构建数据关联时结合使用三个策略:平滑的运动约束、环形匹配以及视差一致性检测来剔除错误的关联以提高数据关联的精确性,并在此基础上筛选稳定的特征点.本文单独估计相机的旋转与平移.假设相机旋转、三维空间点以及相机平移的误差都服从拉普拉斯分布,在此假设下优化得到最优的相机位姿估计与三维空间点位置.在KITTI和New Tsukuba数据集上的实验结果表明,本文算法能快速精确地估计相机位姿与三维空间点的位置.     

特征融合的双目半全局匹配算法及其并行加速实现

目的 在微小飞行器系统中,如何实时获取场景信息是实现自主避障及导航的关键问题。本文提出了一种融合中心平均Census特征与绝对误差（AD）特征、基于纹理优化的半全局立体匹配算法（ADCC-TSGM）,并利用统一计算设备架构 （CUDA）进行并行加速。方法 使用沿极线方向的一维差分计算纹理信息,使用中心平均Census特征及AD特征进行代价计算,通过纹理优化的SGM算法聚合代价并获得初始视差图;然后,通过左右一致性检验检查剔除粗略视差图中的不稳定点和遮挡点,使用线性插值和中值滤波对视差图中的空洞进行填充;最后,利用GPU特性,对立体匹配中的代价计算、半全局匹配 （SGM）计算、视差计算等步骤使用共享内存、单指令多数据流 （SIMD）及混合流水线进行优化以提高运行速度。结果 在Quarter Video Graphics Array （QVGA）分辨率的middlebury双目图像测试集中,本文提出的ADCC-TSGM算法总坏点率较Semi-Global Block Matching （SGBM）算法降低36.1%,较SGM算法降低28.3%;平均错误率较SGBM算法降低44.5%,较SGM算法降低49.9%。GPU加速实验基于NVIDIA Jetson TK1嵌入式计算平台,在双目匹配性能不变的情况下,通过使用CUDA并行加速,可获得117倍以上加速比,即使相较于已进行SIMD及多核并行优化的SGBM,运行时间也减少了85%。在QVGA分辨率下,GPU加速后的运行帧率可达31.8 帧/s。结论 本文算法及其CUDA加速可为嵌入式平台提供一种实时获取高质量深度信息的有效途径,可作为微小飞行器、小型机器人等设备进行环境感知、视觉定位、地图构建的基础步骤。     

基于局部熵的SLAM视觉里程计优化算法

针对移动机器人视觉同步定位与地图创建中由于相机大角度转动造成的帧间匹配失败以及跟踪丢失等问题, 提出了一种基于局部图像熵的细节增强视觉里程计优化算法. 建立图像金字塔, 划分图像块进行均匀化特征提取, 根据图像块的信息熵判断其信息量大小, 将对比度低以及梯度变化小的图像块进行删除, 减小图像特征点计算量. 对保留的图像块进行亮度自适应调整, 增强局部图像细节, 尽可能多地提取能够表征图像信息的局部特征点作为相邻帧匹配以及关键帧匹配的关联依据. 结合姿态图优化方法对位姿累计误差进行局部和全局优化, 进一步提高移动机器人系统性能. 采用TUM数据集测试验证, 由于提取了更能反映物体纹理以及形状的特征属性, 本文算法的运动跟踪成功率最高可提升至60 % 以上, 并且测量的轨迹误差、平移误差以及转动误差都有所降低. 与目前ORB-SLAM2系统相比, 本文提出的算法不但提高了移动机器人视觉定位精度, 而且满足实时SLAM的应用需要.     

基于视差空间的双目视觉里程计

提出了一种基于视差空间的双目视觉里程计算法.利用SIFT特征点的尺度和旋转不变性,实现左、右图像对特征点的准确匹配,及前后帧间的特征跟踪.在RANSAC框架下对匹配点进行运动估计获得运动参数初始值,然后迭代更新匹配点的视差比值直至收敛.为克服传统算法中3维空间噪声分布不均匀的缺陷,利用了视差空间噪声分布的各向同性的性质进行运动估计,并且通过迭代取得全局最小值.实验结果表明,该算法在运动估计中具有更好的精度.     

基于改进BRISK算法的单目视觉里程计

在传统的BRISK算法中使用自定义的抽样模式来描述检测到的特征点,使用基于汉明距离的方法进行特征点匹配。BRISK的这种特征点描述与匹配的方法使得其匹配准确率不高。因此本文提出将匹配准确率较高的SURF算法与BRISK算法相结合,在BRISK特征点描述与匹配阶段使用SURF描述符和基于欧氏距离的匹配方法。实验结果表明,该算法在时间消耗下降不大的情况下,特征点匹配准确率有很大提高,且该算法具有较好的鲁棒性。     

基于自适应外点剔除与解耦算法的视觉里程计

针对视觉里程计内点确定的问题,提出了一种基于自适应外点剔除与解耦算法的视觉里程计方法.采用ORB（Oriented FAST and Rotated BRIEF）算子检测特征点.采用经光流归一化的重投影误差作为内点评判标准,归一化的重投影误差与特征点的深度及位置无关.自运动估计分为两步：先使用改进的5-point RANSAC方法结合球形线性插值求解优化的旋转参数;然后采用两帧间光束法平差,结合归一化的重投影误差去除外点,迭代循环到最大次数或内点集合不变,得到最优的平移参数.采用公共数据集KITTI对算法进行测试,实验表明本文算法较之传统的采用固定阈值重投影误差评估内点并同时估计6自由度的方法,在外点剔除方面有显著提升,与同类视觉里程计方法相比在精度上也有提升.     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM(同步定位与地图创建)算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度.在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题.算法具有全局重定位的能力.在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化.算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性.基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强.     

基于改进ORB算法的视觉里程计特征匹配方法

为了满足排爆机器人自主导航要求,利用视觉SLAM技术,为排爆机器人路径规划做准备。本文主要对用特征点法搭建的前端视觉里程计进行优化,将FAST角点法与Harris角点法进一步结合,同时引入SIFT算法关键点检测,然后与BRIEF描述子结合,用暴力匹配算法完成不同图像的匹配。通过仿真实验验证算法的可行性,为后续的路径规划奠定基础。     

基于SURF算法的单目转双目视觉定位

针对三维空间中目标物体定位的问题,提出了一种结构简单、操作方便、性价比较高的单摄像机实现双目立体视觉定位的方法.在对目标物体的识别和定位中,利用各方面性能和指标都比较好的SURF算法对所获取的图像进行特征点的提取和匹配.实验结果表明,文中使用的基于SURF算法的单目转双目视觉定位的方法,不论是在定位的精度,还是在时间速度方面都表现出了很好的可行性与实用性,具有一定的现实利用价值.     

基于视觉惯性融合的半直接单目视觉里程计

针对半直接单目视觉里程计缺乏尺度信息并且在快速运动中鲁棒性较差的缺点,设计了一种融合惯性测量信息的半直接单目视觉里程计,通过IMU(惯性测量单元)信息弥补视觉里程计的缺陷,有效提高跟踪精度与系统鲁棒性.本文联合惯性测量信息与视觉信息进行初始化,较准确地恢复了环境尺度信息.为提高运动跟踪的鲁棒性,提出一种IMU加权的运动先验模型.通过预积分获取IMU的状态估计,根据IMU先验误差调整权重系数,使用IMU先验信息的加权值为前端提供精确的初值.后端构建了紧耦合的图优化模型,融合惯性、视觉以及3维地图点信息进行联合优化,同时在滑动窗口中使用强共视关系作为约束,在消除局部累积误差的同时提高优化效率与优化精度.实验结果表明,本文的先验模型优于匀速运动模型与IMU先验模型,单帧先验误差小于1 cm.后端优化方法改进后,计算效率提高为原来的1.52倍,同时轨迹精度与优化稳定性也得到提高.在EuRoC数据集上进行测试,定位效果优于OKVIS算法,轨迹均方根误差减小为原视觉里程计的1/3.