基于kinect的改进RGB-D视觉里程计

针对RGB-D视觉里程计中kinect相机所捕获的图像深度区域缺失的问题,提出了一种基于PnP(perspective-n-point)和ICP(iterative closest point)的融合优化算法。传统ICP算法迭代相机位姿时由于深度缺失,经常出现特征点丢失导致算法无法收敛或误差过大。本算法通过对特征点的深度值判定,建立BA优化模型,并利用g2o求解器进行特征点与相机位姿的优化。实验证明了该方法的有效性,提高了相机位姿估计的精度及算法的收敛成功率,从而提高了RGB-D视觉里程计的精确性和鲁棒性。     

面向室内动态环境的半直接法RGB-D SLAM算法

为了解决室内动态环境下移动机器人的准确定位问题,提出了一种融合运动检测算法的半直接法RGB-D视觉SLAM(同时定位与地图创建)算法,它由运动检测、相机位姿估计、基于TSDF (truncated signed distance function)模型的稠密地图构建3个步骤组成.首先,通过最小化图像光度误差,利用稀疏图像对齐算法实现对相机位姿的初步估计.然后,使用视觉里程计的位姿估计对图像进行运动补偿,建立基于图像块实时更新的高斯模型,依据方差变化分割出图像中的运动物体,进而剔除投影在图像运动区域的局部地图点,通过最小化重投影误差对相机位姿进行进一步优化,提升相机位姿估计精度.最后,使用相机位姿和RGB-D相机图像信息构建TSDF稠密地图,利用图像运动检测结果和地图体素块的颜色变化,完成地图在动态环境下的实时更新.实验结果表明,在室内动态环境下,本文算法能够有效提高相机位姿估计精度,实现稠密地图的实时更新,在提升系统鲁棒性的同时也提升了环境重构的准确性.     

基于K-Means聚类与深度学习的RGB-D SLAM算法

传统的RGB-D视觉同时定位与制图（SLAM）算法在动态场景中识别动态特征时会产生数据错误关联,导致视觉SLAM估计姿态精度退化。提出一种适用于动态场景的RGB-D SLAM算法,利用全新的跨平台神经网络深度学习框架检测场景中的动态语义特征,并分割提取对应的动态语义特征区域。结合深度图像的K均值聚类算法和动态语义特征区域对点特征深度值进行聚类,根据聚类结果剔除动态特征点,同时通过剩余特征点计算RGB-D相机的位姿。实验结果表明,相比ORB-SLAM2、OFD-SLAM、MR-SLAM等算法,该算法能够减小动态场景下的跟踪误差,提高相机位姿估计的精度和鲁棒性,其在TUM动态数据集上相机绝对轨迹的均方根误差约为0.019 m。     

基于BoW模型的增强RGB-D SLAM算法

即时定位与地图构建(simultaneous localization and mapping,SLAM)被认为是机器人自主运动的核心技术。针对目前的RGB-D SLAM算法实时性和鲁棒性差的问题,提出了一种增强的RGB-D SLAM算法。提取RGB图像的ORB特征描述子,然后利用BoW(bag of word)模型缩小特征描述子的匹配范围从而提高算法的实时性;接着采用PROSAC算法结合PnP算法解算初始相机位姿并通过非线性优化的方式得到优化的相机位姿;利用BoW模型结合关键帧技术和结构一致性几何约束提高回环检测的鲁棒性;采用通用图优化工具g2o对位姿图进行优化,得到全局一致的位姿和点云;最后采用贪心三角化算法将点云转换成网格地图。针对Fr1数据集,该算法的平均定位误差为0.0797 m,每帧数据平均处理时间为0.04 s。与RGB-D SLAM原始算法相比,该算法具有良好的实时性和鲁棒性,可以满足机器人实时SLAM的要求。     

基于动态耦合与空间数据关联的RGB-D SLAM算法

为了解决动态环境下视觉SLAM（同步定位与地图创建）算法定位与建图精度下降的问题,提出了一种基于动态耦合与空间数据关联的RGB-D SLAM算法。首先,使用语义网络获得预处理的语义分割图像,并利用边缘检测算法和相邻语义判定获得完整的语义动态物体;其次,利用稠密直接法模块实现对相机姿态的初始估计,这里动态耦合分数值的计算在利用了传统的动态区域剔除之外,还使用了空间平面一致性判据和深度信息筛选;然后,结合空间数据关联算法和相机位姿实时更新地图点集,并利用最小化重投影误差和闭环优化线程完成对相机位姿的优化;最后,使用相机位姿和地图点集构建八叉树稠密地图,实现从平面到空间的动态区域剔除,完成静态地图在动态环境下的构建。根据高动态环境下TUM数据集测试结果,本文算法定位误差相比于ORB-SLAM算法减小了约90%,有效提高了RGB-D SLAM算法的定位精度和相机位姿估计精度。     

一种结合ORB特征和视觉词典的RGB-D SLAM算法

同时定位与建图（Simultaneous Localization and Mapping,SLAM）是机器人领域的研究热点,被认为是实现机器人自主运动的关键。传统的基于RGB-D摄像头的SLAM算法（RGB-D SLAM）采用SIFT（Scale-Invariant Feature Transform）特征描述符来计算相机位姿,采用GPU加速的siftGPU算法克服SITF特征提取慢的缺点,但多数嵌入式设备缺乏足够的GPU运算能力,使其应用性受到局限。此外,常规算法在闭环检测时效率较低,实时性不强。针对上述问题,提出了一种结合ORB（oriented FAST and rotated BRIEF）特征与视觉词典的SLAM算法。在算法前端,首先提取相邻图像的ORB特征,然后利用k近邻（k-Nearest Neighbor,kNN）匹配找到对应的最临近与次临近匹配,接着采用比值检测与交叉检测剔除误匹配点,最后采用改进的PROSAC-PnP（Progressive Sample Consensus based Perspective-N-Point）算法进行相机姿态计算,得到对相机位姿的高精度估计。在后端,提出了一种基于视觉词典的闭环检测算法来消除机器人运动中的累计误差。通过闭环检测增加帧间约束,利用通用图优化工具进行位姿图优化,得到全局一致的相机位姿与点云。通过对标准fr1数据集的测试和对比,表明了该算法具有较强的鲁棒性。     

RGB-D相机位姿估计不确定性与观测参数化分析

针对基于RGB-D相机的位姿估计问题,根据最大似然估计和协方差传播规律,分析了ICP(迭代最近点)与PnP(n点透视)两种算法的位姿估计不确定性;并从数据关联的角度探究了2种算法在实际应用中的差异.此外,对比了不同的特征观测参数化形式对视觉里程计定位精度的影响,并提出了一种参数化方法.基于ICP与PnP算法的区别与联系,提出RGB-D SLAM(同步定位与地图创建)系统中2种PnP算法的切换策略,并在优化问题中根据观测的不确定性对各误差项赋予不同权重.在两大公开数据集上的实验表明,与主流RGB-D SLAM算法相比本文所提算法在弱纹理、相机快速运动和动态物体等多种场景下具有更高的定位精度和鲁棒性.同时,本文所提算法的时间效率较ORB-SLAM2算法提高了约10％.     

室内动态环境下基于网格分割与双地图耦合的RGB-D SLAM算法

为解决室内动态环境下现有RGB-D SLAM（同步定位与地图创建）系统定位精度低、建图效果差的问题,提出一种基于网格分割与双地图耦合的RGB-D SLAM算法。基于单应运动补偿与双向补偿光流法,根据几何连通性与深度图像聚类结果实现网格化运动分割,同时保证算法的快速性。利用静态区域内的特征点最小化重投影误差对相机进行位置估计。结合相机位姿、RGB-D图像、网格化运动分割图像,同时构建场景的稀疏点云地图和静态八叉树地图并进行耦合,在关键帧上使用基于网格分割和八叉树地图光线遍历的方法筛选静态地图点,更新稀疏点云地图,保障定位精度。公开数据集和实际动态场景中的实验结果都表明,本文算法能够有效提升室内动态场景中的相机位姿估计精度,实现场景静态八叉树地图的实时构建和更新。此外,本文算法能够实时运行在标准CPU硬件平台上,无需GPU等额外计算资源。     

基于RGB-D相机的视觉里程计设计

同时定位与地图构建(SLAM,Simultaneous Localization And Mapping)技术,突破了传统的GPS与二维码定位的环境依赖性,仅依靠自身携带的相机作为视觉传感器,通过一系列的图像处理算法,完成相机位姿的估计,进而在世界坐标系下标定相机的运动轨迹。同时,对相机采集的有效帧结合位姿估计值,便可以重现相机所在空间的稠密地图。本文将从视觉SLAM(Simultaneous Localization And Mapping)技术传统的原理如相机模型、特征点的提取与匹配等出发并做出改进,结合RGB-D相机的应用,进而详细阐述各物理模型的实现方法,经过优化之后,以此作为视觉里程计的最终框架,完成视觉里程计的设计。     

基于RGB-D相机的室内环境3D地图创建

RGB-D相机（如微软的Kinect）能够在获取彩色图像的同时得到每个像素的深度信息,在移动机器人三维地图创建方向具有广泛应用。本文设计了一种利用RGB-D相机进行机器人自定位及创建室内场景三维模型的方法,该方法首先由RGB-D相机获取周围环境的连续帧信息;其次提取并匹配连续帧间的SURF特征点,通过特征点的位置变化计算机器人的位姿并结合非线性最小二乘优化算法最小化对应点的双向投影误差;最后结合关键帧技术及观察中心法将相机观测到的三维点云依据当前位姿投影到全局地图。本文选择三个不同的场景试验了该方法,并对比了不同特征点下该方法的效果,试验中本文方法在轨迹长度为5.88m情况下误差仅为0.023,能够准确地创建周围环境的三维模型。     

基于RGB-D相机数据的SLAM算法研究

提出了一种基于RGB-D相机数据的同时定位与地图构建(SLAM)算法系统,实现对RGB-D数据的快速和准确构建.首先在RGB图中提取较好鲁棒性的SURF特征,结合使用快速最近邻近似(FLANN)来完成特征点匹配的方式,再使用基于改进的最小距离与随机采样一致性(RANSAC)组合的方法剔除误匹配,然后使用PNP求解相邻帧间的相机位姿变换关系,后端的优化使用G2O(general graph optimization)来优化全局位姿,并使用回环检测消除累计误差.实验证明该方法具有有效性和可行性,能够迅速、准确地构建出三维稠密地图.     

未标定相机的高精度位姿估计方法

针对未标定相机的位姿估计问题,提出了一种焦距和位姿同时迭代的高精度位姿估计算法。现有的未标定相机的位姿估计算法是焦距和相机位姿单独求解,焦距估计精度较差。提出的算法首先通过现有算法得到相机焦距和位姿的初始参数;然后在正交迭代的基础上推导了焦距和位姿最小化函数,将焦距和位姿同时作为初始值进行迭代计算;最后得到高精度的焦距和位姿参数。仿真实验表明提出的算法在点数为10,噪声标准差为2的情况下,角度相对误差小于1%,平移相对误差小于4%,焦距相对误差小于3%;真实实验表明提出的算法与棋盘标定方法的精度相当。与现有算法相比,能够对未标定相机进行高精度的焦距和位姿估计。     

基于平面约束的RGB-D SLAM系统

针对现有室内环境存在多个平面特征的特点,提出了一种使用平面特征优化相机位姿和建图的实时室内RGB-D 同时定位与地图构建（SLAM）系统。系统在前端采用迭代最近点（ICP）算法和直接法联合估计相机位姿,在后端提取相机关键帧平面特征并建立多种基于平面特征的约束关系,优化相机关键帧的位姿和平面特征参数,同时增量式地构建环境的平面结构模型。在多个公开数据序列上的实验结果表明,在平面信息丰富的环境中,平面特征约束能够减小位姿估计的累积误差,系统能够构建场景平面模型并只消耗少量的存储空间,在真实环境下的实验结果验证了系统在室内增强现实领域具有可行性和应用价值。     

随机蕨编码在三维重建中的应用

针对KinectFusion算法中存在的重建范围小、缺少有效的重新定位策略及累计误差问题,提出了一种基于随机蕨编码的三维重建方法.应用随机蕨编码构建相机路径回环的检测策略减少长时间重建所产生的累积误差,通过检索相似关键帧进行相机位姿估计失败后的重新定位,通过与程序集成框架Infini-TAM相结合,增大重建范围.采用RGB-D SLAM验证数据集进行了对比实验.实验表明:提出的方法可以大大增加重建范围,在相机定位失败后有效地进行重新定位,同时减少了长时间重建产生的累积误差,使得三维重建的过程更加稳定,获得的相机位姿更加精确.     

一种基于半直接视觉里程计的RGB-D SLAM算法

提出了一种新的基于半直接视觉里程计的RGB-D SLAM（同步定位与地图创建）算法,同时利用直接法和传统特征点法的优势,结合鲁棒的后端优化和闭环检测,有效提高了算法在复杂环境中的定位和建图精度．在定位阶段,采用直接法估计相机的初始位姿,然后通过特征点匹配和最小化重投影误差进一步优化位姿,通过筛选地图点并优化位姿输出策略,使算法能够处理稀疏纹理、光照变化、移动物体等难题．算法具有全局重定位的能力．在后端优化阶段,提出了一种新的关键帧选取策略,同时保留直接法选取的局部关键帧和特征点法选取的全局关键帧,并行地维护2种关键帧,分别在滑动窗口和特征地图中对它们进行优化．算法通过对全局关键帧进行闭环检测和优化,提高SLAM的全局一致性．基于标准数据集和真实场景的实验结果表明,算法的性能在许多实际场景中优于主流的RGB-D SLAM算法,对纹理稀疏和有移动物体干扰的环境的鲁棒性较强．     

基于半直接法SLAM的大场景稠密三维重建系统

当前三维重建系统大多基于特征点法和直接法的同时定位与地图重建(SLAM)系统,特征点法SLAM难以在特征点缺失的地方具有较好的重建结果,直接法SLAM在相机运动过快时难以进行位姿估计,从而造成重建效果不理想.针对上述问题,文中提出基于半直接法SLAM的大场景稠密三维重建系统.通过深度相机(RGB-D相机)扫描,在特征点丰富的区域使用特征点法进行相机位姿估计,在特征点缺失区域使用直接法进行位姿估计,减小光度误差,优化相机位姿.然后使用优化后较准确的相机位姿进行地图构建,采用面元模型,应用构建变形图的方法进行点云的位姿估计和融合,最终获得较理想的三维重建模型.实验表明,文中系统可适用于各个场合的三维重建,得到较理想的三维重建模型.     

人脸位姿协同的多新息抗扰滤波算法

在偏转角度较大时,人脸特征点的显著性明显减弱,会导致人脸位姿计算结果带有较大噪声.针对这一问题,提出了多新息抗扰滤波算法,将运动人脸与标准人脸模型的位姿变化作为滤波观测量:(1)引入多新息修正滤波估计,利用时间序列的多组观测量估计人脸位姿变化的状态量;(2)实时判断滤波敛散性,根据多新息及时估计观测噪声协方差与过程噪声协方差,调整卡尔曼增益矩阵;(3)建立位姿协同模型,依据滤波后的人脸位姿变化计算相机运动参数,达到相机与人脸位姿协同.在给出试验装置硬件构成的基础上,将本文算法与自适应卡尔曼滤波(AKF)算法进行对比.试验结果表明,在人脸位姿协同系统中,本文算法位姿估计误差小于10 mm,相机协同时间约为25 ms,相较于AKF算法位姿准确度提高23%,协同效率提高30%,能够有效抑制位姿协同中人脸位姿计算所带来的噪声影响,在提高人脸位姿协同系统稳定性的同时,保证响应的实时性.     

基于混合位姿估计模型的移动机器人三维地图创建方法

针对室内复杂环境下的稠密三维建模问题, 提出一种基于RGB-D 相机的移动机器人同时定位与三维地图创建方法. 该方法利用架设在移动机器人上的RGB-D 相机获取环境信息, 根据点云和纹理加权模型建立结合局部纹理约束的混合位姿估计方法, 确保定位精度的同时减小失败率. 在关键帧选取机制下, 结合视觉闭环检测方法, 运用树结构网络优化(TORO) 算法最小化闭环误差, 实现三维地图的全局一致性优化. 在室内环境下的实验结果验证了所提出算法的有效性和可行性.

     

基于深度学习的相机位姿估计方法综述

相机位姿估计是指在已知环境下精确地估计相机在世界坐标系中六自由度位姿的技术,该技术是机器人技术和自动驾驶中的关键技术。随着深度学习的飞速发展,使用深度学习来优化相机位姿估计算法已经成为了当前的研究热点之一。为了掌握目前相机位姿估计算法的研究现状与趋势,对基于深度学习的相机位姿估计的主流算法进行了综述。简单介绍了传统的基于特征点的相机位姿估计方法。重点介绍了基于深度学习的方法：根据核心算法的不同,从端到端的相机位姿估计、场景坐标回归、基于检索的相机位姿估计、层级结构、多信息融合和跨场景的相机位姿估计六个方面进行了详细的阐述和分析。对研究现状进行了总结,并基于深入的性能分析指出了相机位姿估计领域面临的挑战,展望了其发展动向。     

面向机器人抓取过程中目标位姿估计方法

针对机械臂抓取过程中场景的复杂性和存在遮挡问题,提出了一种基于深度相机的物体位姿估计方法。采用Kinect相机获取点云图像,提取点云的FPFH特征。采用奇异值分解算法和随机一致算法来进行位姿估计。将得到的位姿经过手眼转换转换为抓取位姿。通过与ICP算法和NDT算法进行对比实验,结果验证了该方法的稳定性和精确性。