动态场景下基于实例分割和三维重建的多物体单目 SLAM

针对大多数SLAM系统在动态环境下相机位姿估计不准确与环境语义信息利用不充分的问题,提出一种基于实例分割的关键帧检测和贝叶斯动态特征概率传播的动态物体检测算法,并对环境中存在的静态物体三维重建,以此构建一个动态环境下的多物体单目SLAM系统。该系统对关键帧输入图像进行实例分割与特征提取,获取潜在运动物体特征点集合与静态物体特征点集合;利用非运动物体特征点集合获取帧间位姿变换,普通帧利用贝叶斯对动静态特征点进行概率传播,利用静态特征点集实现对相机位姿的精准估计;在关键帧中对静态物体进行联合数据关联,数据充足后进行多物体三维重建,构建多物体语义地图,最终实现多物体单目SLAM。本文在TUM与Boon公开数据集上的实验结果表明,在动态场景下,相较于ORB-SLAM2算法,绝对位姿误差的均方根误差平均降低54.1%和58.2%。     

基于实例分割与光流的动态场景RGB-D SLAM

为了提高动态场景RGB-D SLAM中相机位姿精度,基于实例分割与光流算法,提出一种高精度RGB-D SLAM方法。首先,通过实例分割算法检测出场景中的物体,删除非刚性物体并构造语义地图。接着,通过光流信息计算运动残差,检测场景中动态刚性物体,并在语义地图中追踪这些动态刚性物体。然后,删除每一帧中非刚性物体和动态刚性物体上的动态特征点,利用其他稳定的特征点优化相机位姿。最后,通过TSDF模型重建静态背景,并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明,本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明,保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明,本文方法在动态场景中重建结果优于当前先进的工作,平均重建误差为0.042 m。代码开源在https：//github. com/wawcg/dy＿wcg。     

基于自适应惯导辅助特征匹配的视觉SLAM算法

为提高视觉同步定位与建图系统的定位、建图精度,克服传统算法中特征匹配搜索半径为固定值导致视觉里程计在高动态运动时特征误匹配率高的问题,本文提出一种搜索半径自适应的惯导辅助图像特征匹配方法。该方法首先对双目相机左右两帧图像进行特征提取与匹配,并获取地图点三维坐标,然后通过预积分惯性测量单元的量测值预测相机位姿,再根据误差传播定律计算预测位姿的协方差,最后利用预测位姿将地图点投影至图像得到对应像素坐标,从而根据像素坐标中误差确定地图点最有可能出现的区域半径。实验结果表明,该方法可有效缩小特征匹配的搜索半径,显著提高图像特征匹配的准确度,使跟踪线程位姿精度提高约38.09%,系统整体位姿精度提高约16.38%。该方法可为每个特征点提供自适应区域约束,提高特征点匹配的准确度,进而提升系统位姿估计精度,构建更高精度的稠密地图。     

动态场景下基于光流的语义RGBD-SLAM算法

为解决传统的同时定位与建图算法在复杂动态环境下容易受到动态目标干扰而导致定位精度差和建图错误的问题,提出了一种动态场景下基于光流的语义RGBD-SLAM算法。首先,通过优化的二维相邻帧透视矫正方法,对当前帧进行透视矫正以补偿相机运动;然后,将矫正后的图像输入RAFT-S网络中,在获得低分辨率的稠密光流场后提取动态目标的掩码,并根据上一帧掩码中动态目标的位置和速度信息,对当前掩码中的动态区域进行跟踪和优化,从而提取动态目标在每一帧中的精确区域;最后,分离静态和动态特征点,通过最小化静态特征点的重投影误差,得到优化后的相机位姿,并结合轻量级语义分割网络BiSeNetv2提供的语义信息和相机提供的深度信息,构建无人的静态语义八叉树地图。公开数据集TUM上的测试结果表明,本文算法的绝对轨迹误差相对于ORB-SLAM2减少了90%以上,并能获取精确的动态区域掩码以及准确的语义地图,验证了该算法在复杂动态场景中具有良好的定位精度和鲁棒性。     

移动机器人混合的半稠密视觉里程计算法

为了提升快速运动环境中移动机器人视觉里程计的精度,提出一种移动机器人混合的半稠密视觉里程计算法。首先,利用鲁棒性强且适用于相机快速运动的特征点法快速追踪相机位姿,并根据深度不确定性分别建立3D-2D的重投影误差以及3D-3D几何误差,提出改进的运动位姿求解方法,为半稠密直接法提供更准确的初始位姿;其次,采用Sobel卷积核获取图像中梯度明显的像素点,进而通过最小化光度误差对关键帧进行配准,有效估计关键帧间相对运动;最后通过位姿图对关键帧位姿以及相邻帧间变换进行局部优化,减少轨迹漂移。两种公开数据集以及实际在线场景实验验证,本文算法可有效提高视觉里程计位姿精度,可以满足快速运动场景中自主定位的要求。     

融合二维图像和三维点云的相机位姿估计

为了准确地在特定三维真实环境中,通过单目相机获取的RGB图像来估计相机的六自由度位姿,本文结合已知的二维图像及三维点云信息,提出了基于稠密场景回归的多阶段相机位姿估计方法。首先,将深度图像信息与传统运动结构恢复（Structure From Motion,SFM）算法相结合,构建单目相机位姿估计数据集;其次,本文首次将深度图像检索引入2D-3D匹配点的构建当中,通过所提的位姿优化函数对位姿解算加以优化,提出多阶段相机位姿估计方法;最后为提升位姿估计的性能,将ResNet网络结构用于图像的稠密场景坐标回归,使得所提方法的位姿估计精度大幅度提升。实验结果表明：对于给定的位姿误差阈值5 cm/5°,在公开数据集7scenes下的位姿估计准确率均值为82.7%,在自建数据集下的准确率为94.8%。与现有的其他相机位姿估计算法相比,本文所提方法不论在自建数据集还是公开数据集下的位姿估计精度均有提升。     

基于XTION的机器人室内三维地图实时创建

针对室内复杂环境中移动机器人三维地图创建问题,基于RGB-D相机XTION搭建机器人地图创建系统,提出一种利用视觉里程计和贝叶斯闭环检测实时创建三维地图的方法。在机器人操作系统(ROS)框架内,首先由移动机器人携带XTION获取环境三维图像经WIFI上传上位机,然后由上位机软件使用SURF算法对RGB-D相机图像进行特征点提取与匹配,接着采用视觉里程计进行机器人位姿估计,同时利用贝叶斯闭环检测消除累积误差,最后使用g2o方法对三维点云图进行优化并创建完整的三维地图。经室内环境实验验证,机器人地图创建系统创建了完整的室内环境三维地图,所描述室内物体轮廓比较清晰并与真实场景相一致,机器人位姿估计比较精确,验证了利用视觉里程计和贝叶斯闭环检测实时创建三维地图的可行性。     

面向机器人抓取的双目视觉系统标定与目标位姿估计算法

在双目视觉抓取系统中,首要任务是解决相机标定以及目标位姿估计问题。针对工业应用场景,文中提出了一种基于灭点一致性约束的相机标定算法,并利用目标的双目图像立体匹配结果,通过改进迭代最近点算法实现目标位姿估计。实验结果表明:该系统能够有效地估计目标位姿,目标位姿估计的平移与角度误差均能满足抓取需求。     

视觉SLAM中图像特征点提取与匹配算法研究

在视觉SLAM(visual Simultaneous Localization And Mapping,v SLAM)中,利用提取到的图像特征点进行相机位姿估测是一种非常重要的位姿估算方法,为了实现相机的定位,图像特征点必须具备鲁棒性、尺度性和高效率等特点。介绍了图像特征点提取与匹配在视觉SLAM中的作用和场景中图像特征点需要具备的特性;对几种主流的图像特征点提取算法,即尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法、加速稳健特征(Speeded-Up Robust Features,SURF)算法、快速特征点提取与描述(Oriented FAST and Rotated BRIEF,ORB)算法分别进行了简要说明;并通过设计实验,在室内环境中,对几种图像特征点提取算法的运行效率和图像特征点匹配正确率进行了对比测试。实验表明,ORB算法在运行效率和匹配正确率上占据优势,能够较好地满足视觉SLAM中实时性和鲁棒性的要求。     

高动态环境下的傅里叶梅林变换视觉SLAM算法

针对视觉即时定位与地图构建(SLAM)中的静态假设限制其在动态现实环境中应用的问题，提出了一种在高动态环境下基于傅里叶梅林变换的视觉SLAM算法。首先，采用傅里叶梅林算法配准以补偿相机运动，应用帧间差分算法获取运动掩膜。同时利用短时密集连接网络进行语义分割确定潜在运动物体掩膜。结合运动掩膜与物体掩膜，获得最终的物体运动区域，剔除该区域的特征点。最后，依据稳定的静态特征点跟踪优化，提升位姿精度。实验结果表明，本算法的绝对轨迹误差与相对位姿误差相比于ORB-SLAM2减少了95%以上，相比于DS-SLAM减少了30%以上，验证其在复杂动态场景下具有良好的定位精度与鲁棒性，有效降低运动模糊与光照变化对运动检测的影响，同时，克服了传统动态SLAM难以检测非先验运动对象的弊端。     

基于ORB关键帧匹配算法的机器人SLAM实现

针对复杂环境下机器人的同时定位与地图构建(SLAM)存在实时性与鲁棒性下降等问题,将一种基于ORB特征点的关键帧闭环检测匹配算法应用到定位与地图构建中。研究并分析了特征点提取与描述符建立、帧间配准、位姿变换估计以及闭环检测对SLAM系统的影响,建立了关键帧闭环匹配算法和SLAM实时性与鲁棒性之间的关系,提出了一种基于ORB关键帧匹配算法的SLAM方法。运用改进ORB算法加快了图像特征点提取与描述符建立速度;结合相机模型与深度信息,可将二维特征图像转换为三维彩色点云;通过随机采样一致性(RANSAC)与最近迭代点(ICP)相结合的改进RANSAC-ICP算法,实现了机器人在初始配准不确定条件下的位姿估计;使用Key Frame的词袋闭环检测算法,减少了地图的冗余结构,生成了具有一致性的地图;通过特征点匹配速度与绝对轨迹误差的均方根值对SLAM系统的实时性与鲁棒性进行了评价。基于标准测试集数据集的实验结果表明,ORB关键帧匹配算法能够有效提高SLAM系统建图速度与稳定性。     

基于ORB特征的改进RGB-D视觉里程计

针对RGB-D视觉里程计在定位精度上存在的不足,提出一种融合PnP(Perspective-n-Point)与ICP(Iterative Closest Point)的视觉里程计算法。由改进四叉树均匀算法实现ORB特征均匀提取,提高了匹配准确率,减小了误匹配引起的位姿估计误差。运用三角测量将3D-2D模型中深度缺失的特征点添加到运动估计中,结合基于3D-3D模型的ICP配准算法,采用光束平差法建立优化模型,利用g2o优化库进行机器人位姿的优化。在基于Kinect相机的移动机器人平台上进行验证,实验证明了该方法在满足实时性要求的同时有效提高了视觉里程计的精确性。     

基于RGB-D传感器的同步定位与建图方法研究

机器人同时定位与地图构建算法(SLAM,Simultaneous Localization and Mapping)可实现机器人的自主控制,文中将SLAM算法与视觉传感器结合,搭载红外摄像头的RGB-D摄像头可以快速进行运动估计及构建3D点云地图,最后将视觉里程计测量的相机位姿与回环检测的信息结合,经过优化可得到轨迹估计的地图。     

基于点线特征融合的立体视觉里程计

大多数视觉里程计通过跟踪图像序列中点特征几何位置的变化实现对相机位姿的估计.线是点的集合,相对于离散的点,帧间线特征的位置变化更具有显著性,因而有利于提高特征检测跟踪的鲁棒性.另外,在一些弱纹理场景中,点特征不够丰富,作为对点特征的补充,提出了一种融合点线特征的立体视觉里程计算法.构建新颖的点线重投影误差模型作为目标函...     

基于混合特征的机器人定位与地图创建

针对原始ORB-SLAM算法仅依靠点特征进行位姿估计,在点特征不足场景下会导致算法精度和鲁棒性降低的问题,对原有算法进行改进。首先,构建二进制环境词典用于提高算法加载词典速度;其次,在剔除特征误匹配时,提出一种改进随机采样一致算法(RANSAC)以提高剔除效率;然后,构建混合特征模型估计位姿;最后,根据图优化模型,提出基于最大共视权重帧的全局Bundle Adjustment算法用于位姿优化并实现稠密和稀疏地图创建。结果表明,混合特征模型能有效减少算法误差。采用二进制环境词典加载时间由14.945 s减小至0.420 s;改进RANSAC算法执行时间由0.803 s减小到0.078 s;采用TUM数据集对算法进行检验,均方根误差分别下降2.27、4.87 cm。根据数据集上的实验结果证明了所提算法有效性。     

基于三维模型的单目车辆位姿估计

车辆位姿估计是智慧交通系统的重要组成部分,然而复杂的运动场景以及单目相机存在无法获取深度信息等问题。本文提出了一种结合单目相机及车辆三维模型进行车辆位姿估计的方法。首先对多尺度的车辆目标进行尺度归一化,然后以向量场的形式回归车辆关键点的坐标提升在遮挡或者截断状态下的位姿估计精度。在此过程中提出使用基于距离加权的向量场损失函数和关键点误差最小化的投票方法,进一步提高了位姿估计算法的准确性。此外,本文制作了一个含有丰富标注信息的合成车辆位姿估计数据集,在其上的验证结果表明,本文算法的平均定位误差和角度误差分别为0.162 m和4.692°,在实际场景中有着非常大的应用价值。     

基于ASODVS的全景相机运动估计及管网3D重构技术

针对地下管网的空间三维测量、三维形貌重构难等问题,提出了一种基于主动式全方位视觉传感器(ASODVS)的相机运动估计及管网3D重构解决方案。通过携带有ASODVS的管道机器人进入管道内部,实时获取管道内壁纹理全景图像和全景激光扫描图像;首先对全景激光扫描图像处理解析出投射在管道内壁上的激光中心点,通过计算得到管道横截面的点云数据;另一方面,对全景纹理图像进行处理,首先利用快速鲁棒性特征(SURF)算法快速提取特征点并进行匹配,然后采用随机抽样一致性(RANSAC)算法去除误匹配点,接着利用全景相机的极几何原理估计相机运动位姿,并利用光束法平差(BA)进行优化,最后利用相机运动位姿将相机坐标系下的点云坐标实时转换到世界坐标系下,完成对地下管网的三维重构。实验结果表明,所提出的方案能够精确估计相机运动位姿,实时对管道内部进行三维重构,实现了管道检测机器人边行走、边采集数据、边检测分析处理、边三维建模的设计目标。     

基于深度卷积神经网络的视觉里程计研究

视觉里程计利用视频信息来估计相机运动的位姿参数,实现对智能体的定位。传统视觉里程计方法需要特征提取、特征匹配/跟踪、外点剔除、运动估计、优化等流程,解算非常复杂,因此,提出了基于卷积神经网络的方法来实现端对端的单目视觉里程计。借助卷积神经网络对彩色图片自动学习提取图像帧间变化的全局特征,将用于分类的卷积神经网络转化为帧间时序特征网络,通过三层全连接层输出相机的帧间相对位姿参数。在KITTI数据集上的实验结果表明,提出的Deep-CNN-VO模型可以较准确地估计车辆的运动轨迹,证明了方法的可行性。在简化了复杂模型的基础上,与传统的视觉里程计系统相比,该模型的精度也有所提高。     

面向人机交互的手势指向估计方法

针对人机共融环境中机器人与人之间的交互问题,提出了一种面向人机交互场景的手势指向估计方法,通过人体指向手势,以实现机器人对工作平面上指向目标点的信息交互。首先,基于RGB-D相机与VICON人体动作捕捉系统,构建时间同步的视觉指向手势位姿数据集,其中的每个样本包含人体指向手势的RGB-D图像和指向手势的位姿真值;其次,提出融合语义与几何信息的指向手势位姿估计多层次神经网络模型;然后,设计融合位置点误差ΔP和方向角度误差Δθ的射线近似损失函数,并基于构建的数据集,对指向手势位姿估计模型进行训练;最后,在实验室环境中进行了人机交互实验与模型验证。实验结果表明,在距离相机5 m的范围内,指向手势检测的平均精度为98.4%,指向手势位姿的平均位置误差为34 mm,平均角度误差为9.94°,进而实现工作平面上的手势指向目标点的平均误差为0.211 m。     

基于 RANSAC 的视觉里程计优化方法研究

针对图像特征产生误匹配影响基础矩阵计算,导致同步定位与地图构建(SLAM)视觉里程计估计精度差的问题,提出一种基于随机抽样一致(RANSAC)的视觉里程计优化方法。该方法首先通过最小距离阈值法对初始匹配集粗滤除,再采用RANSAC计算图像间相对变换关系,若符合变换关系为内点,内点数最多的迭代结果为正确匹配结果;然后计算图像间单应变换并利用其计算基础矩阵,采用对极几何约束确定内点,得到具有最多内点的基础矩阵;最后采用TUM数据集从特征匹配与基础矩阵计算两方面进行优化算法效果验证。结果表明,该算法可提高运行效率且有效去除误匹配特征点,使匹配正确率提高7.7%,基础矩阵估计算法在提高基础矩阵计算精度的同时,内点率也提高了3%,算法为提高视觉里程计精度估计精度提供了理论基础。