一种基于点线融合的室内视觉惯性SLAM方法

以实现室内移动机器人高精度、高鲁棒性的定位与建图为目标,针对单目视觉SLAM方法在室内弱纹理环境下由于特征点稀疏、相机移动过快所导致的定位精度下降甚至跟踪失败问题,提出一种结合点线特征的视觉惯性融合SLAM方法。利用改进的LSD算法提取线特征以提升数据关联的准确性,通过最小化点线及IMU等残差构成的目标函数得到准确的位姿估计。根据对比多组公开数据集及实际室内环境中的实验结果表明：该方法提高了室内定位精度,具备较好的鲁棒性。     

弱纹理环境下融合点线特征的双目视觉同步定位与建图

针对室内弱纹理环境下基于点特征的视觉同步定位与建图（Simultaneous Localization and Mapping, SLAM）存在的轨迹漂移等问题,提出了一种融合点线特征的双目视觉SLAM系统,并对线特征的提取与匹配问题展开研究。为了提高线特征的质量,通过长度与梯度抑制、短线合并等方法,进一步改进LSD(Line Segment Detector)线特征提取方法。同时,通过将匹配问题转换为优化问题,并利用几何约束构建代价函数,提出了一种基于几何约束的快速线段三角化方法。实验结果表明,本文所提方法在多个数据集上的表现都优于基于描述子的传统方法,尤其在室内弱纹理场景下,其平均匹配精度达到91.67%,平均匹配时间仅需7.4 ms。基于此方法,双目视觉SLAM系统在弱纹理数据集上与已有算法ORBSLAM2,PL-SLAM的定位误差分别为1.24,7.49,3.67 m,定位精度优于现有算法。     

基于点线特征融合的立体视觉里程计

大多数视觉里程计通过跟踪图像序列中点特征几何位置的变化实现对相机位姿的估计.线是点的集合,相对于离散的点,帧间线特征的位置变化更具有显著性,因而有利于提高特征检测跟踪的鲁棒性.另外,在一些弱纹理场景中,点特征不够丰富,作为对点特征的补充,提出了一种融合点线特征的立体视觉里程计算法.构建新颖的点线重投影误差模型作为目标函...     

动态环境下基于YOLOv5的RGB-D视觉SLAM优化方法

针对经典视觉SLAM系统的鲁棒性受环境中动态目标特征点影响较大的问题，提出一种使用目标检测算法识别并剔除动态目标特征点的方法。首先使用目标检测算法YOLOv5对采集到的环境图像进行识别，框选出环境中被认定为动态目标的物体，然后将目标检测的结果融合进视觉SLAM前端的特征提取，将提取到的图像特征点中属于动态目标部分的特征点剔除，利用剩余静态的特征点进行地图构建与定位，最终在TUM数据集上进行测试。结果表明，利用目标检测算法剔除动态特征点后的视觉SLAM系统在高动态场景下绝对轨迹误差的均方根误差降低了97.89%，有效提高系统的定位精度与鲁棒性。     

基于稀疏直接法的特征增强视觉 SLAM 算法

针对基于特征点的视觉同步定位与建图(SLAM)算法在低纹理环境下特征提取能力弱、定位精度降低和鲁棒性差的问 题,本文提出了一种基于稀疏直接法的特征增强视觉 SLAM 算法。 首先对图像序列进行预处理,提高算法的特征提取能力;然 后融合基于图优化的稀疏直接法和特征点法求解位姿,在保证算法定位精度的前提下,提高算法的运行效率和鲁棒性。 由 TUM 数据集的实验结果表明,本文提出的算法定位精度优于当前 SLAM 算法,在 TUM 数据集中纹理稀疏的场景下,该算法提取 的特征点数目是 ORB-SLAM2 算法的 9. 6 倍,平均每帧跟踪耗时减少了 58% 。     

基于自适应ORB算法的视觉惯导融合SLAM系统

结合视觉与IMU信息在SLAM系统中的互补性,提出了一种融合自适应ORB算法的视觉惯性SLAM系统,以提高基于视觉与惯性融合的SLAM系统在高速及光线变化场景下的精度与鲁棒性。在ORB特征点提取时采用图像金字塔结构,对图像金字塔的每一层采用自适应网格划分策略;每一层图像金字塔完成ORB特征点提取后,使用基于追踪次数的密集分布关键点剔除的策略,避免局部特征点分布过于密集;结合自适应ORB算法与Lucas Kanade光流法建立帧间的联系,增加SLAM系统定位精度与鲁棒性。实验结果表明,基于自适应ORB算法的视觉惯导融合SLAM系统相较于VINS-Mono在开源数据集EuRoC中有更好的表现,定位精度平均提升了31.28%。     

平面环境约束辅助的单目视觉惯性里程计（英文）

为提高视觉惯性导航系统在宽动态、长航时、大范围作业环境中的精确性与鲁棒性,提出了一种平面环境约束辅助的单目视觉惯性里程计。通过在视频图像中提取并跟踪均匀分布的FAST特征点,并采用对称光流剔除误跟踪点,实现了视觉特征点高效检测与精确跟踪;无需计算稠密深度地图,仅从稀疏特征点集中检测共面特征点,拟合空间平面,构建了对视觉特征点三维坐标的空间几何约束;融合视觉特征点重投影误差、共面特征点坐标约束以及惯性测量单元（Inertial measurement unit, IMU）预积分误差构造代价函数,采用非线性优化方法估计了系统状态。最后,分别在公开数据集和实际户外场景中评估了算法的准确性和有效性。实验结果表明,相较于VINS-Mono和ORB-SLAM3算法,本文方法的定位结果有显著提升,实现了复杂应用环境中精确、稳定导航,在机器人、无人驾驶等领域具有较大的实用价值。     

基于相机状态方程多模增广的改进MSCKF算法

针对基于多状态约束卡尔曼滤波(MSCKF)的视觉-惯性里程计算法中相机状态方程增广过程的误差累积问题,提出了一种相机状态方程多模增广方法。该方法首先对视觉特征跟踪状态的稳定性进行判断,然后自动地选择基于视觉图像信息优化求解相机相对位姿参数或基于惯性传感器(IMU)状态递推结果联合相机外参初始化新图像帧相机位姿参数两种途径增广相机的状态方程,解决特征跟踪状态稳定情况下IMU误差的累积问题。实验部分通过EuRo C数据和实际应用数据对算法的性能进行了验证分析,结果表明,改进后的MSCKF算法能够在特征跟踪稳定状态下有效避免IMU误差的累积,进一步融合视觉与惯性系统之间的互补优势,提高载体的定位定向精度和稳定性。     

基于卷积神经网络与扩展卡尔曼滤波的 单目视觉惯性里程计

针对单目相机采集室外图像易受环境光照影响、尺度存在不确定性的缺点,以及利用神经网络进行位姿估计不准确的问题,提出一种基于卷积神经网络(CNN)与扩展卡尔曼滤波(EKF)的单目视觉惯性里程计。采用神经网络取代传统里程计中基于几何约束的视觉前端,将单目相机输出的估计值作为测量更新,并通过神经网络优化EKF的误差协方差。利用EKF融合CNN输出的单目相机位姿和惯性测量单元(IMU)数据,优化CNN的位姿估计,补偿相机尺度信息与IMU累计误差,实现无人系统运动位姿的更新和估计。相比于使用单目图像的深度学习算法Depth-VO-Feat,所提算法融合单目图像和IMU数据进行位姿估计,KITTI数据集中09序列的平动、转动误差分别减少45.4%、47.8%,10序列的平动、转动误差分别减少68.1%、43.4%。实验结果表明所提算法能进行更准确的位姿估计,验证了算法的准确性和可行性。     

一种改进ICP算法的移动机器人激光与视觉建图方法研究

针对未知环境中移动机器人定位与建图中激光雷达建图提供的信息少,视觉slam实时性差的问题,提出了激光slam与视觉建图结合的方式,激光地图用于导航,而视觉地图用于复原目的地场景。首先采用区域分割和特征提取处理激光雷达数据,通过区域分割主要完成了特征模式的分类及识别确定,通过特征提取完成了各类特征模式参数的确定以及特征点的提取;使用改进的基于RGBD图像的ICP迭代最近点算法求取了转换关系,进行了点云拼接;采用图优化算法,消除了累计误差,提升了整体视觉地图的精度。通过激光雷达与Kinect相机之间的位置关系,算得了三维点云到激光雷达坐标系的对应关系,实现了激光地图与点云地图的融合。研究结果表明:能实现实时建立周围环境的二维地图,并将三维点云信息融入到激光雷达坐标系等功能,精度高、鲁棒性好。     

激光雷达/MEMS IMU/里程计紧组合导航算法

为提高机器人在未知复杂环境中导航系统的鲁棒性与稳定性,提出了一种激光雷达/MEMS IMU/里程计紧组合导航算法。首先通过MEMS IMU/里程计的预积分,对激光雷达运动产生的畸变点云进行矫正,提高两帧点云之间的特征匹配效率;然后根据时间戳对预积分的机器人位姿进行线性插值,得到两帧点云之间粗略的位姿变化量,以此粗略的位姿变化量作为优化算法迭代初值,减少优化算法的迭代次数;其次在后端优化中加入MEMS IMU/里程计的运动约束,利用多传感器联合优化来提高机器人的定位精度;最后利用数据集进行仿真实验、利用四轮小车开展了室内与室外开闭环实验,实验表明,本算法室外开环定位误差均值比传统算法ALOAM、LEGO-LOAM分别减小51.01%和24.75%,并且其在拐弯等运动剧烈时能够保持较高精度。     

弱纹理环境双目视觉稠密视差鲁棒估计方法

精确稠密视差估计是立体视觉系统恢复观测场景三维信息的关键。从立体视觉在机器人环境感知的实际应用角度出发,提出了对于弱纹理、阴影和遮挡等关键影响因素,具有良好鲁棒性、精度和处理速度的稠密视差图估计算法。针对弱纹理、阴影和深度不连续的问题,设计了基于灰度相似度概率的置信度传播算法,结合视差平滑约束,以期实现较高精度的视差初值快速估计。由视差级数定义的消息向量通过异向平行迭代进行传播,消息向量包含表征像素点灰度相似性和平滑性的能量信息,通过全局能量函数的迭代收敛,快速获得视差初始估计。根据独立连通区域通常具有相似纹理特征和视差一致性的先验知识,提出了基于Mean-Shift聚类分割算法和参数空间投票自适应视差近似面估计算法,进行稠密视差的精细优化估计。利用具有不同弱纹理特征的5组标准测试图像、4组室内环境实际图像、4组室外环境实际图像和4组月面模拟特殊光照环境的实际环境图像进行了测试实验,实验结果表明了本文算法的良好鲁棒性和有效性。     

多传感器信息融合的移动机器人定位算法研究

为有效降低使用单一传感器进行移动机器人定位时的不确定误差,提高机器人定位与建图的准确性和鲁棒性,提出了一种多传感器信息融合的移动机器人定位算法。基于激光RBPF-SLAM算法实现机器人同时定位与路标地图构建,运用图优化理论约束优化蒙特卡洛定位的位姿估计结果;通过双目视觉重建环境的三维点特征,针对视觉信息处理计算量大、跟踪精度不高的问题,研究改进基于ORB的特征点提取与四边形闭环匹配算法;利用因子图模型对激光RBPF-SLAM定位和双目视觉定位进行最大后验概率准则下的信息融合。仿真和实验结果表明通过上述方法可以得到比传统RBPF-SLAM算法及一般改进算法更高的定位精度,验证了所提方法的有效性和实用性。     

多传感器信息融合的移动机器人定位算法研究（英文）

为有效降低使用单一传感器进行移动机器人定位时的不确定误差,提高机器人定位与建图的准确性和鲁棒性,提出了一种多传感器信息融合的移动机器人定位算法。基于激光RBPF-SLAM算法实现机器人同时定位与路标地图构建,运用图优化理论约束优化蒙特卡洛定位的位姿估计结果;通过双目视觉重建环境的三维点特征,针对视觉信息处理计算量大、跟踪精度不高的问题,研究改进基于ORB的特征点提取与四边形闭环匹配算法;利用因子图模型对激光RBPF-SLAM定位和双目视觉定位进行最大后验概率准则下的信息融合。仿真和实验结果表明通过上述方法可以得到比传统RBPF-SLAM算法及一般改进算法更高的定位精度,验证了所提方法的有效性和实用性。     

激光雷达与惯性测量单元同步融合下的园区三维建图

针对自动驾驶三维建图中存在的建图不准确以及位姿飘移的问题,利用激光雷达里程计消除惯性测量单元（Inertial Measurement Unit, nIMU）累计误差并通过IMU预积分去除激光雷达点云畸变,形成激光雷达与IMU的紧耦合建图系统;通过增加回环检测因子、激光雷达里程计因子以及IMU预积分因子进行后端图优化,旨在提升定位建图的全局一致性,减小位姿估计误差,降低累计漂移误差。最后,在学校园区实地场景以及利用开源数据集KITTI进行实验验证,实验表明,在选取的学校园区实地场景下,改进算法APE误差均值相较于原算法降低了11.04%,APE均方根误差较于原算法降低了17.35%;改进算法在KITTI数据集场景下平均APE误差下降了10.04%,均方误差方面相较于原算法平均下降了12.04%。研究结果表明,改进的建图方法能够有效提高建图的位姿估计精度与地图构建精度。     

用于弱纹理场景三维重建的机器人视觉系统

为了实现机器人在弱纹理场景中的避障和自主导航,构建了由双目相机和激光投点器构成的主动式双目视觉系统。对立体视觉密集匹配问题进行了研究:采用激光投点器投射出唯一性和抗噪性较好的光斑图案,以增加场景的纹理信息;然后,基于积分灰度方差(IGSV)和积分梯度方差(IGV)提出了自适应窗口立体匹配算法。该算法首先计算左相机的积分图像,根据积分方差的大小确定匹配窗口内的图像纹理质量,然后对超过预设方差的阈值与右相机进行相关计算,最后通过遍历整幅图像得到密集的视差图。实验结果表明:该视觉系统能够准确地恢复出机器人周围致密的3D场景,3D重建精度达到0.16mm,满足机器人避障和自主导航所需的精度。与传统的算法相比,该匹配方法的图像方差计算量不会随着窗口尺寸的增大而增加,从而将密集匹配的运算时间缩短了至少93%。     

融合改进SuperPoint网络的鲁棒单目视觉惯性SLAM

单目视觉惯性SLAM系统通过追踪人工设计的点特征来恢复位姿,如Shi-Tomasi, FAST等。然而光照或视角变化等挑战性场景中人工特征提取鲁棒性差,易导致位姿计算精度低甚至失败。启发于SuperPoint网络在特征提取的强鲁棒性,提出一种基于改进SuperPoint网络的单目VINS系统—CNN-VINS,旨在提升挑战性环境下VINS系统的鲁棒性。主要贡献包括:提出改进SuperPoint特征提取网络,通过动态调整检测阈值实现图像特征点均匀检测和描述,构建鲁棒精确的特征关联信息;将改进SuperPoint特征点提取网络与VINS系统的后端非线性优化、闭环检测模块融合,提出一个完整的单目视觉惯性SLAM系统;对网络的编码层和损失函数优化调整,并验证网络编码层对VINS系统定位精度的影响。在公共评测数据集EuRoc实验结果表明,相比国际公认的VINS-Mono系统,所提系统在光照剧烈变化的挑战性场景中定位精度提升15%;对光照变化缓慢的简单场景,绝对轨迹误差均值保持在0.067～0.069 m。     

高动态环境下的傅里叶梅林变换视觉SLAM算法

针对视觉即时定位与地图构建(SLAM)中的静态假设限制其在动态现实环境中应用的问题，提出了一种在高动态环境下基于傅里叶梅林变换的视觉SLAM算法。首先，采用傅里叶梅林算法配准以补偿相机运动，应用帧间差分算法获取运动掩膜。同时利用短时密集连接网络进行语义分割确定潜在运动物体掩膜。结合运动掩膜与物体掩膜，获得最终的物体运动区域，剔除该区域的特征点。最后，依据稳定的静态特征点跟踪优化，提升位姿精度。实验结果表明，本算法的绝对轨迹误差与相对位姿误差相比于ORB-SLAM2减少了95%以上，相比于DS-SLAM减少了30%以上，验证其在复杂动态场景下具有良好的定位精度与鲁棒性，有效降低运动模糊与光照变化对运动检测的影响，同时，克服了传统动态SLAM难以检测非先验运动对象的弊端。     

基于混合特征的机器人定位与地图创建

针对原始ORB-SLAM算法仅依靠点特征进行位姿估计,在点特征不足场景下会导致算法精度和鲁棒性降低的问题,对原有算法进行改进。首先,构建二进制环境词典用于提高算法加载词典速度;其次,在剔除特征误匹配时,提出一种改进随机采样一致算法(RANSAC)以提高剔除效率;然后,构建混合特征模型估计位姿;最后,根据图优化模型,提出基于最大共视权重帧的全局Bundle Adjustment算法用于位姿优化并实现稠密和稀疏地图创建。结果表明,混合特征模型能有效减少算法误差。采用二进制环境词典加载时间由14.945 s减小至0.420 s;改进RANSAC算法执行时间由0.803 s减小到0.078 s;采用TUM数据集对算法进行检验,均方根误差分别下降2.27、4.87 cm。根据数据集上的实验结果证明了所提算法有效性。     

基于激光扫描和SFM的非同步点云三维重构方法

室外场景具有测量数据量大、扫描数据易重叠及建筑物表面信息复杂等特点,单靠激光扫描方法能够获得场景精确的深度信息,但缺乏颜色和纹理信息,利用从运动中恢复结构(SFM)方法可获得丰富的彩色信息,但重构精度不高,若将两种设备固定进行在线实时同步测量,易受到测量环境和系统制约不易实现。针对此问题,提出了一种基于激光扫描和SFM结合的非同步点云数据融合的三维重构方法。首先,提出利用手动选择控制点进行7自由度初始配准,再利用迭代最近点(ICP)算法对初始配准结果进行精确配准,最后利用最近点搜索算法将分布在经基于面片的多视图立体视觉(PMVS)算法优化后的SFM数据中的颜色信息与激光扫描的点云坐标进行融合。实验结果和数据分析显示,本文的方法能有效地将激光扫描与SFM点云数据进行融合,实现了室外大场景的三维彩色重构。