点线特征自适应融合室内SLAM算法

传统的视觉同时定位与地图创建(SLAM)依赖于点特征来估计相机位姿.然而在室内环境中存在大量低纹理区域,使得提取足够多的点特征变得困难.此外,当相机抖动剧烈或转向过快时,基于点特征的SLAM系统也并不鲁棒.针对上述问题,本文提出了一种基于RGB-D的点线特征融合SLAM算法,利用点特征和线特征的优点,在困难环境下获得了鲁棒的结果.首先,提出了一种基于特征丰富度的特征提取策略.解决在模糊和低纹理区域内提取特征困难的问题.其次,设计了一种点线特征关联图,优化线特征匹配效果.该方法不仅参考了线特征之间的相似关系,还考虑了点线特征之间的几何关系.最后,在构建光束法平差的成本函数时建立自适应模型,实现点线双模态特征的"无缝融合".本文分别在两个公开数据集和室内真实场景中进行了算法评估,并与其他先进算法对比.结果表明本文提出的算法具有更好的整体性能.     

基于语义信息和边缘一致性的鲁棒SLAM算法

为解决动态环境中视觉定位精度下降、鲁棒性不足的问题,并改善构建的环境地图,提出一种基于语义信息和边缘一致性的鲁棒同时定位与地图创建(SLAM)算法.首先使用YOLOv3算法获取环境语义信息,得到初步的图像语义动静态分割.而后使用基于图像中边缘的距离变换误差和光度误差的一致性评估,进一步对图像的动静态区域进行细分,并利用连通区域分析和漏洞修补算法修正动态区域.使用图像非动态区域的特征点进行特征匹配,利用非线性优化算法最小化特征点的重投影误差,得到优化的相机位姿.利用特征点共视性和动静态区域面积进行绘图关键帧的选取,从而构建不包含动态物体信息的静态环境地图.公开数据集中高动态环境的实验表明,本文算法能够准确地区分图像中的动静态信息,完成动态环境下的精确定位与地图构建任务.并且本文算法在纯静态环境下不存在定位精度下降的情况.     

基于目标检测的动态鲁棒视觉SLAM

针对传统视觉即时定位与建图(simultaneouslocalizationandmapping,SLAM)算法的环境静态假设在高动态场景下不成立,导致无法实现准确定位的问题,通过在视觉SLAM前端引入语义模块、优化动态特征点剔除策略,构建动态鲁棒的相机自定位系统。引入YOLOv4识别动态和静态目标,根据特征点与动、静态目标框的位置关系及动态点占比将所有特征点划分为动态和静态,将动态点从定位算法中剔除。为准确评估算法有效性,构建复杂城市道路场景数据集,实验结果表明,该方法能有效抑制动态目标给相机自定位带来的不利影响,在多段图像序列中实现更低的定位误差,提升相机的定位精度和运动轨迹准确性。     

RGB-D相机位姿估计不确定性与观测参数化分析

针对基于RGB-D相机的位姿估计问题,根据最大似然估计和协方差传播规律,分析了ICP(迭代最近点)与PnP(n点透视)两种算法的位姿估计不确定性;并从数据关联的角度探究了2种算法在实际应用中的差异.此外,对比了不同的特征观测参数化形式对视觉里程计定位精度的影响,并提出了一种参数化方法.基于ICP与PnP算法的区别与联系,提出RGB-D SLAM(同步定位与地图创建)系统中2种PnP算法的切换策略,并在优化问题中根据观测的不确定性对各误差项赋予不同权重.在两大公开数据集上的实验表明,与主流RGB-D SLAM算法相比本文所提算法在弱纹理、相机快速运动和动态物体等多种场景下具有更高的定位精度和鲁棒性.同时,本文所提算法的时间效率较ORB-SLAM2算法提高了约10％.     

融合点线特征的视觉惯性SLAM算法

为使移动机器人在昏暗场景中获得更高的定位精度以实现更好的建图效果,针对特征点稀疏、相机移动过快所导致的SLAM算法初始化困难、定位精度较低等问题,提出了一种融合点线特征的视觉惯性SLAM算法。通过EDLines线特征提取匹配算法来引入丰富的线特征,进而提升特征跟踪的鲁棒性;利用惯性传感器和视觉传感器的互补优势,通过视觉惯性分步联合初始化方法在初始化阶段分三步进行优化,进而提升初始化的精度和速度。实验表明,该算法所使用的线特征提取匹配算法相比传统的LSD算法具有了更快的匹配速度和更低的误匹配率,并且该算法在视觉惯性数据集中相机位姿的估计精度更高、鲁棒性更强。     

视觉SLAM研究进展

视觉SLAM是指相机作为传感器进行自身定位同步创建环境地图。SLAM在机器人、无人机和无人车导航中具有重要作用,定位精度会影响避障精度,地图构建质量直接影响后续路径规划等算法的性能,是智能移动体应用的核心算法。本文介绍主流的视觉SLAM系统架构,包括几种最常见的视觉传感器,以及前端的功能和基于优化的后端。并根据视觉SLAM系统的度量地图的种类不同将视觉SLAM分为稀疏视觉SLAM、半稠密视觉SLAM和稠密视觉SLAM 3种,分别介绍其标志性成果和研究进展,提出视觉SLAM目前存在的问题以及未来可能的发展。     

基于改进ORB特征的单目视觉SLAM算法

单目视觉SLAM算法容易受场景纹理影响出现初始化失败或者相机轨迹漂移的问题.为此,提出一种基于改进ORB特征的单目视觉SLAM算法.对输入视频帧构建高斯金字塔提取FAST特征,综合考虑特征点的灰度信息与其邻域的梯度信息生成描述子,并采用多网格策略划分特征点邻域,凭借改进的特征点降低运动模型算法的迭代次数,达到较好的时间效率.实验表明,该算法的相机轨迹精度与特征匹配精度相较于ORB-SLAM得到有效提高,并且能很好地适应多种纹理特殊场景.     

点线特征融合的双目视觉SLAM算法

在低纹理场景中,基于点特征的同时定位与地图构建(Simultaneous Localization and Mapping, SLAM)算法很难追踪足够多的有效特征点,系统甚至无法正常工作.众所周知,丰富的线段特征存在在人造结构化环境中的地面与墙面交界处.因此,提出一种点线特征融合的双目视觉SLAM算法.在特征提取前,引入梯度密度滤波器加速线特征提取和提高线匹配的准确度,在特征点匹配阶段,采用渐进采样一致性(Progressive Sampling Consensus, PROSAC)算法剔除误匹配点,从而提高定位精度.此外,在特征的融合过程中引入加权思想.在构造误差函数时对点线特征权重进行合理分配.最后,通过在公开的数据集上得到的仿真并与一些优秀的算法进行对比,该算法性能优于PL-SLAM和LSD-SLAM算法,证明了算法的有效性和准确性.     

自适应窗隔匹配与深度学习相结合的RGB-D SLAM算法

在动态场景的SLAM系统中,传统的特征点法视觉SLAM系统易受动态物体的影响,使得图像前后两帧的动态物体区域出现大量的误匹配,导致机器人定位精度不高。为此,提出一种结合自适应窗隔匹配模型与深度学习算法的动态场景RGB-D SLAM算法。构建基于自适应窗隔匹配模型的视觉SLAM前端算法框架,该框架筛选图像帧后采用基于网格的概率运动统计方式实现匹配点筛选,以获得静态区域的特征匹配点对,然后使用恒速度模型或参考帧模型实现位姿估计。利用深度学习算法Mask R-CNN提供的语义信息进行动态场景的静态三维稠密地图构建。在TUM数据集和实际环境中进行算法性能验证,结果表明,该算法在动态场景下的定位精度和跟踪速度均优于ORB-SLAM2及DynaSLAM系统,在全长为6.62 m的高动态场景中定位精度可达1.475 cm,平均跟踪时间为0.024 s。     

完全在线的双目直接法视觉SLAM算法

视觉SLAM在机器人的室外作业如野外探索、定位侦察中扮演了重要角色.为了使得机器人可以更好地进行室外作业,提出一种不受词袋模型的固定词汇限制的完全在线实时双目直接法视觉SLAM算法.作为直接法视觉SLAM,所提到的系统可以利用任何具有足够强度梯度的图像像素,使其在缺少特征点的区域仍具有很强的鲁棒性.在系统算法中引入双目静态残差约束并去除遮挡的滑窗优化来增强系统的跟踪精度,增加闭环检测和位姿图优化模块,并建立在线词袋模型,使得系统在大规模且陌生的环境中依然可以进行工作.将此算法在公开的EuRoC数据集和KITTI数据集上进行性能评估,结果表明,所提出的系统的定位精度优于最先进的直接法视觉SLAM系统,且室内场景和室外场景均具有鲁棒性.     

基于点线特征融合的视觉惯性SLAM算法

针对目前视觉SLAM方法鲁棒性差、耗时高,使系统定位不够精确的问题,提出了一种基于点线特征融合的视觉惯性SLAM算法。首先通过短线剔除和近似线段合并策略改进LSD（line segment detection）提取质量,以提高线特征检测的速率和准确度;然后在后端优化中有效融合了点、线和IMU数据,建立最小化目标函数进行优化,得到更精确的相机位姿;最后在EuRoC数据集和现实走廊场景进行了实验验证。实验表明,所提算法可以有效提升线特征提取的质量和速度,同时有效提高了SLAM系统的定位精度,获得更为丰富的点线结构地图。     

动态环境下融合轻量级YOLOv5s的视觉SLAM

移动机器人在未知环境下依靠同步定位与地图构建（SLAM）实现自身的精确定位,目前大多数视觉SLAM系统在运行时均假设外部环境是静态的,但在实际应用场景下该假设并不成立,传统的视觉SLAM系统在动态环境下易受移动目标的影响,导致系统定位精度下降。提出一种新的视觉SLAM系统,将轻量级网络MobileNetV3作为目标检测网络YOLOv5s的主干网络,从而减少模型参数量,提高算法在CPU上的推理速度。将目标检测网络、光流法与ORB-SLAM系统相结合,使SLAM系统前端提取ORB特征点的同时能够有效剔除动态特征点。仅利用静态目标上的特征点进行帧间匹配,从而求解相机位姿,提高系统在动态环境下的定位精度。在TUM动态数据集上的实验结果表明,与ORB-SLAM3系统相比,该系统的位姿估计精度提升了80.16%,与DS-SLAM、DVO-SLAM系统等动态SLAM系统相比,该系统在定位精度上有大幅提升,相比使用MASK-RCNN的DynaSLAM系统,在保持相近ATE指标的情况下,该系统具有更高的实时性。     

线特征融合光流的单目SLAM算法

针对移动机器人的定位与建图问题,提出了基于图优化的单目线特征融合光流的同时定位和地图构建(SLAM)的算法。首先,针对主流视觉SLAM算法因采用点作为特征而导致构建的点云地图稀疏、难以准确表达环境结构信息等缺点,采用直线作为特征来构建地图,并采用图优化方法来提高定位精度和地图构建的准确性。然后,针对定位系统的处理速度很难达到实时性要求,将光流法引入以达到实时定位的效果。实验表明,基于线特征的地图构建有较高的建图精度,并且融合算法克服了光流法定位精度差和特征法处理速度慢的缺点,可提供较准确的实时定位输出,并对光照变化和场景纹理较少的情况有一定的鲁棒性。     

基于特征点改进的视觉SLAM定位研究

为改善视觉SLAM(SimultaneousLocalizationandMapping)系统在低纹理环境下定位精度较低的现象,提出一种改进的ORB(OrientedFASTandRotatedBRIEF)特征点提取策略和一种关键帧选择机制;首先采用多尺度分析和基于局部灰度的特征检测方法克服一般ORB算法缺乏尺度和旋转描述的缺点;其次提出一种基于高斯模糊的图像信息增强方法解决传统ORB特征点提取方法在纹理信息不被突出环境下容易失效的问题,并对图像进行象限分割使特征点均匀分布;最后为剔除劣质关键帧,设计了一种综合时间因素与特征点数量因素的关键帧选择机制;将提出的方法移植到ORB_SLAM2上,并在TUM数据集上测试,实验结果表明,视觉SLAM系统的定位误差平均降低14.688%,证实了本文方法的有效性。     

顾及图像增强的煤矿井下视觉同时定位与建图算法

基于特征点法的视觉同时定位与建图（SLAM）算法在煤矿井下有一定应用,但受光照不均、光照多变、明暗区域交错等因素影响,图像质量较差、纹理信息匮乏,导致视觉SLAM前端特征提取与匹配精度较低,易出现跟踪丢失问题,影响视觉SLAM算法的定位精度与建图效果。提出一种顾及图像增强的煤矿井下视觉SLAM算法,通过图像增强处理提升视觉SLAM的整体性能。采用基于改进双边滤波的Retinex算法对煤矿井下图像进行增强处理：将原始RGB图像转换至HSI色彩空间,以改进的双边滤波代替传统Retinex算法的高斯滤波作为中心环绕函数,对图像反射分量进行估计后转换至RGB色彩空间,得到最终增强图像。将基于改进双边滤波的Retinex算法引入经典ORB-SLAM2算法框架进行位姿估计和建图。基于矿井轮式机器人数据采集平台在煤矿井下巷道环境中对顾及图像增强的视觉SLAM算法进行试验,结果表明：与传统Retinex算法相比,经基于改进双边滤波的Retinex算法增强后的煤矿井下图像未出现明显的泛白及光晕现象,图像质量得到提升;与ORB-SLAM2算法相比,顾及图像增强的视觉SLAM算法提高了特征匹配质量和数量,估...     

基于扩展卡尔曼滤波的实时视觉SLAM算法

单目视觉同步定位与地图创建(SLAM)算法的计算复杂度较高,难以满足实时处理的要求。为解决该问题,提出一种SLAM的优化算法。使用 FAST 特征点提取环境特征,对于每一个特征点构造 BRIEF 描述子,以提高算法执行效率,通过引入1-point随机抽样一致算法对算法的框架进行改进,降低算法的计算复杂度,实现视觉SLAM算法的实时处理。实验结果表明,在相机速度为30 f/s的情况下,该算法能满足实时性要求。     

动态场景下基于图像掩模技术的双目SLAM算法

视觉SLAM技术在动态场景中存在定位漂移和创建地图扭曲的情况,本研究提出一种基于图像掩模技术的双目SLAM算法,运用视觉几何约束法在动态场景中得出动态特征点,将检测出的运动物体区域作为图像掩模。在ORB-SLAM算法中引入动态区域掩模分割和剔除动态区域的功能,可以保证相机的定位和构图不受动态场景中的运动物体的影响。根据动态特征点和分割结果在动态场景中用矩形框标识出动态区域掩模,剔除特征匹配中动态特征点,从而可以降低运动物体对SLAM算法精度的影响。经实验得出,改进算法较双目ORB-SLAM算法在动态场景中的定位精度提高76.1%,其动态场景构图效果改善明显,算法处理的平均速度可以达到实时视觉定位和构图的需求,平均可达4.7帧/秒。     

基于点线特征融合的低纹理单目视觉同时定位与地图构建算法

当图像因相机快速运动造成模糊或者处在低纹理场景时,仅使用点特征的同步定位与地图构建（SLAM）算法难以跟踪提取足够多的特征点,导致定位精度和匹配鲁棒性较差。而如果造成误匹配,甚至系统都无法工作。针对上述问题,提出了一种基于点线特征融合的低纹理单目SLAM算法。首先,加入了线特征来加强系统稳定性,并解决了点特征算法在低纹理场景中提取不足的问题;然后,对点、线特征提取数量的选择引入了加权的思想,根据场景的丰富程度,对点线特征的权重进行了合理分配。所提算法是在低纹理场景下运行的,因而设置以线特征为主、点特征为辅。在TUM室内数据集上的实验结果表明,与现有的点线特征算法相比,所提算法有效地提高了线特征的匹配精度,使得轨迹误差减小了大约9个百分点,也使得特征提取时间减少了30个百分点,使加入的线特征在低纹理场景中发挥出积极有效的作用,提高了数据整体的准确度和可信度。     

动态环境下基于深度学习的语义SLAM算法

针对应用场景中存在的运动物体会降低视觉同步定位与地图构建（SLAM）系统的定位精度和鲁棒性的问题,提出一种基于语义信息的动态环境下的视觉SLAM算法。首先,将传统视觉SLAM前端与YOLOv4目标检测算法相结合,在对输入图像进行ORB特征提取的同时,对该图像进行语义分割;然后,判断目标类型以获得动态目标在图像中的区域,剔除分布在动态物体上的特征点;最后,使用处理后的特征点与相邻帧进行帧间匹配来求解相机位姿。实验采用TUM数据集进行测试,测试结果表明,所提算法相较于ORB-SLAM2在高动态环境下在位姿估计精度上提升了96.78%,同时该算法的跟踪线程处理一帧的平均耗时为0.065 5 s,相较于其他应用在动态环境下的SLAM算法耗时最短。实验结果表明,所提算法能够实现在动态环境中的实时精确定位与建图。     

基于点线特征的单目视觉同时定位与地图构建算法

当相机快速运动导致图像模糊或场景中纹理缺失时,基于点特征的同时定位与地图构建(SLAM)算法难以追踪足够多的有效特征点,定位精度和鲁棒性较差,甚至无法正常工作.为此,设计了一种基于点、线特征并融合轮式里程计数据的单目视觉同时定位与地图构建算法.首先,利用点特征与线特征的互补来提高数据关联的准确性,并据此构建具有几何信息的环境特征地图,同时引入轮式里程计数据为视觉定位算法提供先验和尺度信息.然后,通过最小化局部地图点、线的重投影误差得到更准确的视觉位姿,在视觉定位失效时,定位系统能根据轮式里程计数据继续工作.通过对比在多组公开数据集上得到的仿真实验结果可知,本文算法性能优于MSCKF (multi-state constraint Kalman filter)和LSD-SLAM(large-scale direct monocular SLAM)算法,证明了该算法的准确性和有效性.最后,将该算法应用于课题组搭建的机器人系统上,得到单目视觉定位均方误差(RMSE)约为7 cm,在1.2 GHz主频、四核处理器的嵌入式平台上平均每帧(640×480)的处理时间约为90 ms.