集成RGB-D语义分割网络的室内语义地图构建

针对传统视觉SLAM准确度低、实时性差、缺乏语义的问题,提出一种全新的RGB-D语义分割网络,利用室内场景中受光照等条件影响较小的深度信息来提高分割的准确性,并且设计了轻量级多尺度残差模块(MRAM)和空间金字塔池化模块(ASPP)来轻量化分割网络、提高分割的精度。首先输入的图像序列进入ORB-SLAM2网络进行关键帧筛选,之后关键帧送入语义分割网络得到二维语义标签,再将二维语义信息映射到三维点云空间,最后使用贝叶斯算法更新三维地图得到全局一致的三维点云语义地图。实验采用NYUv2数据集验证语义分割网络性能,采用TUM数据集构建点云语义地图,结果表明,提出的语义分割网络性能和速度优于现有的模型,且此语义分割网络与视觉SLAM相结合可以满足高精度、实时的稠密三维语义点云地图构建要求。     

结合语义信息与3D点云技术的未知环境地图构建方法

目的 机器人在进行同时定位与地图构建（simultaneous localization and mapping,SLAM）时需要有效利用未知复杂环境的场景信息,针对现有SLAM算法对场景细节理解不够及建图细节信息缺失的问题,本文构造出一种将SLAM点云定位技术与语义分割网络相结合的未知环境地图构建方法,实现高精度三维地图重建。方法 首先,利用场景的实时彩色信息进行相机的位姿估计,并构造融合空间多尺度稀疏及稠密特征的深度学习网络HieSemNet（hierarchical semantic network）,对未知场景信息进行语义分割,得到场景的实时二维语义信息;其次,利用深度信息和相机位姿进行空间点云估计,并将二维语义分割信息与三维点云信息融合,使语义分割的结果对应到点云的相应空间位置,构建出具有语义信息的高精度点云地图,实现三维地图重建。结果 为验证本文方法的有效性,分别针对所构造的HieSemNet网络和语义SLAM系统进行验证实验。实验结果表明,本文的网络在平均像素准确度和平均交并比上均取得了较好的精度,MPA（mean pixel accuracy）指标相较于其他网络分别提高了17.47%、11.67%、4.86%、2.90%和0.44%,MIoU（mean intersection over union）指标分别提高了13.94%、1.10%、6.28%、2.28%和0.62%。本文的SLAM算法可以获得更多的建图信息,构建的地图精度和准确度都更好。结论 本文方法充分考虑了不同尺寸物体的分割效果,提出的HieSemNet网络能有效提高场景语义分割准确性,此外,与现有的前沿语义SLAM系统相比,本文方法能够明显提高建图的精度和准确度,获得更高质量的地图。     

一种基于邻域度量关系的RGB-D融合语义分割算法

针对深空探测活动中地外环境复杂和计算资源受限,导致语义分割精度较低的问题,提出了一种基于邻域度量关系的RGB-D融合语义分割算法。该算法采用多模态的RGB-D信息取代传统的单目相机数据,并以中期融合框架构建基础网络,且额外设计了邻域度量关系模块来优化表现。具体来说,中期融合网络针对不同尺度的原始特征执行精炼、融合、跳接等操作,实现跨模态数据以及跨层级特征的有效互补。进一步地,结合语义特征图与语义标签,以不增加网络推理开销的方法构建邻域度量关系,从全局及局部特征中挖掘样本类别之间的关联信息,提升分割网络的性能。分别在室内数据集NYUDv2和火星模拟场地数据集MARSv1上进行实验,结果表明多模态RGB-D信息以及邻域度量关系均能显著提升语义分割的精度。     

动态场景下基于语义和光流约束的视觉同步定位与地图构建

针对动态场景下的定位与静态语义地图构建问题,提出了一种基于语义和光流约束的动态环境下的同步定位与地图构建（SLAM）算法,以降低动态物体对定位与建图的影响。首先,对于输入的每一帧,通过语义分割获得图像中物体的掩模,再通过几何方法过滤不符合极线约束的特征点;接着,结合物体掩模与光流计算出每个物体的动态概率,根据动态概率过滤特征点以得到静态特征点,再利用静态特征点进行后续的相机位姿估计;然后,基于RGB-D图片和物体动态概率建立静态点云,并结合语义分割建立语义八叉树地图。最后,基于静态点云与语义分割创建稀疏语义地图。公共TUM数据集上的测试结果表明,高动态场景下,所提算法与ORB-SLAM2相比,在绝对轨迹误差和相对位姿误差上能取得95%以上的性能提升,与DS-SLAM、DynaSLAM相比分别减小了41%和11%的绝对轨迹误差,验证了该算法在高动态场景中具有较好的定位精度和鲁棒性。地图构建的实验结果表明,所提算法创建了静态语义地图,与点云地图相比,稀疏语义地图的存储空间需求量降低了99%。     

基于Transformer和边缘解耦的鸟瞰地图语义分割算法

高精(high-definition, HD)地图可以提供准确的道路信息和丰富的语义信息,使自动驾驶系统引导车辆正确行驶。高精地图通常依赖人工标注,现有自动化标注方法在自动驾驶场景下的识别精度较低,导致高精地图标注效率低下。为了解决这一问题,提出了一种新的用于高精地图自动标注的语义分割方法MapFormer,包括一个多级特征融合模块,能够使模型聚合不同级别的细节和语义信息;一种新的边界解耦联合解码器用以提高模型处理类别间边界的能力。在鸟瞰图数据集上的实验验证了该模型不仅在分割精度上取得了优秀的表现,而且在对类别边界的处理上更为清晰。其mIoU为55.82%,高于SegFormer的mIoU 1.03%,该方法可提升高精地图标注效率与标注自动化率。     

一种实时的三维语义地图生成方法

为了提高模块化机械臂分拣作业效率,研究了一种实时三维语义地图生成方法。该方法设计了一种改进的区域增长分割算法提高了分割效率和准确性,通过基于距离阈值的特征匹配方法得到候选模型,采用随机采样一致性（RANSAC）和迭代最近点算法（ICP）生成转变假设并对候选模型进行验证,获取物体位姿信息,保存于XML地图文件中,将其与机械臂末端位姿进行推理分析,得到抓取任务轨迹。实验结果表明,该方法满足作业实时性与准确性的要求。     

基于RGB-D相机数据的SLAM算法研究

提出了一种基于RGB-D相机数据的同时定位与地图构建(SLAM)算法系统,实现对RGB-D数据的快速和准确构建.首先在RGB图中提取较好鲁棒性的SURF特征,结合使用快速最近邻近似(FLANN)来完成特征点匹配的方式,再使用基于改进的最小距离与随机采样一致性(RANSAC)组合的方法剔除误匹配,然后使用PNP求解相邻帧间的相机位姿变换关系,后端的优化使用G2O(general graph optimization)来优化全局位姿,并使用回环检测消除累计误差.实验证明该方法具有有效性和可行性,能够迅速、准确地构建出三维稠密地图.     

基于RGB-D相机的室内环境3D地图创建

RGB-D相机（如微软的Kinect）能够在获取彩色图像的同时得到每个像素的深度信息,在移动机器人三维地图创建方向具有广泛应用。本文设计了一种利用RGB-D相机进行机器人自定位及创建室内场景三维模型的方法,该方法首先由RGB-D相机获取周围环境的连续帧信息;其次提取并匹配连续帧间的SURF特征点,通过特征点的位置变化计算机器人的位姿并结合非线性最小二乘优化算法最小化对应点的双向投影误差;最后结合关键帧技术及观察中心法将相机观测到的三维点云依据当前位姿投影到全局地图。本文选择三个不同的场景试验了该方法,并对比了不同特征点下该方法的效果,试验中本文方法在轨迹长度为5.88m情况下误差仅为0.023,能够准确地创建周围环境的三维模型。     

动态环境下基于增强分割的RGB-D SLAM方法

目前视觉SLAM（同步定位与地图创建）方法在动态环境下易出现漏剔除动态物体的问题,影响相机位姿估计精度以及地图的可用性。为此,本文提出一种基于增强分割的RGB-D SLAM方法。首先结合实例分割网络与深度图像聚类的结果,判断当前帧是否出现漏分割现象,若出现则根据多帧信息对分割结果进行修补,同时,提取当前帧的Shi-To...     

基于语义关联的语义覆盖网构建方法研究

随着网络技术不断飞速发展,人们的信息需求也随之增长.用户不再满足基于关键字的检索,而是希望网络能够实现以用户所关心的信息为中心、以用户需求为导向,将所有与中心相关的信息全部汇聚起来,也就是实现语义关联聚焦服务.所以针对语义关联聚焦服务需求,提出构建一种包含语义关联关系的语义覆盖网的方法,即首先将网络节点按照语义相似度组织成聚类,然后计算节点的语义关联度,最后根据语义关联度在聚类之间添加关联链接,最终形成各网络节点的关联语义覆盖网络.     

Web语义关联的一种分级方法

针对Web查询中查询路径分级不精确问题,文中基于RDF和XML技术,通过在语义查询路径上增加语义关联的影响因子,并根据路径上各个实体或属性的影响因子综合计算出一条路径的等级,按照级别高低把查询结果较准确地提供给用户,从而在一定程度上减少用户的分析工作。与一般的分级方法相比,增加语义关联的影响因子后,能够较好地实现基于语义的Web查询。     

动态环境下基于延迟语义的RGB-D SLAM算法

目前,将分割网络与SLAM(Simultaneous Localization and Mapping)结合已成为解决视觉SLAM不能应用于动态环境的主流方案之一,但是SLAM系统受到分割网络处理速度的限制,无法保证实时运行.为此,文中提出基于延迟语义的RGB-D SLAM算法.首先,并行运行跟踪线程与分割线程,为了得到最新的延迟语义信息,采取跨帧分割的策略处理图像,跟踪线程根据延迟语义信息实时生成当前帧的语义信息.然后,结合成功跟踪计数(STC)与极线约束,筛选当前帧动态点的集合,并确定环境中先验动态物体的真实运动状态.若确定该物体在移动,继续将物体区域细分为矩形网格,以网格为最小单位剔除动态特征点.最后,利用静态特征点追踪相机位姿并构建环境地图.在TUM RGB-D动态场景数据集及真实场景上的实验表明文中算法在大部分数据集上表现较优,由此验证算法的有效性.     

S-RSM:一种基于语义的数据空间资源搜索机制

数据空间技术是数据库管理技术的进一步发展,如何有效地搜索数据空间中的资源成为一个值得研究的问题.为此提出一种基于语义的数据空间资源搜索机制(S-RSM,Semantics-based Resource Search Mechanism for Dataspace).定义了资源描述模型,能够有效地将数据资源进行统一描述和包装;提出一种基于语义的资源搜索策略,利用Dbped ia语义知识库评估资源对象关联和语义项关联.同其它搜索策略相比,S-RSM在查全率和查准率等方面具有一定的优势.     

基于RGB-D相机的SLAM技术研究综述

视觉同时定位与地图构建（Simultaneous Localization and Mapping,SLAM）是自主移动机器人、自动驾驶车和无人机关键技术,是当前机器人和计算机视觉领域的研究热点。对当前主流的SLAM技术发展历程及研究现状进行概述。重点围绕RGB-D SLAM研究展开讨论,包括：对各类视觉传感器进行性能分析和对比;对当前具有代表性的几类RGB-D SLAM系统的原理、方法和技术性能进行详细的分析;对RGB-D SLAM的关键问题、测试数据集及评估指标进行综合性归纳。最后,对视觉SLAM的发展趋势进行展望与总结。     

一种基于区域特征关联的图像语义标注方法

图像语义的标注需要解决图像高层语义和底层特征间存在的语义鸿沟。采用基于图像分割、并结合图像区域特征抽取的方法,建立图像区域语义与底层特征间的关联,采用基于距离的分类算法,计算区域特征间的相似性,并对具有相同或相近特征的区域的语义采用关联关键字的方法进行区分,用关键字实现图像语义的自动标注。     

一种基于强化学习的车辆语义分割方法

准确高效的语义分割是自动驾驶、人机交互和机器人视觉应用的基本任务。由于在复杂的场景下,传统分割方法可能会出现难以处理的情况,例如无法很好地处理复杂的背景和噪声,需要手动调节参数来适应不同的图像场景导致大量的人力和时间成本。强化学习方法可以通过与环境进行交互学习,自主发现图像特征和规律,减轻噪声和复杂背景等因素对图像分割的影响,减少对人工特征工程的依赖。因此,采用基于滑动窗口的分割方法并引入强化学习,实现对道路场景下车辆的分割。在该方法下,机器人通过自主学习,提高了车辆分割的精度与平均交并比。     

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建（SLAM）是机器人在未知环境实现自主导航的关键技术，针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题，提出一种新的RGB-D SLAM系统，以进一步提升实时性和精确度。首先，采用ORB算法检测图像特征点，并对提取的特征点采用基于四叉树的均匀化策略进行处理，并结合词袋模型（BoW）进行特征匹配。然后，在系统相机姿态初始值估计阶段，结合PnP和非线性优化方法为后端优化提供一个更接近最优值的初始值；在后端优化中，使用光束法平差（BA）对相机姿态初始值进行迭代优化，从而得到相机姿态的最优值。最后，根据相机姿态和每帧点云地图的对应关系，将所有的点云数据注册到同一个坐标系中，得到场景的稠密点云地图，并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上，将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比，实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。     

基于RGB-D图像的室内机器人同时定位与地图构建

同时定位与地图构建（SLAM）是机器人在未知环境实现自主导航的关键技术,针对目前常用的RGB-D SLAM系统实时性差和精确度低的问题,提出一种新的RGB-D SLAM系统,以进一步提升实时性和精确度。首先,采用ORB算法检测图像特征点,并对提取的特征点采用基于四叉树的均匀化策略进行处理,并结合词袋模型（BoW）进行特征匹配。然后,在系统相机姿态初始值估计阶段,结合PnP和非线性优化方法为后端优化提供一个更接近最优值的初始值;在后端优化中,使用光束法平差（BA）对相机姿态初始值进行迭代优化,从而得到相机姿态的最优值。最后,根据相机姿态和每帧点云地图的对应关系,将所有的点云数据注册到同一个坐标系中,得到场景的稠密点云地图,并对点云地图利用八叉树进行递归式的压缩以得到一种用于机器人导航的三维地图。在TUM RGB-D数据集上,将构建的RGB-D SLAM同RGB-D SLAMv2、ORB-SLAM2系统进行了对比,实验结果表明所构建的RGB-D SLAM系统在实时性和精确度上的综合表现更优。