机器人室内语义建图中的场所感知方法综述

场所感知问题是机器人语义地图研究的关键问题之一,本文对室内语义地图相关的场所感知方法进行全面综述.首先,根据近年的文献给出场所概念的描述性定义,对研究中涉及的相近术语和概念进行辨析,澄清研究对象和研究主题.然后,根据实现场所感知目标所采用的线索对已有方法进行分类介绍.主要分成3个大类:基于环境布局几何信息的方法、基于环境布局视觉信息的方法、基于用户指导信息的方法,其中各类又根据所用信息特点细分为若干子类.除此之外,将一些特殊研究方法单独归类进行补充说明.阐述各类别方法对场所感知问题的解决思路和工作原理,并指出各种方法特点和局限性.最后,分析了该领域存在的主要问题,并对未来研究方向进行了讨论和展望.     

室内测绘机器人自主定位与三维建图研究

室内空间由于低照明、缺少GPS定位辅助和场景特征较少等原因难以利用有限传感器进行高精度三维建图。针对此问题,对FAST-LIO算法进行改进,引入了Lider-IMU参数初始化系统和后端回环检测优化算法,以增加大场景下的建图鲁棒性。采用公开数据集进行实验研究。结果表明,和现有算法相比,该算法轨迹误差精度均有提升。还设计了机器人在东南大学的建筑内部环境进行测试。实验结果表明,机器人能够实现自主移动建图并安全返回,效果良好。     

基于语义分割的室内动态场景同步定位与语义建图

针对动态物体在室内同步定位与地图构建（SLAM）系统中影响位姿估计的问题，提出一种动态场景下基于语义分割的SLAM系统。在相机捕获图像后，首先用PSPNet（Pyramid Scene Parsing Network）对图像进行语义分割；之后提取图像特征点，剔除分布在动态物体内的特征点，并用静态的特征点进行相机位姿估计；最后完成语义点云图和语义八叉树地图的构建。在公开数据集上的五个动态序列进行多次对比测试的结果表明，相对于使用SegNet网络的SLAM系统，所提系统的绝对轨迹误差的标准偏差有6.9%~89.8%的下降，平移和旋转漂移的标准偏差在高动态场景中的最佳效果也能分别提升73.61%和72.90%。结果表明，改进的系统能够显著减小动态场景下位姿估计的误差，准确地在动态场景中进行相机位姿估计。     

面向机器人室内建图的RGB-D图像对齐算法

面向服务机器人使用廉价的RGB-D摄像头自主构建室内3维地图的需求,提出一种鲁棒的图像对齐方法.基于特征点的匹配集计算帧间变换,使用随机抽样一致算法(RANSAC)消除误配,并改变其内点计数策略以适应特征点空间分布不均;同时检测地面信息,利用共面约束来增强点集对齐.在机器人从真实室内环境中采集的RGB-D图像序列上进行了实验,帧间对齐错误率为0,全局地面误差不超过2 cm;3维建图过程准确且能够连续进行.结果表明使用地面信息能有效提高地图的全局精度,方法兼备鲁棒性和准确性.     

室内服务机器人的实时场景分割算法

室内场景下的实时场景分割是开发室内服务机器人的一项关键技术,目前关于语义分割的研究已经取得了重大进展,但是多数方法都倾向于设计复杂的网络结构或者高计算成本的模型来提高精度指标,而忽略了实际的部署成本.针对移动机器人算力成本有限的问题,设计一种轻量化的瓶颈结构,并以此为基本元素构建轻量化场景分割网络.该网络通过与特征提取...     

组合导航辅助的激光雷达－相机实时语义建图

针对64线和128线激光雷达价格过于昂贵,而16线激光雷达点云过于稀疏无法直接进行语义信息提取的问题,本文提出了一种组合导航辅助的激光雷达-相机实时语义建图方法,并通过算法结构设计保障了语义建图的实时性.首先,在组合导航定位结果辅助下,完成了不同采集时刻的点云-图像配准;其次,从图像目标检测框中准确提取了语义物体类别的点云.基于移动机器人平台测试评估了语义建图性能,结果表明该方法能够有效的提高语义点云提取的准确率并在嵌入式处理器Xavier上实时构建语义地图,为移动机器人利用语义信息进行导航和实时执行任务奠定了基础.     

动态场景下基于语义分割的视觉SLAM方法

针对在动态场景下视觉同步定位与建图（SLAM）鲁棒性差、定位与建图精度易受动态物体干扰的问题,设计一种基于改进DeepLabv3plus与多视图几何的语义视觉SLAM算法。以语义分割网络DeepLabv3plus为基础,采用轻量级卷积网络MobileNetV2进行特征提取,并使用深度可分离卷积代替空洞空间金字塔池化模块中的标准卷积,同时引入注意力机制,提出改进的语义分割网络DeepLabv3plus。将改进后的语义分割网络DeepLabv3plus与多视图几何结合,提出动态点检测方法,以提高视觉SLAM在动态场景下的鲁棒性。在此基础上,构建包含语义信息和几何信息的三维语义静态地图。在TUM数据集上的实验结果表明,与ORB-SLAM2相比,该算法在高动态序列下的绝对轨迹误差的均方根误差值和标准差（SD）值最高分别提升98%和97%。     

基于语义依存分析的图网络文本分类模型

针对目前已有的文本分类方法未考虑文本内部词之间的语义依存信息而需要大量训练数据的问题,提出基于语义依存分析的图网络文本分类模型TextSGN。首先对文本进行语义依存分析,对语义依存关系图中的节点（单个词）和边（依存关系）进行词嵌入和one-hot编码;在此基础上,为了对语义依存关系进行快速挖掘,提出一个SGN网络块,通过从结构层面定义信息传递的方式来对图中的节点和边进行更新,从而快速地挖掘语义依存信息,使得网络更快地收敛。在多组公开数据集上训练分类模型并进行分类测试,结果表明,TextSGN模型在短文本分类上的准确率达到95.2%,较次优分类法效果提升了3.6%。     

基于卷积神经网络和语义信息的场景分类

作为计算机视觉领域的一个重要分支,场景分类在许多场所有着重要和广泛的应用。由于场景的整体布局、目标物体的出现以及位置关系的变化等因素使得整体场景更加多样化,然而,利用场景与目标间的语义信息可以有效克服这个问题。本文提出一种同时利用卷积神经网络与语义信息来进行场景分类的方法,该方法首先利用卷积神经网络获取颜色信息对场景进行初始分类,然后利用图像目标物体与场景间的语义信息对分类结果进行修正。我们与目前流行的场景分类方法进行了实验对比,实验结果表明与利用海量训练数据集得到好的分类效果的方法相比,本文方法利用有限的训练数据集的情况下,仍能取得良好的分类效果。     

视觉SLAM在室内动态场景中的应用研究

视觉SLAM(Simultaneous Localization And Mapping,同时定位与建图)是移动机器人领域的核心技术,传统视觉SLAM还难以适用于高动态场景并且地图中缺少语义信息.提出一种动态环境语义SLAM方法,用深度学习网络对图像进行目标检测,检测动态目标所在区域,对图像进行特征提取并剔除动态物体所...     

一种基于上下文的语义映射方法

提出了一种基于上下文的语义映射方法SM-Context (semantic mapping based on context).SM-Context首先为本体模型中的概念找出表示其语义信息的上下文,然后采用谓词逻辑的形式表示概念的上下文,最后将本体映射问题转换成命题可满足性问题(SAT),并通过推理方式建立本体之间的语义映射关系.为了验证所提方法在处理本体映射问题时的可行性与有效性,采用OAEI所提供的共享数据集来测试SM-Context.实验结果表明,SM-Context可以有效地利用概念的上下文为本体之间建立语义映射关系.     

基于纹理信息的室内场景语义标注学习方法

针对目前室内场景视频中关键物体的检测、跟踪及信息编辑等方面主要是采用人工处理方式,存在效率低、精度不高等问题,提出了一种基于纹理信息的室内场景语义标注学习方法。首先,采用光流方法获取视频帧间的运动信息,利用关键帧标注和帧间运动信息进行非关键帧的标注初始化;然后,利用非关键帧的图像纹理信息约束及其初始化标注构建能量方程;最后,利用图割方法优化得到该能量方程的解,即为非关键帧语义标注。标注的准确率和视觉效果的实验结果表明,与运动估计法和基于模型的学习法相比较,所提基于纹理信息的室内场景语义标注学习法具有较好的效果。该方法可以为服务机器人、智能家居、应急响应等低时延决策系统提供参考。     

Variable weight semantic graph‐based ontology mapping method

The mapping method that is based on the name and structure of the ontology elements is the strategy used in most mapping methods. Methods using the name often only use the similarity between the individual elements in the ontology to predict the semantic relations between two ontologies, while the latter measure the mapping between two ontologies by means of the structural relations between the elements. The effects of these two kinds of mapping strategies are not ideal. Addressing this issue, the work presented in this paper proposes an ontology mapping approach, in which the ontology element name and structure are combined. It uses the approaches based on linguistics and distance to generate a variable weight semantic graph. On this graph, the similarity of element names and structure are calculated through iterative computation. In the process of iteration, similarity result values are constantly adjusted. The approach avoids the problem of single methods that cannot use the entire amount of ontology information; therefore, it provides a more ideal mapping result. For making full use of the message of ontology, our implementation and experimental results are provided to demonstrate the effectiveness of the mapping approach.     

基于中间模型的异构数据资源语义映射方法

异构数据资源的语义映射,是大数据时代数据集成与共享研究中的一个关键问题。围绕语义搜索的应用需求,针对海量异构数据资源到领域知识本体的语义映射问题,提出基于中间模型的映射算法,通过模型解析转换、映射规则设计、映射策略选择、映射关系表达等最终获得二者的映射关系。系统面向用户提供基于知识本体的统一视图,屏蔽了底层数据资源的异构性,保证了用户对异构数据资源的透明访问和准确理解,提供了一种灵活、通用、可扩展的语义集成机制,为准确高效的语义搜索应用提供支持。     

基于场景图谱的室内移动机器人目标搜索

在移动机器人执行日常家庭任务时,首先需要其能够在环境中避开障碍物,自主地寻找到房间中的物体。针对移动机器人如何有效在室内环境下对目标物体进行搜索的问题,提出了一种基于场景图谱的室内移动机器人目标搜索,其框架结合了导航地图、语义地图和语义关系图谱。在导航地图的基础上建立了包含地标物体位置信息的语义地图,机器人可以轻松对地标物体进行寻找。对于动态的物体,机器人根据语义关系图中物体之间的并发关系,优先到关系强度比较高的地标物体旁寻找。通过物理实验展示了机器人在语义地图和语义关系图的帮助下可以实现在室内环境下有效地寻找到目标,并显著地减少了搜索的路径长度,证明了该方法的有效性。     

基于多分支网络的道路场景实时语义分割方法

针对目前实时语义分割方法存在大目标分割不准确、小目标信息丢失的问题,提出一种基于多分支网络的实时语义分割算法。首先,对双边分割网络进行优化,设计了金字塔分支扩大感受野,以覆盖视野内的大目标,充分地将上下文信息结合起来;其次,设计双边指导融合模块,为深层和浅层的特征映射提供指导信息,弥补小目标信息的损失。最后在Cityscapes数据集上进行验证,实验结果表明所提模型以51.3 fps的推理速度使平均交并比达到77.8%,与基准相比,精度提高了2.5个百分点。所提方法采用金字塔分支,在扩大感受野的同时,获取不同尺度的语义边缘区域特性,增强对语义边界的建模能力,且提出的双边指导融合模块可以更有效地融合不同层次的特征,弥补下采样造成的信息丢失,能够更好地指导模型学习。     

基于词项语义映射的短文本相似度算法

针对How Net语义词典对词项收录数量的有限性在一定程度上制约文本相似度运算准确性的问题,提出一种词项语义维度映射的方法。从词项词性的角度出发,按词性对短文本中词项进行切分,按词性特征对短文本之间进行词项归并,构建词性向量,依据词频和 How Net语义词典,词项完成词性向量中权值映射,将短文本之间相似度运算转换为词性向量之间相似度运算。将该算法运用于信箱测试数据集,实验结果表明,该算法提高了文本相似度运算的准确率和相似度平均值。     

基于超声波传感器的移动机器人定位研究

为了解决超声波传感器在感知环境的过程中的不确定性问题和在定位过程中存在的噪音,以Pioneer 3-AT机器人为实验平台,运用概率算法解决对象本身和对象之间的不确定性关系,理出各种算法之间的内在联系,对移动机器人的定位算法作了相关分析与研究,并利用Mobilesim平台在自建的现场全局地图上进行实验。实验表明:使用改进蒙特—卡罗算法的移动机器人有着较好的定位效果,能够满足实用要求。     

基于深度卷积神经网络的道路场景理解

在无人驾驶技术中,道路场景的理解是一个非常重要的环境感知任务,也是一个很具有挑战性的课题。提出了一个深层的道路场景分割网络（Road Scene Segmentation Network,RSSNet）,该网络为32层的全卷积神经网络,由卷积编码网络和反卷积解码网络组成。网络中采用批正则化层防止了深度网络在训练中容易出现的“梯度消失”问题;在激活层中采用了Maxout激活函数,进一步缓解了梯度消失,避免网络陷入饱和模式以及出现神经元死亡现象;同时在网络中适当使用Dropout操作,防止了模型出现过拟合现象;编码网络存储了特征图的最大池化索引并在解码网络中使用它们,保留了重要的边缘信息。实验证明,该网络能够大大提高训练效率和分割精度,有效识别道路场景图像中各像素的类别并对目标进行平滑分割,为无人驾驶汽车提供有价值的道路环境信息。