实时的移动机器人语义地图构建系统

语义信息可以使机器人更充分地理解未知环境,为更高级的人机交互和完成更复杂的任务奠定基础。为了能够使移动机器人实时地创建语义地图,在Jetson TX1嵌入式电脑上开发了一种轻量级的深度学习目标检测模型,在保证了检测精度的同时,实现了高效的目标检测功能。并利用了视频流中的帧间光流信息,使用运动信息指导传播算法降低检测算法的漏检率。对于Kinect传感器生成的深度图像有黑边、黑洞等缺陷,使用统一计算设备架构(CUDA)技术开发了一种实时的深度图像修复算法。利用即时定位与地图构建(SLAM)技术,实现移动机器人底层的定位、导航、地图创建功能,并在此基础上使用贝叶斯推理框架,同时融合了环境的度量信息与视觉识别信息完成了语义地图的创建。经过实验表明,所提出的方法在实际的、复杂的室内环境下可以使移动机器人实时地创建语义地图。     

室内场景下实时地三维语义地图构建

移动机器人自主建图是完成智能行为的前提。为提高机器人智能水平和直观的用户交互,地图需要扩展超出几何和外观信息的语义信息。研究了将基于深度残差网络(DRN)的像素级图像语义分割和三维同时定位与建图(SLAM)相融合的三维语义地图构建方法。首先,采用一种联合中值滤波算法进行深度图像的修复,使用改进的迭代最近点(ICP)算法得到相机估计位姿以及基于随机蕨类的闭环检测构建出三维环境地图;其次,采用优化的深度残差网络对输入的图像实现较精准的像素语义级别的预测与分割;最后,采用贝叶斯更新方法,渐进式的将图像分割获取的语义分类标签迁移到重建的室内三维模型中,获得完整的三维语义地图。实验表明,所设计的方法可以在实际的、复杂环境下实时地构建语义地图。