首页 | 本学科首页   官方微博 | 高级检索  
     

结合语义信息与3D点云技术的未知环境地图构建方法
引用本文:马淼,刘培敏,潘海鹏. 结合语义信息与3D点云技术的未知环境地图构建方法[J]. 中国图象图形学报, 2023, 28(8): 2432-2446
作者姓名:马淼  刘培敏  潘海鹏
作者单位:浙江理工大学信息科学与工程学院, 杭州 310018
基金项目:浙江省自然科学基金项目(LQ19F030014)
摘    要:目的 机器人在进行同时定位与地图构建(simultaneous localization and mapping,SLAM)时需要有效利用未知复杂环境的场景信息,针对现有SLAM算法对场景细节理解不够及建图细节信息缺失的问题,本文构造出一种将SLAM点云定位技术与语义分割网络相结合的未知环境地图构建方法,实现高精度三维地图重建。方法 首先,利用场景的实时彩色信息进行相机的位姿估计,并构造融合空间多尺度稀疏及稠密特征的深度学习网络HieSemNet(hierarchical semantic network),对未知场景信息进行语义分割,得到场景的实时二维语义信息;其次,利用深度信息和相机位姿进行空间点云估计,并将二维语义分割信息与三维点云信息融合,使语义分割的结果对应到点云的相应空间位置,构建出具有语义信息的高精度点云地图,实现三维地图重建。结果 为验证本文方法的有效性,分别针对所构造的HieSemNet网络和语义SLAM系统进行验证实验。实验结果表明,本文的网络在平均像素准确度和平均交并比上均取得了较好的精度,MPA(mean pixel accuracy)指标相较于其他网络分别提高了17.47%、11.67%、4.86%、2.90%和0.44%,MIoU(mean intersection over union)指标分别提高了13.94%、1.10%、6.28%、2.28%和0.62%。本文的SLAM算法可以获得更多的建图信息,构建的地图精度和准确度都更好。结论 本文方法充分考虑了不同尺寸物体的分割效果,提出的HieSemNet网络能有效提高场景语义分割准确性,此外,与现有的前沿语义SLAM系统相比,本文方法能够明显提高建图的精度和准确度,获得更高质量的地图。

关 键 词:同时定位与地图构建(SLAM)  语义分割  语义三维地图  空间多尺度特征
收稿时间:2022-05-05
修稿时间:2022-08-24

The 3D point cloud based semantic information-relevant map construction method for unrecognized scenario
Ma Miao,Liu Peimin,Pan Haipeng. The 3D point cloud based semantic information-relevant map construction method for unrecognized scenario[J]. Journal of Image and Graphics, 2023, 28(8): 2432-2446
Authors:Ma Miao  Liu Peimin  Pan Haipeng
Affiliation:School of Information Science and Engineering, Zhejiang Sci-Tech University, Hangzhou 310018, China
Abstract:
Keywords:
点击此处可从《中国图象图形学报》浏览原始摘要信息
点击此处可从《中国图象图形学报》下载免费的PDF全文
设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号