复杂环境下多模态指导的点云补全方法

在现实复杂环境中，往往使用RGB-D相机直接获取点云，会受到外界复杂场景的影响，例如：光线、透明物体、遮挡和阴影等，导致点云出现大规模缺失，甚至无法表示物体真实的三维特征。不完整的点云会对目标识别和路径规划等多个计算机视觉领域的重要研究造成影响。对此，提出了使用RGB图片语义信息等多模态下的数据来指导补全点云的方法。该方法先使用一种基于“编码器-解码器”结构的RGB图片语义分割网络，获取RGB图片的语义分割结果；然后将RGB图片、RGB图片语义分割结果和残缺的稀疏深度图作为算法输入，输出补全好的点云。在真实复杂场景中进行大量实验，实验结果表明，所提方法在补全效果和运行效率等方面均取得较好的效果。