融合语义先验和渐进式深度优化的宽基线3维场景重建

目的 基于视觉的3维场景重建技术已在机器人导航、航拍地图构建和增强现实等领域得到广泛应用。不过，当相机出现较大运动时则会使得传统基于窄基线约束的3维重建方法无法正常工作。方法 针对宽基线环境，提出了一种融合高层语义先验的3维场景重建算法。该方法在马尔可夫随机场（MRF）模型的基础上，结合超像素的外观、共线性、共面性和深度等多种特征对不同视角图像中各个超像素的3维位置和朝向进行推理，从而实现宽基线条件下的初始3维重建。与此同时，还以递归的方式利用高层语义先验对相似深度超像素实现合并，进而对场景深度和3维模型进行渐进式优化。结果 实验结果表明，本文方法在多种不同的宽基线环境，尤其是相机运动较为剧烈的情况下，依然能够取得比传统方法更为稳定而精确的深度估计和3维场景重建效果。结论 本文展示了在宽基线条件下如何将多元图像特征与基于三角化的几何特征相结合以构建出精确的3维场景模型。本文方法采用MRF模型对不同视角图像中超像素的3维位置和朝向进行同时推理，并结合高层语义先验对3维重建的过程提供指导。与此同时，还使用了一种递归式框架以实现场景深度的渐进式优化。实验结果表明，本文方法在不同的宽基线环境下均能够获得比传统方法更接近真实描述的3维场景模型。

Wide-baseline 3D reconstruction with semantic prior fusion and progressive depth optimization