遥感影像立体匹配网络跨域迁移能力分析

鉴于数据跨域(cross-domain)现象对基于深度学习的立体匹配网络的迁移性能的影响，文章综合评价了当前立体匹配网络在无人机和航空遥感影像中的性能。针对PSMNet(2018)、DSMNet(2019)、CFNet(2021)、RAFT-Stereo(2021)、STTR(2021)5种典型算法，在合成、驾驶、无人机、航空这4种代表性影像数据集上设计了同域、跨域和精化实验，采用定量化指标测量了不同网络的精度表现，评价了各个网络在遥感影像上的场景适用性和跨域性能，为探索立体匹配网络在对地观测影像上的实用化运用提供了参考。经实验得到如下结论：受视差分布、场景类型等因素的影响，当前立体匹配网络在无人机和航空遥感影像上的误差较大，适用性不高；域归一化、多尺度代价体可以提高立体匹配网络的跨域表现，但提升效果有限；将Transformer等自然语言处理模块用于立体匹配任务可以提高网络表现，但同时也对训练数据有更高的要求，当前无人机和航空影像数据集还不能满足训练数据需求。