融合Swin Transformer的立体匹配方法STransMNet |
| |
作者姓名: | 王高平 李珣 贾雪芳 李哲文 王文杰 |
| |
作者单位: | 1. 西安工程大学电子信息学院;2. 陕西省人工智能联合实验室西安工程大学分部 |
| |
基金项目: | 国家自然科学基金资助项目(61971339);;陕西省自然科学基础研究计划项目(2022JM407)~~; |
| |
摘 要: | 针对基于CNN的立体匹配方法中特征提取难以较好学习全局和远程上下文信息的问题,提出一种基于Swin Transformer的立体匹配网络改进模型(stereo matching net with swin transformer fusion,STransMNet)。分析了在立体匹配过程中,聚合局部和全局上下文信息的必要性和匹配特征的差异性。改进了特征提取模块,把基于CNN的方法替换为基于Transformer的Swin Transformer方法;并在Swin Transformer中加入多尺度特征融合模块,使得输出特征同时包含浅层和深层语义信息;通过提出特征差异化损失改进了损失函数,以增强模型对细节的注意力。最后,在多个公开数据集上与STTR-light模型进行了对比实验,误差(End-Point-Error,EPE)和匹配错误率3 px error均有明显降低。
|
关 键 词: | 立体匹配 Swin Transformer 深度学习 STransMNet |
|