基于条件卷积与极化自注意力的单目深度与位姿估计

基于运动恢复结构与视图合成的自监督范式,引入条件卷积与极化自注意力,提出新的单目深度与位姿估计模型。条件卷积对不同输入数据进行多组动态的卷积权重赋值,所有权重在经过加权整合后共享一次卷积操作,在不显著增加计算量的情况下实现模型容量的提升。图像信息完整性对深度估计任务的性能有极大影响,极化自注意力通过极化滤波使数据在通道或空间维度上保持高分辨率,防止图像的细粒度信息或结构信息丢失;同时压缩与通道或空间正交的维度,减小计算量,并通过非线性函数对压缩过程中损失的特征强度范围进行增强与动态映射。自注意力机制可以实现数据在各维度上的长距离建模。在KITTI数据集上进行实验,证明了所提出模型在自监督单目深度与位姿估计任务中有优异的性能表现。