高分辨率可见光图像引导红外图像超分辨率的Transformer网络

目的 红外图像在工业中发挥着重要的作用。但是由于技术原因，红外图像的分辨率一般较低，限制了其普遍适用性。许多低分辨率红外传感器都和高分辨率可见光传感器搭配使用，一种可行的思路是利用可见光传感器捕获的高分辨率图像，辅助红外图像进行超分辨率重建。方法 本文提出了一种使用高分辨率可见光图像引导红外图像进行超分辨率的神经网络模型，包含两个模块：引导Transformer模块和超分辨率重建模块。考虑到红外和可见光图像对一般存在一定的视差，两者之间是不完全对齐的，本文使用基于引导Transformer的信息引导与融合方法，从高分辨率可见光图像中搜索相关纹理信息，并将这些相关纹理信息与低分辨率红外图像的信息融合得到合成特征。然后这个合成特征经过后面的超分辨率重建子网络，得到最终的超分辨率红外图像。在超分辨率重建模块，本文使用通道拆分策略来消除深度模型中的冗余特征，减少计算量，提高模型性能。结果 本文方法在FLIR-aligned数据集上与其他代表性图像超分辨率方法进行对比。实验结果表明，本文方法可以取得优于对比方法的超分辨率性能。客观结果上，本文方法比其他红外图像引导超分辨率方法在峰值信噪比(pea...

Guided transformer for high-resolution visible image guided infrared image super-resolution