基于双通道多尺度特征提取和注意力的SAR与多光谱图像融合

图像融合的根本任务是提取图像特征，由于合成孔径雷达（Synthetic Aperture Radar,SAR）图像和多光谱（Multi Spectral,MS）图像存在通道差异，针对现有算法难以充分提取和利用SAR图像的高频细节信息和多光谱图像的低频光谱信息，融合图像存在细节丢失和光谱失真问题。本文提出了一种基于双通道多尺度特征提取和混合注意力的图像融合算法。首先采用双通道网络提取SAR和多光谱图像的多尺度高频细节特征和低频光谱特征，并连续使用不同空洞率的扩张卷积扩大感受野。然后将提取的特征映射到混合注意力模块中进行特征增强，再将这些增强特征与上采样的多光谱图像叠加。同时构建了基于光谱角度距离的损失函数，可以进一步缓解细节丢失和光谱失真。最后通过解码网络重建图像，得到高分辨率的融合图像。实验结果表明，本文算法达到了领先水平，并且融合图像在细节和光谱上保持了较好的平衡。