多源遥感图像融合语义分割发展现状与展望

遥感图像的语义信息提取正成为城市规划利用、土地覆盖勘察、灾害变化检测以及海上态势感知等研究方向的关键技术之一。文中从由“单源”向“多源”发展的遥感图像智能处理需求出发,首先概述并分析了大数据时代和深度学习背景下的遥感图像语义分割发展现状,主要包括单一来源图像语义分割、多源遥感图像融合语义分割和多源(同质/异质)遥感图像变化检测。然后在阐述主要方法的基础上,提炼并总结了多源遥感图像语义分割的关键技术,主要有单源遥感图像快速语义分割、语义信息辅助的多源遥感图像精确配准与融合、基于多源遥感图像的语义信息智能提取。最后,针对多源遥感图像在轨处理需求,概括出高分辨率多源遥感图像智能一体化信息提取所面临的技术挑战,并对未来发展趋势进行展望。     

基于视觉注意力机制的多源遥感图像语义分割

近年来,随着空间感知技术的不断发展,对多源遥感图像的融合处理需求也逐渐增多,如何有效地提取多源图像中的互补信息以完成特定任务成为当前的研究热点。针对多源遥感图像融合语义分割任务中,多源图像的信息冗余和全局特征提取难题,本文提出一种将多光谱图像（Multispectral image, MS）、全色图像（Panchromatic image, PAN）和合成孔径雷达 （Synthetic Aperture Radar, SAR）图像融合的基于Transformer的多源遥感图像语义分割模型Transformer U-Net （TU-Net）。该模型使用通道交换网络（Channel-Exchanging-Network, CEN）对融合支路中的多源遥感特征图进行通道交换,以获得更好的信息互补性,减少数据冗余。同时在特征图拼接后通过带注意力机制的Transformer模块对融合特征图进行全局上下文建模,提取多源遥感图像的全局特征,并以端到端的方式分割多源图像。在MSAW数据集上的训练和验证结果表明,相比目前的多源融合语义分割算法,在F₁值和Dice系数上分别提高了3.31%~11.47%和4.87%~8.55%,对建筑物的分割效果提升明显。