累积结构特征描述的多模态遥感影像匹配

针对相位一致性图大部分特征值为零且易受噪声干扰,导致其构造的多模态图像特征描述子能力有限的问题,提出了一种累积结构特征图(Cumulative Structural Feature,CSF)构造及其特征描述子建立方法,通过增强图像结构来提高特征点描述子的辨识能力。首先,采用Log-Gabor奇对称滤波器提取多模态图像多个尺度和方向的边缘结构特征,通过特征信号平方和归一化构造CSF,增强图像的结构相似性,并直接在CSF上提取特征点;再利用多个尺度和方向的边缘结构信息构造方向特征图;最后,结合CSF和方向特征图建立特征描述子,提高描述子的辨识能力。六种场景的多模态图像匹配实验表明,与其他方法的最好结果相比,所提方法的平均正确匹配数量提升了27.07%,平均正确率提升了2.26%,且增强了对场景的适应能力。     

基于多模态特征频域融合的零样本指称图像分割

为了解决语义分割应用到现实世界的下游任务时无法处理未定义类别的问题,提出了指称对象分割任务,该任务根据自然语言文本的描述找到图像中对应的目标。现有方法大多使用一个跨模态解码器来融合从视觉编码器和语言编码器中独立提取的特征,但是这种方法无法有效利用图像的边缘特征且训练复杂。CLIP（contrastive language-image pre-training）是一个强大的预训练视觉语言跨模态模型,能够有效提取图像与文本特征,因此提出一种在频域融合CLIP编码后的多模态特征方法。首先,使用无监督模型对图像进行粗粒度分割,并提取自然语言文本中的名词用于后续任务。接着利用CLIP的图像编码器与文本编码器分别对图像与文本进行编码。然后使用小波变换分解图像与文本特征,可以充分利用图像的边缘特征与图像内的位置信息在频域进行分解并融合,并在频域分别对图像特征与文本特征进行融合,并将融合后的特征进行反变换。最后将文本特征与图像特征进行逐像素匹配,得到分割结果,并在常用的数据集上进行测试。实验结果证明,网络在无训练零样本的条件下取得了良好的效果,并且具有较好的鲁棒性与泛化能力。