基于多尺度融合和投影匹配约束的跨模态哈希方法

大多数基于深度学习的跨模态哈希方法直接通过神经网络学习不同模态数据的统一哈希码。这些方法忽略了单模态数据不同尺度包含不同语义信息这一影响数据特征表示的因素以及低维特征在弥合模态鸿沟上的重要性。基于上述问题,提出一种基于多尺度融合和投影匹配约束的跨模态哈希方法（MFPMC）。通过设计图像多尺度融合网络和文本多尺度融合网络来获取不同模态数据的低维特征,引入低维特征投影匹配约束和对抗训练来保证低维特征在模态间分布的一致性,同时用包含丰富语义信息的低维特征作为哈希函数的输入,进一步构建模态内哈希码损失、模态间哈希码损失、量化损失、标签嵌入损失来约束哈希函数及哈希码的学习,以此保证生成具有判别性的离散二进制哈希码。在MIRFlickr-25K和NUS-WIDE两个基准的跨模态检索数据集上的实验表明：所提方法比现有的几种哈希方法具有更好的检索性能。