基于多模态注意力机制的跨模态哈希网络

深度跨模态哈希算法（deep cross-modal Hash;DCMH）可以结合哈希算法存储成本低、检索速度快的优点;以及深度神经网络提取特征的强大能力;得到了越来越多的关注。它可以有效地将模态的特征和哈希表示学习集成到端到端框架中。然而在现有的DCMH方法的特征提取中;基于全局表示对齐的方法无法准确定位图像和文本中有语义意义的部分;导致在保证检索速度的同时无法保证检索的精确度。针对上述问题;提出了一种基于多模态注意力机制的跨模态哈希网络（HX_MAN）;将注意力机制引入到DCMH方法中来提取不同模态的关键信息。利用深度学习来提取图像和文本模态的全局上下文特征;并且设计了一种多模态交互门来将图像和文本模态进行细粒度的交互;引入多模态注意力机制来更精确地捕捉不同模态内的局部特征信息;将带有注意的特征输入哈希模块以获得二进制的哈希码;在实行检索时;将任一模态的数据输入训练模块中来获得哈希码;计算该哈希码与检索库中哈希码的汉明距离;最终根据汉明距离按顺序输出另一种模态的数据结果。实验结果表明:HX_MAN模型与当前现有的DCMH方法相比更具有良好的检索性能;在保证检索速度的同时;能够更准确地提炼出图像和文本模态的局部细粒度特征;提高了检索的精确度。