| 基于对抗投影学习的跨模态哈希检索 |
| |
| 引用本文： | 曾超,白琮,马青,陈胜勇.基于对抗投影学习的跨模态哈希检索[J].计算机辅助设计与图形学学报,2021,33(6):904-912. |
| |
| 作者姓名： | 曾超 白琮 马青 陈胜勇 |
| |
| 作者单位： | 浙江工业大学计算机科学与技术学院 杭州 310023;浙江工业大学理学院 杭州 310023;天津理工大学计算机科学与工程学院 天津 300384 |
| |
| 摘 要： | 跨模态哈希检索以其较高的检索效率和较低的存储成本,在跨模态检索领域受到了广泛的关注.现有的跨模态哈希大多直接从多模态数据中学习哈希码,不能充分利用数据的语义信息,因此无法保证数据低维特征在模态间的分布一致性,解决这个问题的关键之一是要准确地度量多模态数据之间的相似度.为此,提出一种基于对抗投影学习的哈希(adversarial projection learning based Hashing for cross-modal retrieval,APLH)方法用于跨模态检索.利用对抗训练学习来自不同模态的低维特征,并保证低维特征在模态间的分布一致性.在此基础上,利用跨模态投影匹配约束(cross-modal projection matching,CMPM),最小化特征投影匹配分布和标签投影匹配分布之间的KL(Kullback-Leibler)散度,利用标签信息使数据低维特征之间的相似度结构与语义空间中的相似度结构趋于一致.此外,在哈希码学习阶段,引入加权余弦三元组损失进一步利用数据的语义信息;且为减小哈希码的量化损失,使用离散优化的方法优化哈希函数.在3个跨模态数据集MIRFlickr25K,NUS-WIDE,Wikipedia上,以不同码位计算mAP,且所提方法的mAP值均优于其他算法,验证了其在跨模态哈希检索上的优越性、鲁棒性以及CMPM的有效性.
|
| 关 键 词： | 跨模态检索 映射学习 对抗学习 离散哈希 |
Adversarial Projection Learning Based Hashing for Cross-Modal Retrieval |
| |
| Zeng Chao,Bai Cong,Ma Qing,Chen Shengyong.Adversarial Projection Learning Based Hashing for Cross-Modal Retrieval[J].Journal of Computer-Aided Design & Computer Graphics,2021,33(6):904-912. |
| |
| Authors: | Zeng Chao Bai Cong Ma Qing Chen Shengyong |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
