| 融合全模态自编码器和生成对抗机制的跨模态检索 |
| |
| 引用本文： | 赵鹏,马泰宇,李毅,刘慧婷. 融合全模态自编码器和生成对抗机制的跨模态检索[J]. 计算机辅助设计与图形学学报, 2021, 33(10): 1486-1494. DOI: 10.3724/SP.J.1089.2021.18757 |
| |
| 作者姓名： | 赵鹏 马泰宇 李毅 刘慧婷 |
| |
| 作者单位： | 安徽大学计算智能与信号处理教育部重点实验室 合肥 230601;安徽大学计算机科学与技术学院 合肥 230601 |
| |
| 摘 要： | 针对现有基于生成对抗网络的跨模态检索方法不能充分挖掘模态间不变性的问题,提出一种融合全模态自编码器和生成对抗机制的跨模态检索方法.引入2个并行的全模态自编码器,将不同模态的样本嵌入公共空间,每个全模态自编码器不仅重构出自身模态的特征表示,而且还重构出跨模态的特征表示.设计了一个分类器,预测公共空间中嵌入特征的类别,学习并保留样本中的语义判别性.设计了3个判别器,分别判断输入其中的特征所属的模态类别,它们协同工作,充分挖掘模态间的不变性.以平均精度均值为指标评价跨模态检索的精确度,在Pascal Sen-tence,Wikipedia和NUS-WIDE-10k这3个公开数据集上进行实验,实验结果表明,与10个包括传统方法和深度学习方法在内的跨模态检索的主流方法进行对比,所提方法在3个数据集上的平均精度均值分别至少提高了4.8％,1.4％和1.1％,证明了所提方法的有效性.
|
| 关 键 词： | 全模态自编码器 生成对抗网络 跨模态检索 |
Cross-Modal Retrieval Based on Full-Modal Autoencoder with Generative Adversarial Mechanism |
| |
| Zhao Peng,Ma Taiyu,Li Yi,Liu Huiting. Cross-Modal Retrieval Based on Full-Modal Autoencoder with Generative Adversarial Mechanism[J]. Journal of Computer-Aided Design & Computer Graphics, 2021, 33(10): 1486-1494. DOI: 10.3724/SP.J.1089.2021.18757 |
| |
| Authors: | Zhao Peng Ma Taiyu Li Yi Liu Huiting |
| |
| Abstract: | |
| |
| Keywords: | |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
