|
|||||
|
|
| 基于重构对比的广义零样本图像分类 | |
| 作者姓名： | 许睿 邵帅 曹维佳 刘宝弟 陶大鹏 刘伟锋 |
| 作者单位： | 1. 中国石油大学(华东)控制科学与工程学院;2. 之江实验室基础理论研究院;3. 中国科学院空天信息创新研究院遥感卫星应用国家工程研究中心;4. 云南大学信息学院 |
| 基金项目： | 国家自然科学基金项目（No.61671480）;;模式识别国家实验室开放项目（No.202000009）;;中国石油大学项目（华东）研究生创新基金项目（No.YCX2021123）资助~~; |
| 摘 要： | 广义零样本图像分类中常使用生成模型重构视觉信息或语义信息用于再进一步学习.然而,基于变分自编码器的方法对重构样本利用不够充分,表示性能欠缺.因此,文中提出基于重构对比的广义零样本图像分类模型.首先,使用两个变分自编码器将视觉信息和语义信息编码为同维度的低维隐向量,再将隐向量分别解码到两种模态.然后,使用投影模块投影视觉信息与语义模态的隐向量重构的视觉模态信息.最后,对投影后的特征进行重构对比学习.在保持变分自编码器重构性能的基础上增强编码器重构的判别性能,提高预训练特征在广义零样本图像分类任务上的应用能力.在4个标准数据集上的实验证实文中模型的有效性. |
| 关 键 词： | 广义零样本图像分类 变分自编码器 对比学习 语义信息 视觉信息 |