| 基于Swin Transformer的嵌入式零样本学习算法 |
| |
| 作者姓名： | 郜佳琪 魏巍 岳琴 |
| |
| 作者单位： | 1. 山西大学计算机科学与信息技术学院;2. 山西大学计算智能与中文信息处理教育部重点实验室 |
| |
| 基金项目： | 国家自然科学基金项目(62276160,61976184,61772323)资助； |
| |
| 摘 要： | 零样本学习旨在解决样本缺失情况下的分类问题.以往嵌入式零样本学习算法通常只利用可见类构建嵌入空间，在测试时不可避免会出现过拟合可见类的问题.基于此本文提出了一种基于类别语义相似度的多标签分类损失，该损失可在构建嵌入空间的过程中引导模型同时考虑与当前可见类语义上相似的未见类，进而将语义空间的相似性迁移到最终执行分类的嵌入空间.同时现有零样本学习算法大部分直接使用图像深度特征作为输入，特征提取过程没有考虑语义信息，基于此本文采用Swin Transformer作为骨干网络，输入原始图片利用自注意力机制得到基于语义信息的视觉特征.本文在3个零样本学习基准数据集上进行了大量实验，与目前最先进的算法相比取得了最佳的调和平均精度.
|
| 关 键 词： | 零样本学习 深度学习 图像分类 注意力 Swin Transformer |
|
