基于双注意力机制的零样本建筑图像分类方法

零样本建筑图像分类是在标记训练样本不足以涵盖所有类的情况下，利用已知建筑类别与未知建筑类别之间的知识迁移对未知类样本进行分类。针对建筑风格分类中标记数据少及局部判别性特征定位不准确的问题，提出一种基于双注意力机制的零样本图像分类方法。该方法首先引入通道注意和空间注意两种模型以增强图像特定区域的表示。其中，通道注意网络学习不同通道权重以定位图像中的建筑物；空间注意网络将位置信息嵌入通道注意图捕获目标中的细节特征，获取具有通道和空间双层维度的特征表示。其次，为减少空间映射过程中出现的信息损失，使用生成器重建视觉特征。最后，设计公共空间嵌入的零样本建筑图像分类模型，在子空间对齐视觉特征和语义特征，通过最近邻匹配实现分类任务。实验结果表明，所提方法较当前零样本学习方法而言，在零样本数据集CUB及建筑风格数据集Architecture Style Dataset上的平均分类准确率分别提高1.3和0.7百分点。