基于级联网络和语义层次结构的图像自动标注方法

针对大多数的图像自动标注结果中含有冗余标签、信息量不够丰富的问题,本文提出了一种基于级联网络和语义层次结构的图像自动标注方法(CNSH)。首先,输入数据集的图片和标签列表,采用级联的VGG网络提取图像特征,训练条件行列式点过程(DPP)算法模型,计算标签的质量分数确定候选标签列表;其次,利用WordNet检索数据集标签得到语义层次结构和同义词,进而构建加权语义路径;最后,利用DPP算法在候选标签集中采样,得到最终的标注结果。与传统的图像标注任务相比,本文方法得到的标注结果能准确描述图片内容,且不含冗余标签。许多评估指标已用于图像标注和多标签学习,但是它们只专注于评估代表性,忽略了多样性。为了解决上述问题,本文采用了基于语义层次结构的语义指标来共同评估代表性和多样性。在IAPRTC-12和ESP Game 2个基准数据集上的实验表明,与现有方法相比本文方法能够产生更具代表性和多样性的标签。