基于注意力机制的全景分割网络

针对全景分割的背景类实例重叠问题,提出了一种基于注意力机制的全景分割网络(Attention-guided Panoptic Segmentation Network,APSNet)。APSNet基于UPSNet网络进行改进.首先,在残差网络和特征金字塔之间添加一种可以同时在空间注意力和通道注意力上建模的三重态注意力机制,通过学习通道和空间特征信息,增强特征金字塔的特征提取能力;其次,在语义分割部分中,添加一种语义增强注意力机制,通过聚合多层次特征和学习空间特征信息,提升语义分割对于背景和前景的分割效果.对比实验表明,APSNet的全景质量提升了0.8%,实例级全景质量提升了2.7%,同时可以在一定程度上降低全景融合时实例分割与语义分割所发生背景类实例重叠的概率.