域自适应城市场景语义分割

目的 域自适应分割网（AdaptSegNet）在城市场景语义分割中可获得较好的效果，但是该方法直接采用存在较大域差异（domain gap）的源域数据集GTA（grand theft auto）5与目标域数据集Cityscapes进行对抗训练，并且在网络的不同特征层间的对抗学习中使用固定的学习率，所以分割精度仍有待提高。针对上述问题，提出了一种新的域自适应的城市场景语义分割方法。方法 采用SG-GAN（semantic-aware grad-generative adversarial network（GAN））方法对虚拟数据集GTA5进行预处理，生成新的数据集SG-GTA5，其在灰度、结构以及边缘等信息上都更加接近现实场景Cityscapes，并用新生成的数据集代替原来的GTA5数据集作为网络的输入。针对AdaptSegNet加入的固定学习率问题，在网络的不同特征层引入自适应的学习率进行对抗学习，通过该学习率自适应地调整不同特征层的损失值，达到动态更新网络参数的目标。同时，在对抗网络的判别器中增加一层卷积层，以增强网络的判别能力。结果 在真实场景数据集Cityscapes上进行验证，并与相关的域自适应分割模型进行对比，结果表明：提出的网络模型能更好地分割出城市交通场景中较复杂的物体，对于sidewalk、wall、pole、car、sky的平均交并比（mean intersection over union， mIoU）分别提高了9.6%、5.9%、4.9%、5.5%、4.8%。结论 提出方法降低了源域和目标域数据集之间的域差异，减少了训练过程中的对抗损失值，规避了网络在反向传播训练过程中出现的梯度爆炸问题，从而有效地提高了网络模型的分割精度；同时提出基于该自适应的学习率进一步提升模型的分割性能；在模型的判别器网络中新添加一个卷积层，能学习到图像的更多高层语义信息，有效地缓解了类漂移的问题。

Domain adaptation for semantic segmentation based on adaption learning rate