融合多记忆模块的半监督单图像去雨方法

近年来,基于监督学习的单图像去雨技术取得了较好的效果。由于获取真实雨图对具有较大的困难,所以现有的方法大都基于标记的合成数据集进行训练。但合成数据与真实数据在雨纹的密度、方向和形状等方面存在差异,导致训练的模型泛化性和实用性较差。针对这一问题,本文提出了一种融合多记忆模块的半监督框架,由监督分支和无监督分支组成,能更好地同时使用标记的合成数据与未标记的真实数据训练去雨网络来提高模型对于真实雨纹的处理能力。模型的关键在于将多记忆模块加入到Encode-Decoder框架中,记忆模块通过多次对特征向量的建模,提高网络对多种雨纹/雨滴的识别能力,进而提高网络的去雨能力。在公开数据集上进行了大量实验,证明了该模型的优越性。