自适应卷积的残差修正单幅图像去雨

目的 雨天户外采集的图像常常因为雨线覆盖图像信息产生色变和模糊现象。为了提高雨天图像的质量,本文提出一种基于自适应选择卷积网络深度学习的单幅图像去雨算法。方法 针对雨图中背景误判和雨痕残留问题,加入网络训练的雨线修正系数（refine factor,RF）,改进现有雨图模型,更精确地描述雨图中各像素受到雨线的影响。构建选择卷积网络（selective kernel network,SK Net）,自适应地选择不同卷积核对应维度的信息,进一步学习、融合不同卷积核的信息,提高网络的表达力,最后构建包含SK Net、refine factor net和residual net子网络的自适应卷积残差修正网络（selective kernel convolution using a residual refine factor,SKRF）,直接学习雨线图和残差修正系数（RF）,减少映射区间,减少背景误判。结果 实验通过设计的SKRF网络,在公开的Rain12测试集上进行去雨实验,取得了比现有方法更高的精确度,峰值信噪比（peak signal to noise ratio,PSNR）达到34.62 dB,结构相似性（structural similarity,SSIM）达到0.970 6。表明SKRF网络对单幅图像去雨效果有明显优势。结论 单幅图像去雨SKRF算法为雨图模型中的雨线图提供一个额外的修正残差系数,以降低学习映射区间,自适应选择卷积网络模型提升雨图模型的表达力和兼容性。     

自然场景图像去雨的可学习混合MAP网络

目的 近年来,人工智能成为新兴研究领域,得到越来越多研究机构的关注。图像恢复问题一直是低层次计算机视觉领域的一个研究热点,其中,图像去雨由于其雨线分布的未知性及其求解的病态性,导致难以解决。现有方法存在雨线和背景之间的估计具有依赖性,难以平衡雨线去除效果与估计背景的清晰程度之间的关系;局限性比较大,训练数据很难涵盖各种场景下的雨图,而测试结果受训练数据的影响,导致难于泛化。针对上述不足,借鉴一般图像恢复问题思路,将模型与以数据驱动的网络相结合,凸显网络与模型各自的优势,提出可学习的混合MAP网络有效地解决图像去雨问题。方法 首先基于最大后验估计（MAP）建立含有隐式先验的能量模型,然后通过优化算法将模型分解为背景估计模型和雨线估计模型两部分,以减少背景估计和雨线估计之间的依赖性。对于背景估计模型,通过对模型及优化目标分析采用以数据驱动的去噪残差网络进行建模,保证估计出的背景更清晰;对于雨线估计模型,为避免直接对未知的雨线建模失去准确性,利用高斯混合模型实时刻画输入雨图的雨线先验。结果 在合成数据集Rain12及真实雨图上进行实验,通过综合考虑定量分析和定性分析,并与3种基于模型的方法及两种基于深度网络的方法相比,本文方法在去除雨线的同时能够损失的背景信息最少,合成数据集上的平均结构相似性（SSIM）值达到0.92。结论 本文通过将基于模型的方法与基于深度网络的方法相结合,既去除了雨线又保证了估计背景的清晰程度,同时也验证了将传统模型与深度网络相结合是一种解决图像恢复问题的有效途径。     

群稀疏残差约束的引导字典学习算法及其单幅图像去雨

为了更有效地进行单幅图像去雨,提出一种群稀疏残差约束的引导字典学习算法.该算法特点在于利用混合高斯模型从自然图像中学习外部字典,面向有雨图像构建了基于外部字典引导的内部字典学习模型,并将内部字典的低秩性增加到字典学习目标函数中.该模型可以有效地利用自然图像与有雨图像先验知识之间的互补性,有助于同时恢复潜在稀疏的与稠密的图像细节.其次,基于图像的非局部自相似准则,利用群结构稀疏表示确保了相似图像块的编码系数尽可能接近,并对该模型引入残差约束,可有效地提高学习字典的重构能力与泛化能力.实验结果表明,在合成图像与真实图像上与其他算法相比,使用所提算法去雨后的图像具有更丰富的细节信息,图像更清晰,大大改善了整体视觉效果.     

单张图像去雨的多流细节加强网络

对于低等级的计算机视觉任务来说,图像去雨一直是一个热点问题.由于图像中雨线的密度不均一,导致单张图片中去雨成为极富有挑战性的问题.针对目标图像重点关注的两个部分：图像的整体结构和图像的细节,本文提出一种新颖的多流特征融合的卷积神经网络算法,通过多样的网络框架呈现优越的性能.该网络算法采用三条分支网络提取复杂多向的雨线特征,并运用级联的方式特征融合,通过与原图像结合去除有雨图的雨线,再经过细节加强网络获得高质量的无雨图.在合成的数据集以及真实雨图集下的去雨性能表明,所提出的算法与现有的基于深度学习的去雨算法相比,能够在去除雨线的同时保留更多的细节,保证了图片的质量.     

结合相似块匹配与最小值滤波的图像去雨

雨天环境拍摄的图像容易受到雨线的干扰,影响图像的特征提取,继而导致视觉系统的处理性能下降。提出了一种基于相似块匹配与最小值滤波的单幅图像去雨算法,该算法包含检测和修补两个阶段。检测阶段利用雨的亮度先验和方向信息对图像中的雨像素点进行标记。在修补阶段,先采用粗粒度和细粒度层级结合的方式匹配相似块,然后将雨像素点通过最小值滤波用相似块中对应像素最小值替换,而非雨像素点则保持原有值不变。算法在合成雨图与真实雨图上进行了验证,实验结果表明该算法能实现雨像素精确定位,精准匹配相似块,最终高质量修补雨像素,相比其他方法在客观度量值和主观视觉上均有一定的优势。     

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。     

基于半监督学习的单幅图像去雨算法

在雨天采集的图像通常存在背景物体被雨纹遮挡、图像变形等影响图像质量的现象,对后续图像分析及应用造成严重影响。近年来,已经提出了许多基于深度学习的去雨算法并获得了较好的效果。由于真实雨图的无雨纹干净背景图采集非常困难,大多数算法都采用监督学习即在含有配对标签的合成雨图数据集上进行模型训练。由于合成雨图和真实雨图中雨纹的亮度、透明度、形状等存在巨大差异,基于监督学习的去雨算法对真实雨图的泛化能力普遍较差。为提高去雨模型对真实雨图的去雨效果,提出了一种基于半监督学习的单幅图像去雨算法。该算法在模型训练过程中加入合成雨图和真实雨图并最小化两个输入图像转换成的特征向量的一阶信息和二阶统计信息差异,使两者特征分布一致。同时,针对雨纹复杂多样的特点,引入多尺度网络以获取更丰富的图像特征,并提高模型性能。实验结果表明,所提算法在Rain100H合成雨图测试集上相较JDNet、Syn2Real等算法在峰值信噪比（PSNR）和结构相似度（SSIM）上分别至少提升了0.66 dB、0.01,在去除雨纹的同时能最大限度保留图像细节和颜色信息;并且由于减少了分布差异,该算法在真实雨图测试集上的去雨效果明显优于现有的JDNet、Syn2Real等去雨算法,具有较强的泛化能力。所提算法可以应用于现有的基于监督学习的去雨算法并显著提高其去雨效果,拥有较高的独立性。     

基于多通道分离整合的多尺度单幅图像去雨算法

由于密度不同的雨对图像造成的遮挡不同,图像去雨一直都是一项极具挑战性的任务。目前,基于深度学习的图像去雨算法已经成为主流。然而,多数深度学习的架构都是通过堆叠卷积层来设计的,执行去雨任务后图像仍存在着大小不一的雨痕,这些方法并不能很好地关注训练中雨图的局部信息和上下文信息。为了解决上述问题,本文设计一种基于多通道分离整合的卷积神经网络用于图像去雨。第一步通过通道分离,再利用卷积层间的层级连接,构成多尺度模块,最终将不同通道的输出进行整合。该模块可以增大感受野,探索特征图之间的空间信息,更好地提取特征。第二步利用渐进网络来反复计算挖掘上下文信息,能够很好关联到全局特征。整体模型易于实施,可以端对端训练。在常用的数据集以及自建的自动驾驶雨天数据集上的大量实验表明,本文方法比现有方法取得了明显的改进。     

单幅图像去雨算法研究现状及展望

图像去雨算法通过对有雨图像进行分析和处理从而去除雨水条纹,恢复干净的背景场景,有助于提升计算机视觉任务识别精度,因此成为当下的研究热点。为系统地了解该领域的研究现状和发展趋势,首先介绍了典型的雨水合成模型,其次从基于模型驱动和基于数据驱动两个方面重点分析了典型图像去雨算法模型和方法;之后比较了去雨图像质量评价指标及雨水数据集;最后,对单幅图像去雨算法未来发展趋势进行了展望。     

基于联合注意力机制的单幅图像去雨算法

现有的单幅图像去雨算法难以充分发掘不同维度注意力机制的相互作用,因此提出一种基于联合注意力机制的单幅图像去雨算法。该算法包含通道注意力机制和空间注意力机制：通道注意力机制检测各通道雨线特征的分布,并差异化各个特征通道的重要程度;空间注意力机制则针对通道内雨线分布的空间关系,以局部到全局的方式积累上下文信息,从而高效准确地去雨。此外,引入深度残差收缩网络,以利用残差模块中嵌入的软阈值非线性变换子网络来通过软阈值函数将冗余信息置零,从而提升CNN在噪声中保留图像细节的能力。在公开降雨数据集与自构建的降雨数据集上进行实验,相较于单一空间注意力算法,联合注意力去雨算法的峰值信噪比（PSNR）提升4.5%,结构相似性（SSIM）提升0.3%。实验结果表明,所提算法可以有效地进行单幅图像去雨和图像细节的信息保留,在目视效果和定量指标上均优于对比算法。     

单幅图像去雨数据集和深度学习算法的联合评估与展望

雨天会影响室外图像捕捉的质量,进而引起户外视觉任务性能下降。基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注,并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面。为了方便研究者快速全面了解该领域,本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献。依据数据集的构建方式将雨图数据集分为4类：基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络 (generative adversarial network,GAN)数据驱动合成的数据集,以及半自动化采集的真实数据集。依据任务场景、采取的学习机制以及网络设计对主流算法分类总结。综述了面向单任务和联合任务的去雨算法,单任务即雨滴、雨纹、雨雾和暴雨的去除;联合任务即雨滴和雨纹、所有噪声去除。综述了学习机制和网络构建方式(比如:卷积神经网络 (convolutional neural network,CNN)结构多分支组合,GAN的生成结构,循环和多阶段结构,多尺度结构,编解码结构,基于注意力,基于Transformer)以及数据模型双驱动的构建方式。综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标。通过合成数据集和真实数据集上的综合实验对比,证实了领域知识隐式引导网络构建可以有效提升算法性能,领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性。最后,指出单幅图像去雨工作目前面临的挑战和未来的研究方向。     

联合形态学滤波和卷积稀疏编码的图像去雨

目的 图像去雨技术是对雨天拍摄图像中雨纹信息进行检测和去除,恢复目标场景的细节信息,从而获得清晰的无雨图像。针对现有方法对雨纹信息检测不完全、去除不彻底的问题,提出一种联合自适应形态学滤波和多尺度卷积稀疏编码(multi-scale convolution sparse coding, MS-CSC)的单幅图像去雨方法。方法 考虑雨纹信息的形状结构特点,构造一种自适应形态学滤波器来滤除有雨图像中的雨纹信息,获得包含图像自身纹理的低频成分;利用全变分模型正则化方法来增强低频成分的纹理信息,并利用有雨图像减去低频成分获得包含雨纹信息的高频成分;针对高频成分,根据雨纹的方向性提出一种基于方向梯度正则化的MS-CSC方法来重构高频成分,并通过迭代求解获得包含精确雨纹的高频成分,即雨层;利用有雨图像减去雨层得到最终的去雨图像。结果 为验证本文方法的有效性,与一些主流的去雨方法进行实验比较。实验结果表明,本文方法在模拟数据集上的平均峰值信噪比(peak signal-to-noise ratio, PSNR)和平均结构相似度(structural similarity, SSIM)指标分别提高了0...     

基于通道注意力和门控循环单元的图像去雨算法

在计算机视觉领域,雨线或者雨滴会使雨天拍摄的图像变得模糊,降低图像的质量.针对雨天图像质量低下的问题,提出了一种基于通道注意力和门控循环单元的图像去雨算法.该算法基本思路如下:首先将训练图像通过残差记忆模块提取特征;其次将提取的特征通过特征增强模块增加感受野,识别不同等级的雨线特征并将其增强,传递给后续的循环网络;最后网络循环过程中,通过门控循环单元块实现不同循环阶段之间的参数共享.实验结果利用客观评价指标和主观视觉效果进行评估,验证了该算法在较为复杂数据集上的有效性.     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网...     

基于雨雾分离处理和多尺度网络的图像去雨方法

雨带来的雨条纹和雨雾会降低户外拍摄图像的质量,为了去除雨雾对图像的影响,提出了一种基于雨雾分离处理和多尺度卷积神经网络的图像去雨方法。首先利用导向滤波将雨线和图像细节信息提取到高频层,雨雾和背景信息则分离到低频层;然后构建多尺度卷积神经网络来去除高频层中的雨线,网络中融入多个稠密连接模块以提升特征提取的准确性;其次构建多层特征融合的轻量级去雾网络来去除低频层中的雨雾,采用参数一体化结构避免了估计多个大气散射模型参数导致的次优解;最后再结合处理后的高低频结果还原出清晰图像。在多个合成的雨雾数据集以及真实自然场景图像上进行测试,定性和定量结果表明,提出的方法在去除雨雾影响的同时较好地保留了色彩信息,和近年的算法相比,图像结构相似性约提升了0.02~0.08,图像峰值信噪比约提升了0.2~3.5 dB。