单张图像去雨的多流细节加强网络

对于低等级的计算机视觉任务来说,图像去雨一直是一个热点问题.由于图像中雨线的密度不均一,导致单张图片中去雨成为极富有挑战性的问题.针对目标图像重点关注的两个部分：图像的整体结构和图像的细节,本文提出一种新颖的多流特征融合的卷积神经网络算法,通过多样的网络框架呈现优越的性能.该网络算法采用三条分支网络提取复杂多向的雨线特征,并运用级联的方式特征融合,通过与原图像结合去除有雨图的雨线,再经过细节加强网络获得高质量的无雨图.在合成的数据集以及真实雨图集下的去雨性能表明,所提出的算法与现有的基于深度学习的去雨算法相比,能够在去除雨线的同时保留更多的细节,保证了图片的质量.     

一种新型的基于深度学习的单幅图像去雨方法

雨滴严重影响了图像的视觉效果和后续的图像处理应用。目前,基于深度学习的单幅图像去雨方法能够有效挖掘图像的深度特征,其去雨效果优于传统方法;然而,随着网络深度的增加,网络容易出现过拟合的现象,使得去雨效果遇到瓶颈。文中在继承深度学习优点的基础上,学习有雨/无雨图像之间的残差,然后将残差与源图像进行重构,从而获得无雨图像。该方式大幅增加了网络深度,并加快了算法的收敛速度。分别利用通过不同方式获取的雨滴图像对所提方法进行实验验证,并将该方法与当前最新的去雨滴方法作比较,结果表明所提算法的去雨效果更好。     

单幅图像去雨数据集和深度学习算法的联合评估与展望

雨天会影响室外图像捕捉的质量,进而引起户外视觉任务性能下降。基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注,并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面。为了方便研究者快速全面了解该领域,本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献。依据数据集的构建方式将雨图数据集分为4类：基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络 (generative adversarial network,GAN)数据驱动合成的数据集,以及半自动化采集的真实数据集。依据任务场景、采取的学习机制以及网络设计对主流算法分类总结。综述了面向单任务和联合任务的去雨算法,单任务即雨滴、雨纹、雨雾和暴雨的去除;联合任务即雨滴和雨纹、所有噪声去除。综述了学习机制和网络构建方式(比如:卷积神经网络 (convolutional neural network,CNN)结构多分支组合,GAN的生成结构,循环和多阶段结构,多尺度结构,编解码结构,基于注意力,基于Transformer)以及数据模型双驱动的构建方式。综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标。通过合成数据集和真实数据集上的综合实验对比,证实了领域知识隐式引导网络构建可以有效提升算法性能,领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性。最后,指出单幅图像去雨工作目前面临的挑战和未来的研究方向。     

雨滴实地拍摄基准图像数据集及评估

在雨天透过玻璃窗拍摄时，附着在玻璃表面的雨滴通常会出现在图像中，这不仅降低了图像的可见度，还会使许多计算视觉算法无法正常工作。图像雨滴去除研究，是指从这类雨天图像中去除雨滴的具体科研研究。该研究领域面临着很大的挑战，主要原因是自然界中的雨滴形态多种多样、各不相同，不同透明度的雨滴也会影响背景图像的成像质量，从而增加了识别并去除雨滴的困难度，对去雨滴算法的性能提升造成了负面影响。为了方便研究者全面了解该领域，将从以下两个方面详尽介绍单幅图像去雨滴研究：单幅图像去雨滴算法和单幅图像联合去雨算法；同时也对该领域的所有算法进行了总结与评估。在基于深度学习的方法中，算法的性能往往受限于数据集的质量，但现有的雨滴数据集中均存在雨滴图像质量不高、图像数量不足等常见情况。为此，建立了雨滴实地拍摄基准图像数据集(HEMC),在拍摄过程中，尽量避免相机抖动、窗户反射和其他外界条件的干扰，从而提高了数据集中训练集的图像质量和测试集的精准度，进而间接提升了算法性能。同时，利用主观视觉效果以及客观指标对数据集进行了多方面的评估，实验结果展现了HEMC数据集中图像的多样性以及客观指标的稳定性。此外，通过对雨滴数据...     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题, 提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络, 通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息, 提出了一种改进残差网络模块, 并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型, 本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降, 提出的多尺度渐进式网络算法能够有效去除各种雨痕。结论 提出的算法能够获得最高的客观评价指标值和最优的视觉效果。在有效解决雨痕重叠问题的同时能够更好地保持图像的细节信息。     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

基于通道注意力和门控循环单元的图像去雨算法

在计算机视觉领域,雨线或者雨滴会使雨天拍摄的图像变得模糊,降低图像的质量.针对雨天图像质量低下的问题,提出了一种基于通道注意力和门控循环单元的图像去雨算法.该算法基本思路如下:首先将训练图像通过残差记忆模块提取特征;其次将提取的特征通过特征增强模块增加感受野,识别不同等级的雨线特征并将其增强,传递给后续的循环网络;最后网络循环过程中,通过门控循环单元块实现不同循环阶段之间的参数共享.实验结果利用客观评价指标和主观视觉效果进行评估,验证了该算法在较为复杂数据集上的有效性.     

多尺度沙漏结构的单幅图像去雨算法研究

雨天环境会造成图像模糊、变形,大幅降低图像质量,对于后续的图像分析和应用造成严重影响.单幅图像的去雨算法研究成为热点,然而现有算法存在过度平滑、颜色失真和复杂雨水图像复原能力差等诸多问题,去雨问题难以有效解决.本文提出一种新颖的多尺度沙漏结构的单幅图像去雨算法.首先,针对雨的特征复杂多样的特点,采用多尺度沙漏网络结构,提取并融合多尺度的雨线特征;其次,在沙漏网络内部,引入残差密集模块,使特征在不同级别网络中实现传递和复用,最大限度的提取细节特征和增强网络表达能力;最后,针对雨水不均匀分布的特点,在残差密集网络基础上加入注意模块,提高算法在空间和通道方面特征提取能力,能够处理复杂的雨天图像.实验结果表明,本方法相较于现有算法,能够更好的去除雨线,并且能够最大程度的保留图像细节和颜色信息.     

基于倍频卷积和注意力机制的图像去雨

针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.     

联合形态学滤波和卷积稀疏编码的图像去雨

目的 图像去雨技术是对雨天拍摄图像中雨纹信息进行检测和去除,恢复目标场景的细节信息,从而获得清晰的无雨图像。针对现有方法对雨纹信息检测不完全、去除不彻底的问题,提出一种联合自适应形态学滤波和多尺度卷积稀疏编码(multi-scale convolution sparse coding, MS-CSC)的单幅图像去雨方法。方法 考虑雨纹信息的形状结构特点,构造一种自适应形态学滤波器来滤除有雨图像中的雨纹信息,获得包含图像自身纹理的低频成分;利用全变分模型正则化方法来增强低频成分的纹理信息,并利用有雨图像减去低频成分获得包含雨纹信息的高频成分;针对高频成分,根据雨纹的方向性提出一种基于方向梯度正则化的MS-CSC方法来重构高频成分,并通过迭代求解获得包含精确雨纹的高频成分,即雨层;利用有雨图像减去雨层得到最终的去雨图像。结果 为验证本文方法的有效性,与一些主流的去雨方法进行实验比较。实验结果表明,本文方法在模拟数据集上的平均峰值信噪比(peak signal-to-noise ratio, PSNR)和平均结构相似度(structural similarity, SSIM)指标分别提高了0.95和0.005 2,能得到较好的主观视觉效果和客观评价,特别是在真实数据集上具有明显优势。结论 本文方法可有效去除雨纹,同时可保留更多的原始图像纹理信息,经证明是一种有效的去雨算法。     

一种新型的雨滴微观特征提取方法*

雨滴颗粒的数目、形状、尺寸以及谱分布是准确反演降雨强度的基础,为了获取自然环境下的雨滴微观特征量,本文采用迭代最大熵分割算法,获取雨滴图像的灰度区域阈值,通过阈值比较,把雨滴颗粒从图像中分割出来,在此基础上,把凹点匹配分割算法引入粘连雨滴的分割研究中,以链码差和曲率作为判断准则,选取凹点进行匹配,实现粘连雨滴的精确分割,以几何均值算法标记不同雨滴颗粒质心位置,记录雨滴特征量,提出了一种新型的雨滴微观特征提取方法。通过实验表明,该算法不仅能够有效地从图像中提取边界区域明朗且颗粒完整的雨滴,而且能够对粘连雨滴颗粒进行分割,从而可精准地从图像中获取雨滴微观特征量。     

一种结合自注意和多尺度生成对抗网络的图像去雨方法

为去除雨天拍摄照片上的雨滴,针对被雨滴所覆盖区域未知,雨滴区域中大多数背景信息已经丢失,以及需要提升图像清晰度和对全局信息关注度的问题,在生成对抗网络中生成网络的自动编码器结构中添加自注意层,并在判别网络中引入多尺度判别器。通过注意力分布图的引导,自注意层的优化和多尺度判别器的评估,生成网络在关注雨滴区域的前提下进一步关注全局信息,多尺度判别器可由粗到细更好地判别雨滴图像与清晰图像之间的差距。实验完成了所提方法与其他方法的对比,以及自对比,并用峰值信噪比和结构相似性进行评估,结果表明了所提方法的有效性,其质量和指标数值均高于其他方法。     

一种视频雨滴检测与消除的方法

降雨天气往往导致监控视频质量下降. 本文提出首先在对数图像处理(Logarithmic image processing, LIP)框架下利用灰色调约束检测出候选雨滴,进而利用主成分分析(Principal component analysis, PCA)方法计算每个候选雨滴的倾斜方向并构建其概率密度分布函数,利用Mean-shift算法估计该分布函数的峰值,作为检测到的雨滴降落方向,然后,通过方向约束去除候选雨滴中的干扰噪声. 最后,文章采用一种加权的重构方法消除雨滴. 实验证明,算法能够有效检测并去除各种场景中的雨滴.     

Photorealistic real‐time rendering of spherical raindrops with hierarchical reflective and refractive maps

Synthesizing rainy images is a common challenge found in film, game engines, driving simulators, and architectural design. Simulating light transport through a raindrop's optical properties is a view‐dependent problem, and large quantities of raindrops are required to produce a plausible rainy scene. Accurate methods for rendering raindrops exist but are often off‐line techniques that are cost prohibitive for real‐time applications. Most real‐time solutions use textures to approximate the appearance of moving raindrops as streaks. These approaches produce plausible results but do not address the problem of temporal effects such as slow‐motion or paused simulations. In such conditions, streak‐based approximations are not suitable, and proper raindrop geometry should be considered. This paper describes a straight‐forward approach for rendering raindrops in such temporal conditions. The proposed technique consists of a preprocessing stage that generates a raindrop mask and a run‐time stage that renders raindrops as screen‐aligned billboards. The mask's contents are adjusted on the basis of the viewpoint, viewing direction, and raindrop position. The proposed method renders millions of raindrops at real‐time rates in current graphics hardware, making it suitable for applications that require high‐visual quality without compromising performance. Copyright © 2011 John Wiley & Sons, Ltd.     

Not All Areas Are Equal: A Novel Separation-Restoration-Fusion Network for Image Raindrop Removal

Detecting and removing raindrops from an image while keeping the high quality of image details has attracted tremendous studies, but remains a challenging task due to the inhomogeneity of the degraded region and the complexity of the degraded intensity. In this paper, we get rid of the dependence of deep learning on image-to-image translation and propose a separation-restoration-fusion network for raindrops removal. Our key idea is to recover regions of different damage levels individually, so that each region achieves the optimal recovery result, and finally fuse the recovered areas. In the region restoration module, to complete the restoration of a specific area, we propose a multi-scale feature fusion global information aggregation attention network to achieve global to local information aggregation. Besides, we also design an inside and outside dense connection dilated network, to ensure the fusion of the separated regions and the fine restoration of the image. The qualitatively and quantitatively evaluations are conducted to evaluate our method with the latest existing methods. The result demonstrates that our method outperforms state-of-the-art methods by a large margin on the benchmark datasets in extensive experiments.     

空－频域联合的交通监控视频去雨方法

阴雨天气下交通监控视频处理的效率较低,可靠性较差,因此,文中提出自适应判别雨量、空－频域联合的交通监控视频去雨方法.将视频帧的非下采样剪切波变换的低频系数清零,利用大津法获得全部边缘信息图.采用显著性映射计算景深图,经双边滤波并保留高频系数,得到主要边缘信息图.结合全部边缘信息图、主要边缘信息图和帧差,判断雨滴/雨线区域及雨量,若是中、大雨,利用曲率驱动扩散法修复雨滴/雨线,否则将两个尺度下的检测结果取并集.实验表明,文中方法可有效去除视频中的雨滴/雨线,保持物体形状和纹理细节,提高运动目标跟踪等后处理质量.