基于倍频卷积和注意力机制的图像去雨

针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.     

单幅图像去雨数据集和深度学习算法的联合评估与展望

雨天会影响室外图像捕捉的质量,进而引起户外视觉任务性能下降。基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注,并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面。为了方便研究者快速全面了解该领域,本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献。依据数据集的构建方式将雨图数据集分为4类：基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络 (generative adversarial network,GAN)数据驱动合成的数据集,以及半自动化采集的真实数据集。依据任务场景、采取的学习机制以及网络设计对主流算法分类总结。综述了面向单任务和联合任务的去雨算法,单任务即雨滴、雨纹、雨雾和暴雨的去除;联合任务即雨滴和雨纹、所有噪声去除。综述了学习机制和网络构建方式(比如:卷积神经网络 (convolutional neural network,CNN)结构多分支组合,GAN的生成结构,循环和多阶段结构,多尺度结构,编解码结构,基于注意力,基于Transformer)以及数据模型双驱动的构建方式。综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标。通过合成数据集和真实数据集上的综合实验对比,证实了领域知识隐式引导网络构建可以有效提升算法性能,领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性。最后,指出单幅图像去雨工作目前面临的挑战和未来的研究方向。     

联合形态学滤波和卷积稀疏编码的图像去雨

目的 图像去雨技术是对雨天拍摄图像中雨纹信息进行检测和去除,恢复目标场景的细节信息,从而获得清晰的无雨图像。针对现有方法对雨纹信息检测不完全、去除不彻底的问题,提出一种联合自适应形态学滤波和多尺度卷积稀疏编码(multi-scale convolution sparse coding, MS-CSC)的单幅图像去雨方法。方法 考虑雨纹信息的形状结构特点,构造一种自适应形态学滤波器来滤除有雨图像中的雨纹信息,获得包含图像自身纹理的低频成分;利用全变分模型正则化方法来增强低频成分的纹理信息,并利用有雨图像减去低频成分获得包含雨纹信息的高频成分;针对高频成分,根据雨纹的方向性提出一种基于方向梯度正则化的MS-CSC方法来重构高频成分,并通过迭代求解获得包含精确雨纹的高频成分,即雨层;利用有雨图像减去雨层得到最终的去雨图像。结果 为验证本文方法的有效性,与一些主流的去雨方法进行实验比较。实验结果表明,本文方法在模拟数据集上的平均峰值信噪比(peak signal-to-noise ratio, PSNR)和平均结构相似度(structural similarity, SSIM)指标分别提高了0...     

多尺度密集时序卷积网络的单幅图像去雨方法

雨滴会降低户外拍摄图像质量,影响图像视觉效果及后续图像分析工作。针对目前去雨算法存在颜色失真、去雨过度化等问题,为了提高计算机视觉算法在中、大雨天气下的准确性,提出多尺度DenseTimeNet(密集时间序列卷积神经网络)的单幅图像去雨方法。该网络由多个尺度DenseTimeNetBlock(密集时序卷积网络密集块)组成,通过卷积下采样技术得到不同尺度下雨线特征信息与降低图像维度后利用时域卷积寻找的时间维度特征信息。在不同维度下学习雨景图和无雨图之间的映射关系,网络主体由密集卷积块和残差网络组成,可加速算法收敛速度,更深度学习图像纹理特征,使特征信息在网络结构进行深度传播,可以更好地复原残损图像。在不同方向,不同大小的雨滴图像上对所提方法进行验证,实验结果表明,该方法相较于现有算法,图像去雨效果良好。     

残差卷积注意网络的图像超分辨率重建

针对极深神经网络图像超分辨率重建过程中,存在图像特征提取少、信息利用率低,平等处理高、低频信息通道的问题,提出了残差卷积注意网络的图像超分辨率重建算法。构造多尺度残差注意块,最大限度地提高网络提取到多尺寸特征信息,引入通道注意力机制,增强高频信息通道的表征能力。引入卷积注意块的特征提取结构,减少高频图像细节信息的丢失。在网络的重建层,引入全局跳远连接结构,进一步丰富重建的高分辨率图像信息的流动。实验结果表明,所提算法在Set5等基准数据集上的PSNR、SSIM比其他基于深度卷积神经网络的方法均明显提升,验证了提出方法的有效性与先进性。     

基于膨胀腐蚀卷积块的单幅图像去雨算法

成像设备在雨天拍摄图像时由于雨雾和雨条纹的存在会导致图像质量严重退化,对后续图像处理性能造成极大影响.因此,图像的去雨算法研究引起了广泛关注,其中针对单幅图像的去雨算法由于没有先验知识的支持,面临较大挑战.近年来,深度学习因其高特征表示能力被应用在图像去雨算法研究中.本文基于小波变换,采取了一种深度学习与数字图像形态学处理相结合的算法来实现单幅图像去雨,具有训练参数少、训练时间短和去雨效果好等优点.首先对含雨图像进行小波变换,分为低频分量、水平高频分量、垂直高频分量和对角高频分量,然后对这4个分量分别构造深度学习神经网络,并在神经网络架构中根据雨的特征加入图像膨胀、腐蚀等形态学处理来进行去雨操作,大大简化了模型架构,并能取得较好的结果.     

单张图像去雨的多流细节加强网络

对于低等级的计算机视觉任务来说,图像去雨一直是一个热点问题.由于图像中雨线的密度不均一,导致单张图片中去雨成为极富有挑战性的问题.针对目标图像重点关注的两个部分：图像的整体结构和图像的细节,本文提出一种新颖的多流特征融合的卷积神经网络算法,通过多样的网络框架呈现优越的性能.该网络算法采用三条分支网络提取复杂多向的雨线特征,并运用级联的方式特征融合,通过与原图像结合去除有雨图的雨线,再经过细节加强网络获得高质量的无雨图.在合成的数据集以及真实雨图集下的去雨性能表明,所提出的算法与现有的基于深度学习的去雨算法相比,能够在去除雨线的同时保留更多的细节,保证了图片的质量.     

基于特征融合和代价敏感学习的图像标注方法

针对图像标注数据集中存在的标注对象比例不一致和标签分布不平衡问题,提出基于特征融合和代价敏感学习的图像标注方法.在卷积神经网络中加入特征融合层,改进VGG16原有的网络结构,特征融合层结合注意力机制,对网络中不同卷积层提取的多尺度特征进行选择性融合,提升对不同尺度对象的标注精度;将代价敏感学习融入损失函数对网络模型进行训练,提升网络的泛化性能.实验结果表明,该方法能提升图像标注的准确率,增加对低频标签的召回率.     

基于多尺度融合的图像超分辨率重建北大核心CSCD

针对卷积神经网络在图像超分辨率重建任务上忽视提取多尺度特征的问题,提出了一种多尺度融合网络结构。该模型从不同空间尺寸的特征图中提取高频和低频特征,并引入注意力机制,能够自适应地调整不同通道和空间区域的权重。同时,利用不同尺寸的卷积核捕捉多尺度特征,以更好地恢复图像高频细节。在多个基准数据集上进行实验,结果表明,该模型在峰值信噪比、结构相似性和视觉效果上均优于其他几种先进的图像超分辨率重建模型。     

基于多尺度深层网络的监控图像去雨研究

雨天条件下视频监测图像中含有雨滴,使得输变配电设备监测目标的细节信息模糊。针对该问题,提出一种基于深层神经网络的多尺度模型架构,用于去除图像中的雨纹。利用先验信息,采用导向滤波提取表征图像高频分量的雨滴模糊特征图将模型聚焦于雨滴信息。借鉴Inception网络多分支提取多阶特征结构,构建多尺度深层神经网络融合底层和高层特征。在合成的输变配电设备以及真实世界的雨天图像集上,对本文方法进行实验验证,结果表明本文方法较其他方法具有更好的去雨效果。     

自适应卷积的残差修正单幅图像去雨

目的 雨天户外采集的图像常常因为雨线覆盖图像信息产生色变和模糊现象。为了提高雨天图像的质量,本文提出一种基于自适应选择卷积网络深度学习的单幅图像去雨算法。方法 针对雨图中背景误判和雨痕残留问题,加入网络训练的雨线修正系数（refine factor,RF）,改进现有雨图模型,更精确地描述雨图中各像素受到雨线的影响。构建选择卷积网络（selective kernel network,SK Net）,自适应地选择不同卷积核对应维度的信息,进一步学习、融合不同卷积核的信息,提高网络的表达力,最后构建包含SK Net、refine factor net和residual net子网络的自适应卷积残差修正网络（selective kernel convolution using a residual refine factor,SKRF）,直接学习雨线图和残差修正系数（RF）,减少映射区间,减少背景误判。结果 实验通过设计的SKRF网络,在公开的Rain12测试集上进行去雨实验,取得了比现有方法更高的精确度,峰值信噪比（peak signal to noise ratio,PSNR）达到34.62 dB,结构相似性（structural similarity,SSIM）达到0.970 6。表明SKRF网络对单幅图像去雨效果有明显优势。结论 单幅图像去雨SKRF算法为雨图模型中的雨线图提供一个额外的修正残差系数,以降低学习映射区间,自适应选择卷积网络模型提升雨图模型的表达力和兼容性。     

Densely connected multi-scale de-raining net

Rainy images severely degrade the visibility and make many computer vision algorithms invalid. Hence, it is necessary to remove rain streaks from single image. In this paper, we propose a novel network to handle with single image de-raining, which includes two modules: (a) multi-scale kernels de-raining layer and (b) multi-scale feature maps de-raining layer. Specifically, as spatial contextual information is important for single image de-raining, we develop a multi-scale kernels de-raining layer, which can utilize the multi-scale kernel that has receptive fields with different sizes to further capture the contextual information and these features are fused to learn the primary rain streaks structures. Moreover, we illustrate that convolution layers at different scales have similar structure of rain streaks by statistical pixel histogram and they can be processed in the same operation. So, we deal with the rain streaks information at different scales by using multi-scale kernels de-raining layers with shared parameters, where we call this operation as multi-scale feature maps de-raining layer. Finally, we employ dense connections to connect multi-scale feature maps de-raining layers to maximize the information flow along features from different levels. Quantitative and qualitative experimental results demonstrate the superiority of proposed method compared with several state-of-the-art de-raining methods, while the parameters of our proposed method are greatly reduced that benefits from the proposed shared parameters strategy at different scales

     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网...     

基于双注意力残差循环单幅图像去雨集成网络

降雨会严重降低拍摄图像质量和影响户外视觉任务.由于不同图像中,雨的形状、方向和密度不同,导致单幅图像去雨是一项困难的任务.提出一种新的基于双注意力的残差循环单幅图像去雨集成网络（简称RDARENet）.在网络中,因为上下文的信息对于去除雨痕十分重要,所以首先采用多尺度的扩张卷积网络去获得更大的感受野.雨痕信息可以认为是多个雨层特征的叠加,为了更好地提取雨痕的特征和恢复背景图层信息,运用了通道和空间注意力机制的残差网络.通道注意力能够反映不同雨层的权重,而空间注意力则通过相邻空间特征之间的关系增强区域的表征.随着网络的加深,防止低层信息的丢失,采用级联的残差网络和长短时间记忆网络,将低层特征信息传递到高层中去,逐阶段地去除雨痕.在网络的输出部分,采用集成学习的方式,将每个阶段的输出结果通过门控网络加权相加,得到最终的无雨图像.实验结果表明,去雨和恢复纹理细节的效果都得到较大提升.     

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。