基于卷积长短期记忆的残差注意力去雨网络

无人驾驶汽车在雨天环境中行驶,由于车载相机采集的图片包含雨纹噪声,导致无人驾驶系统的目标检测精度降低,关键目标识别困难。为解决这些问题,提出了一种基于卷积长短期记忆的残差注意力去雨网络。首先提出卷积长短期记忆（CLSTM）单元对不同尺度的雨纹分布进行学习,然后使用残差通道注意力机制对雨纹进行提取,最后将雨图与雨纹提取信息相减得到修复后的背景图。为确定最优的网络结构,对各网络模块进行消融实验,然后选择去雨效果最优的结构作为去雨网络。通过对网络参数的不断优化,所提算法在数据集Rain100H、Rain100L、Real200上进行测试,结果显示该算法的峰值信噪比（PSNR）分别达到29.1 dB、33.1 dB、32.4 dB,结构相似性（SSIM）分别达到0.89、0.94和0.93。实验结果表明,通过生成对抗网络（GAN）判别器对雨纹去除效果的额外监督,所提算法取得了明显的雨纹去除效果,增强了无人驾驶系统在复杂降雨条件下的环境感知能力。     

单幅图像去雨数据集和深度学习算法的联合评估与展望

雨天会影响室外图像捕捉的质量,进而引起户外视觉任务性能下降。基于深度学习的单幅图像去雨研究因算法性能优越而引起了大家的关注,并且聚焦点集中在数据集的质量、图像去雨方法、单幅图像去雨后续高层任务的研究和性能评价指标等方面。为了方便研究者快速全面了解该领域,本文从上述4个方面综述了基于深度学习的单幅图像去雨的主流文献。依据数据集的构建方式将雨图数据集分为4类：基于背景雨层简单加和、背景雨层复杂融合、生成对抗网络 (generative adversarial network,GAN)数据驱动合成的数据集,以及半自动化采集的真实数据集。依据任务场景、采取的学习机制以及网络设计对主流算法分类总结。综述了面向单任务和联合任务的去雨算法,单任务即雨滴、雨纹、雨雾和暴雨的去除;联合任务即雨滴和雨纹、所有噪声去除。综述了学习机制和网络构建方式(比如:卷积神经网络 (convolutional neural network,CNN)结构多分支组合,GAN的生成结构,循环和多阶段结构,多尺度结构,编解码结构,基于注意力,基于Transformer)以及数据模型双驱动的构建方式。综述了单幅图像去雨后续高层任务的研究文献和图像去雨算法性能的评价指标。通过合成数据集和真实数据集上的综合实验对比,证实了领域知识隐式引导网络构建可以有效提升算法性能,领域知识显式引导正则化网络的学习有潜力进一步提升算法的泛化性。最后,指出单幅图像去雨工作目前面临的挑战和未来的研究方向。     

群稀疏残差约束的引导字典学习算法及其单幅图像去雨

为了更有效地进行单幅图像去雨,提出一种群稀疏残差约束的引导字典学习算法.该算法特点在于利用混合高斯模型从自然图像中学习外部字典,面向有雨图像构建了基于外部字典引导的内部字典学习模型,并将内部字典的低秩性增加到字典学习目标函数中.该模型可以有效地利用自然图像与有雨图像先验知识之间的互补性,有助于同时恢复潜在稀疏的与稠密的图像细节.其次,基于图像的非局部自相似准则,利用群结构稀疏表示确保了相似图像块的编码系数尽可能接近,并对该模型引入残差约束,可有效地提高学习字典的重构能力与泛化能力.实验结果表明,在合成图像与真实图像上与其他算法相比,使用所提算法去雨后的图像具有更丰富的细节信息,图像更清晰,大大改善了整体视觉效果.     

基于自监督约束的双尺度真实图像盲去噪算法

现存的图像去噪算法在处理加性高斯白噪声上已经取得令人满意的效果,然而其在未知噪声强度的真实噪声图像上泛化性能较差.鉴于深度卷积神经网络极大地促进了图像盲去噪技术的发展,针对真实噪声图像提出一种基于自监督约束的双尺度真实图像盲去噪算法.首先,所提算法借助小尺度网络分支得到的初步去噪结果为大尺度分支的图像去噪提供额外的有用信息,以帮助后者实现良好的去噪效果.其次,用于去噪的网络模型由噪声估计子网络和图像非盲去噪子网络构成,其中噪声估计子网络用于预测输入图像的噪声强度,非盲去噪子网络则在所预测的噪声强度指导下进行图像去噪.鉴于真实噪声图像通常缺少对应的清晰图像作为标签,提出了一种基于全变分先验的边缘保持自监督约束和一个基于图像背景一致性的背景自监督约束,前者可通过调节平滑参数将网络泛化到不同的真实噪声数据集上并取得良好的无监督去噪效果,后者则可借助多尺度高斯模糊图像之间的差异信息辅助双尺度网络完成去噪.此外,还提出一种新颖的结构相似性注意力机制,用于引导网络关注图像中微小的结构细节,以便复原出纹理细节更加清晰的真实去噪图像.相关实验结果表明在SIDD,DND和Nam这3个真实基准数据集上,所提的基于自监督的双尺度盲去噪算法无论在视觉效果上还是在量化指标上均优于多种有监督图像去噪方法,且泛化性能也得到了较为明显的提升.     

基于深度邻近连接网络的单幅图像去雨方法

雨天环境下的雨线导致图像内容被遮挡,严重影响人眼的视觉效果和后续系统的处理性能。目前主流的深度学习方法为了提升处理性能,均以复杂的网络结构和较大的参数量为代价,导致相关方法难以服务于实际应用。为此,文中提出一种新的深度邻近连接网络结构。它通过关注深度网络中所学特征图之间的关系,采用融合操作将邻近特征图进行连接,以获得更加丰富和有效的特征表示。实验数据表明,所提方法在3个公开合成数据集及真实有雨图像上的主客观处理效果、模型参数量和运行时间等相关性能都有所提升。在合成数据集Rain100H上的平均结构相似性(SSIM)值达到0.84,在合成数据集Rain100L和Rain1200上的平均SSIM值分别达到0.96和0.91。在真实有雨图像上,所提方法在有效去除前景雨线的同时,能够保护更完整的背景图像信息,从而获得更好的主观视觉效果。相比于同时期的深度学习方法JORDER,文中方法在保证相近的处理效果的前提下,模型参数量和CPU运行时间分别降低了一个和两个数量级。实验数据充分说明,通过将网络中邻近特征图进行融合,能够获取更加有效的特征表示。因此,所提方法虽然仅使用较少的模型参数和简洁的神经网络结构,却依旧能够较好地实现图像去雨效果,解决了现有方法模型参数量较大和网络结构较为复杂的问题。同时,该网络结构设计方案也能够为基于深度学习的相关图像复原任务提供参考和借鉴。     

双LSTM的光场图像去雨算法研究

单张图像去雨由于有限的输入信息,会严重影响去雨效果。光场图像不同于普通2D图像,能够记录三维场景的丰富结构信息。针对此类问题并且利用光场图像特点,提出一种基于双LSTM神经网络的光场图像去雨算法。提出的神经网络包括雨条纹检测网络（Rain Streaks Detecting Network,RSDNet）和背景修复网络（Background Restoring Network,BRNet）。所提算法主要包含三个步骤。使用匹配成本量最优化方法计算光场图像子视点的深度图;利用RSDNet提取雨条纹,并利用LSTM结构将雨条纹高频信息传递给BRNet;借助BRNet网络修复背景图像得到无雨子视点图像。为了训练和测试所提算法,构建了一个由真实背景场景光场图像和雨图像合成的有雨图像光场数据集。充分的实验结果表明,提出的算法能够有效地修复光场图像。     

单张图像去雨的多流细节加强网络

对于低等级的计算机视觉任务来说,图像去雨一直是一个热点问题.由于图像中雨线的密度不均一,导致单张图片中去雨成为极富有挑战性的问题.针对目标图像重点关注的两个部分：图像的整体结构和图像的细节,本文提出一种新颖的多流特征融合的卷积神经网络算法,通过多样的网络框架呈现优越的性能.该网络算法采用三条分支网络提取复杂多向的雨线特征,并运用级联的方式特征融合,通过与原图像结合去除有雨图的雨线,再经过细节加强网络获得高质量的无雨图.在合成的数据集以及真实雨图集下的去雨性能表明,所提出的算法与现有的基于深度学习的去雨算法相比,能够在去除雨线的同时保留更多的细节,保证了图片的质量.     

自然场景图像去雨的可学习混合MAP网络

目的 近年来,人工智能成为新兴研究领域,得到越来越多研究机构的关注。图像恢复问题一直是低层次计算机视觉领域的一个研究热点,其中,图像去雨由于其雨线分布的未知性及其求解的病态性,导致难以解决。现有方法存在雨线和背景之间的估计具有依赖性,难以平衡雨线去除效果与估计背景的清晰程度之间的关系;局限性比较大,训练数据很难涵盖各种场景下的雨图,而测试结果受训练数据的影响,导致难于泛化。针对上述不足,借鉴一般图像恢复问题思路,将模型与以数据驱动的网络相结合,凸显网络与模型各自的优势,提出可学习的混合MAP网络有效地解决图像去雨问题。方法 首先基于最大后验估计（MAP）建立含有隐式先验的能量模型,然后通过优化算法将模型分解为背景估计模型和雨线估计模型两部分,以减少背景估计和雨线估计之间的依赖性。对于背景估计模型,通过对模型及优化目标分析采用以数据驱动的去噪残差网络进行建模,保证估计出的背景更清晰;对于雨线估计模型,为避免直接对未知的雨线建模失去准确性,利用高斯混合模型实时刻画输入雨图的雨线先验。结果 在合成数据集Rain12及真实雨图上进行实验,通过综合考虑定量分析和定性分析,并与3种基于模型的方法及两种基于深度网络的方法相比,本文方法在去除雨线的同时能够损失的背景信息最少,合成数据集上的平均结构相似性（SSIM）值达到0.92。结论 本文通过将基于模型的方法与基于深度网络的方法相结合,既去除了雨线又保证了估计背景的清晰程度,同时也验证了将传统模型与深度网络相结合是一种解决图像恢复问题的有效途径。     

基于多尺度注意力半监督学习的老照片划痕修复

老照片由于长时间的磨损或保存不当,会出现照片的划痕损伤。随着深度学习在图像重建中的应用,基于深度学习方法能够在纹理修复的基础上获取图像的语义信息并预测语义内容,使老照片修复的整体效果更加符合客观事实,但利用深度学习进行老照片划痕修复缺乏学习所需数据集。提出一种基于半监督学习的老照片划痕自动修复的方法,创建划痕合成数据集SynOld用于网络训练,同时搜集真实的划痕老照片用于训练和测试,将合成数据集和真实老照片加入网络学习,两者共享网络参数,并通过鉴别器来区分网络生成图像与真实图像。对于合成数据集有监督的分支采用均方差损失、感知损失和对抗损失约束训练,对于真实老照片无监督的分支采用总变差损失控制训练。实验结果表明,相比于多尺度特征注意力网络的监督学习方法,该方法在合成数据集SynOld和真实老照片上都具有较好的修复效果。     

改进BPDN的图像去雨雪应用研究

在视频图像数据采集时,往往受到天气等因素的影响,为进一步研究视频图像数据的主要信息增加了困难。雨、雪天气作为视频图像数据预处理中最为困难的研究,近几年一直是各学者研究的课题。针对传统基追踪去噪（BPDN）算法没有考虑雨、雪图像的局部特征问题,提出一种基于改进BPDN的图像去雨雪算法。将局部特征约束理论引入图像去雨雪中,主要是在精炼雨图提取的稀疏系数优化问题求解中加入训练图像数据的局部信息,以达到提高雨线的识别,进而提高图像的雨线去除效果。引入局部信息的优化问题可以推导为二次规划问题,为使用BPDN算法提供了理论支持。合成和真实图像去雨实验结果表明,改进的BPDN算法在算法收敛性、精炼雨图识别、图像去雨效果上优于传统BPDN算法所得到的结果。     

Single Image Rain Removal Using Image Decomposition and a Dense Network

Removing rain from a single image is a challenging task due to the absence of temporal information. Considering that a rainy image can be decomposed into the low-frequency (LF) and high-frequency (HF) components, where the coarse scale information is retained in the LF component and the rain streaks and texture correspond to the HF component, we propose a single image rain removal algorithm using image decomposition and a dense network. We design two task-driven sub-networks to estimate the LF and non-rain HF components of a rainy image. The high-frequency estimation sub-network employs a densely connected network structure, while the low-frequency sub-network uses a simple convolutional neural network (CNN). We add total variation (TV) regularization and LF-channel fidelity terms to the loss function to optimize the two subnetworks jointly. The method then obtains de-rained output by combining the estimated LF and non-rain HF components. Extensive experiments on synthetic and real-world rainy images demonstrate that our method removes rain streaks while preserving non-rain details, and achieves superior de-raining performance both perceptually and quantitatively.      

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。     

基于多通道分离整合的多尺度单幅图像去雨算法

由于密度不同的雨对图像造成的遮挡不同,图像去雨一直都是一项极具挑战性的任务。目前,基于深度学习的图像去雨算法已经成为主流。然而,多数深度学习的架构都是通过堆叠卷积层来设计的,执行去雨任务后图像仍存在着大小不一的雨痕,这些方法并不能很好地关注训练中雨图的局部信息和上下文信息。为了解决上述问题,本文设计一种基于多通道分离整合的卷积神经网络用于图像去雨。第一步通过通道分离,再利用卷积层间的层级连接,构成多尺度模块,最终将不同通道的输出进行整合。该模块可以增大感受野,探索特征图之间的空间信息,更好地提取特征。第二步利用渐进网络来反复计算挖掘上下文信息,能够很好关联到全局特征。整体模型易于实施,可以端对端训练。在常用的数据集以及自建的自动驾驶雨天数据集上的大量实验表明,本文方法比现有方法取得了明显的改进。     

Densely connected multi-scale de-raining net

Rainy images severely degrade the visibility and make many computer vision algorithms invalid. Hence, it is necessary to remove rain streaks from single image. In this paper, we propose a novel network to handle with single image de-raining, which includes two modules: (a) multi-scale kernels de-raining layer and (b) multi-scale feature maps de-raining layer. Specifically, as spatial contextual information is important for single image de-raining, we develop a multi-scale kernels de-raining layer, which can utilize the multi-scale kernel that has receptive fields with different sizes to further capture the contextual information and these features are fused to learn the primary rain streaks structures. Moreover, we illustrate that convolution layers at different scales have similar structure of rain streaks by statistical pixel histogram and they can be processed in the same operation. So, we deal with the rain streaks information at different scales by using multi-scale kernels de-raining layers with shared parameters, where we call this operation as multi-scale feature maps de-raining layer. Finally, we employ dense connections to connect multi-scale feature maps de-raining layers to maximize the information flow along features from different levels. Quantitative and qualitative experimental results demonstrate the superiority of proposed method compared with several state-of-the-art de-raining methods, while the parameters of our proposed method are greatly reduced that benefits from the proposed shared parameters strategy at different scales

     

基于倍频卷积和注意力机制的图像去雨

针对机器视觉场景图像中由于雨线影响导致背景信息模糊、损失的问题,提出一种基于倍频卷积和注意力机制的图像去雨方法.首先,建立基于空-频域去雨模型,设计基于空间尺度变换和倍频卷积的频率特征分解模块,通过学习得到频率特征和雨线特征的映射关系,降低低频特征空间冗余,提高网络运行效率;其次,设计多层通道注意力模块映射雨线层权重信息,增强重要特征,挖掘雨线层之间的亮度差异,提高雨线检测性能;最后,通过序列操作迭代分解出不同成分的雨线信息,进而完成场景图像去雨.实验结果表明,所提方法对不同方向、形状的雨线和雨滴具有良好的去除性能,同时对于背景图像的细节与边缘信息也具有较好的保护作用.     

基于联合注意力机制的单幅图像去雨算法

现有的单幅图像去雨算法难以充分发掘不同维度注意力机制的相互作用,因此提出一种基于联合注意力机制的单幅图像去雨算法。该算法包含通道注意力机制和空间注意力机制：通道注意力机制检测各通道雨线特征的分布,并差异化各个特征通道的重要程度;空间注意力机制则针对通道内雨线分布的空间关系,以局部到全局的方式积累上下文信息,从而高效准确地去雨。此外,引入深度残差收缩网络,以利用残差模块中嵌入的软阈值非线性变换子网络来通过软阈值函数将冗余信息置零,从而提升CNN在噪声中保留图像细节的能力。在公开降雨数据集与自构建的降雨数据集上进行实验,相较于单一空间注意力算法,联合注意力去雨算法的峰值信噪比（PSNR）提升4.5%,结构相似性（SSIM）提升0.3%。实验结果表明,所提算法可以有效地进行单幅图像去雨和图像细节的信息保留,在目视效果和定量指标上均优于对比算法。     

自适应卷积的残差修正单幅图像去雨

目的 雨天户外采集的图像常常因为雨线覆盖图像信息产生色变和模糊现象。为了提高雨天图像的质量,本文提出一种基于自适应选择卷积网络深度学习的单幅图像去雨算法。方法 针对雨图中背景误判和雨痕残留问题,加入网络训练的雨线修正系数（refine factor,RF）,改进现有雨图模型,更精确地描述雨图中各像素受到雨线的影响。构建选择卷积网络（selective kernel network,SK Net）,自适应地选择不同卷积核对应维度的信息,进一步学习、融合不同卷积核的信息,提高网络的表达力,最后构建包含SK Net、refine factor net和residual net子网络的自适应卷积残差修正网络（selective kernel convolution using a residual refine factor,SKRF）,直接学习雨线图和残差修正系数（RF）,减少映射区间,减少背景误判。结果 实验通过设计的SKRF网络,在公开的Rain12测试集上进行去雨实验,取得了比现有方法更高的精确度,峰值信噪比（peak signal to noise ratio,PSNR）达到34.62 dB,结构相似性（structural similarity,SSIM）达到0.970 6。表明SKRF网络对单幅图像去雨效果有明显优势。结论 单幅图像去雨SKRF算法为雨图模型中的雨线图提供一个额外的修正残差系数,以降低学习映射区间,自适应选择卷积网络模型提升雨图模型的表达力和兼容性。