基于雨雾分离处理和多尺度网络的图像去雨方法

雨带来的雨条纹和雨雾会降低户外拍摄图像的质量,为了去除雨雾对图像的影响,提出了一种基于雨雾分离处理和多尺度卷积神经网络的图像去雨方法。首先利用导向滤波将雨线和图像细节信息提取到高频层,雨雾和背景信息则分离到低频层;然后构建多尺度卷积神经网络来去除高频层中的雨线,网络中融入多个稠密连接模块以提升特征提取的准确性;其次构建多层特征融合的轻量级去雾网络来去除低频层中的雨雾,采用参数一体化结构避免了估计多个大气散射模型参数导致的次优解;最后再结合处理后的高低频结果还原出清晰图像。在多个合成的雨雾数据集以及真实自然场景图像上进行测试,定性和定量结果表明,提出的方法在去除雨雾影响的同时较好地保留了色彩信息,和近年的算法相比,图像结构相似性约提升了0.02~0.08,图像峰值信噪比约提升了0.2~3.5 dB。     

基于形态成分分析和Contourlet变换的自适应阈值图像去噪方法

针对含有丰富纹理和边缘特征的噪声图像,提出一种基于形态成分分析(MCA)和Contourlet变换的自适应阈值图像去噪方法.该方法首先引入MCA将噪声图像分为低频部分和高频部分,在此基础上设计一种自适应的分层阈值估计处理策略.根据噪声的分布特性,通过阈值估计和Contourlet变换对噪声图像的低频部分和高频部分进行分频带去噪处理,有效去除噪声图像中的噪声.通过对噪声图像的仿真实验表明,文中方法能较好地保留图像纹理和边缘,并且去噪效果优于传统的均值滤波去噪、中值滤波去噪、小波多层阈值去噪和轮廓波多层阈值去噪方法.     

自适应多尺度分块压缩感知算法

目的 基于小波域的多尺度分块压缩感知重构算法忽略了高频信号在重构过程中的作用,丢失了大量的边缘与细节信息。针对上述问题,提出一种自适应多尺度分块压缩感知算法,不仅合理利用低频信息还充分利用图像的高频信息,在图像细节复杂度提高的情况下保证图像重构质量的提高。方法 首先进行3层小波变换,得到一个低频信号和9个高频信号,分别进行小波逆变换后分成大小相同互不重叠的块,对低频部分采用2维邻块边缘自适应加权滤波的方法进行处理,对高频部分采用纹理自适应分块采样,最后利用平滑投影Landweber（SPL）算法对其进行重构。结果 与已有的分块压缩感知算法、基于边缘和方向的分块压缩感知算法和基于纹理和方向的分块压缩感知算法相比,本文算法在不同的采样率下,性能均有所提升,代表细节信息的高频信号得到充分重建,改进的算法所得到的重建图像具有较高的分辨率,尤其对细节较为丰富的图像进行重建后具有较高的峰值信噪比;2维邻块边缘自适应加权滤波有效的去除了重建图像的块效应,且重建时间平均减少了0.3 s。结论 将三层小波变换后的高频分量作为纹理部分,利用自适应多尺度分块重建出图像的轮廓与边缘;将低频分量直接视为平坦部分,邻块边缘自适应加权滤波重建出图像细节,不仅充分利用了图像的高低频信息,还减少了平坦块检测过程,使得重建时间有效缩短。经实验验证,本文算法重建图像质量较好,尤其是对复杂图像明显消除了块效应,边缘和纹理细节较清晰。因此主要适用于纹理细节较复杂的人脸图像、建筑图像和遥感图像等。     

单帧红外图像低频非均匀性噪声校正算法

红外成像系统中,低频非均匀性噪声严重影响红外系统的成像效果,传统基于标定的方法无法对其进行有效的去除.为此,提出一种基于曲面拟合的低频非均匀性噪声校正算法,首先对含噪图像进行小波滤波,以抑制高频信息;然后利用场景和低频非均匀性噪声梯度的稀疏特性,建立关于非均匀性噪声曲面参数的■正则化能量泛函,并利用ADMM方法求解最优的非均匀性噪声曲面参数;最后将原始图像减去估计的低频非均匀性噪声得到校正后的图像.使用中波红外热像仪拍摄得到红外图像,对仿真图像和实际图像进行校正,实验结果表明,该算法能明显降低图像的粗糙度和非均匀性值,且有效地去除低频非均匀性噪声.     

结合人眼亮度调制传递函数的形态学锐化算法

针对常规彩色图像锐化方法存在的局限性,提出一种空间域锐化算法,其中包括数学形态学运算,利用高斯滤波器分离图像的低频成分和高频成分,强化图像高频成分,调整图像低频成分,将两者合成为新的输出图像。由于形态学开运算和闭运算分别具有自适应极大值滤波和极小值滤波的特点,因此将开闭组合运算用于图像高频成分,自适应地突出图像局部细节,再根据人眼亮度调制传递函数模型,对图像的低频成分进行全局调整,从而进一步改善图像的整体视觉效果。结果证明,该方法在RGB彩色空间和色调/亮度/饱和度感知彩色空间内的锐化效果都好于常规锐化方法。     

卡通纹理分解和全变分梯度算法实现图像恢复

为了研究图像恢复技术,提出采用卡通纹理分解和基于全变分的广义加速临近梯度算法实现图像恢复。将原始模糊图像分解成卡通部分和纹理部分,卡通部分主要是图像的低频成分受噪声干扰小,纹理部分主要是图像的高频成分受噪声干扰大,采用基于全变分的广义加速临近梯度算法进行图像去模糊和去噪,卡通部分选择较小的正则化参数,纹理部分选择较大的正则化参数,将恢复的卡通部分和纹理部分进行合成得到恢复图像。通过对两张标准测试图像的MATLAB实验仿真,证明了该方法不仅收敛速度快而且效果比一般的临近梯度算法要好,尤其适合于恢复模糊度不是很高的图像。     

基于小波变换与图割的彩色图像分割方法

为提高图割算法的分割效率与质量并改善shrinking bias现象,提出将图割理论与小波变换相结合的方法.该方法利用小波变换多分辨率分析的特点,将变换中的低频子带图像作为估计GMM参数的训练样本进行多尺度迭代分割,提高算法效率,利用简单高效的CS_LBP纹理描述子提取高频子带图像中的纹理信息,将颜色与纹理特征相结合改善分割效果,并利用高频系数进行多尺度边缘检测,用于计算局部自适应的正则化参数,改善对细长边界的分割.实验结果表明,分割效果得到了改善,算法效率得到了提高.     

基于特征图注意力机制的图像超分辨率重建

图像超分辨率重建中的高频分量通常包含较多轮廓、纹理等细节信息,为更好地处理特征图中的高频分量与低频分量,实现自适应调整信道特征,提出一种基于特征图注意力机制的图像超分辨重建网络模型.利用特征提取块提取原始低分辨率图像中的特征信息,基于多个结合特征图注意力机制的信息提取块,通过特征信道之间的相互依赖性自适应调整信道特征,...     

自适应全变分图像去噪模型及其快速求解*

在联合冲击滤波器和非线性各向异性扩散滤波器对含噪图像做预处理的基础上,利用边缘检测算子选取自适应参数,构建能同时兼顾图像平滑去噪与边缘保留的自适应全变分模型,并基于Bregman迭代正则化方法设计了其快速迭代求解算法.实验结果表明,自适应去噪模型及其求解算法在快速去除噪声的同时保留了图像的边缘轮廓和纹理等细节信息,得到的复原图像在客观评价标准和主观视觉效果方面均有所提高.     

自适应Shearlet域约束的全变差图像去噪

采用传统非线性扩散图像去噪方法得到的图像边缘模糊,为此,提出一种有限自适应Shearlet域约束的极小化变分图像去噪算法。通过自适应阈值收缩Shearlet系数,保留图像纹理与边缘空间,利用全变差极小化平滑空间,建立全变差正则化的能量泛函去噪模型。实验结果表明,该算法能在减少图像噪声的同时,保留图像边缘信息,对含有丰富纹理结构的图像,去噪性能更佳。     

改进BPDN的图像去雨雪应用研究

在视频图像数据采集时,往往受到天气等因素的影响,为进一步研究视频图像数据的主要信息增加了困难。雨、雪天气作为视频图像数据预处理中最为困难的研究,近几年一直是各学者研究的课题。针对传统基追踪去噪（BPDN）算法没有考虑雨、雪图像的局部特征问题,提出一种基于改进BPDN的图像去雨雪算法。将局部特征约束理论引入图像去雨雪中,主要是在精炼雨图提取的稀疏系数优化问题求解中加入训练图像数据的局部信息,以达到提高雨线的识别,进而提高图像的雨线去除效果。引入局部信息的优化问题可以推导为二次规划问题,为使用BPDN算法提供了理论支持。合成和真实图像去雨实验结果表明,改进的BPDN算法在算法收敛性、精炼雨图识别、图像去雨效果上优于传统BPDN算法所得到的结果。     

融合3D注意力和Transformer的图像去雨网络

目的 因为有雨图像中雨线存在方向、密度和大小等各方面的差异,单幅图像去雨依旧是一个充满挑战的研究问题。现有算法在某些复杂图像上仍存在过度去雨或去雨不足等问题,部分复杂图像的边缘高频信息在去雨过程中被抹除,或图像中残留雨成分。针对上述问题,本文提出三维注意力和Transformer去雨网络(three-dimension attention and Transformer deraining network,TDATDN)。方法 将三维注意力机制与残差密集块结构相结合,以解决残差密集块通道高维度特征融合问题;使用Transformer计算特征全局关联性;针对去雨过程中图像高频信息被破坏和结构信息被抹除的问题,将多尺度结构相似性损失与常用图像去雨损失函数结合参与去雨网络训练。结果 本文将提出的TDATDN网络在Rain12000雨线数据集上进行实验。其中,峰值信噪比(peak signal to noise ratio,PSNR)达到33.01 dB,结构相似性(structural similarity,SSIM)达到0.927 8。实验结果表明,本文算法对比以往基于深度学习的神经网络去雨算法,显著改善了单幅图像去雨效果。结论 本文提出的TDATDN图像去雨网络结合了3D注意力机制、Transformer和编码器—解码器架构的优点,可较好地完成单幅图像去雨工作。     

一种基于雨线主方向自适应的全局稀疏去雨模型

针对现有单幅图像去雨算法较少考虑风力对雨线主方向产生影响的问题,当雨线偏离垂直方向时,现有方法未采取旋转或者只进行大致旋转,去雨后的结果图出现了雨线残留明显或背景模糊化的现象。因此,本文提出了一种基于雨线主方向自适应的全局稀疏去雨模型。首先,将方差最小的图像块与图像库的雨线图依据HOG特征进行匹配,将匹配度最高的雨线图主方向视作待处理雨图的雨线主方向,从而确定全局稀疏模型的旋转角。然后,通过3个包含旋转角的稀疏正则项构建全局稀疏模型进行去雨。最后,通过颜色掩膜对全局稀疏模型去雨后的部分背景进行保护,再与原来的CbCr通道重组,得到最终的去雨图。研究结果表明:在峰值信噪比和结构相似性方面,本文算法均比3种典型的对比算法有所提高,且运行时间相对短。本文算法在有效去除雨线的同时,可较大程度地保留图像的背景细节信息。     

基于Transformer的多分支单图像去雨方法

雨纹会严重降低拍摄图像的质量,影响后续计算机视觉任务。为了提高雨天图像的质量,提出了一种基于Transformer的单图像去雨算法。首先,该算法通过具有窗口机制的Transformer获得大范围的感受野,进而获取雨纹特征的上下文信息,提高模型提取雨纹特征的能力;其次,该算法通过多分支模块提取和融合不同种类、不同层次的特征,提高模型对复杂雨纹信息的表征能力;最后通过残差连接融合浅层特征和深层特征,补全深层特征中缺失的细节信息,增强网络表达能力。在公开数据集Rain100L、Rain100H和私有数据集Rain3000上的实验结果表明,该方法相较于现有算法,能更有效地去除雨纹,同时更好地恢复图像中丢失的背景纹理信息。峰值信噪比和结构相似度（PSNR/SSIM）分别达到38.33/0.9855、28.42/0.9000、34.51/0.9643。     

Depth-guided asymmetric CycleGAN for rain synthesis and image deraining

Based on supervised learning, most of the existing single image deraining networks are trained on paired images including one clean image and one rain image. Since it is difficult to obtain a sufficient number of paired images, most of the rain images are manually synthesized from the clean ones. However, it costs huge time and effort, and requires professional experience to mimic the real rain images well. Moreover, the superior performance of these deraining networks trained on manually synthetic rain images is hard to be maintained when tested on real rain images. In this work, to obtain more realistic rain images for training supervised deraining networks, the depth-guided asymmetric CycleGAN (DA-CycleGAN) is proposed to translate clean images to their rainy counterparts automatically. Due to the cycle consistency strategy, DA-CycleGAN can also implement the single image deraining task unsupervised while synthesizing rain on clean images. Since rain streaks and rain mist vary with depth from the camera, DA-CycleGAN adopts depth information as an aid for rain synthesis and deraining. Furthermore, we design generators with different architectures for these two processes due to the information asymmetry in rain synthesis and deraining. Extensive experiments indicate that the DA-CycleGAN can synthesize more lifelike rain images and provide commensurate deraining performance compared with the state-of-the-art deraining methods.

     

多尺度渐进式残差网络的图像去雨

目的 现有的去雨方法存在去雨不彻底和去雨后图像结构信息丢失等问题。针对这些问题,提出多尺度渐进式残差网络(multi scale progressive residual network, MSPRNet)的单幅图像去雨方法。方法 提出的多尺度渐进式残差网络通过3个不同感受野的子网络进行逐步去雨。将有雨图像通过具有较大感受野的初步去雨子网络去除图像中的大尺度雨痕。通过残留雨痕去除子网络进一步去除残留的雨痕。将中间去雨结果输入图像恢复子网络,通过这种渐进式网络逐步恢复去雨过程中损失的图像结构信息。为了充分利用残差网络的残差分支上包含的重要信息,提出了一种改进残差网络模块,并在每个子网络中引入注意力机制来指导改进残差网络模块去雨。结果 在5个数据集上与最新的8种方法进行对比实验,相较于其他方法中性能第1的模型,本文算法在5个数据集上分别获得了0.018、0.028、0.012、0.007和0.07的结构相似度(structural similarity, SSIM)增益。同时在Rain100L数据集上进行了消融实验,实验结果表明,每个子网络的缺失都会造成去雨性能的下降,提出的多尺度渐进式网...     

图像复原中自注意力和卷积的动态关联学习

目的 卷积神经网络（convolutional neural network,CNN）和自注意力（self-attention,SA）在多媒体应用领域已经取得了巨大的成功。然而,鲜有研究人员能够在图像修复任务中有效地协调这两种架构。针对这两种架构各自的优缺点,提出了一种关联学习的方式以综合利用两种方法的优点并抑制各自的不足,实现高质高效的图像修复。方法 本文结合CNN和SA两种架构的优势,尤其是在特定的局部上下文和全局结构表示中充分利用CNN的局部感知和平移不变性,以及SA的全局聚合能力。此外,图像的降质分布揭示了图像空间中退化的位置和程度。受此启发,本文在背景修复中引入退化先验,并据此提出一种动态关联学习的图像修复方法。核心是一个新的多输入注意力模块,将降质扰动的消除和背景修复关联起来。通过结合深度可分离卷积,利用CNN和SA两种架构的优势实现高效率和高质量图像修复。结果 在Test1200数据集中进行了消融实验以验证算法各个部分的有效性,实验结果证明CNN和SA的融合可以有效提升模型的表达能力;同时,降质扰动的消除和背景修复关联学习可以有效提升整体的修复效果。本文方法在3个图像修复任务的合成和真实数据上与其他10余种方法进行了比较,提出的方法取得了显著的提升。在图像去雨任务上,本文提出的ELF（image deeraining meets association learning and Transformer）方法在合成数据集Test1200上,相比于MPRNet（multi-stage progressive image restoration network）,PSNR（peaksignal-to-noise ratio）值提高0.9dB;在水下图像增强任务上,ELF在R90数据集上超过Ucolor方法4.15dB;在低照度图像增强任务上,相对于LLFlow（flow-based low-light image enhancement）算法,ELF获得了1.09dB的提升。结论 本文方法在效果和性能上具有优势,在常见的图像去雨、低照度图像增强和水下图像修复等任务上优于代表性的方法。     

基于卷积长短期记忆的残差注意力去雨网络

无人驾驶汽车在雨天环境中行驶,由于车载相机采集的图片包含雨纹噪声,导致无人驾驶系统的目标检测精度降低,关键目标识别困难。为解决这些问题,提出了一种基于卷积长短期记忆的残差注意力去雨网络。首先提出卷积长短期记忆（CLSTM）单元对不同尺度的雨纹分布进行学习,然后使用残差通道注意力机制对雨纹进行提取,最后将雨图与雨纹提取信息相减得到修复后的背景图。为确定最优的网络结构,对各网络模块进行消融实验,然后选择去雨效果最优的结构作为去雨网络。通过对网络参数的不断优化,所提算法在数据集Rain100H、Rain100L、Real200上进行测试,结果显示该算法的峰值信噪比（PSNR）分别达到29.1 dB、33.1 dB、32.4 dB,结构相似性（SSIM）分别达到0.89、0.94和0.93。实验结果表明,通过生成对抗网络（GAN）判别器对雨纹去除效果的额外监督,所提算法取得了明显的雨纹去除效果,增强了无人驾驶系统在复杂降雨条件下的环境感知能力。     

结合面部动作单元感知的三维人脸重建算法

真实场景往往面临数据稀缺和数据动态变化的问题, 小样本增量学习的目的是利用少量数据推理数据知识并减缓模型对于旧知识的灾难性遗忘. 已有的小样本增量学习的算法(CEC和FACT等)主要是利用视觉特征来调整特征编码器或者分类器, 实现模型对于新数据的迁移和旧数据的抗遗忘. 但是少量数据的视觉特征往往难以建模一个类别的完整特征分布, 导致上述算法的泛化能力较弱. 相比于视觉特征, 图像类别描述的文本特征具有较好的泛化性和抗遗忘性. 因此, 在视觉语言模型的基础上, 研究基于文本知识嵌入的小样本增量学习, 通过在视觉特征中嵌入具有抗遗忘能力的文本特征, 实现小样本增量学习中新旧类别数据的有效学习. 具体而言, 在基础学习阶段, 利用视觉语言模型抽取图像的预训练视觉特征和类别的文本描述, 并通过文本编码器实现预训练视觉特征到文本空间的映射. 进一步利用视觉编码器融合学习到的文本特征和预训练视觉特征抽象具有高辨别能力的视觉特征. 在增量学习阶段, 提出类别空间引导的抗遗忘学习, 利用旧数据的类别空间编码和新数据特征微调视觉编码器和文本编码器, 实现新数据知识学习的同时复习旧知识. 在4个数据集(CIFAR-100, CUB-200, Car-196和 miniImageNet)上验证算法的有效性, 证明基于视觉语言模型文本知识嵌入可以在视觉特征的基础上进一步提升小样本增量学习的鲁棒性.     

Rain Wiper: An Incremental Randomly Wired Network for Single Image Deraining

Single image rain removal is a challenging ill‐posed problem due to various shapes and densities of rain streaks. We present a novel incremental randomly wired network (IRWN) for single image deraining. Different from previous methods, most structures of modules in IRWN are generated by a stochastic network generator based on the random graph theory, which ease the burden of manual design and further help to characterize more complex rain streaks. To decrease network parameters and extract more details efficiently, the image pyramid is fused via the multi‐scale network structure. An incremental rectified loss is proposed to better remove rain streaks in different rain conditions and recover the texture information of target objects. Extensive experiments on synthetic and real‐world datasets demonstrate that the proposed method outperforms the state‐of‐the‐art methods significantly. In addition, an ablation study is conducted to illustrate the improvements obtained by different modules and loss items in IRWN.