基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

一种用于图像去雾的改进生成对抗网络

雾霾天气会使计算机视觉相关系统获取到的图像质量下降并影响系统的正常工作。传统图像去雾算法通过分析大量图像建立模型,并找出清晰图像与模型之间的映射关系,但该类算法大多存在颜色失真和图像失真的问题,且在某些特定场景下可能失效。基于卷积神经网络的去雾算法得到的图像质量相对较好,但是该类算法对数据集要求较高,普遍需要成对数据进行训练,而获取同一时刻和场景下的有雾图像与无雾图像难度较高。提出一种基于循环生成对抗网络（CycleGAN）的改进图像去雾算法,该算法无需使用成对的数据进行训练。通过优化生成器生成的无雾图像与真实无雾图像之间的颜色损失,使得生成器能够生成与无雾图像具有相同颜色分布的图像。同时,通过向2个生成器中分别添加对应目标域图像的输入并引入特征损失函数,以解决经典CycleGAN在图像转换时存在的图像失真问题,从而更好地还原原始图像的细节特征。实验结果表明,相较DCP、CycleGAN、AOD-Net、Cycle-dehaze等算法,该算法的结构相似度提高4.3%~23.0%,峰值信噪比提高2.3%~36.9%,其能取得更好的去雾效果。     

基于透射率归一化的单幅图像去雾算法

在有雾天气条件下拍摄的图像,由于光线在传播人过程中受到空气中悬浮颗粒的散射,导致图像内容模糊不清,颜色偏灰白色。为了恢复出清晰的图像,根据大气散射物理模型,提出一种单幅图像去雾算法。首先,该算法从大气散射模型出发,对大气光模型进行变形化简,得到新的去雾模型。然后对大气光值估计,并利用在局部统计上不相关性恢复透射率。最后,对透射率进行归一化处理,带入模型,得到恢复图像。实验结果表明,该算法能够很好地恢复图像的对比度和保持图像的真实颜色。     

雾霾图像清晰化算法综述

雾霾图像不仅影响视觉效果,而且模糊不清晰的图像容易为后续识别、理解等高层次任务带来困难。雾霾图像清晰化问题是一个典型的不适定问题,其成像过程难以精确建模,消除图像中的雾霾面临巨大的挑战。近年来,研究者提出大量的图像去雾算法克服雾霾引起的图像降质退化,为全面认识和理解图像清晰化算法,论文对其进行梳理和综述。首先,对雾霾图像清晰化算法进行整理,根据雾霾退化过程是否有模型支持,将清晰化算法分为基于Retinex模型、大气散射模型去雾算法和无模型图像去雾算法。大气散射模型是有模型算法中主流模型,本文详细剖析了模型成像机理,并根据其成像机制揭示大气散射模型容易受大气浓度均匀分布假设的限制,较难处理非均匀雾霾图像问题。基于深度学习的无模型图像去雾算法则不仅可以应对非均匀雾霾图像,而且去雾性能获得了极大地提升。其次,本文汇总了近年来常用去雾数据集,从数据集适应范围、规模、可扩展性等多个维度进行总结。并根据雾霾图像形成方式,对人工合成雾霾数据集和真实拍摄数据集分别从定性和定量的角度探讨了数据集对图像去雾算法的影响。     

基于动态卷积核的自适应图像去雾算法

现有图像去雾方法普遍存在去雾不彻底、容易出现颜色失真等问题,基于传统深度学习模型的图像去雾方法多采用静态推理模式,在该模式下,模型对不同样本会采用同样的、固定的参数设置,从而抑制了模型的表达能力,影响图像的去雾效果。针对以上问题,文中提出了一种基于动态卷积核的自适应图像去雾算法,该算法包括编码网络、自适应特征增强网络和解码网络3个部分。文中采用动态卷积、密集残差、注意力机制设计了自适应特征增强网络,该网络主要包括动态残差组件和动态跨层特征融合组件。动态残差组件由动态密集残差模块、一个卷积层和双注意力模块构成,其中动态密集残差模块将动态卷积引入密集残差模块,同时设计了一个基于注意力的权重动态聚合子网络,动态地生成卷积核参数以达到样本自适应的目的,在减少信息丢失的同时增强了模型的表达能力;双注意力模块结合通道注意力和像素注意力,使模型更加关注图像通道之间的差异性以及雾霾分布不均匀的区域。动态跨层特征融合组件通过动态融合不同阶段的特征,来学习丰富的上下文信息,防止网络深层计算时遗忘网络的早期特征,同时极大地丰富了特征表示,有利于模型对无雾图像细节信息的恢复。在合成数据集和真实数据集上进行了大...     

基于感知监督和多层次特征融合的去雾算法

现有图像去雾方法在网络训练时没有考虑去雾后的图像是否满足人类视觉感知;其次以编解码结构为主要结构的去雾网络,不可避免丢失细节信息,去雾后的图像存在纹理模糊、颜色失真等问题。针对上述问题,提出了一个基于感知监督和多层次特征融合的图像去雾网络。在网络结构中设计了不同层次的特征融合模块。在编码阶段设计分辨率层次特征复用与融合模块,更好地提取不同尺度下表达能力更强的特征,为重建高质量图像提供更多细节信息;特征转换阶段设计空间上下文层次特征提取与融合模块,提取与融合不同感受野的空间上下文的特征,以提供更加精准的图像结构信息;解码阶段设计自适应特征融合模块,自适应地融合下采样阶段生成的不同分辨率层次的特征及特征转换阶段输出的不同空间上下文层次的特征;其次在训练阶段的损失函数中引入感知损失和多尺度结构相似度损失,引导网络学习更多的视觉感知属性。与当前主流方法相比较,该方法在定量和定性指标得到明显提升的同时提高了对去雾图像的视觉效果。实验结果表明在RESIDE合成数据集以及真实有雾图像上取得显著的去雾效果。     

含有大片天空区域图像的去雾算法

为提高包含天空区域图像的去雾效果,解决暗原色先验原理去雾容易导致天空区域色彩失真以及图像整体亮度较暗的问题,针对含有大片天空的图像,提出一种基于天空分割和色调映射的图像去雾算法.在HSI颜色空间中利用图像众数和图像连通区域提出天空识别算法,分割出天空与非天空区域;然后根据暗原色先验原理分别求取二者透射率,并在天空区域完成大气光值的估计;最后在RGB空间中利用大气散射模型复原图像,并经过改进的自适应色调映射得到最终的去雾图像.采用合成雾图、实景雾图和网络收集雾图进行实验的结果表明,该算法在主观视觉和客观指标方面均能得到质量更好的去雾图像.     

基于颜色饱和度的快速图像去雾研究

在雾霾天气条件下,室外场景图像往往会产生严重退化,造成图像对比度的下降和颜色的衰减。为得到清晰无雾的图像,从单色大气散射模型出发,提出一种基于颜色饱和度的快速图像去雾算法（FIDS）。首先,大气光亮度[A]通过四叉树方法进行估计,接着采用饱和度运算对透射率进行估计,并对其修正和平滑保边得到较精确的大气透射率,最后基于大气散射模型获取最终的去雾图像。对比实验结果表明该算法能提高图像的清晰度和运算效率,很好地恢复图像的颜色和对比度。     

结合密集注意力的自适应特征融合图像去雾网络

目前, 大多数图像去雾算法忽视图像的局部细节信息, 无法充分利用不同层次的特征, 导致恢复的无雾图像仍存在颜色失真、对比度下降和雾霾残留现象, 针对这一问题, 提出结合密集注意力的自适应特征融合图像去雾网络. 该网络以编码器-解码器结构为基本框架, 中间嵌入特征增强部分与特征融合部分, 通过在特征增强部分叠加由密集残差网络与CS联合注意模块构成的密集特征注意块, 使网络可以关注图像的局部细节信息, 同时增强特征的重复利用, 有效防止梯度消失; 在特征融合部分构建自适应特征融合模块融合低级与高级特征, 防止因网络加深而造成浅层特征退化. 实验结果表明, 所提算法在合成有雾图像数据集和真实有雾图像数据集上均表现优异, 在SOTS室内合成数据集上的峰值信噪比和结构相似性分别达到了35.81 dB和0.9889, 在真实图像数据集O-HAZE上的峰值信噪比和结构相似性分别达到了22.75 dB和0.7788, 有效解决了颜色失真、对比度下降和雾霾残留等问题.     

改进残差神经网络的图像去雾算法

针对图像去雾算法中存在因介质透射率估计不准确而造成色彩失真、去雾不完全的问题, 提出了一种改进残差神经网络的图像去雾算法. 首先采用并行多尺度卷积层提取雾图像特征. 然后通过引入了深度可分离卷积层的残差网络学习介质透射率, 并利用加权引导滤波细化介质透射率. 最后根据大气散射模型反演得到无雾清晰图像. 实验结果表明, 该算法与其他去雾算法相比在峰值信噪比(peak signal to noise ratio, PSNR)和结构相似度(structural similarity, SSIM)指标上取得了一定的提高, 并且去雾图像在主观视觉上也取得了较好表现.     

密集连接扩张卷积神经网络的单幅图像去雾

针对大多数图像去雾算法模型参数估计准确性差及色彩失真等问题,提出了一种端到端的密集连接扩张卷积神经网络。首先,通过使用多层密集连接结构来增加网络的特征利用率,避免网络加深时的梯度消失现象。其次,通过在密集块中使用不同扩张率的扩张卷积,使网络在充分聚合上下文特征信息时不损失空间分辨率,并避免了网格伪影的产生。最后,为了提高算法的去雾能力,将该网络划分为多个阶段,并在每个阶段引入侧输出模块,从而获得更精确的特征信息。实验结果表明,所提出的去雾算法无论是在合成数据集上还是在真实数据集上都取得了较好的去雾效果,恢复的色彩更接近无雾图像,并且定量评价指标峰值信噪比(PSNR)和结构相似性(SSIM)均优于其他对比方法。     

基于改进循环生成式对抗网络的图像去雾方法

针对现有图像去雾方法存在的颜色失真、细节丢失以及去雾效果不自然等问题,提出一种改进的循环生成式对抗网络用于图像去雾。通过添加多尺度鉴别器作为判别器来改进原始网络结构,增强判别能力,引导网络产生更精细自然的无雾图像。同时重新设计损失函数,使用最小二乘代替交叉熵作为对抗损失,引入循环感知损失,结合原始循环一致性损失组成新的复合损失函数,提高图像颜色与细节恢复的质量。在D-HAZY和SOTS数据集上的实验结果表明：该方法能够生成较为自然的无雾图像,其主观效果和客观指标均优于对比方法,具有更好的去雾能力;与原始循环生成式对抗网络相比,峰值信噪比从19.052 dB提高至23.128 dB,结构相似性指数从0.787提高至0.867。与DehazeNet、AOD-Net与GCANet等主流去雾方法相比,峰值信噪比和结构相似性指数比排名第二的方法分别提升7.1%和4.3%。     

基于Msmall-Patch训练的夜晚单幅图像去雾算法——MP-CGAN

针对基于暗通道先验（DCP）与大气散射模型方法实现夜晚图像去雾出现颜色失真及噪声等问题,提出一种基于Msmall-Patch训练的条件生成对抗网络（CGAN）去雾算法MP-CGAN。首先,将UNet与密集神经网络（DenseNet）网络结合成UDNet网络作为生成器网络结构;其次,对生成器与鉴别器网络使用Msmall-Patch训练,即通过对鉴别器最后Patch部分采取Min-Pool或Max-Pool方式提取多个小惩罚区域,这些区域对应退化严重或容易被误判的区域,与之对应提出重度惩罚损失,即在鉴别器输出中选取数个最大损失值作为损失;最后,将重度惩罚损失、感知损失与对抗感知损失组合成新的复合损失函数。在测试集上,与雾密度图预测算法（HDP-Net）相比,所提算法的峰值信噪比（PSNR）与结构相似性（SSIM）值分别提升了59%与37%;与超像素算法比,PSNR与SSIM值分别提升了59%与48%。实验结果表明,所提算法能够减少CGAN训练过程产生的噪声伪影,提高了夜晚图像去雾质量。     

特征学习的单幅图像去雾算法

目的 雾霾天气使图像降质,严重影响军事、交通和安全监控等领域信息系统的正常运作,因此图像去雾具有重要研究意义。目前主流的单幅图像去雾算法主要利用各种与雾相关的颜色特征实现,但不同的颜色先验知识往往存在各自的场景局限性。为提高图像去雾的普适性,提出一种特征学习的单幅图像去雾方法。方法 首先通过稀疏自动编码机对有雾图像进行多尺度的纹理结构特征提取,同时抽取各种与雾相关的颜色特征。然后采用多层神经网络进行样本训练,得到雾天条件下纹理结构特征及颜色特征与场景深度间的映射关系,并估算出有雾图像的场景深度图。最后结合大气散射模型,根据场景深度图复原无雾图像。结果 与主流去雾算法的结果定性对比,复原后的图像细节更清晰,颜色更自然。采用均方误差和结构相似度定量评价各算法去雾结果与真实无雾图像的相似度,本文算法结果与真实无雾场景间的相似度最高,达到99.9%。结论 对实验结果的定性及定量分析表明,本文算法能有效获取有雾图像的场景深度,复原出视觉效果理想的无雾图像,且具有很好的场景普适性。     

FPD Net: Feature Pyramid DehazeNet

We propose an end-to-end dehazing model based on deep learning (CNN network) and uses the dehazing model re-proposed by AOD-Net based on the atmospheric scattering model for dehazing. Compare to the previously proposed dehazing network, the dehazing model proposed in this paper make use of the FPN network structure in the field of target detection, and uses five feature maps of different sizes to better obtain features of different proportions and different sub-regions. A large amount of experimental data proves that the dehazing model proposed in this paper is superior to previous dehazing technologies in terms of PSNR, SSIM, and subjective visual quality. In addition, it achieved a good performance in speed by using EfficientNet B0 as a feature extractor. We find that only using high-level semantic features can not effectively obtain all the information in the image. The FPN structure used in this paper can effectively integrate the high-level semantics and the low-level semantics, and can better take into account the global and local features. The five feature maps with different sizes are not simply weighted and fused. In order to keep all their information, we put them all together and get the final features through decode layers. At the same time, we have done a comparative experiment between ResNet with FPN and EfficientNet with BiFPN. It is proved that EfficientNet with BiFPN can obtain image features more efficiently. Therefore, EfficientNet with BiFPN is chosen as our network feature extraction.     

基于暗原色先验原理的偏振图像浓雾去除算法

在浓雾天气下,针对基于常规偏振特性去雾算法去雾效果不理想的特点,提出了一种基于暗原色先验原理的颜色空间转化算法去除偏振图像的浓雾。相比传统的成像技术,偏振图像探测技术在复杂环境下的目标探测和识别处理具有独特的优势,偏振图像通常采用强度图、偏振度图、偏振角图来表征目标的偏振信息。为了达到偏振信息与去雾模型相结合的目的,采用一种颜色空间转化的方法,首先把偏振信息转化到HIS颜色空间对应的亮度、色度、饱和度等各分量中,再把HIS颜色空间映射到RGB空间;其次,结合雾霾图像的大气散射模型用暗原色先验原理求图像的暗通道图;最后,在图像的稀疏先验基础上用softmatting算法细化修正大气传输率。实验结果表明,在能见度很低时,去雾后图像的标准差、信息熵、平均梯度等指标比现有的偏振去雾技术提高很多,该方法能有效增强浓雾天气下图像的整体对比度,提高偏振图像的目标识别能力。     

基于深度残差生成对抗网络的医学影像超分辨率算法

针对医学影像超分辨率重建过程中细节丢失导致的模糊问题,提出了一种基于深度残差生成对抗网络（GAN）的医学影像超分辨率算法。首先,算法包括生成器网络和判别器网络,生成器网络生成高分辨率图像,判别器网络辨别图像真伪。然后,通过设计生成器网络的上采样采用缩放卷积来削弱棋盘效应,并去掉标准残差块中的批量规范化层以优化网络;进一步增加判别器网络中特征图数量以加深网络等方面提高网络性能。最后,用生成损失和判别损失来不断优化网络,指导生成高质量的图像。实验结果表明,对比双线性内插、最近邻插值、双三次插值法、基于深度递归神经网络、基于生成对抗网络的超分辨率方法（SRGAN）,所提算法重建出了纹理更丰富、视觉更逼真的图像。相比SRGAN方法,所提算法在峰值信噪比（PSNR）和结构相似度（SSIM）上有0.21 dB和0.32%的提升。所提算法为医学影像超分辨率的理论研究提供了深度残差生成对抗网络的方法,在其实际应用中可靠、有效。