基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

基于多补丁和多尺度层级聚合网络的快速非均匀图像去雾

尽管基于卷积神经网络的去雾算法在合成的均匀雾气数据集上已经取得了巨大进展,但在真实的非均匀有雾图像上仍然表现不佳.为了快速有效地去除图像中的非均匀雾气,文中首先提出了一种多补丁和多尺度层级聚合网络结构(Multi-patch and Multi-scale Hierarchical Aggregation Network,MPSHAN),融合了多补丁局部化信息和多尺度全局化信息.其次,提出了层级融合模块(Hierarchical Fusion Module,HFM),既解耦了残差融合以实现更丰富的非线性特征表达,又通过通道注意力机制提升了关键位置的特征融合质量.同时,对层级结构使用扩张卷积获得多尺度信息,增强特征图以优化融合效果.此外,在损失函数中加入频域损失以恢复更好的边缘质量.实验结果表明,所提算法在非均匀雾气图像上具有很好的鲁棒性,1200×1600高分辨率图像的平均处理时间仅有0.044s,相比其他去雾算法,其在图像去雾效果和运行时间之间实现了更好的平衡.     

基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.     

多尺度密集感受域的GAN图像去雾算法

基于先验的图像去雾算法依赖于大气散射模型，易受环境影响出现去雾不彻底、颜色失真等现象，针对上述问题本文基于深度学习，提出一种多尺度密集感受域的GAN图像去雾算法。首先构建一个多尺度学习的生成器网络，通过3种不同尺度提取图像的局部细节和全局信息后进行特征融合；然后通过感受密集块来增大感受野并获得丰富的上下文信息，将提取到的特征图在多个感受密集块中对特征进一步细化；接着使用一个多尺度的GAN判别器，由2个相同的子判别器D1和D2组成，2个子判别器联合指导生成器的训练；最后本文结合L1损失、感知损失和对抗损失，设计一个多元损失函数来收敛网络。在SOTS测试集上进行主观评价和客观评价，实验结果表明，本文算法取得了较优的效果，有效改善去雾不彻底的现象。     

基于多尺度特征融合生成对抗网络的水下图像增强

针对水下退化图像细节模糊、对比度低和蓝绿色偏问题,提出了一种基于多尺度特征融合生成对抗网络的水下图像增强算法。算法以生成对抗网络为基本框架,结合传统白平衡算法和多尺度增强网络实现对水下退化图像的增强。通过改进的通道补偿白平衡算法矫正蓝绿色偏,并以卷积神经网络提取偏色校正后图像的特征;提取图像多尺度特征,结合提出的残差密集块将每一层的局部特征增强为捕获语义信息的全局特征,并与偏色校正图像的特征相融合;通过重建模块将融合特征重建为清晰图像,恢复图像的细节信息。实验结果表明,该算法增强的水下图像去雾效果较好且颜色更真实,有效改善了水下图像色偏和模糊的问题,在主观指标和客观指标上的实验结果均优于对比算法。     

基于感知监督和多层次特征融合的去雾算法

现有图像去雾方法在网络训练时没有考虑去雾后的图像是否满足人类视觉感知;其次以编解码结构为主要结构的去雾网络,不可避免丢失细节信息,去雾后的图像存在纹理模糊、颜色失真等问题。针对上述问题,提出了一个基于感知监督和多层次特征融合的图像去雾网络。在网络结构中设计了不同层次的特征融合模块。在编码阶段设计分辨率层次特征复用与融合模块,更好地提取不同尺度下表达能力更强的特征,为重建高质量图像提供更多细节信息;特征转换阶段设计空间上下文层次特征提取与融合模块,提取与融合不同感受野的空间上下文的特征,以提供更加精准的图像结构信息;解码阶段设计自适应特征融合模块,自适应地融合下采样阶段生成的不同分辨率层次的特征及特征转换阶段输出的不同空间上下文层次的特征;其次在训练阶段的损失函数中引入感知损失和多尺度结构相似度损失,引导网络学习更多的视觉感知属性。与当前主流方法相比较,该方法在定量和定性指标得到明显提升的同时提高了对去雾图像的视觉效果。实验结果表明在RESIDE合成数据集以及真实有雾图像上取得显著的去雾效果。     

基于生成对抗网络的图像去雾算法

为了提高雾霾条件下拍摄到的模糊图像的质量,提出了一种基于生成对抗学习思想的卷积神经网络去雾算法.该卷积网络在生成模型部分将介质透射率和大气光值嵌入一个变量,进行了联合优化,避免了分离优化影响整体去雾性能的缺陷;在对抗模型部分,将生成模型部分的输出清晰图和真实的清晰图进行对比,从而判别生成的输出清晰图是否足够真实.为了生成更加逼真的清晰图像,引入了一种新的损失函数来优化网络参数,该损失函数同时纳入了图像的L₂损失和双向梯度损失、特征损失和判别器损失,从4个方面来保证去雾性能的良好表现.除此之外,在训练网络的过程中,使用了真实图像和合成有雾图像同时作为数据集,其中的合成图像在合成过程中采用引导滤波算法,这样可以使得合成的有雾图像更加接近于自然情况.最后,引入了更多的评价指标验证了所提方法.基于不同方法的实验数据和实验结果证明了本文方法在已有方法上的提升.     

一种基于改进AOD-Net的航拍图像去雾算法

针对航拍图像易受雾气影响, AOD-Net (All in one dehazing network)算法对图像去雾后容易出现细节模糊、对比度过高和图像偏暗等问题, 本文提出了一种基于改进AOD-Net的航拍图像去雾算法. 本文主要从网络结构、损失函数、训练方式三个方面对AOD-Net进行改良. 首先在AOD-Net的第二个特征融合层上添加了第一层的特征图, 用全逐点卷积替换了传统卷积方式, 并用多尺度结构提升了网络对细节的处理能力. 然后用包含有图像重构损失函数、SSIM (Structural similarity)损失函数以及TV (Total variation)损失函数的复合损失函数优化去雾图的对比度、亮度以及色彩饱和度. 最后采用分段式的训练方式进一步提升了去雾图的质量. 实验结果表明, 经该算法去雾后的图像拥有令人满意的去雾结果, 图像的饱和度和对比度相较于AOD-Net更自然. 与其他对比算法相比, 该算法在合成图像实验、真实航拍图像实验以及算法耗时测试的综合表现上更好, 更适用于航拍图像实时去雾.     

基于映射关系的GAN网络实现图像去雾

图像去雾是图像处理中的一个重要研究方向。为了提高对图像的去雾效率,文章通过改进大气散射模型,基于生成对抗网络(Generative Adversarial Network,GAN)算法实现图像去雾。该方法实现步骤如下,首先将有雾图像分解为无雾图像和经过雾散射后的环境自然光叠加,其次通过生成器网络生成大气散射光图像,估算透射率从而求解无雾图像,最后利用GAN网络的生成器和判别器网络进行对抗训练,得到接近真实的大气环境光和透射率,达到对图像快速去雾的目的。实验结果表明,设计方法在合成雾天图像和真实雾天图像中均取得了较好的去雾效果,虽然在客观评价指标上与经典的去雾算法保持相同水平,但时间消耗远少于其他算法。     

生成对抗映射网络下的图像多层感知去雾算法

雾霾常会影响获取图像的质量,单幅图像去雾是一个具有挑战性的不适定问题.针对传统的去雾方法存在去雾结果颜色失真、适用范围局限等问题,提出一种基于深度网络的去雾算法——生成对抗映射网络的多层感知去雾算法.在训练阶段中,利用生成对抗映射网络里判别网络与生成网络间对抗式训练机制,保证生成网络中参数的最优解;在测试还原过程中,先提取有雾图像中雾气相关特征,并利用训练得到的生成网络对提取特征进行多层感知映射,进而得到反映雾气深度信息的透视率,最终运用得到的透视率实现了图像去雾.实验结果表明,与同类算法相比,该算法能较好地还原出场景中目标的真实色彩,并抑制部分噪声,去雾效果明显.     

Finger vein image inpainting using neighbor binary-wasserstein generative adversarial networks (NB-WGAN)

Traditional inpainting methods obtain poor performance for finger vein images with blurred texture. In this paper, a finger vein image inpainting method using Neighbor Binary-Wasserstein Generative Adversarial Networks (NB-WGAN) is proposed. Firstly, the proposed algorithm uses texture loss, reconstruction loss, and adversarial loss to constrain the network, which protects the texture in the inpainting process. Secondly, the proposed NB-WGAN is designed with a coarse-to-precise generator network and a discriminator network composed of two Wasserstein Generative Adversarial Networks with Gradient Penalty (WGAN-GP). The cascade of a coarse generator network and a precise generator network based on Poisson fusion can obtain richer information and get natural boundary connection. The discriminator consists of a global WGAN-GP and a local WGAN-GP, which enforces consistency between the entire image and the repaired area. Thirdly, a training dataset is designed by analyzing the locations and sizes of the damaged finger vein images in practical applications (i.e., physical oil dirt, physical finger molting, etc). Experimental results show that the performance of the proposed algorithm is better than traditional inpainting methods including Curvature Driven Diffusions algorithm without texture constraints, a traditional inpainting algorithm with Gabor texture constraints, and a WGAN inpainting algorithm based on attention mechanism without texture constraints.

     

基于U-Net结构的生成式多重对抗隐写算法

人工智能的发展为信息隐藏技术带来越来越多的挑战,提高现有隐写方法的安全性迫在眉睫.为提高图像的信息隐藏能力,提出一种基于U-Net结构的生成式多重对抗隐写算法.所提算法通过生成对抗网络与隐写分析器优化网络、隐写分析对抗网络间的多重对抗训练,构建生成式多重对抗隐写网络模型,生成适合信息隐写的载体图像,提高隐写图像抗隐写分析能力;同时,针对现有生成对抗网络只能生成随机图像,且图像质量不高的问题,设计基于U-Net结构的生成式网络模型,将参考图像的细节信息传递到生成载体图像中,可控地生成高质量目标载体图像,增强信息隐藏能力;其次,采用图像判别损失、均方误差(MSE)损失和隐写分析损失动态加权组合作为网络迭代优化总损失,保障生成式多重对抗隐写网络快速稳定收敛.实验表明,基于U-Net结构的生成式多重对抗隐写算法生成的载体图像PSNR最高可达到48.60 dB,隐写分析器对生成载体图像及其隐写图像的判别率为50.02%,所提算法能够生成适合信息嵌入的高质量载体图像,保障隐写网络快速稳定收敛,提高了图像隐写安全性,可以有效抵御当前优秀的隐写分析算法的检测.     

基于Msmall-Patch训练的夜晚单幅图像去雾算法——MP-CGAN

针对基于暗通道先验（DCP）与大气散射模型方法实现夜晚图像去雾出现颜色失真及噪声等问题,提出一种基于Msmall-Patch训练的条件生成对抗网络（CGAN）去雾算法MP-CGAN。首先,将UNet与密集神经网络（DenseNet）网络结合成UDNet网络作为生成器网络结构;其次,对生成器与鉴别器网络使用Msmall-Patch训练,即通过对鉴别器最后Patch部分采取Min-Pool或Max-Pool方式提取多个小惩罚区域,这些区域对应退化严重或容易被误判的区域,与之对应提出重度惩罚损失,即在鉴别器输出中选取数个最大损失值作为损失;最后,将重度惩罚损失、感知损失与对抗感知损失组合成新的复合损失函数。在测试集上,与雾密度图预测算法（HDP-Net）相比,所提算法的峰值信噪比（PSNR）与结构相似性（SSIM）值分别提升了59%与37%;与超像素算法比,PSNR与SSIM值分别提升了59%与48%。实验结果表明,所提算法能够减少CGAN训练过程产生的噪声伪影,提高了夜晚图像去雾质量。     

视觉信息损失先验的图像分层去雾方法

目的 针对自然场景下含雾图像呈现出低对比度和色彩失真的问题,提出一种基于视觉信息损失先验的图像去雾算法,将透射图预估转化成求解信息损失函数最小值的目标规划问题。方法 首先通过输入图像的视觉特性将图像划分成含雾浓度不同的3个视觉区域。然后根据含雾图像的视觉先验知识构造视觉信息损失函数,通过像素值溢出映射规律对透射率取值范围进行约束,采用随机梯度下降法求解局部最小透射率图。最后将细化后的全局透射率图代入大气散射模型求解去雾结果。结果 结合现有的典型去雾算法进行仿真实验,本文算法能够有效地复原退化场景的对比度和清晰度,相比于传统算法,本文算法在算法实时性方面提升约20%。结论 本文算法在改善中、浓雾区域去雾效果的同时,提升了透射图预估的效率,对改善雾霾天气下视觉成像系统的能见度和鲁棒性具有重要意义。     

基于循环生成对抗网络的图像去雾算法

大气散射模型与有雾图像及对应清晰图像间的映射模型不适配,导致使用大气散射模型进行图像去雾处理时,图像存在颜色偏差、纹理细节粗糙等问题。基于模拟生物视觉系统的反馈原理,提出一种端到端的循环生成对抗网络算法,以解决误差累积造成的去雾图像低质的问题。通过生成模块将循环神经网络的隐藏状态作为反馈信息,以指导低级模糊特征信息生成更加丰富的高级特征。循环结构能够保证先前的网络层可以使用到后面网络层的高级特征信息,从而减少误差累积。此外,该算法能够根据判别模块的损失来评估重建图像的质量。实验结果表明,与GCANet算法相比,所提算法在SOTS测试集上的平均峰值信噪比和结构相似性,在室内分别提升3.41%和0.57%,在室外分别提升3.48%和1.39%,且在真实世界的数据集上进行图像去雾后,在视觉上避免了颜色失真和光晕问题。     

一种基于局部扰动的图像对抗样本生成方法

近年来, 随着人工智能的研究和发展, 深度学习被广泛应用。深度学习在自然语言处理、计算机视觉等多个领域表现出良好的效果。特别是计算机视觉方面, 在图像识别和图像分类中, 深度学习具备非常高的准确性。然而越来越多的研究表明, 深度神经网络存在着安全隐患, 其中就包括对抗样本攻击。对抗样本是一种人为加入特定扰动的数据样本, 这种特殊样本在传递给已训练好的模型时, 神经网络模型会输出与预期结果不同的结果。在安全性要求较高的场景下, 对抗样本显然会对采用深度神经网络的应用产生威胁。目前国内外对于对抗样本的研究主要集中在图片领域, 图像对抗样本就是在图片中加入特殊信息的图片数据, 使基于神经网络的图像分类模型做出错误的分类。已有的图像对抗样本方法主要采用全局扰动方法,即将这些扰动信息添加在整张图片上。相比于全局扰动, 局部扰动将生成的扰动信息添加到图片的非重点区域, 从而使得对抗样本隐蔽性更强, 更难被人眼发现。本文提出了一种生成局部扰动的图像对抗样本方法。该方法首先使用 Yolo 目标检测方法识别出图片中的重点位置区域, 然后以 MIFGSM 方法为基础, 结合 Curls 方法中提到的先梯度下降再梯度上升的思想,在非重点区域添加扰动信息, 从而生成局部扰动的对抗样本。实验结果表明, 在对抗扰动区域减小的情况下可以实现与全局扰动相同的攻击成功率。     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法。去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、对抗损失函数和内容损失函数构成生成器的总目标函数,利用纹理损失增强局部信息匹配度,采用激活层前的特征信息计算感知损失获取更多细节特征,使用WGAN-GP理论优化网络模型的对抗损失加速收敛,运用内容损失提升图像低频信息的准确性。实验结果表明,该算法重建图像的平均峰值信噪比为27.97 dB,平均结构相似性为0.777,与SRGAN和EDSR等算法相比,其在未延长较多运行时间的情况下,重建结果的纹理细节更清晰且亮度信息更准确,更符合视觉感官评价要求。     

基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络：上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L₁损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较：主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2....