结合感知损失与双重对抗网络的低剂量CT图像去噪

低剂量计算机断层扫描（LDCT）成像技术在医学诊断中得到广泛应用,但其斑纹噪声和非平稳条纹伪影复杂,目前多数算法仅依靠推断条件后验概率来实现图像去噪,无法应对LDCT图像噪声复杂、数据量少、先验知识缺乏的问题。提出一种结合感知损失的双重对抗网络去噪算法,以实现LDCT图像复原。该算法包含一个去噪器和一个生成器,分别从图像去噪和噪声生成2个角度来建模干净-噪声图像对的联合分布,通过联合学习使得去噪器和生成器相互指导,从而充分学习数据中的噪声信息和清晰图像信息,且学习到的去噪器可以直接用于LDCT图像修复。考虑到通过感知损失学习语义特征差异可以使去噪结果保留更多的细节和边缘信息,提出一种掩膜自监督方法,针对CT图像域训练一个语义特征提取网络用于计算感知损失。实验结果表明,与BM3D、RED-CNN、WGAN-VGG等主流去噪算法相比,该算法可以有效抑制噪声并去除伪影,最大程度地保留边缘轮廓和纹理细节,产生更符合人眼视觉特性的去噪效果,与当下LDCT图像去噪性能较好的SACNN算法相比,所提算法的PSNR和SSIM指标分别提升1.26 dB和1.8%。     

基于条件生成对抗网络的图像去雾方法

雾霾天气下拍摄收集的图像和视频能见度低,图像质量大幅下降,影响目标检测等高级计算机视觉任务检测精度.目前暗通道、DehazeNet、AOD-Net等去雾方法存在有雾残留、色差较大等问题.为解决以上问题,提出基于条件生成对抗网络(CGAN)的图像去雾方法——CGAN-dense.其生成器设计密集块结构以提高特征利用率,改善去雾细节保持效果;判别器使用34×34的PatchGAN进行分块判定,提高图像分辨率;损失函数增加内容损失,减少像素级别损失.在合成有雾数据集Hazy Dataset中,所提方法的峰值信噪比(PSNR)达到35.45 dB以上,结构相似度(SSIM)达到0.9702以上;在Reside数据集中,PSNR达到22.25 dB以上,SSIM达到0.9088以上,去雾后目标检测率相比去雾前提高6.96个百分点.实验结果表明,所提方法能够减少色差较大和有雾残留问题,提高了图像去雾的色彩保真性和细节信息保持度.     

基于增强生成器条件生成对抗网络的单幅图像去雾

大气中烟雾等粒子的存在会导致肉眼捕获场景的能见度降低。大多数传统的去雾方法都是预期估计雾霾场景的透射率、大气光,并利用大气散射模型恢复无雾图像。这些方法尽管取得了显著进展,但由于过分依赖苛刻的先验条件,在缺乏相应先验条件下的去雾效果并不理想。因此,提出一种端到端的一体化除雾网络,使用增强生成器的条件生成对抗网络（CGAN）直接恢复无雾图像。生成器端以U-Net作为基础架构,通过“整合-加强-减去”的促进策略,用一个简单有效的增强解码器,增强解码器中特征的恢复。另外,加入了多尺度结构相似性（MS-SSIM）损失函数,增强图像的边缘细节恢复。在合成数据集和真实数据集上的实验中,该模型的峰值信噪比（PSNR）和结构相似性（SSIM）明显优于传统的暗通道先验（DCP）、一体化除雾网络（AOD-Net）、渐进式特征融合网络（PFFNet）、条件Wasserstein生成对抗网络（CWGAN）去雾模型。实验结果表明,相较于对比算法,所提网络能够恢复出更接近于地面真相的无雾图像,除雾效果更优。     

基于生成对抗网络的梯度引导太阳斑点图像去模糊方法

针对云南天文台拍摄的高度模糊的太阳斑点图像采用现有深度学习算法恢复难度大、高频信息难以重建等问题,提出了一种基于生成对抗网络（GAN）与梯度信息联合的去模糊方法来重建太阳斑点图,并很好地恢复出图像的高频信息。该方法由一个生成器与两个鉴别器构成：首先,生成器采用特征金字塔网络（FPN）框架来获取图像多尺度特征,再将这些特征分层次输入梯度分支以梯度图的形式捕获更小的局部特征;然后,联合梯度分支结果与FPN结果共同重建出具有高频信息的太阳斑点图像;其次,在常规对抗鉴别器的基础上,增加了一个鉴别器用于保证由梯度分支产生的梯度图更加真实;最后,引入一个包括像素内容损失、感知损失和对抗损失的联合训练损失来引导模型进行太阳斑点图像高分辨率重建。实验结果表明,进行图像预处理后的所提方法与现有的深度学习去模糊方法相比,高频信息恢复能力更强,峰值信噪比（PSNR）和结构相似性（SSIM）指标均有显著提高,分别达到27.801 0 dB与0.851 0,能够满足太阳观测图像高分辨率重建的需要。     

基于多损失融合与谱归一化的图像超分辨率方法

图像超分辨率重建研究存在结果客观衡量指标不断变优,但是视觉感知质量依旧平滑的问题。同时,应用生成对抗网络的超分辨率模型中的鉴别器（discriminator）设计存在一个普遍的问题,即训练不稳定问题。针对以上问题作出两点改进：提出多损失融合的方法,寻求一种在PSNR指标与感知质量之间的平衡,通过将均方误差损失、感知损失、风格损失与对抗损失进行融合的方法,在提高PSNR值的同时,改善图像视觉质量;在基于生成对抗网络的超分辨率模型的鉴别器设计中引入谱归一化（spectral normalization）,以实现更稳定有效的训练。结果显示,改进后的方法得到了更高的PSNR指标与更逼真的视觉感知质量,并进一步表明感知质量对于超分辨率重建的重要性。     

基于改进循环生成式对抗网络的图像去雾方法

针对现有图像去雾方法存在的颜色失真、细节丢失以及去雾效果不自然等问题,提出一种改进的循环生成式对抗网络用于图像去雾。通过添加多尺度鉴别器作为判别器来改进原始网络结构,增强判别能力,引导网络产生更精细自然的无雾图像。同时重新设计损失函数,使用最小二乘代替交叉熵作为对抗损失,引入循环感知损失,结合原始循环一致性损失组成新的复合损失函数,提高图像颜色与细节恢复的质量。在D-HAZY和SOTS数据集上的实验结果表明：该方法能够生成较为自然的无雾图像,其主观效果和客观指标均优于对比方法,具有更好的去雾能力;与原始循环生成式对抗网络相比,峰值信噪比从19.052 dB提高至23.128 dB,结构相似性指数从0.787提高至0.867。与DehazeNet、AOD-Net与GCANet等主流去雾方法相比,峰值信噪比和结构相似性指数比排名第二的方法分别提升7.1%和4.3%。     

CGAN样本生成的遥感图像飞机识别

目的 基于深度学习的飞机目标识别方法在遥感图像解译领域取得了很大进步,但其泛化能力依赖于大规模数据集。条件生成对抗网络（conditional generative adversarial network,CGAN）可用于产生逼真的生成样本以扩充真实数据集,但对复杂遥感场景的建模能力有限,生成样本质量低。针对这些问题,提出了一种结合CGAN样本生成的飞机识别框架。方法 改进条件生成对抗网络,利用感知损失提高生成器对遥感图像的建模能力,提出了基于掩膜的结构相似性（structural similarity,SSIM）度量损失函数（masked-SSIM loss）以提高生成样本中飞机区域的图像质量,该损失函数与飞机的掩膜相结合以保证只作用于图像中的飞机区域而不影响背景区域。选取一个基于残差网络的识别模型,与改进后的生成模型结合,构成飞机识别框架,训练过程中利用生成样本代替真实的卫星图像,降低了对实际卫星数据规模的需求。结果 采用生成样本与真实样本训练的识别模型在真实样本上的进行实验,前者的准确率比后者低0.33%;对于生成模型,在加入感知损失后,生成样本的峰值信噪比（peak signal to noise ratio,PSNR）提高了0.79 dB,SSIM提高了0.094;在加入基于掩膜的结构相似性度量损失函数后,生成样本的PSNR提高了0.09 dB,SSIM提高了0.252。结论 本文提出的基于样本生成的飞机识别框架生成了质量更高的样本,这些样本可以替代真实样本对识别模型进行训练,有效地解决了飞机识别任务中的样本不足问题。     

基于仲裁机制的生成对抗网络改进算法

针对深度卷积生成对抗网络（DCGAN）中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失（BCE loss）函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络（GAN）改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。     

用于低剂量CT降噪的伪影感知生成对抗网络

近年来,生成对抗网络（GAN）用于低剂量CT（LDCT）伪影抑制表现出一定性能优势,已成为该领域新的研究热点。由于伪影分布不规律且与正常组织位置息息相关,现有GAN网络的降噪性能受限。针对上述问题,提出了一种基于伪影感知GAN的LDCT降噪算法。首先,设计了伪影方向感知生成器,该生成器在U型残差编解码结构的基础上增加了伪影方向感知子模块（ADSS）,从而提高生成器对伪影方向特征的敏感度;其次,设计了注意力判别器（AttD）来提高对噪声伪影的鉴别能力;最后,设计了与网络功能相对应的损失函数,通过多种损失函数协同作用来提高网络的降噪性能。实验结果表明,与高频敏感GAN（HFSGAN）相比,该降噪算法的平均峰值信噪比（PSNR）和结构相似度（SSIM）分别提升了4.9%和2.8%,伪影抑制效果良好。     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

结合降噪卷积神经网络和条件生成对抗网络的图像双重盲降噪算法

针对图像降噪中降噪效果差、计算效率低的问题,提出了一种结合降噪卷积神经网络（DnCNN）和条件生成对抗网络（CGAN）的图像双重盲降噪算法。首先,使用改进的DnCNN模型作为CGAN的生成器来对加噪图片的噪声分布进行捕获;其次,将剔除噪声分布后的加噪图片和标签一同送入判别器进行降噪图像的判别;然后,利用判别结果对整个模型的隐层参数进行优化;最后,生成器和判别器在博弈中达到平衡,且生成器的残差捕获能力达到最优。实验结果表明,在Set12数据集上,当噪声水平分别为15、25、50时：所提算法与DnCNN算法相比,基于像素点间误差评价指标,其峰值信噪比（PSNR）值分别提升了1.388 dB、1.725 dB、1.639 dB;所提算法与三维块匹配（BM3D）、加权核范数最小化（WNNM）、DnCNN、收缩场级联（CSF）和一致性神经网络（CSNET）等现有算法相比,结构相似性（SSIM）评价指标值平均提升了0.000 2~0.104 1。实验结果验证了所提算法的优越性。     

改进残差神经网络的图像去雾算法

针对图像去雾算法中存在因介质透射率估计不准确而造成色彩失真、去雾不完全的问题,提出了一种改进残差神经网络的图像去雾算法.首先采用并行多尺度卷积层提取雾图像特征.然后通过引入了深度可分离卷积层的残差网络学习介质透射率,并利用加权引导滤波细化介质透射率.最后根据大气散射模型反演得到无雾清晰图像.实验结果表明,该算法与其他去雾算法相比在峰值信噪比(peak signal to noise ratio, PSNR)和结构相似度(structural similarity, SSIM)指标上取得了一定的提高,并且去雾图像在主观视觉上也取得了较好表现.     

基于密集连接块U-Net的语义人脸图像修复

针对人脸图像在待修复缺损面积较大时,现有方法的修复存在图像语义理解不合理、边界不连贯等视觉瑕疵的问题,提出基于密集连接块的U-Net结构的端到端图像修复模型,以实现对任意模板的语义人脸图像的修复。首先,采用生成对抗网络思想,生成器采用密集连接块代替U-Net中的普通卷积模块,以捕捉图像中缺损部分的语义信息并确保前面层的特征被再利用;然后,使用跳连接以减少通过下采样而造成的信息损失,从而提取图像缺损区域的语义;最后,通过引入对抗损失、内容损失和局部总变分（TV）损失这三者的联合损失函数来训练生成器,确保了修复边界和周围真实图像的视觉一致,并通过Hinge损失来训练判别器。所提模型和GLC、DF、门控卷积（GC）在人脸数据集CelebA-HQ上进行了对比。实验结果表明,所提模型能有效提取人脸图像语义信息,修复结果具有自然过渡的边界和清晰的局部细节。相较性能第二的GC,所提模型对中心模板修复的结构相似性（SSIM）和峰值信噪比（PSNR）分别提高了5.68%和7.87%,Frechet Inception距离（FID）降低了7.86%;对随机模板修复的SSIM和PSNR分别提高了7.06%和4.80%,FID降低了6.85%。     

密集连接扩张卷积神经网络的单幅图像去雾

针对大多数图像去雾算法模型参数估计准确性差及色彩失真等问题,提出了一种端到端的密集连接扩张卷积神经网络。首先,通过使用多层密集连接结构来增加网络的特征利用率,避免网络加深时的梯度消失现象。其次,通过在密集块中使用不同扩张率的扩张卷积,使网络在充分聚合上下文特征信息时不损失空间分辨率,并避免了网格伪影的产生。最后,为了提高算法的去雾能力,将该网络划分为多个阶段,并在每个阶段引入侧输出模块,从而获得更精确的特征信息。实验结果表明,所提出的去雾算法无论是在合成数据集上还是在真实数据集上都取得了较好的去雾效果,恢复的色彩更接近无雾图像,并且定量评价指标峰值信噪比(PSNR)和结构相似性(SSIM)均优于其他对比方法。     

基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于并联卷积与残差网络的图像超分辨率重建

现有的图像超分辨率重建算法可以改善图像整体视觉效果或者提升重建图像的客观评价值,然而对图像感知效果和客观评价值的均衡提升效果不佳,且重建图像缺乏高频信息,导致纹理模糊。针对上述问题,提出了一种基于并联卷积与残差网络的图像超分辨率重建算法。首先,以并联结构为整体框架,在并联结构上采用不同卷积组合来丰富特征信息,并加入跳跃连接来进一步丰富特征信息并融合输出,从而提取更多的高频信息。其次,引入自适应残差网络以补充信息并优化网络性能。最后,采用感知损失来提升恢复后图像的整体质量。实验结果表明,相较于超分辨率卷积神经网络（SRCNN）、深度超分辨率重建网络（VDSR）和超分辨率生成对抗网络（SRGAN）等算法,所提算法在重建图像上有更好的表现,其放大效果图的细节纹理更清晰。在客观评价上,所提算法在4倍重建时的峰值信噪比（PSNR）和结构相似性（SSIM）相较于SRGAN分别平均提升了0.25 dB和0.019。