基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法。去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、对抗损失函数和内容损失函数构成生成器的总目标函数,利用纹理损失增强局部信息匹配度,采用激活层前的特征信息计算感知损失获取更多细节特征,使用WGAN-GP理论优化网络模型的对抗损失加速收敛,运用内容损失提升图像低频信息的准确性。实验结果表明,该算法重建图像的平均峰值信噪比为27.97 dB,平均结构相似性为0.777,与SRGAN和EDSR等算法相比,其在未延长较多运行时间的情况下,重建结果的纹理细节更清晰且亮度信息更准确,更符合视觉感官评价要求。     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

基于球形矩匹配与特征判别的图像超分辨率重建

由于网络训练不稳定,基于生成对抗网络（GAN）的图像超分辨率重建存在模式崩溃的现象。针对此问题,提出了一种基于球形几何矩匹配与特征判别的球面双判别器超分辨率重建网络SDSRGAN,通过引入几何矩匹配与高频特征判别来改善网络训练的稳定性。首先,生成器对图像提取特征并通过上采样生成重建图像;接着,球面判别器将图像特征映射至高维球面空间,充分利用特征数据的高阶统计信息;然后,在传统判别器的基础上增加特征判别器,提取图像高频特征,重建特征高频分量和结构分量两方面;最后,对生成器与双判别器进行博弈训练,提高生成器重建图像质量。实验结果表明,所提算法能有效收敛,其网络能够稳定训练,峰值信噪比（PSNR）为31.28 dB,结构相似性（SSIM）为0.872,而与双三次差值、超分辨率残差网络（SRResNet）、加速的卷积神经网络超分辨率（FSRCNN）、基于GAN的单图像超分辨率（SRGAN）和增强型超分辨率生成对抗网络（ESRGAN）算法相比,所提算法的重建图像具有更加逼真的结构纹理细节。所提算法为基于GAN的图像超分辨率研究提供了球形矩匹配与特征判别的双判别方法,在实际应用中可行且有效。     

基于生成对抗网络的CFA图像去马赛克算法

在单传感器数码相机图像采集系统的彩色滤波阵列中,每个像素仅捕获单一颜色分量,并且在彩色图像重构过程中图像边缘等高频区域的伪影现象尤为明显。提出一种基于生成对抗网络的图像去马赛克算法,通过设计生成对抗网络的生成器、鉴别器和网络损失函数增强学习图像高频信息的能力,其中使用的生成器为具有残差稠密块和远程跳跃连接的深层残差稠密网络,鉴别器由一系列堆叠的卷积单元构成,并且结合对抗性损失、像素损失以及特征感知损失改进网络损失函数,提升网络整体性能。数值实验结果表明,与传统去马赛克算法相比,该算法能更有效减少图像边缘的伪影现象并恢复图像高频信息,生成逼真的重建图像。     

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。     

基于深度残差生成对抗网络的医学影像超分辨率算法

针对医学影像超分辨率重建过程中细节丢失导致的模糊问题,提出了一种基于深度残差生成对抗网络（GAN）的医学影像超分辨率算法。首先,算法包括生成器网络和判别器网络,生成器网络生成高分辨率图像,判别器网络辨别图像真伪。然后,通过设计生成器网络的上采样采用缩放卷积来削弱棋盘效应,并去掉标准残差块中的批量规范化层以优化网络;进一步增加判别器网络中特征图数量以加深网络等方面提高网络性能。最后,用生成损失和判别损失来不断优化网络,指导生成高质量的图像。实验结果表明,对比双线性内插、最近邻插值、双三次插值法、基于深度递归神经网络、基于生成对抗网络的超分辨率方法（SRGAN）,所提算法重建出了纹理更丰富、视觉更逼真的图像。相比SRGAN方法,所提算法在峰值信噪比（PSNR）和结构相似度（SSIM）上有0.21 dB和0.32%的提升。所提算法为医学影像超分辨率的理论研究提供了深度残差生成对抗网络的方法,在其实际应用中可靠、有效。     

基于多尺度特征融合的人脸图像修复方法

传统图像修复方法在修复受损区域较大的图像时会出现修复结果过于平滑或模糊的现象,并且较难重建合理的人脸图像结构。在传统生成对抗网络的鉴别器中引入多尺度特征融合方法,将不同深度的特征图经过上采样后直接相加,使浅层信息和深层信息有效结合。通过借助高层特征把握图像的整体规律,同时利用低层特征填充人脸图像的细节纹理,进而使一张图像的分辨率及其语义特征相互融合,实现有效的人脸图像修复。在CelebA数据集上的实验结果表明,该方法的峰值信噪比、相似性结构、L1损失指标均优于区域归一化方法,取得了较好的视觉效果。     

基于谱归一化条件生成对抗网络的图像修复算法

基于生成对抗网络的图像修复算法在修复大尺寸缺失图像时,存在图像失真较多与判别网络性能不可控等问题,基于谱归一化条件生成对抗网络,提出一种新的图像修复算法。引入谱归一化来约束判别网络的判别性能,间接提高修复网络的修复能力,并根据控制判别网络性能对谱归一化进行理论分析。通过类别信息约束特征生成,保证修复图像的内容不变性,引入扩展卷积算子对待修复图像进行像素级操作,解决修复图像缺乏局部一致性的问题。在此基础上,运用PSNR、SSIM等图像评价方法及分片Wasserstein距离、Inception分数、流形距离度量、GAN-train和GAN-test等流形结构相似度评价指标对修复图像进行综合评价。实验结果表明,与CE、GL等算法相比,该算法获得的修复图像在主观感受和客观评价指标上均有明显提高。     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

生成对抗残差网络的医学图像融合算法

针对传统医学图像融合中需要依靠先验知识手动设置融合规则和参数,导致融合效果存在不确定性、细节表现力不足的问题,提出了一种基于改进生成对抗网络（GAN）的脑部计算机断层扫描（CT）/磁共振（MR）图像融合算法。首先,对生成器和判别器两个部分的网络结构进行改进,在生成器网络的设计中采用残差块和快捷连接以加深网络结构,更好地捕获深层次的图像信息;然后,去掉常规网络中的下采样层,以减少图像传输过程中的信息损失,并将批量归一化改为层归一化,以更好地保留源图像信息,增加判别器网络的深度以提高网络性能;最后,连接CT图像和MR图像,将其输入到生成器网络中得到融合图像,通过损失函数不断优化网络参数,训练出最适合医学图像融合的模型来生成高质量的图像。实验结果表明,与当前表现优良的基于离散小波变换（DWT）算法、基于非下采样剪切波变换（NSCT）算法、基于稀疏表示（SR）算法和基于图像分类块稀疏表示（PSR）算法对比,所提算法在互信息（MI）、信息熵（IE）、结构相似性（SSIM）上均表现良好,最终的融合图像纹理和细节丰富,同时避免了人为因素对融合效果稳定性的影响。     

Underwater Image Dehazing via Unpaired Image-to-image Translation

Underwater imaging has long been focused on dehazing and color correction to address severe degradation in the water medium. In this paper, we propose a learning-based image restoration method that uses Generative Adversarial Networks (GAN). For network generality and learning flexibility, we constituted unpaired image translation frameworks into image restoration. The proposed method utilizes multiple cyclic consistency losses that capture image characteristics and details of underwater images. To prepare unpaired images of clean and degraded scenes, we collected images from Flickr and filtered out false images using image characteristics. For validation, we extensively evaluated the proposed network on simulated and real underwater hazy images. Also, we tested our method on conventional computer vision algorithms, such as the level of edges and feature matching results.

     

基于EBGAN的图像风格化技术

为了解决传统图像风格化算法生成图像的多样性较差的问题,本文提出一种基于EBGAN(Energy-Based Generative Adversarial Net)的网络模型,即在鉴别器中引入能量函数思想,设计Autoencoder使其能分别针对真假输入产生不同重构结果,计算输入图像重构前后的误差值,以此误差值作为能量概念用来鉴别输入图像。在Autoencoder的编码阶段,对于编码后的向量引入正交控制,控制同一batch中的两两向量最大正交化,推动生成器生成朝着不同方向发展的图像。使用该模型在Facades和Cityscapes数据集上进行实验,实验结果表明本文的网络模型能有效完成图像风格化过程,较传统图像风格化网络模型能生成更加多样化的图像。     

基于局部生成对抗网络的水上低照度图像增强

针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题,提出一种基于局部生成对抗网络的图像增强方法。以残差网络作为基本框架设计生成器,通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征,从而减少结构信息丢失。设计一个自编码器作为注意力网络,估计图像中的光照分布并指导图像不同亮度区域的自适应增强。构建具有判别图像局部区域能力的判别器结构,约束生成器输出增强效果更加自然的图像。实验结果表明,该方法能够有效增强水上低照度图像,场景还原和细节保留能力优于SRIE和LIME等方法。     

基于仲裁机制的生成对抗网络改进算法

针对深度卷积生成对抗网络（DCGAN）中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失（BCE loss）函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络（GAN）改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。     

自适应序列生成的建筑能耗预测

提出一种基于强化学习的生成对抗网络(Reinforcement learning-based Generative Adversarial Networks,Re-GAN)能耗预测方法.该算法将强化学习与生成对抗网络相结合,将GAN(Generative Adversarial Nets)中的生成器以及判别器分别构建为强化学习中Agent(生成器)以及奖赏函数.在训练过程中,将当前的真实能耗序列作为Agent的输入状态,构建一组固定长度的生成序列,结合判别器及蒙特卡洛搜索方法进一步构建当前序列的奖赏函数,并以此作为真实样本序列后续第一个能耗值的奖赏.在此基础之上,构建关于奖赏的目标函数,并求解最优参数.最后使用所提算法对唐宁街综合大楼公开的建筑能耗数据进行预测试验,实验结果表明,所提算法比多层感知机、门控循环神经网络和卷积神经网络具有更高的预测精度.     

基于多粒度特征生成对抗网络的跨分辨率行人重识别

现有基于生成对抗网络（GAN）的超分辨率（SR）重建方法用于跨分辨率行人重识别（ReID）时,重建图像在纹理结构内容的恢复和特征一致性保持方面均存在不足。针对上述问题,提出基于多粒度信息生成网络的跨分辨率行人ReID方法。首先,在生成器的多层网络上均引入自注意力机制,聚焦多粒度稳定的结构关联区域,重点恢复低分辨率（LR）行人图像的纹理结构信息;同时,在生成器后增加一个识别器,在训练过程中最小化生成图像与真实图像在不同粒度特征上的损失,提升生成图像与真实图像在特征上的一致性。然后,联合自注意力生成器和识别器,与判别器交替优化,在内容和特征上改进生成图像。最后,联合改进的GAN和行人ReID网络交替训练优化网络的模型参数,直至模型收敛。在多个跨分辨率行人数据集上的实验结果表明,所提算法的累计匹配曲线（CMC）在其首选识别率（rank?1）上的准确率较现有同类算法平均提升10个百分点,在提升SR图像内容一致性和特征表达一致性方面均表现更优。     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

An analysis of generative adversarial networks and variants for image synthesis on MNIST dataset

Generative Adversarial Networks (GANs) are most popular generative frameworks that have achieved compelling performance. They follow an adversarial approach where two deep models generator and discriminator compete with each other. They have been used for many applications especially for image synthesis because of their capability to generate high quality images. In past few years, different variants of GAN have proposed and they produced high quality results for image generation. This paper conducts an analysis of working and architecture of GAN and its popular variants for image generation in detail. In addition, we summarize and compare these models according to different parameters such as architecture, training method, learning type, benefits and performance metrics. Finally, we apply all these methods on a benchmark MNIST dataset, which contains handwritten digits and compare qualitative and quantitative results. The evaluation is based on quality of generated images, classification accuracy, discriminator loss, generator loss and computational time of these models. The aim of this study is to provide a comprehensive information about GAN and its various models in the field of image synthesis. Our main contribution in this work is critical comparison of popular GAN variants for image generation on MNIST dataset. Moreover, this paper gives insights regarding existing limitations and challenges faced by GAN and discusses associated future research work.

     

GP-WIRGAN:梯度惩罚优化的Wasserstein图像循环生成对抗网络模型

通常情形下,现有的图像生成模型都采用单次前向传播的方式生成图像,但实际中,画家通常是反复修改后才完成一幅画作的;生成对抗模型(Generative Adversarial Networks,GAN)能生成图像,但却很难训练.在保证生成图像质量的前提下,效仿作画时的不断更新迭代,以提升生成样本多样性并增强样本语义,同时引入Wasserstein距离,提出了Wasserstein图像循环生成对抗网络模型,简称WIRGAN(Wasserstein Image Recurrent Generative Adversarial Networks Model).WIRGAN定义了生成模型和判别模型,其中,生成模型是由一系列结构相同的神经网络模型组成的循环结构,用时间步骤T控制生成模型的循环次数,用于迭代式生成图像,并以最后一个循环结构的生成图像作为整个生成模型的输出;判别模型也由神经网络构建,结合权重剪枝技术,用来判别输入图像是生成的还是真实的.WIRGAN利用Wasserstein距离作为目标函数,将生成模型和判别模型进行博弈对抗训练.另外,由于模型存在难以优化的问题,本文引入了梯度惩罚来解决此类问题,进一步提出了梯度惩罚优化的Wasserstein图像循环生成对抗网络模型(Gradient Penalty Optimized Wasserstein Image Recurrent Generative Adversarial Networks Model,GP-WIRGAN).最后,WIRGAN和GP-WIRGAN在MNIST、CIFAR10、CeUN四个数据集上进行了基础学习能力、模型间GAM自比较、模型内GAM自比较、初始得分比较、图像生成可视化、时间效率比较等6组实验,采用生成对抗矩阵(Generative Adversarial Metric,GAM)和起始分数(Inception Scores)进行评估,结果表明,本文提出的WIRGAN、GP-WIRGAN具有良好的稳定性,可以生成高质量的图像.