多模式生成对抗网络

生成对抗网络已经成为深度学习领域最热门的研究方向之一,其最大的优势在于能够以无监督的方式来拟合一个未知的分布。目前,生成对抗网络在图像生成领域大放异彩,其能够产生一些高质量的图像,但也暴露了一些弊端。在生成图像的过程中,经常会出现模式坍塌问题,从而导致生成的样本过于单一。为了解决这个问题,对生成对抗网络的模型结构和损失函数加以改进,使判别器能够从多个角度来度量生成数据的分布和真实数据的分布之间的差异,从而改善了生成样本的多样性。通过在多个数据集上进行实验,结果显示,提出的模型在很大程度上缓解了模式坍塌问题。     

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。     

基于自相似与对比学习的图像跨域转换算法

图像跨域转换,又称图像翻译,是一种旨在将源域的图像转换为目标域的图像的技术,具体来说是使生成图像在保持源域图像的结构（轮廓、姿态等）的同时具有目标域图像的风格（纹理、颜色等）.图像跨域转换技术在视觉领域有着广泛的应用,如照片编辑和视频特效制作.近年来,该技术在深度学习尤其是生成对抗网络的基础上得到了飞速发展,也取得了令人印象深刻的结果,但是迁移后的生成图像仍然存在颜色模式坍塌、内容结构无法保持等问题,针对这些问题,提出了一种基于自相似性与对比学习的图像跨域转换算法.该算法利用预先训练的深度神经网络模型提取图像的内容特征和风格特征,将感知损失和基于自相似性的损失作为图像内容损失函数,同时使用一种宽松的最优传输损失和基于矩匹配计算的损失作为图像风格损失函数对提出的神经网络进行训练,并通过将生成图像和目标域图像标记为正样本对,将生成图像和源域标记为负样本进行对比学习.在4个数据集上对提出的算法进行了实验验证,结果表明提出的算法在生成的结果图像上较好地保持了源域图像的内容结构,同时减少颜色的模式坍塌,且使生成的图像风格与引导图像的风格更加一致.     

采用双框架生成对抗网络的图像运动模糊盲去除

传统运动模糊盲去除方法需先预测模糊图像的模糊核,再复原清晰图像。而实际 环境中的复杂的模糊核使此方法不能在视觉上很好地减小实际图像和复原后图像的差异,且直 接将现流行的生成对抗模型应用在图像模糊盲去除任务中会有严重的模式崩塌现象。因此,围 绕去模糊任务的特点提出了一种端到端的生成对抗网络模型--双框架生成对抗网络。该方案 不需要预测模糊核,直接实现图片运动模糊的盲去除。双框架生成对抗网络在原有 CycleGan 基础上将其网络结构和损失函数均作出了改进,提高了运动图像盲去除的精度,并且在样本有 限情况下大幅度增强了网络的稳定性。实验采用最小均方差优化网络训练,最后通过生成网络 和判别网络对抗训练获得清晰图像。在 ILSVRC2015 VID 数据集上的实验结果表明,该方法复原 质量更高,且复原结果在后续目标检测任务中达到了更优的效果。     

基于生成对抗网络的图像动漫风格化

目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层（AdaIN）模块和多层感知机（MLP）模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性（lpips）作为内容损失函数,二分类交叉熵（binary cross entropy）损失函数（BCELoss）作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。     

基于双通道循环一致性GAN的跨视角步态识别研究

步态识别系统在生物识别领域显示出巨大的潜力,然而步态识别的准确性很容易受到视角的影响。为解决这一问题,提出的方法基于循环生成对抗网络(cycle generative adversarial network, Cycle-GAN)的网络结构,结合新的特征提取模块以及多重损失函数,提出了一种用于跨视角步态识别的网络模型双通道循环一致性生成对抗网络(two-channel cycle consistency generative adversarial network, TCC-GAN)。该网络首先将步态能量图像从任意视角转换为目标视角图像,然后进行比对从而实现身份识别。TCC-GAN分别引入了重建损失、视角分类和身份保持损失来指导生成器生成具有目标视角的步态图像并同时保留身份信息。为了避免可能存在的模式崩塌问题,并保证各个输入和输出以有意义的方式进行映射,模型中还利用了循环一致性损失。数据集CASIA-B和OU-MVLP上的实验结果表明:所提TCC-GAN模型的跨视角识别率高于目前大多数其他基于GAN的跨视角步态识别模型。     

基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

人脸老化/去龄化的高质量图像生成模型

目的 近年来关于人脸老化/去龄化的研究在深度学习的推动下取得了飞速发展,2017年提出的条件对抗自编码器（CAAE）人脸老化/去龄化模型生成的人脸不仅可信度高,而且更贴近目标年龄。然而在人脸老化/去龄化过程中仍存在生成图像分辨率低、人工鬼影噪声严重（生成人脸器官扭曲）等问题。为此,在CAAE的基础上,提出一个人脸老化/去龄化的高质量图像生成模型（HQGM）。方法 用边界平衡对抗生成网络（BEGAN）替换CAAE中的对抗生成网络（GAN）。BEGAN在人脸图像生成上不仅分辨率更高而且具有更好的视觉效果。在此基础上,添加两个提高生成图像质量的损失函数：图像梯度差损失函数和人脸特征损失函数。图像梯度差损失函数通过缩小生成图像和真实图像的图像梯度,使生成图像具有更多轮廓等高频信息;人脸特征损失函数将生成图像和真实图像分别输入到配置预训练参数的VGG-FACE网络模型中,输出各自的特征图。通过缩小两幅特征图的对应点差值,使生成图像具有更多真实图像的人脸特征信息。结果 实验使用UTKface、FGnet和Morph数据集,经过训练,每幅测试图像分别生成10幅不同年龄的图像。与CAAE相比,HQGM可以有效去除人工鬼影噪声,峰值信噪比高3.2 dB,结构相似性高0.06,提升显著。结论 HQGM可以生成具有丰富纹理信息和人脸特征信息的人脸老化/去龄化图像。     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络（GAN）能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义。而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题。针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络（C-WGAN）模型。首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,根据所识别出的特征对应关系进行目标样本的生成。模型采用Wassertein距离来度量两个图像特征之间分布的距离,稳定GAN训练环境,规避模型训练过程中的模式崩溃,从而提升生成图像的精度和训练效率。实验结果表明,与原始条件生成对抗网络（CGAN）和pix2pix模型相比,所提模型的峰值信噪比（PSNR）分别最大提升了6.82%和2.19%;在训练轮数相同的情况下,该模型更快达到收敛状态。由此可见,所提模型不仅能够有效地提升图像生成的精度,而且能够提高网络的收敛速度。     

基于线性注意力机制的单样本生成对抗网络研究

目前,使用单样本训练生成对抗网络已经成为研究人员关注的重点。但是,网络模型不容易收敛,生成的图像结构易崩塌,训练速度慢等问题依旧亟待解决。研究人员提出在生成对抗网络中使用自注意力模型用以获取样本更大范围的结构,提高生成图像的质量。但是,传统的卷积自注意力模型由于注意力图谱中的信息冗余,容易造成计算资源浪费。提出了一种新的线性注意力模型,在该模型中使用了双重归一化方法来缓解注意力模型对输入特征敏感的问题,并且基于该模型搭建了一种新的单样本生成对抗网络模型。此外,模型还使用了残差网络和光谱归一化方法用于稳定训练,降低了发生崩塌的风险。实验结果表明,相较于使用已有的网络结构,该模型具有训练速度快,生成图像的分辨率高且评价指标改善明显等特点。     

多通道CartoonGAN下的图像风格动漫化

为解决真实图像转换为动漫风格图像出现的参数量大、图像纹理和颜色损失的问题,提出了一种多通道卡通生成对抗网络(MC_CartoonGAN).首先,使用HSCNN+(advanced CNNs for the hyperspectral reconstruction task)和遗传算法重新构建多通道图像数据集,丰富图像信息.其次,利用DenseNet网络进行特征复用减少参数的内存占用率及缓解梯度消失的问题.最后,引入多通道颜色重建损失函数,在保证了生成图像内容完整的情况下,降低了生成图像的颜色损失.实验结果表明,提出的多通道卡通生成对抗网络将真实图像转换成动漫风格图像的质量更优.     

基于U-Net结构的生成式多重对抗隐写算法

人工智能的发展为信息隐藏技术带来越来越多的挑战,提高现有隐写方法的安全性迫在眉睫.为提高图像的信息隐藏能力,提出一种基于U-Net结构的生成式多重对抗隐写算法.所提算法通过生成对抗网络与隐写分析器优化网络、隐写分析对抗网络间的多重对抗训练,构建生成式多重对抗隐写网络模型,生成适合信息隐写的载体图像,提高隐写图像抗隐写分析能力;同时,针对现有生成对抗网络只能生成随机图像,且图像质量不高的问题,设计基于U-Net结构的生成式网络模型,将参考图像的细节信息传递到生成载体图像中,可控地生成高质量目标载体图像,增强信息隐藏能力;其次,采用图像判别损失、均方误差(MSE)损失和隐写分析损失动态加权组合作为网络迭代优化总损失,保障生成式多重对抗隐写网络快速稳定收敛.实验表明,基于U-Net结构的生成式多重对抗隐写算法生成的载体图像PSNR最高可达到48.60 dB,隐写分析器对生成载体图像及其隐写图像的判别率为50.02%,所提算法能够生成适合信息嵌入的高质量载体图像,保障隐写网络快速稳定收敛,提高了图像隐写安全性,可以有效抵御当前优秀的隐写分析算法的检测.     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于样本特征解码约束的GANs

生成式对抗网络(Generative adversarial networks, GANs)是一种有效模拟训练数据分布的生成方法, 其训练的常见问题之一是优化Jensen-Shannon (JS)散度时可能产生梯度消失问题. 针对该问题, 提出了一种解码约束条件下的GANs, 以尽量避免JS散度近似为常数而引发梯度消失现象, 从而提高生成图像的质量. 首先利用U-Net结构的自动编码机(Auto-encoder, AE)学习出与用于激发生成器的随机噪声同维度的训练样本网络中间层特征. 然后在每次对抗训练前使用设计的解码约束条件训练解码器. 其中, 解码器与生成器结构相同, 权重共享. 为证明模型的可行性, 推导给出了引入解码约束条件有利于JS散度不为常数的结论以及解码损失函数的类型选择依据. 为验证模型的性能, 利用Celeba和Cifar10数据集, 对比分析了其他6种模型的生成效果. 通过实验对比Inception score (IS)、弗雷歇距离和清晰度等指标发现, 基于样本特征解码约束的GANs能有效提高图像生成质量, 综合性能接近自注意力生成式对抗网络.     

基于条件约束的胶囊生成对抗网络

生成式对抗网络(Generative adversarial networks,GAN)是主要的以无监督方式学习深度生成模型的方法之一.基于可微生成器网络的生成式建模方法,是目前最热门的研究领域,但由于真实样本分布的复杂性,导致GAN生成模型在训练过程稳定性、生成质量等方面均存在不少问题.在生成式建模领域,对网络结构的探索是重要的一个研究方向,本文利用胶囊神经网络(Capsule networks,CapsNets)重构生成对抗网络模型结构,在训练过程中使用了Wasserstein GAN(WGAN)中提出的基于Earth-mover距离的损失函数,并在此基础上加以条件约束来稳定模型生成过程,从而建立带条件约束的胶囊生成对抗网络(Conditional-CapsuleGAN,C-CapsGAN).通过在MNIST和CIF AR-10数据集上的多组实验,结果表明将CapsNets应用到生成式建模领域是可行的,相较于现有类似模型,C-CapsGAN不仅能在图像生成任务中稳定生成高质量图像,同时还能更有效地抑制模式坍塌情况的发生.     

基于自注意力机制的条件生成对抗网络

近年来,越来越多的生成对抗网络出现在深度学习的各个领域中.条件生成对抗网络(Conditional Generative Adver-sarial Networks,cGAN)开创性地将监督学习引入到无监督的GAN网络中,这使得GAN可以生成有标签数据.传统的GAN通过多次卷积运算来模拟不同区域之间的相关性,进而生成图...     

生成对抗网络及其在图像生成中的应用研究综述

生成对抗网络(GAN)是无监督学习领域最近几年快速发展的一个研究方向,其主要特点是能够以一种间接的方式对一个未知分布进行建模.在计算机视觉研究领域中,生成对抗网络有着广泛的应用,特别是在图像生成方面,与其他的生成模型相比,生成对抗网络不仅可以避免复杂的计算,而且生成的图像质量也更好.因此,本文将对生成对抗网络及其在图像...     

生成式对抗网络研究综述

生成式对抗网络（GAN）凭借其强大的对抗学习能力受到越来越多研究者的青睐,并在诸多领域内展现出巨大的潜力。阐述了GAN的发展背景、架构、目标函数,分析了训练过程中出现模式崩溃和梯度消失的原因,并详细介绍了通过架构变化和目标函数修改而提出GAN衍生模型,对一些用来评估生成图像质量和多样性的标准进行了小结,总结了GAN在不同领域的广泛应用,总结全文并对该领域未来的研究方向提出一些展望。     

基于SAU-NetDCGAN的天气云图生成方法

天文台天气监测系统对天气云图存在巨大需求。为解决传统的生成对抗网络在扩充天气云图数据集时模型不稳定以及图像特征丢失等问题,提出一种基于SAU-NetDCGAN的双层嵌入式对抗网络天气云图生成方法,该方法由两层网络相互嵌套组成。首先,第一层嵌入式网络是将U型网络添加到生成对抗式网络的生成器中,该网络作为基础架构,利用编码器与解码器之间的跳跃连接增强图像的边缘特征恢复能力;接着,第二层嵌入式网络是将简化参数注意力机制（simplify-attention,SA）添加到U型网络中,该注意力机制通过简化参数降低了模型复杂度,有效地改善了图像暗部特征丢失的问题;最后设计了一种新的权重计算方式,加强了各特征之间的联系,增加了对图像细节纹理特征的提取。实验结果表明,该方法生成的图像在清晰度、色彩饱和度上与传统的生成对抗网络相比图像质量更好,在峰值信噪比、结构相似性的评价指标下分别提高了27.06 dB和 0.606 5。