基于二分生成对抗网络的图像翻译

翻译算法自从提出以来受到研究者的广泛关注,基于生成对抗网络的图像翻译方法在图片风格转化、图像修复、超分辨率生成等领域得到广泛应用。针对生成对抗网络图像翻译方法框架过于庞大的缺点,提出了一种改进的生成对抗网络算法:二分生成对抗网络(BGAN)。BGAN引入二分生成器结构代替双生成器-判别器结构,神经网络模型相比以往方法资源消耗更少。实验结果表明,BGAN与其他图像翻译算法相比而言,生成的图样样本更清晰、质量更好。     

基于条件生成对抗网络的图像翻译综述

图像翻译旨在实现多组不同领域图像间的转换,同时需要约束样本空间与目标空间分布的一致性.文章旨在寻找条件生成对抗网络与图像翻译问题的结合点,首先,介绍了数据集的特点,指出了不同数据集图像翻译难易程度;其次,从数学表达、性质以及目标函数设计方法得出算法实现的不同方式;将现有图像翻译分成3种类别——匹配图像翻译、非匹配图像翻译和多领域图像翻译,并得出不同应用场景所对应的图像翻译类别,即高清任务对应匹配图像翻译,低成本任务对应非匹配图像翻译,多样化任务对应多领域图像翻译;将图像质量评价方法分为主观图像质量评价与客观图像质量评价,并分析客观图像质量评价中全参考图像与无参考图像质量评价的适用范围;最后,总结条件生成对抗网络在图像翻译中的进展,并分析算法后指出了模式崩塌,模型可解释性和少样本等未来所需解决的问题.     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

基于生成对抗网络的眼底图像生成方法

提出一种带出血病症的眼底图像生成方法,该方法可以丰富眼底图像样本,提升眼底出血检测系统的准确率。该方法用图像分割技术从现有图像中分割出血管树和出血块,利用GAN生成大量血管树和出血块,并经过预处理合并,把合并后的图片和真实眼底图片一起输入到改进的CycleGAN中,生成大量眼底图片。其中对CycleGAN进行改进：改进模型结构,引入Wassertein距离,并加入同一映射损失和感知损失。实验表明,用该方法生成图像的PSNR值比现有技术提高9.82%,SSIM值提高4.17%且收敛速度更快。把生成图像添加到出血检测系统的训练集中,系统的AUC值提升3.51%,证明该方法优于现有技术。     

基于生成对抗网络的运动模糊图像复原

针对相机成像时相机抖动、物体运动等导致图像产生运动模糊这一十分具有挑战性的问题，提出基于生成对抗网络的深度卷积神经网络来复原模糊图像的解决方案。该方案省略了模糊核估计的过程，采用端对端的方式直接获取复原图像；通过引入生成对抗网络思想的对抗损失和对残差网络进行改进，有效地复原了图像的细节信息。最后通过训练此深度卷积神经网络模型并在相关模糊复原基准数据集上测试，证明了该方案取得了较好的结果。     

基于生成对抗网络的低秩图像生成方法

低秩纹理结构是图像处理领域中具有重要几何意义的结构,通过提取低秩纹理可以对受到各种变换干扰的图像进行有效校正.针对受到各种变换干扰的低秩图像校正问题,利用生成式框架来缓解图像中不具明显低秩特性区域的校正结果不理想的问题,提出了一种非监督式的由图像生成图像的低秩纹理生成对抗网络（Low-rank generative adversarial network,LR-GAN）算法.首先,该算法将传统的无监督学习的低秩纹理映射算法（Transform invariant low-rank textures,TILT）作为引导加入到网络中来辅助判别器,使网络整体达到无监督学习的效果,并且使低秩对抗对在生成网络和判别网络上都能够学习到结构化的低秩表示.其次,为了保证生成的图像既有较高的图像质量又有相对较低的秩,同时考虑到低秩约束条件下的优化问题不易解决（NP难问题）,在经过一定阶段TILT的引导后,设计并加入了低秩梯度滤波层来逼近网络的低秩最优解.通过在MNIST,SVHN和FG-NET这三个数据集上的实验,并使用分类算法评估生成的低秩图像质量,结果表明,本文提出的LR-GAN算法均取得了较好的生成质量与识别效果.     

基于单幅图像学习的生成对抗网络模型

将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系.在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型.在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,...     

采用双框架生成对抗网络的图像运动模糊盲去除

传统运动模糊盲去除方法需先预测模糊图像的模糊核,再复原清晰图像。而实际 环境中的复杂的模糊核使此方法不能在视觉上很好地减小实际图像和复原后图像的差异,且直 接将现流行的生成对抗模型应用在图像模糊盲去除任务中会有严重的模式崩塌现象。因此,围 绕去模糊任务的特点提出了一种端到端的生成对抗网络模型--双框架生成对抗网络。该方案 不需要预测模糊核,直接实现图片运动模糊的盲去除。双框架生成对抗网络在原有 CycleGan 基础上将其网络结构和损失函数均作出了改进,提高了运动图像盲去除的精度,并且在样本有 限情况下大幅度增强了网络的稳定性。实验采用最小均方差优化网络训练,最后通过生成网络 和判别网络对抗训练获得清晰图像。在 ILSVRC2015 VID 数据集上的实验结果表明,该方法复原 质量更高,且复原结果在后续目标检测任务中达到了更优的效果。     

多层次结构生成对抗网络的文本生成图像方法

近年来,生成对抗网络（GAN）在从文本描述到图像的生成中已经取得了显著成功,但仍然存在图像边缘模糊、局部纹理不清晰以及生成样本方差小等问题。针对上述不足,在叠加生成对抗网络模型（StackGAN++）基础上,提出了一种多层次结构生成对抗网络（MLGAN）模型,该网络模型由多个生成器和判别器以层次结构并列组成。首先,引入层次结构编码方法和词向量约束来改变网络中各层次生成器的条件向量,使图像的边缘细节和局部纹理更加清晰生动;然后,联合训练生成器和判别器,借助多个层次的生成图像分布共同逼近真实图像分布,使生成样本方差变大,增加生成样本的多样性;最后,从不同层次的生成器生成对应文本的不同尺度图像。实验结果表明,在CUB和Oxford-102数据集上MLGAN模型的Inception score分别达到了4.22和3.88,与StackGAN++相比,分别提高了4.45%和3.74%。MLGAN模型在解决生成图像的边缘模糊和局部纹理不清晰方面有了一定提升,其生成的图像更接近真实图像。     

基于生成对抗网络的图像清晰度提升方法

视频监控、军事目标识别以及消费型摄影等众多领域对图像清晰度有很高的要求.近年来,深度神经网络在视觉和定量评估的应用研究中取得较大进展,但是其结果一般缺乏图像纹理的细节,边缘过度平滑,给人一种模糊的视觉体验.本文提出了一种基于生成对抗网络的图像清晰度提升方法.为了更好的传递图像的细节信息,采用改进的残差块和跳跃连接作为生成网络的主体架构,生成器损失函数除了对抗损失,还包括内容损失、感知损失和纹理损失.在DIV2K数据集上的实验表明,该方法在提升图像清晰度方面有较好的视觉体验和定量评估.     

基于生成式对抗网络的图像超分辨率重建算法

针对传统图像超分辨率重建算法存在网络训练困难与生成图像存在伪影的问题,提出一种利用生成式对抗网络的超分辨率重建算法.去除生成式对抗网络的批量归一化层降低计算复杂度,将其中的残差块替换为密集残差块构成生成网络,使用VGG19网络作为判别网络的基础框架,以全局平均池化代替全连接层防止过拟合,引入纹理损失函数、感知损失函数、...     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

基于生成对抗网络的图像清晰度提升方法

视频监控、军事目标识别以及消费型摄影等众多领域对图像清晰度有很高的要求.近年来,深度神经网络在视觉和定量评估的应用研究中取得较大进展,但是其结果一般缺乏图像纹理的细节,边缘过度平滑,给人一种模糊的视觉体验.本文提出了一种基于生成对抗网络的图像清晰度提升方法.为了更好的传递图像的细节信息,采用改进的残差块和跳跃连接作为生...     

基于生成对抗网络的最大熵逆强化学习

针对逆强化学习算法在训练初期由于专家样本稀疏所导致的学习速率慢的问题,提出一种基于生成对抗网络（Generative Adversarial Networks,GAN）的最大熵逆强化学习算法。在学习过程中,结合专家样本训练优化生成对抗网络,以生成虚拟专家样本,在此基础上利用随机策略生成非专家样本,构建混合样本集,结合最大熵概率模型,对奖赏函数进行建模,并利用梯度下降方法求解最优奖赏函数。基于所求解的最优奖赏函数,利用正向强化学习方法求解最优策略,并在此基础上进一步生成非专家样本,重新构建混合样本集,迭代求解最优奖赏函数。将所提出的算法与MaxEnt IRL算法应用于经典的Object World与Mountain Car问题,实验表明,该算法在专家样本稀疏的情况下可以较好地求解奖赏函数,具有较好的收敛性能。     

基于迁移学习的双层生成式对抗网络

在生成式对抗网络的对抗训练中,目标样本训练集不足会导致模型无法准确学习到对应的特征,但对于需要人工制作、标记的目标样本训练集又很难获取。针对这一问题,提出了基于迁移学习的双层生成式对抗网络模型,在第一层网络中通过伪目标样本让模型学习到目标样本在结构空间的大致分布后,利用迁移学习的思想进行模型迁移,并在第二层网络中根据少量目标样本进行调整。实验中,验证了该模型在中文字体生成与图片框架图转换中的提高,有效地在少量目标样本训练集中训练出更好的模型。     

基于生成对抗网络的跨视角步态特征提取

步态是一种能够在远距离、非侵犯的条件下识别身份的生物特征,但在实际场景中,步态很容易受到拍摄视角、行走环境、物体遮挡、着装等因素的影响.在跨视角识别问题上,现有方法只注重将多种视角的步态模板转化到固定视角下,且视角跨度的增大加深了错误的累积.为了提取有效的步态特征用于跨视角步态识别,本文提出了一种基于生成对抗网络的跨视角步态特征提取方法,该方法只需训练一个模型即可将步态模板转换到任意视角下的正常行走状态,并最大化地保留原本的身份特征信息,从而提高步态识别的准确率.在CASIA-B和OUMVLP数据集上的实验结果表明,该方法在解决跨视角步态识别问题上具有一定的鲁棒性和可行性.     

基于生成对抗网络的高光谱图像分类

针对高光谱图像分类领域中特征利用不足的问题,提出了一种基于生成对抗网络（Generative Adversarial Networks,GANs）的高光谱图像分类方法。根据高光谱图像空间域和光谱域的相关性,利用GANs方法,挖掘其深层特征,生成可分性更高的高光谱图像,并通过支持向量机（Support Vector Machine,SVM）对生成的高光谱图像进行分类。使用两组高光谱数据进行实验,结果表明,该方法能够在少量高光谱波段的情况下,对抗学习到较好的生成模型,使得生成的高光谱图像在地物分类实验中具有更高的分类精度。     

基于生成式对抗网络的中国电影连续观影数据预测

近年来,中国电影上映数量及观影人数均快速上涨,市场逐步扩大,各类票房预测算法也被广泛提出和研究.然而,这些方法仅利用电影静态信息进行预测,无法根据上映时期的各类实时动态信息对预测进行调整.同时,大部分现存方法仅能预测最终票房,而无法预测每日票房及其他观影信息,如上座率,观影人数等.为了在上映期间能准确预测电影上映后各日的观影信息,本文提出一种基于生成式对抗网络(Generative Adversarial Networks,GAN)的预测算法.该算法首先基于傅里叶变换将指定电影已上映各日票房的时域信号转化为频域信号并提取全局信息.再利用本文提出的动态编码获取其局部动态信息.最后通过生成式对抗网络对编码后的输入进行深度频域特征和时域特征提取以及未上映日期观影数据的预测和生成.实验结果表明,本文算法可较为精确的预测每日电影观影数据,同时相对于仅利用静态数据,本文方法可提升预测准确度,当两者结合使用时,可达到最佳效果.因此,该算法可为电影营销产业提供有效信息.     

基于谱归一化条件生成对抗网络的图像修复算法

基于生成对抗网络的图像修复算法在修复大尺寸缺失图像时,存在图像失真较多与判别网络性能不可控等问题,基于谱归一化条件生成对抗网络,提出一种新的图像修复算法。引入谱归一化来约束判别网络的判别性能,间接提高修复网络的修复能力,并根据控制判别网络性能对谱归一化进行理论分析。通过类别信息约束特征生成,保证修复图像的内容不变性,引入扩展卷积算子对待修复图像进行像素级操作,解决修复图像缺乏局部一致性的问题。在此基础上,运用PSNR、SSIM等图像评价方法及分片Wasserstein距离、Inception分数、流形距离度量、GAN-train和GAN-test等流形结构相似度评价指标对修复图像进行综合评价。实验结果表明,与CE、GL等算法相比,该算法获得的修复图像在主观感受和客观评价指标上均有明显提高。