双重对偶生成对抗网络的跨年龄素描—照片转换

目的 跨年龄素描-照片转换旨在根据面部素描图像合成同一人物不同年龄阶段的面部照片图像。该任务在公共安全和数字娱乐等领域具有广泛的应用价值,然而由于配对样本难以收集和人脸老化机制复杂等原因,目前研究较少。针对此情况,提出一种基于双重对偶生成对抗网络（double dual generative adversarial networks,D-DualGANs）的跨年龄素描-照片转换方法。方法 该网络通过设置4个生成器和4个判别器,以对抗训练的方式,分别学习素描到照片、源年龄组到目标年龄组的正向及反向映射。使素描图像与照片图像的生成过程相结合,老化图像与退龄图像的生成过程相结合,分别实现图像风格属性和年龄属性上的对偶。并增加重构身份损失和完全重构损失以约束图像生成。最终使输入的来自不同年龄组的素描图像和照片图像,分别转换成对方年龄组下的照片和素描。结果 为香港中文大学面部素描数据集（Chinese University of Hong Kong（CUHK）face sketch database,CUFS）和香港中文大学面部素描人脸识别技术数据集（CUHK face sketch face recognition technology database,CUFSF）的图像制作对应的年龄标签,并依据标签将图像分成3个年龄组,共训练6个D-DualGANs模型以实现3个年龄组图像之间的两两转换。同非端到端的方法相比,本文方法生成图像的变形和噪声更小,且年龄平均绝对误差（mean absolute error,MAE）更低,与原图像相似度的投票对比表明1130素描与3150照片的转换效果最好。结论 双重对偶生成对抗网络可以同时转换输入图像的年龄和风格属性,且生成的图像有效保留了原图像的身份特征,有效解决了图像跨风格且跨年龄的转换问题。     

一种强真实感的图像生成算法设计与仿真

传统方法下生成的跨模态图像易造成目标部分重要信息缺失,生成的图像缺乏真实感,于是提出改进生成式对抗网络和半监督学习的跨模态图像生成方法.建立生成式对抗网络,分析半监督学习特征,经融合后组成半监督生成式对抗网络.在判别器中使用卷积神经网络、在生成器中引入反卷积神经网络,在半监督生成式对抗网络中添加分类器,改进所建的网络模...     

基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

基于单阶段GANs的文本生成图像模型

针对目前生成以文本为条件的图像通常会遇到生成质量差、训练不稳定的问题,提出了通过单阶段生成对抗网络(GANs)生成高质量图像的模型.具体而言,在GANs的生成器中引入注意力机制生成细粒度的图像,同时通过在判别器中添加局部-全局语言表示,来精准地鉴别生成图像和真实图像;通过生成器和判别器之间的相互博弈,最终生成高质量图像...     

多判别器循环生成对抗网络的素描人脸合成

素描人脸合成在娱乐和刑侦领域具有重要应用价值。为了解决传统素描人脸合成方法生成图像面部细节模糊,缺失真实感等问题,改进了CycleGAN网络结构,提出一种基于多判别器循环生成对抗网络的素描人脸合成方法。该方法选取残差网络作为生成网络模型,在生成器隐藏层中增加多个判别器,提高网络对生成图像细节特征的提取能力;并建立了重构误差约束映射关系,最小化生成图像与目标图像之间的距离。通过在CUHK和AR人脸数据库中的对比实验,证明了相比于原始CycleGAN框架该方法性能有明显提升;相比于目前领先的方法,所提方法生成的素描图像细节特征更清晰,真实感更强。     

融合残差和对抗网络的跨模态PET图像合成方法

针对现有跨模态图像合成方法不能很好地捕获人体组织的空间信息与结构信息,合成的图像具有边缘模糊、信噪比低等问题,提出一种融合残差模块和生成对抗网络的跨模态PET图像合成方法。该算法在生成器网络中引入改进的残差初始模块和注意力机制,减少参数量的同时增强了生成器的特征学习能力。判别器采用多尺度判别器,以提升判别性能。损失函数中引入多层级结构相似损失,以更好地保留图像的对比度信息。该算法在ADNI数据集上与主流算法进行对比,实验结果表明,合成PET图像的MAE指标有所下降,SSIM与PSNR指标有所提升。实验结果显示,提出的模型能很好地保留图像的结构信息,在视觉和客观指标上都能提高合成图像的质量。     

基于生成对抗网络的医学图像超分辨率重建

针对医学图像分辨率低导致视觉效果差的问题,提出一种基于生成对抗网络的医学图像超分辨率重建方法.使用生成对抗网络架构,由生成器重建高分辨率图像,再将生成器生成的高分辨率图像送入判别器判断真伪.通过实验验证了该方法的有效性,在视觉效果和数值结果上都有所提高.     

基于生成对抗网络的雾霾场景图像转换算法

本文提出了一种新的基于生成对抗网络的雾霾场景图像转换算法.生成对抗网络GAN作为无监督学习的方法,无法实现图像像素与像素之间映射,即生成图像不可控.因此,基于模型的加雾算法存在参数不确定性和应用场景局限性,本文提出了一种新方法的新应用,利用生成对抗网络实现图像转换.该方法基于生成对抗网络GAN模型,改进了GAN的生成器和判别器,进行有监督学习,以训练雾霾图像生成像素与像素之间的映射关系,实现无雾图像与有雾图像之间的转换.以图像加雾为例,本文分别设计了生成网络和判决网络,生成网络用于合成有雾图像,判决网络用于辨别合成的雾霾图像的真伪.考虑到雾霾场景图像转换的对应效果,设计了一种快捷链接沙漏形生成器网络结构,采用无雾图像作为生成网络输入,并输出合成后的有雾霾图像;具体来看,将生成网络分成编码和解码两部分,并通过相加对应间隔的卷积层来保留图像的底层纹理信息.为了更好地检验合成雾霾图像的真实程度,设计了漏斗形全域卷积判决器网络,将合成图像和目标图像分别通过判决器辨别真伪,采用全域卷积,利用神经网络进行多层下采样,最终实现分类判决,辨别图像风格.此外,本文提出了一种新的网络损失函数,通过计算GAN损失和绝对值损失之和,以训练得到更为优秀的图像转换结果.GAN损失函数的作用是使生成对抗网络GAN模型训练更加准确,而雾霾图像合成算法实际上是一个回归问题而非分类问题,生成器的作用不仅是训练判决器更加灵敏,更重要的是要生成与目标图像相似的图像.因此利用优化回归问题的绝对值损失函数,作用是为了准确学习像素间的映射关系,避免出现偏差和失真.最后本文对多类不同图像进行图像的雾霾场景转换并进行评估,分别测试该算法的图像加雾和去雾效果,并与其他算法进行对比测试.对于加雾效果,在合成场景、虚拟场景下,与软件合成效果进行对比,本文算法效果明显比软件合成效果好,不会出现色彩失真;在真实场景下,本文算法与真实拍摄的雾霾天气进行对比,结果十分相近;并且与其他GAN图像转换算法进行对比,本文算法具有明显的优势.同样本文算法在去雾效果上优势也十分明显.结果表明,本文所提基于生成对抗网络的雾霾场景图像转换算法,在主观效果和客观指标上均具有明显优势.     

多判别器协同框架:高品质图像的谱归一生成对抗网络

通过生成对抗网络的对抗学习生成仿真图像,已成为人工智能领域的一个研究热点.为了进一步提高生成图像的质量,本文提出了多判别器协同合作的网络框架——采用多个判别器为唯一生成器提供联合损失量,并通过不同的学习率保持各个判别器的差异性.同时,为了满足判别器的Lipschitz连续条件,本文所有的判别器网络一律进行谱归一化操作.实验表明,本文提出的基于多判别器合作框架的生成对抗网络表现较优.     

DenseNet生成对抗网络低照度图像增强方法

针对低照度环境下采集图像存在低信噪比、低分辨率和低照度的问题,提出了一种基于稠密连接网络(DenseNet)生成对抗网络的低照度图像增强方法.利用DenseNet框架建立生成器网络,并将PatchGAN作为判别器网络;将低照度图像传入生成器网络生成照度增强图像,同时利用判别器网络负责监督生成器对低照度图像的增强效果,通...     

基于深度卷积生成对抗网络的图像生成

图像生成是虚拟现实技术(virtual reality,VR)中的重要技术手段,针对传统图片生成方法需要大量的数据集进行训练,且生成的图片轮廓不清晰等问题,采用基于深度卷积神经网络和生成对抗网络来实现图片的生成。为了保证生成图片的真实性和完整性,在图片生成阶段引入变分自编码器,通过编码器获取到输入图片数据的均值和方差,将图片对应的隐藏变量转化为标准的高斯分布,然后通过生成器生成新的图片;在识别阶段,采用深度卷积神经网络训练判别器,将生成的新的图片输入到已经训练好的判别器中,运用梯度下降法计算损失函数,不断优化整体系统模型。通过对MNIST图像数据集的训练,实验表明该方法能生成质量较高的图片,它生成的图像无法用肉眼与真实数据区分开,并且在不同网络条件下都有较高的识别率。该方法提高了MNIST生成模型的技术水平。     

基于对抗生成网络的中国山水画自动生成模型

中国山水画是以山川自然景观为主要描写对象的画,它是中国画的重要画科。当前深度学习模型在图像分类、对象识别、图像风格转换和图像生成等领域都取得了巨大的成功。提出一个基于深度对抗生成网络的中国山水画自动生成模型,以网络上公开的中国山水画图像为训练集,设计适当深度的网络和损失函数,通过生成器和判别器的对抗训练,得到图像生成器。通过与真实的山水画进行比较,本模型能够生成具有接近中国山水画风格的图像。     

不平衡数据集下的水下目标快速识别方法

水下目标的准确识别是水下机器人实现抓取、捕捞等安全作业的前提,针对水下图像质量差、样本数量少及类不平衡而导致目标识别精确度低的问题,提出了一种基于生成对抗网络（Generative Adversarial Networks, GAN）的水下目标快速识别算法。利用GAN理论搭建了深度卷积神经网络的水下图像生成模型,通过生成器与判别器的零和博弈生成特定水下目标图像;设计生成目标的中心坐标计算函数和边界融合函数,将生成目标与背景图像融合后训练水下目标识别模型。实验结果表明,所提方法能够显著提高水下目标识别精确度,对实现水下目标准确抓取、促进水下作业及海洋资源的开发具有重要意义。     

基于Transformer实现文本导向的图像编辑

为方便非专业用户修图,提出一种基于Transformer的图像编辑模型TMGAN,使用户可通过自然语言描述自动修改图像属性。TMGAN整体框架采用生成对抗网络,生成器采用Transformer编码器结构提取全局上下文信息,解决生成图像不够真实的问题;判别器包含基于Transformer的多尺度判别器和词级判别器两部分,给生成器细粒度的反馈,生成符合文本描述的目标图像且保留原始图像中与文本描述无关的内容。实验表明,此模型在CUB Bird数据集上,IS（inception score）、FID（Fréchet inception distance）以及MP（manipulation precision）度量指标分别达到了9.07、8.64和0.081。提出的TMGAN模型对比现有模型效果更好,生成图像既满足了给定文本的属性要求又具有高语义性。     

改进U-Net3+与跨模态注意力块的医学图像融合

目的 针对目前多模态医学图像融合方法深层特征提取能力不足,部分模态特征被忽略的问题,提出了基于U-Net3+与跨模态注意力块的双鉴别器生成对抗网络医学图像融合算法(U-Net3+ and cross-modal attention block dual-discriminator generative adversal network,UC-DDGAN)。方法 结合U-Net3+可用很少的参数提取深层特征、跨模态注意力块可提取两模态特征的特点,构建UC-DDGAN网络框架。UC-DDGAN包含一个生成器和两个鉴别器,生成器包括特征提取和特征融合。特征提取部分将跨模态注意力块嵌入到U-Net3+下采样提取图像深层特征的路径上,提取跨模态特征与提取深层特征交替进行,得到各层复合特征图,将其进行通道叠加、降维后上采样,输出包含两模态全尺度深层特征的特征图。特征融合部分通过将特征图在通道上进行拼接得到融合图像。双鉴别器分别对不同分布的源图像进行针对性鉴别。损失函数引入梯度损失,将其与像素损失加权优化生成器。结果 将UC-DDGAN与5种经典的图像融合方法在美国哈佛医学院公开的脑部疾病图像数据集上进行实验对比,其融合图像在空间频率(spatial frequency,SF)、结构相似性(structural similarity,SSIM)、边缘信息传递因子(degree of edge information,Q^AB/F)、相关系数(correlation coefficient,CC)和差异相关性(the sum of the correlations of differences,SCD)等指标上均有提高,SF较DDcGAN(dual discriminator generation adversative network)提高了5.87%,SSIM较FusionGAN(fusion generative adversarial network)提高了8%,Q^AB/F较FusionGAN提高了12.66%,CC较DDcGAN提高了14.47%, SCD较DDcGAN提高了14.48%。结论 UC-DDGAN生成的融合图像具有丰富深层特征和两模态关键特征,其主观视觉效果和客观评价指标均优于对比方法,为临床诊断提供了帮助。     

利用残差密集网络的运动模糊复原方法

针对图像生成过程中由于物体运动或相机抖动产生的运动模糊问题,提出了利用残差密集网络的运动模糊图像复原方法。设计对抗网络结构,以残差密集网络为生成器,通过长短连接实现不同层次特征的融合,生成复原图像,以深度卷积网络为判别器,判断图像真伪,在生成器和判别器的对抗中提高网络性能;采用对抗损失和内容损失结合的损失函数,提高网络的复原效果;以端到端的方式,省略模糊核的估计过程,输入模糊图像直接获取复原图像。实验结果表明,该方法能够取得较好的复原效果。     

图注意力网络的场景图到图像生成模型

目的 目前文本到图像的生成模型仅在具有单个对象的图像数据集上表现良好，当一幅图像涉及多个对象和关系时，生成的图像就会变得混乱。已有的解决方案是将文本描述转换为更能表示图像中场景关系的场景图结构，然后利用场景图生成图像，但是现有的场景图到图像的生成模型最终生成的图像不够清晰，对象细节不足。为此，提出一种基于图注意力网络的场景图到图像的生成模型，生成更高质量的图像。方法 模型由提取场景图特征的图注意力网络、合成场景布局的对象布局网络、将场景布局转换为生成图像的级联细化网络以及提高生成图像质量的鉴别器网络组成。图注意力网络将得到的具有更强表达能力的输出对象特征向量传递给改进的对象布局网络，合成更接近真实标签的场景布局。同时，提出使用特征匹配的方式计算图像损失，使得最终生成图像与真实图像在语义上更加相似。结果 通过在包含多个对象的COCO-Stuff图像数据集中训练模型生成64×64像素的图像，本文模型可以生成包含多个对象和关系的复杂场景图像，且生成图像的Inception Score为7.8左右，与原有的场景图到图像生成模型相比提高了0.5。结论 本文提出的基于图注意力网络的场景图到图像生成模型不仅可以生成包含多个对象和关系的复杂场景图像，而且生成图像质量更高，细节更清晰。     

一种基于谱归一化的两阶段堆叠结构生成对抗网络的文本生成图像模型

文本生成图像是机器学习领域非常具有挑战性的任务,虽然目前已经有了很大突破,但仍然存在模型训练不稳定以及梯度消失等问题。针对这些不足,在堆叠生成对抗网络(StackGAN)基础上,提出一种结合谱归一化与感知损失函数的文本生成图像模型。首先,该模型将谱归一化运用到判别器网络中,将每层网络梯度限制在固定范围内,相对减缓判别器网络的收敛速度,从而提高网络训练的稳定性;其次,将感知损失函数添加到生成器网络中,增强文本语义与图像内容的一致性。使用Inception score评估所提模型生成图像的质量。实验结果表明,该模型与原始StackGAN相比,具有更好的稳定性且生成图像更加逼真。     

基于生成对抗网络的红外图像数据增强

深度学习在视觉任务中的良好表现很大程度上依赖于海量的数据和计算力的提升,但是在很多实际项目中通常难以提供足够的数据来完成任务。针对某些情况下红外图像少且难以获得的问题,提出一种基于彩色图像生成红外图像的方法来获取更多的红外图像数据。首先,用现有的彩色图像和红外图像数据构建成对的数据集;然后,基于卷积神经网络、转置卷积神经网络构建生成对抗网络（GAN）模型的生成器和鉴别器;接着,基于成对的数据集来训练GAN模型,直到生成器和鉴别器之间达到纳什平衡状态;最后,用训练好的生成器将彩色图像从彩色域变换到红外域。基于定量评估标准对实验结果进行了评估,结果表明,所提方法可以生成高质量的红外图像,并且相较于在损失函数中不加正则化项,在损失函数中加入L1和L2正则化约束后,该方法的FID分数值平均分别降低了23.95和20.89。作为一种无监督的数据增强方法,该方法也可以被应用于其他缺少数据的目标识别、目标检测、数据不平衡等视觉任务中。