基于多残差动态融合生成对抗网络的人脸素描-照片合成方法

针对现阶段人脸素描-照片合成方法合成的图像存在清晰度较低、面部细节模糊等问题,提出基于多残差动态融合生成对抗网络的人脸素描-照片合成方法.首先设计多残差动态融合网络,从不同的密集残差模块分别提取特征并进行残差学习.然后根据不同层次的多样化残差特征生成对应的偏移量,不同位置的卷积核依据偏移量改变采样坐标,使网络自适应地关...     

基于双层生成对抗网络的素描人脸合成方法

为解决传统素描人脸合成方法中素描人脸图像细节模糊和清晰度低的问题,提出一种基于双层生成对抗网络的素描人脸合成方法。该方法学习面部照片与素描人脸图像之间的映射关系,并通过双层网络将映射关系限制为一对一映射;利用重建损失函数约束生成网络,提高合成能力;通过生成网络与判别网络的对抗训练,优化网络参数,合成最终素描人脸图像。通过在CUHK素描人脸库上的对比实验,证明该方法合成的素描人脸图像质量明显优于其他传统素描人脸合成方法,其合成的素描人脸图像面部细节更完整,清晰度更高。     

基于三网络对抗学习的素描人脸合成方法

为解决现有素描人脸合成方法中素描人脸图像细节缺失、清晰度低及可适用性差的问题,提出一种三网络对抗学习的模型.由面部特征提取网络、生成网络及判别网络组成,引入面部细节损失与对抗损失相结合的复合损失函数,提高合成素描人脸图像的质量.在公共素描人脸数据集中与现有方法的定量与定性对比实验验证了该方法能够生成更加逼真、清晰的素描...     

基于GAN的分步合成人脸素描生成算法

人脸素描具有丰富的阴影、纹理和鲜明的脸部特征,广泛应用于人脸识别和生活娱乐等领域.鉴于艺术家对人脸素描的绘制步骤具有一定次序的特点,提出一种模拟艺术家绘制人脸素描步骤的算法.将素描生成过程分为2个阶段:第1阶段利用重建的图像辅助生成素描信息;第2阶段利用第1阶段得到的素描信息辅助合成目标素描图像,达到具有脸部轮廓、头发纹理与五官特征、脸部阴影特征的目的.采用CUHK和CUFS数据集进行大量实验,通过PSNR, SSIM和FIR这3个客观评价指标进行对比,结果表明,所提算法的PSNR比典型算法平均提高了4.7 dB, SSIM平均提升0.08, FID分数平均降低8.3;该算法能够生成效果更好的人脸素描图像.     

基于自判别循环生成对抗网络的人脸图像翻译

人脸跨域翻译是将人脸图像从一个图像域映射到另一个图像域的过程,常见的人脸图像翻译任务包括人脸照片–素描、人脸照片–线条画跨域翻译等,可以广泛应用于现实场景,如协助刑侦、电影制作、数字娱乐.但是成对的人脸图像数据有限,且不同域之间的颜色、纹理差异较大,导致人脸图像跨域翻译仍面临着巨大挑战.现有的方法通常会产生模糊、伪影、结构失真等问题,导致较差的视觉效果.为解决这一问题,我们提出了一个自判别循环生成对抗网络,其中,生成器部分采用编码器–解码器结构,生成器对应的判别器为翻译方向相反的编码器,通过自判别的形式,使编码器(即判别器)巧妙地融合了“真/假”语义判别能力与对像素改变的敏感性,从而增强了模型的稳健性和泛化能力.其次,我们提出了一个新颖的全向像素梯度损失函数,设计的卷积核计算了每个像素周围每个方向的梯度来提取图像的梯度信息,通过约束生成图像与对应真实图像的梯度信息保持一致,从而激励模型有效地学习像素间连续变化的模式,并且该损失函数可以灵活地应用于其他生成模型以提升性能.大量的实验表明本文提出的框架能够在公开的成对的人脸照片–素描数据集(CUFS, CUFSF)以及人脸照片–线条画数据集...     

基于生成对抗网络的多属性人脸图像生成

人脸图像生成是计算机图形学与计算机视觉领域中的重要研究方向.但在多属性人脸生成问题上,传统模型存在两个不足,一是控制生成人脸图片的属性时,不能有效地保持图片特征;二是现有的条件式生成对抗网络由于数据集应用不灵活,造成在不平衡数据上进行多属性人脸生成时表现不佳.针对这些不足,论文提出基于特征保持的条件生成对抗网络,针对第...     

人脸年龄合成的生成对抗网络方法综述

年龄信息作为人类生物特征识别的重要组成部分,在社会保障和数字娱乐等领域具有广泛的应用前景。人脸年龄合成技术由于其广泛的应用价值,受到了越来越多学者的重视,已经成为计算机视觉领域的重要研究方向之一。随着深度学习的快速发展,基于生成对抗网络的人脸年龄合成技术已成为研究热点。尽管基于生成对抗网络的人脸年龄合成方法取得了不错的成果,但生成的人脸年龄图像仍存在图像质量较差、真实感较低、年龄转换效果和多样性不足等问题。主要因为当前人脸年龄合成研究仍存在以下困难： 1）现有人脸年龄合成数据集的限制; 2）引入人脸年龄合成的先验知识不足; 3）人脸年龄图像的细粒度性被忽视; 4）高分辨率下的人脸年龄合成问题;5）目前人脸年龄合成方法的评价标准不规范。本文对目前人脸年龄合成技术进行全面综述,以人脸年龄合成方法为研究对象,阐述其研究现状。通过调研文献,对人脸年龄合成方法进行分类,重点介绍了基于生成对抗网络的人脸年龄合成方法。此外,本文还讨论了常用的人脸年龄合成数据集及评价指标,分析了各种人脸年龄合成方法的基本思想、特点及其局限性,对比了部分代表方法的性能,指出了该领域目前存在的挑战并提供了一些具有潜力的研究方向,为研究者们解决存在的问题提供便利。     

生成对抗网络研究综述

生成对抗网络(GAN)是一种基于深度学习的强大生成模型,目前广泛应用于计算机视觉、自然语言处理、半监督学习等领域,并取得了显著的成果。随后研究人员通过对GAN的生成器、判别器做结构上的改进或对目标函数等进行优化,提出了更多种的GAN。首先介绍GAN的研究进展和基本思想,其次对一些经典的GAN,如深度卷积生成对抗网络(DCGAN)、条件生成对抗网络(CGAN)、WGAN和超分辨率生成对抗网络(SRGAN)等进行综述,最后对GAN的相关工作进行总结与展望。     

双重对偶生成对抗网络的跨年龄素描—照片转换

目的 跨年龄素描-照片转换旨在根据面部素描图像合成同一人物不同年龄阶段的面部照片图像。该任务在公共安全和数字娱乐等领域具有广泛的应用价值,然而由于配对样本难以收集和人脸老化机制复杂等原因,目前研究较少。针对此情况,提出一种基于双重对偶生成对抗网络（double dual generative adversarial networks,D-DualGANs）的跨年龄素描-照片转换方法。方法 该网络通过设置4个生成器和4个判别器,以对抗训练的方式,分别学习素描到照片、源年龄组到目标年龄组的正向及反向映射。使素描图像与照片图像的生成过程相结合,老化图像与退龄图像的生成过程相结合,分别实现图像风格属性和年龄属性上的对偶。并增加重构身份损失和完全重构损失以约束图像生成。最终使输入的来自不同年龄组的素描图像和照片图像,分别转换成对方年龄组下的照片和素描。结果 为香港中文大学面部素描数据集（Chinese University of Hong Kong（CUHK）face sketch database,CUFS）和香港中文大学面部素描人脸识别技术数据集（CUHK face sketch face recognition technology database,CUFSF）的图像制作对应的年龄标签,并依据标签将图像分成3个年龄组,共训练6个D-DualGANs模型以实现3个年龄组图像之间的两两转换。同非端到端的方法相比,本文方法生成图像的变形和噪声更小,且年龄平均绝对误差（mean absolute error,MAE）更低,与原图像相似度的投票对比表明1130素描与3150照片的转换效果最好。结论 双重对偶生成对抗网络可以同时转换输入图像的年龄和风格属性,且生成的图像有效保留了原图像的身份特征,有效解决了图像跨风格且跨年龄的转换问题。     

生成对抗网络及其文本图像合成综述

随着深度学习的快速发展,基于生成对抗网络的文本图像合成领域成为了当下计算机视觉研究的热点。生成对抗网络同时包含生成器和鉴别器,通过两者的博弈来实现逼真数据的生成。受生成对抗网络的启发,近几年提出了一系列的文本图像合成模型,从图像质量、多样性、语义一致性方面不断取得突破。为推动文本图像合成领域的研究发展,对现有文本图像合成技术进行了全面概述。从文本编码、文本直接合成图像、文本引导图像合成方面对文本图像合成模型进行了分类整理,并详细探讨了各类基于生成对抗网络的代表性模型的模型框架和关键性贡献。分析了现有的评估指标和常用的数据集,提出了现有方法在复杂场景和文本、多模态、轻量化模型、模型评价方法等方面的不足和未来的发展趋势。总结了目前生成对抗网络在各领域的发展,重点关注了在文本图像合成领域的应用,可以作为一个研究人员进行图像合成研究时选择深度学习相关方法的权衡和参考。     

多判别器协同框架:高品质图像的谱归一生成对抗网络

通过生成对抗网络的对抗学习生成仿真图像,已成为人工智能领域的一个研究热点.为了进一步提高生成图像的质量,本文提出了多判别器协同合作的网络框架——采用多个判别器为唯一生成器提供联合损失量,并通过不同的学习率保持各个判别器的差异性.同时,为了满足判别器的Lipschitz连续条件,本文所有的判别器网络一律进行谱归一化操作.实验表明,本文提出的基于多判别器合作框架的生成对抗网络表现较优.     

基于联合一致循环生成对抗网络的人像着色

传统灰度图像着色方法存在颜色失真、效果不佳等问题,已逐渐被深度学习方法取代。目前基于深度学习的人像着色方法主要存在复杂背景下误着色的问题。针对上述问题,提出了联合一致循环生成对抗网络的人像着色方法。该方法在循环生成对抗网络的基础上,采用联合的一致性损失训练模型;生成网络采用U型网络结构（UNet）进行改进,以提高生成图像信息的完整性;判别网络中引入多特征融合的特征提取方式,增强特征对图像的细节表达。最后通过在自建的CASIA-PlusColors高质量人像数据集中的对比实验,验证了该方法对复杂背景中的人像着色有着更好的效果。     

基于条件生成对抗网络的图像着色研究

随着多媒体技术的发展,诸如黑白照片着色、医学影像渲染和手绘图上色等各种图像着色应用需求逐渐增多.传统着色算法大部分存在着色模式单一、在处理部分数据时着色效果不佳或者依赖人工输入信息等缺点,对此,设计了一种条件生成对抗网络和颜色分布预测模型相结合的图像着色方法.由生成对抗网络生成着色图像,并通过预测模型的预测值来对生成器...     

基于生成对抗网络的图像动漫化

动漫风格的图像具有高度的简化和抽象等特征,为了解决将现实世界图像转化成动漫风格图像这一问题,提出一种基于生成对抗网络的图像动漫化方法。本文的生成网络是类U-Net的全卷积结构,对输入图像先下采样,并加上浅层的特征用双线性插值的方法进行上采样,判别网络则采用Patch GAN加谱归一化的结构,分别计算语义内容损失和风格损失以提高网络的稳定性。本文采用surface表征损失、structure表征损失和texture表征损失代替风格损失,使得生成动漫图像的效果更可控。写实图像选用train2014,人脸图像采用CelebA-HQ数据集。使用本文模型在这些数据集上进行实验,实验结果表明,本文模型能够有效地完成图像动漫化的过程,并生成较高质量的动漫化图像。     

基于对抗生成网络的中国山水画自动生成模型

中国山水画是以山川自然景观为主要描写对象的画,它是中国画的重要画科。当前深度学习模型在图像分类、对象识别、图像风格转换和图像生成等领域都取得了巨大的成功。提出一个基于深度对抗生成网络的中国山水画自动生成模型,以网络上公开的中国山水画图像为训练集,设计适当深度的网络和损失函数,通过生成器和判别器的对抗训练,得到图像生成器。通过与真实的山水画进行比较,本模型能够生成具有接近中国山水画风格的图像。     

基于生成对抗网络的运动模糊图像复原

针对相机成像时相机抖动、物体运动等导致图像产生运动模糊这一十分具有挑战性的问题，提出基于生成对抗网络的深度卷积神经网络来复原模糊图像的解决方案。该方案省略了模糊核估计的过程，采用端对端的方式直接获取复原图像；通过引入生成对抗网络思想的对抗损失和对残差网络进行改进，有效地复原了图像的细节信息。最后通过训练此深度卷积神经网络模型并在相关模糊复原基准数据集上测试，证明了该方案取得了较好的结果。     

生成对抗网络进行感知遮挡人脸还原的算法研究

有遮挡人脸图像还原是指通过对遮挡区域的图像进行估计,尽可能使用语义上合理的内容来填补.现有的人脸图像还原算法大多使用预先定义的掩模来模拟遮挡,并未考虑真实场景下的遮挡(如眼镜、口罩等)大小和位置对图像还原的影响.提出了一种基于深度卷积生成对抗网络的遮挡感知人脸还原方法,通过学习最接近遮挡图像的编码,来推断缺失的内容,并在生成的过程中自动检测出遮挡的区域,此外,为了减少面部信息丢失,保证恢复后的人脸的真实性,引入语义感知网络,以此进一步优化所提模型.对所选数据集的实验表明,所提出的模型效果较好.     

Semisupervised Encrypted Traffic Identification Based on Auxiliary Classification Generative Adversarial Network

The rapidly increasing popularity of mobile devices has changed the methods with which people access various network services and increased network traffic markedly. Over the past few decades, network traffic identification has been a research hotspot in the field of network management and security monitoring. However, as more network services use encryption technology, network traffic identification faces many challenges. Although classic machine learning methods can solve many problems that cannot be solved by port- and payload-based methods, manually extract features that are frequently updated is time-consuming and labor-intensive. Deep learning has good automatic feature learning capabilities and is an ideal method for network traffic identification, particularly encrypted traffic identification; Existing recognition methods based on deep learning primarily use supervised learning methods and rely on many labeled samples. However, in real scenarios, labeled samples are often difficult to obtain. This paper adjusts the structure of the auxiliary classification generation adversarial network (ACGAN) so that it can use unlabeled samples for training, and use the wasserstein distance instead of the original cross entropy as the loss function to achieve semisupervised learning. Experimental results show that the identification accuracy of ISCX and USTC data sets using the proposed method yields markedly better performance when the number of labeled samples is small compared to that of convolutional neural network (CNN) based classifier.     

基于对抗网络人脸超分辨率重建算法研究

由于受到光照和成像设备等条件因素的影响,采集到的单帧人脸图像分辨率低,无法进行准确人脸识别,所以需要图像超分辨率重建.而利用SRGAN模型在进行人脸超分辨率重建过程中,易出现梯度消失或爆炸的问题,严重影响了重建图像的精度和质量.针对上述问题,提出了基于生成对抗网络的改进人脸超分辨率重建算法,在SRGAN结合WGA-N的...