稠密自适应生成对抗网络的爨体字风格迁移模型

爨体字作为典型的衬线字体,不同于黑体、微软雅黑、等线这些非衬线字体,其字形结构十分多样.为了防止爨体字在生成过程中笔画弯折处出现伪影和模糊的现象,提出一种基于稠密自适应生成对抗网络的爨体字风格迁移模型.首先,生成器通过稠密自适应卷积块更加充分地提取风格特征和内容特征;然后,像素判别器对真实图片和生成图片进行分辨;再采用对抗损失、迁移损失、梯度损失和边缘损失对生成网络进行参数调节;最后,将自行采集的爨体字数据集作为训练集送入模型进行训练.实验结果证明,所提模型能够有效地学习到风格特征,达到更好的生成效果;其生成结果在字形大小保持上优于Zi-to-zi模型,在笔画细节特征的保留上优于StarGANv2以及CycleGAN模型,并在SSIM和L1 loss指标上得到了验证.     

基于生成对抗网络的无监督图像风格迁移

无监督的图像风格迁移是计算机视觉领域中一个非常重要且具有挑战性的问题.无监督的图像风格迁移旨在通过给定类的图像映射到其他类的类似图像.一般情况下成对匹配的数据集很难获得,这极大限制了图像风格迁移的转换模型.因此,为了避免这种限制,对现有的无监督的图像风格迁移的方法进行改进,采用改进的循环一致性对抗网络进行无监督图像风格迁移.首先为了提升网络的训练速度,避免梯度消失的现象出现,在传统的循环一致性网络生成器部分引入DenseNet网络;在提高生成器的性能方面,生成器网络部分引入attention机制来输出效果更好的图像;为了减少网络的结构风险,在网络的每一个卷积层都使用谱归一化.为了验证本文方法的有效性,在monet2photo、vangogh2photo和facades数据集上进行了实验,实验结果表明,该方法在Inception score平均分数和FID距离评价指标上均有所提高.     

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。     

基于条件Wassertein生成对抗网络的图像生成

生成对抗网络(GAN)能够自动生成目标图像,对相似地块的建筑物排布生成具有重要意义.而目前训练模型的过程中存在生成图像精度不高、模式崩溃、模型训练效率太低的问题.针对这些问题,提出了一种面向图像生成的条件Wassertein生成对抗网络(C-WGAN)模型.首先,该模型需要识别真实样本和目标样本之间特征对应关系,然后,...     

深度学习汉字生成与字体风格迁移综述

汉字字体风格迁移旨在保证在语义内容不变的同时对汉字的字形作相应的转换。由于深度学习在图像风格迁移任务中表现出色,因此汉字生成可以从汉字图像入手,利用此技术实现汉字字体的转换,减少字体设计的人工干预,减轻字体设计的工作负担。然而,如何提高生成图像的质量仍是一个亟待解决的问题。本文首先系统梳理了当前汉字字体风格迁移的相关工作,将其分为3类,即基于卷积神经网络(convolutional neural network,CNN)、自编码器(auto-encoder,AE)和生成对抗网络(generative adversarial network,GAN)的汉字字体风格迁移方法。然后,对比分析了22种汉字字体风格迁移方法在数据集规模方面的需求和对不同字体类别转换的适用能力,并归纳了这些方法的特点,包括细化汉字图像特征、依赖预训练模型提取有效特征、支持去风格化等。同时,按照汉字部首检字表构造包含多种汉字字体的简繁体汉字图像数据集,并选取代表性的汉字字体风格迁移方法进行对比实验,实现源字体(仿宋)到目标字体(印刷体和手写体)的转换,展示并分析Rewrite2、zi2zi、TET-GAN(texture effects transfer GAN)和Unet-GAN等4种代表性汉字字体风格迁移方法的生成效果。最后,对该领域的现状和挑战进行总结,展望该领域未来发展方向。由于汉字具有数量庞大和风格多样的特性,因此基于深度学习的汉字生成与字体风格迁移技术还不够成熟。未来该领域将从融合汉字的风格化与去风格化为一体、有效提取汉字特征等方面进一步探索,使字体设计工作向更灵活、个性化的方向发展。     

基于迁移学习的双层生成式对抗网络

在生成式对抗网络的对抗训练中,目标样本训练集不足会导致模型无法准确学习到对应的特征,但对于需要人工制作、标记的目标样本训练集又很难获取。针对这一问题,提出了基于迁移学习的双层生成式对抗网络模型,在第一层网络中通过伪目标样本让模型学习到目标样本在结构空间的大致分布后,利用迁移学习的思想进行模型迁移,并在第二层网络中根据少量目标样本进行调整。实验中,验证了该模型在中文字体生成与图片框架图转换中的提高,有效地在少量目标样本训练集中训练出更好的模型。     

基于生成式对抗网络的中文字体风格迁移

风格多样的中文字体是一种重要的中国文化符号,它的设计和操作是一项需要大量专业知识的艰巨工作。因此,针对这项工作提出一种基于生成式对抗网络的中文字体风格迁移的新方法。实验中,使用基于残差网络结构的生成式模型,在均方误差约束下,进行生成式模型与判别式模型之间的对抗训练,最后使用训练所得的生成式模型实现不同中文字体间一对一和多对多的风格迁移。实验表明,与之前常用的基于◢l◣▼1▽正则化方法相比,使用这种方法在字体细节生成上有更出色的表现,简化了中文字体的建模方式,提高了生成图像的逼真度,并具有更好的灵活性和通用性。     

基于条件的边界平衡生成对抗网络

目前没有能够使用简单的网络结构生成高质量特定图像的生成模型,针对这一项任务,本文结合边界平衡生成对抗网络（boundary equilibrium generative adversarial network,BEGAN）的优点,添加附加条件特征以及均方误差损失,建立了条件边界平衡生成对抗网络（conditional-BEGAN,C-BEGAN）,使用这种方法提取其中的生成模型用于特定图像的生成,实验结果表明,该方法相比于其他监督类生成模型可以使用更简单的网络达到更快的收敛速度并且能够生成具有更好质量以及多样性的图片。     

基于条件对抗生成网络的对抗样本防御方法

人工智能目前在诸多领域均得到较好应用,然而通过对抗样本会使神经网络模型输出错误的分类.研究提升神经网络模型鲁棒性的同时如何兼顾算法运行效率,对于深度学习在现实中的落地使用意义重大.针对上述问题,本文提出一种基于条件对抗生成网络的对抗样本防御方法Defense-CGAN.首先使用对抗生成网络生成器根据输入噪声与标签信息生...     

基于条件生成对抗网络生成人体肖像线稿

将深度学习用于图像边缘提取,获取线稿图。常见的图像边缘获取算法存在两个缺陷:只考虑到了图像边缘的一阶、二阶数据特征,并未发掘其高阶数据特征及其他隐含特征;没有设定合理的阈值,而阈值直接影响着检测效果。这两个因素使得到的图像线稿图效果不佳。鉴于此,提出基于条件对抗网络生成人体肖像线稿图的方案,并在最终的实验中取得了良好效果。     

基于条件生成式对抗网络的情感语音生成模型

提出了一种基于条件生成对抗网络的情感语音生成技术,在引入情感条件的基础上,通过学习语音库中的情感信息,能够自主生成全新的富有指定情感的语音.生成式对抗网络是由一个判别网络和一个生成器组成.使用TensorFlow作为学习框架,利用条件GAN模型对大量情感语音进行训练,利用语音生成网络G和生成网络D构成动态"博弈过程",...     

基于条件生成对抗网络的书法字笔画分割

毛笔书法作为中华传统艺术的精华, 需要在新的时代背景下继续传承和发扬. 书法字是以笔画为基本单元组成的复杂图形, 如果要分析书法结构, 笔画分割是首要的步骤. 传统的笔画分割方法主要利用细化法从汉字骨架上提取特征点, 分析交叉区域的子笔画拓扑结构关系来分割笔画. 本文分析了传统笔画分割基于底层特征拆分笔画的局限性, 利用条件生成对抗网络(Conditional generative adversarial network, CGAN)的对抗学习机制直接分割笔画, 使提取笔画从先细化再分割改进为直接分割. 该方法能有效提取出精确的笔画, 得到的高层语义特征和保留完整信息的单个笔画利于后续对书法轮廓和结构的评价.     

基于条件生成对抗网络的图像着色研究

随着多媒体技术的发展,诸如黑白照片着色、医学影像渲染和手绘图上色等各种图像着色应用需求逐渐增多.传统着色算法大部分存在着色模式单一、在处理部分数据时着色效果不佳或者依赖人工输入信息等缺点,对此,设计了一种条件生成对抗网络和颜色分布预测模型相结合的图像着色方法.由生成对抗网络生成着色图像,并通过预测模型的预测值来对生成器...     

基于通道注意力与条件生成对抗网络的图像去雾

针对当前去雾方法存在雾残留、颜色失真等问题, 结合生成对抗网络在图像超分辨率重建的优势, 提出基于通道注意力与条件生成对抗网络图像去雾算法(CGAN-ECA). 网络基于编码-解码结构, 生成器设计多尺度残差模块(multi-scale residual block, MRBlk)和高效通道注意力模块(efficient channel attention, ECA)扩大感受野, 提取多尺度特征, 动态调整不同通道权重, 提高特征利用率. 使用马尔可夫判别器分块评价图像, 提高图像判别准确率. 损失函数增加内容损失, 减少去雾图像的像素和特征级损失, 保留图像更多的细节信息, 实现高质量的图像去雾. 在公开数据集RESIDE实验结果表明, 提出的模型相比于DCP、AOD-Net、DehazeNet和GCANet方法峰值信噪比和结构相似性分别平均提高36.36%, 8.80%, 改善了颜色失真和去雾不彻底的现象, 是一种有效的图像去雾算法.     

条件概率图产生式对抗网络

产生式对抗网络(generative adversarial networks,简称GANs)可以生成逼真的图像,因此最近被广泛研究.值得注意的是,概率图生成对抗网络(graphical-GAN)将贝叶斯网络引入产生式对抗网络框架,以无监督的方式学习到数据的隐藏结构.提出了条件概率图生成对抗网络(conditional graphical-GAN),它可以在弱监督环境下,利用粗粒度监督信息来学习到更精细而复杂的结构.条件概率图生成对抗网络的推理和学习遵循与graphical-GAN类似的方法.提出了条件概率图生成对抗网络的两个实例.条件高斯混合模型(conditional Gaussian mixture GAN,简称cGMGAN)可以在给出粗粒度标签的情况下从混合数据中学习细粒度聚类.条件状态空间模型(conditional state space GAN,简称cSSGAN)可以在给定对象标签的情况下学习具有多个对象的视频的动态过程.     

基于条件生成式对抗网络的面部表情迁移模型

面部表情迁移是计算机视觉角色动画领域的关键技术,但现有面部表情迁移方法存在生成表情不自然、缺乏真实感、迁移模型复杂以及训练难度大等问题.为此,构建一种基于条件生成式对抗网络的面部表情迁移模型.通过设计域分类损失函数指定表情域条件,使单个生成器学习多个表情域之间的映射,同时利用模型生成器和判别器之间的条件约束与零和博弈,在仅训练一个生成器的情况下同时实现7种面部表情迁移.实验结果表明,该模型能够有效进行面部表情迁移并且鲁棒性较强,其生成的面部表情较StarGAN模型更自然、逼真.     

基于一种条件熵距离惩罚的生成式对抗网络

生成高质量的样本一直是生成式对抗网络(generative adversarial networks,简称GANs)领域的主要挑战之一.鉴于此,利用条件熵构建一种距离,并将此直接惩罚于GANs生成器目标函数,在尽可能保持熵不变的条件下,迫使生成分布逼近目标分布,从而大幅度地提高网络生成样本的质量.除此之外,还通过优化G...     

基于生成对抗网络的行人重识别方法研究综述

近年来,随着公共安全需求的不断增长以及智能监控网络的快速发展,行人重识别已成为计算机视觉领域的热门研究课题之一,其目标是在不同摄像头中检索具有相同身份的行人.首先,介绍目前经典的行人重识别数据集;然后,重点梳理了近年来基于生成对抗网络的行人重识别方法,根据生成对抗网络的特点和应用场景将这些方法归纳为风格转换、数据增强和...     

基于多对多生成对抗网络的非对称跨域迁移行人再识别

无监督跨域迁移学习是行人再识别中一个非常重要的任务. 给定一个有标注的源域和一个没有标注的目标域, 无监督跨域迁移的关键点在于尽可能地把源域的知识迁移到目标域. 然而, 目前的跨域迁移方法忽略了域内各视角分布的差异性, 导致迁移效果不好. 针对这个缺陷, 本文提出了一个基于多视角的非对称跨域迁移学习的新问题. 为了实现这种非对称跨域迁移, 提出了一种基于多对多生成对抗网络(Many-to-many generative adversarial network, M2M-GAN)的迁移方法. 该方法嵌入了指定的源域视角标记和目标域视角标记作为引导信息, 并增加了视角分类器用于鉴别不同的视角分布, 从而使模型能自动针对不同的源域视角和目标域视角组合采取不同的迁移方式. 在行人再识别基准数据集Market1501、DukeMTMC-reID和MSMT17上, 实验验证了本文的方法能有效提升迁移效果, 达到更高的无监督跨域行人再识别准确率.     

基于生成对抗网络的图像动漫风格化

目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层（AdaIN）模块和多层感知机（MLP）模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性（lpips）作为内容损失函数,二分类交叉熵（binary cross entropy）损失函数（BCELoss）作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。