基于生成对抗网络的图像动漫风格化

目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层（AdaIN）模块和多层感知机（MLP）模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性（lpips）作为内容损失函数,二分类交叉熵（binary cross entropy）损失函数（BCELoss）作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。     

保留细节特征的图像任意风格迁移

一些主流的图像任意风格迁移模型在保持内容图像的显著性信息和细节特征方面依然有局限性, 生成的图像往往具有内容模糊、细节失真等问题. 针对以上问题, 本文提出一种可以有效保留内容图像细节特征的图像任意风格迁移模型. 模型包括灵活地融合从编码器提取到的浅层至深层的多层级图像特征; 提出一种新的特征融合模块, 该模块可以高质量地融合内容特征和风格特征. 此外, 还提出一个新的损失函数, 该损失函数可以很好地保持内容和风格全局结构, 消除伪影. 实验结果表明, 本文提出的图像任意风格迁移模型可以很好地平衡风格和内容, 保留内容图像完整的语义信息和细节特征, 生成视觉效果更好的风格化图像.     

结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

基于VGG-16神经网络图像风格迁移模型

图像风格迁移是人工智能进行艺术创造的一个重要方向。传统风格迁移技术通过逐像素迭代得到风格图片,训练耗时且迁移效果一般,无法广泛地应用于微端设备上。针对此问题,本文提出了一款轻量的图像风格迁移模型,该模型能够充分利用VGG-16卷积网络强大的图像特征提取功能。通过优化兼顾了图像内容和风格信息的损失函数,该模型能够在短时间内完成图像的风格学习,并迁移运用到目标图片上,所得到的迁移图片效果优于传统风格迁移技术。     

深度卷积神经网络下的图像风格迁移算法

针对图像风格迁移中出现的图像扭曲、内容细节丢失的问题,提出一种基于深度卷积神经网络的带有语义分割的图像风格迁移算法。定义内容图像损失和风格图像损失函数;对内容图像与风格图像分别进行语义分割,并将Matting算法作用在内容图像上,使用最小二乘惩罚函数来增强图片边缘真实性;进行图像的内容重建和风格重建生成新的图像。分析比较Neural Style改进方法、CNNMRF方法和带有语义分割的图像风格迁移方法生成的图像。实验结果和质量评估表明,70%带有语义分割的图像风格迁移方法生成的图像没有明显的图像扭曲,且内容细节完好。所以,该方法可以解决图像扭曲和细节丢失的问题,使内容丰富的图像可以得到精确的风格迁移。     

图片风格融合及快速迁移

通过卷积神经网络对不同图片的内容和风格进行融合,可生成风格多样化的图片。这不但为影视制作提供了丰富的素材,更有利于图像修复和图像增强。针对这类问题,前人曾提出一些算法,但很难在时间和空间方面都达到很好的效果。这里提出一种基于TensorFlow(将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统)的条件归一化网络来支持多风格融合及图片快速迁移,多风格可共用一个网络模型,这大大减少了算法耗时,并缓解了模型存储耗费空间大的问题,节省了计算机资源。时间上优于传统迁移算法三个数量级,空间上25种风格可共用一个模型。同时,更大程度地保留了内容图的语义特征,具有更好的视觉效果。     

稠密自适应生成对抗网络的爨体字风格迁移模型

爨体字作为典型的衬线字体,不同于黑体、微软雅黑、等线这些非衬线字体,其字形结构十分多样.为了防止爨体字在生成过程中笔画弯折处出现伪影和模糊的现象,提出一种基于稠密自适应生成对抗网络的爨体字风格迁移模型.首先,生成器通过稠密自适应卷积块更加充分地提取风格特征和内容特征;然后,像素判别器对真实图片和生成图片进行分辨;再采用对抗损失、迁移损失、梯度损失和边缘损失对生成网络进行参数调节;最后,将自行采集的爨体字数据集作为训练集送入模型进行训练.实验结果证明,所提模型能够有效地学习到风格特征,达到更好的生成效果;其生成结果在字形大小保持上优于Zi-to-zi模型,在笔画细节特征的保留上优于StarGANv2以及CycleGAN模型,并在SSIM和L1 loss指标上得到了验证.     

基于Transformer方法的任意风格迁移策略

目的 任意风格迁移是图像处理任务的重要分支,卷积神经网络作为其常用的网络架构,能够协助内容和风格信息的提取与分离,但是受限于卷积操作感受野,只能捕获图像局部关联先验知识;而自然语言处理领域的Transformer网络能够突破距离限制,捕获长距离依赖关系,更好地建模全局信息,但是因为需要学习所有元素间的关联性,其表达能力的提高也带来了计算成本的增加。鉴于风格迁移过程与句子翻译过程的相似性,提出了一种混合网络模型,综合利用卷积神经网络和Transformer网络的优点并抑制其不足。方法 首先使用卷积神经网络提取图像高级特征,同时降低图像尺寸。随后将提取的特征送入Transformer中,求取内容特征与风格特征间的关联性,并将内容特征替换为风格特征的加权和,实现风格转换。最后使用卷积神经网络将处理好的特征映射回图像域,生成艺术化图像。结果 与5种先进的任意风格迁移方法进行定性和定量比较。在定性方面,进行用户调查,比较各方法生成图像的风格化效果,结果表明本文网络生成的风格化图像渲染效果更受用户喜爱;在定量方面,比较各方法的风格化处理速度,结果表明本文网络风格化速率排名第3,属于可接受范围内。此外,本文与现有的基于Transformer的任意风格迁移方法进行比较,突出二者间差异;对判别网络进行消融实验,表明判别网络的引入能够有效提升图像的光滑度和整洁度;最后,将本文网络应用于多种风格迁移任务,表明本文网络具有灵活性。结论 本文提出的混合网络模型,综合了卷积神经网络和Transformer网络的优点,同时引入了判别网络,使生成的风格化图像更加真实和生动。     

基于风格迁移的手势分割方法

基于全卷积神经网络的手势分割方法过于依赖大量精准标注的训练样本,同时由于提取特征中缺乏足够的上下文信息,常出现类内不一致的错分现象。针对上述问题,本文提出一种基于风格迁移的手势分割方法。首先选择HGR-Net手势分割网络的前5层作为主干网络,并在主干网各层添加上下文信息增强层,使用全局均值池化操作,结合通道注意机制,增强显著性特征通道的权值,保证特征上下文信息的连续性,从而解决类内不一致问题;其次,本文还提出一种基于风格迁移的领域自适应方法,使用VGG网络,对源域测试图像进行风格迁移预处理,使其同时具有自身内容和目标域训练样本图像的风格,提高本文的手势分割模型的泛化能力,从而解决跨域样本的分割问题。使用OUHANDS数据集进行测试,本文的手势分割结果mIoU和MPA分别为0.9143和0.9363,较HGR-Net手势分割网络提高了3.2个百分点和1.8个百分点。使用本文的风格迁移方法,并在自采集数据集上进行测试,迁移后的mIoU和MPA值分别提高了19个百分点和23个百分点。本文的风格迁移领域自适应方法为无标记样本的跨域分割提供了一种新的思路。     

选择性传输与铰链对抗的多图像域人脸属性迁移

在基于生成对抗网络的人脸属性迁移过程中,存在图像域表达形式单一、图像域迁移细节失真的问题。提出一种结合选择性传输单元与铰链对抗损失的多图像域人脸属性迁移方法。在生成器中,利用自适应实例归一化融合图像的内容信息与图像域控制器生成的样式信息,增加图像域表达方式的多样性,同时通过选择性传输单元将下采样提取的内容特征根据相对属性标签选择性地传输到上采样,形成融合特征以增强图像的细节信息。在判别器中,通过增加双尺度判别,协同鉴定人脸图像的真伪及类别,从而提高判定的准确度。在此基础上,设计融合相对鉴别和铰链损失的对抗损失函数,增强真伪图像域之间的联系。在CelebA数据集上的实验结果表明,与StarGAN、STGAN等主流的多图像域人脸属性迁移方法相比,该方法能够建立更准确的多图像域映射关系,提高迁移图像的质量同时增加迁移图像表达的多样性。     

主体结构保持的增强型图像风格传递方法

现有的图像风格传递方法在传递鲜明风格的同时目标图像的主体结构常会发生变形.为了改善此情况,在基于深度卷积神经网络风格传递方法的基础上设计损失函数.该函数在原有损失项的基础上,增加两个正则项.其一用于维持目标图像的主体结构,采用高斯拉普拉斯(LoG)算子提取的边缘信息构成表达主体结构的特征矩阵,正则项由结果图像和目标图像的特征差构成.其二考虑到深度特征偏重于刻画全局信息,而艺术风格与笔触、纹理走向、色彩的流动等局部方向性特征密切关联,设计另一个正则项用于增强方向性风格特征的描述,由Gabor滤波器提取的特征构成,同时避免主体结构的保持可能带来的风格传递的弱化效应.实验表明,相比其它同类算法,文中方法在传递鲜明风格时更好地保持目标图像的主体结构.     

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。     

内容结构保持的图像风格迁移方法

现有的风格迁移算法大多是实现艺术作品到真实场景,如照片等的转换任务。在这种任务设定下,图像内容的边界等结构信息可能会出现一定程度的变化,然而这种变化不利于下游任务的完成,因而不适用于大部分工业场景。为此提出一种新的结构保持的风格迁移方法,该方法分为频域约束的图像生成模块和基于memory bank机制的语义匹配模块。前者用以保证转换前后图像的整体语义结构一致性,而后者保证了图像的语义与风格匹配,从而物体内部结构一致。为了验证该方法在工业场景中的迁移效果,采用光伏板数据集,在虚拟到真实的迁移方向上,所提出的风格迁移算法能在完成风格转换的同时较好地解决图像结构形变问题,进而满足后续任务的需求。     

场景化立体空间色彩饱和度动态修正仿真研究

当前立体空间色彩饱和度修正方法,受到噪声干扰导致图像空间的光照信息计算失准,造成低动态范围图像空间色彩饱和度失衡,从而需要二次修正,存在修正耗时较长、成本较高、且图像细节信息模糊的问题。据此提出场景化立体空间色彩饱和度动态修正方法,采用Retinex图像增强算法加入全局自适应亮度调节以及去噪环节,对图像亮度分量进行增强处理,在求解反射分量的过程中,保留场景化立体空间中的光照信息,以完成图像的预处理。将经过预处理的彩色图像压缩到普通显示器能够显示的范围内,采用阶跃方程对低动态范围内场景化立体空间色彩饱和度进行动态调整,实现场景化立体空间色彩饱和度动态修正。仿真结果表明,所提方法修正耗时较短、成本较低,并且能够更好的保存图像的细节信息。     

基于SSN的数据集预处理框架

为解决由于染色差异造成的组织病理学图片良性、恶性检测精度下降的问题,提出一种基于染色风格归一化算法的数据集预处理框架.搭建图片转换网络和损失函数网络,在训练时,联合内容图片和目标染色图片构建损失函数,通过对大量内容图片进行训练,将目标染色图片的染色风格编码在模型的权重之中;在运行时,该模型可以使输入的图片在保持原有病理学样式的情况下达到染色分布的统一.实验结果表明,经该框架处理后的数据集有着更加集中的色彩空间,使用处理后数据集训练得到的模型有着更高的分类精度.     

基于深度卷积生成对抗网络的图像生成

图像生成是虚拟现实技术(virtual reality,VR)中的重要技术手段,针对传统图片生成方法需要大量的数据集进行训练,且生成的图片轮廓不清晰等问题,采用基于深度卷积神经网络和生成对抗网络来实现图片的生成。为了保证生成图片的真实性和完整性,在图片生成阶段引入变分自编码器,通过编码器获取到输入图片数据的均值和方差,将图片对应的隐藏变量转化为标准的高斯分布,然后通过生成器生成新的图片;在识别阶段,采用深度卷积神经网络训练判别器,将生成的新的图片输入到已经训练好的判别器中,运用梯度下降法计算损失函数,不断优化整体系统模型。通过对MNIST图像数据集的训练,实验表明该方法能生成质量较高的图片,它生成的图像无法用肉眼与真实数据区分开,并且在不同网络条件下都有较高的识别率。该方法提高了MNIST生成模型的技术水平。     

基于自适应级联的注意力网络的超分辨率重建

深度卷积神经网络显著提升了单图像超分辨率的性能. 通常, 网络越深, 性能越好. 然而加深网络往往会急剧增加参数量和计算负荷, 限制了在资源受限的移动设备上的应用. 提出一个基于轻量级自适应级联的注意力网络的单图像超分辨率方法. 特别地提出了局部像素级注意力模块, 给输入特征的每一个特征通道上的像素点都赋以不同的权值, 从而为重建高质量图像选取更精确的高频信息. 此外, 设计了自适应的级联残差连接, 可以自适应地结合网络产生的层次特征, 能够更好地进行特征重用. 最后, 为了充分利用网络产生的信息, 提出了多尺度全局自适应重建模块. 多尺度全局自适应重建模块使用不同大小的卷积核处理网络在不同深度处产生的信息, 提高了重建质量. 与当前最好的类似方法相比, 该方法的参数量更小, 客观和主观度量显著更好.     

一种VGGNet的图像风格迁移算法设计与实现

针对卷积神经网络在实现图像风格迁移中出现的图像失真及精度较差问题,提出一种基于卷积神经网络的图像风格迁移算法。分析传统的纹理重构算法,采用拟牛顿法之一的L-BFGS优化方法对其进行改进。利用Gram矩阵计算图片中的纹理、颜色和视觉信息,提取一幅普通图片和一幅具有代表性的艺术性图像的两种高层抽象特征表示,从而生成具有原内容和艺术性风格的合成图像。在深度学习Keras框架的基础上,设计一种卷积神经网络的图像风格迁移算法。实验结果表明,适度地选择迭代次数可观察合成图像的匹配程度,该算法可提高准确度并降低计算复杂度。     

基于生成对抗网络的无监督图像风格迁移

无监督的图像风格迁移是计算机视觉领域中一个非常重要且具有挑战性的问题.无监督的图像风格迁移旨在通过给定类的图像映射到其他类的类似图像.一般情况下成对匹配的数据集很难获得,这极大限制了图像风格迁移的转换模型.因此,为了避免这种限制,对现有的无监督的图像风格迁移的方法进行改进,采用改进的循环一致性对抗网络进行无监督图像风格迁移.首先为了提升网络的训练速度,避免梯度消失的现象出现,在传统的循环一致性网络生成器部分引入DenseNet网络;在提高生成器的性能方面,生成器网络部分引入attention机制来输出效果更好的图像;为了减少网络的结构风险,在网络的每一个卷积层都使用谱归一化.为了验证本文方法的有效性,在monet2photo、vangogh2photo和facades数据集上进行了实验,实验结果表明,该方法在Inception score平均分数和FID距离评价指标上均有所提高.     

基于注意力机制的CycleGAN服装局部风格迁移研究

针对复杂背景下服装图像局部区域风格迁移难以控制及迁移后容易产生边界伪影的问题,提出一种基于注意力机制的CycleGAN服装局部风格迁移方法。通过VGG16网络分别提取服装图像的内容特征与风格特征,将其输入基于注意力机制的CycleGAN生成器中,应用注意力机制在复杂背景下的各个服装区域分配概率分布信息,获得注意力分布更多的区域及相关度更高的区域,并采用改进的损失函数校正边界伪影,对该区域进行风格迁移得到所需的风格迁移服装图像。实验结果表明,与CNN、FCN、BeautyGAN图像局部风格迁移方法相比,该方法不仅可以突出服装图像局部风格迁移效果,而且增强了图像细节,有利于提高输出图像的真实性和艺术性。