基于CQT和梅尔频谱的带有人声的音乐风格转换方法

近年来,生成对抗网络在图像风格迁移领域中表现优秀,然而其在音乐领域表现一般.现有的音乐风格迁移对带有人声的音乐的风格迁移效果不佳.为了解决这些问题,首先提取音乐的CQT特征和梅尔频谱特征,然后采用CycleGAN对CQT特征和梅尔频谱的联合特征做风格迁移,再通过WaveNet声码器来对迁移后的谱图进行解码,最终实现了带...     

动漫插画风格图像生成研究

把人像或景物等真实世界中的图片直接变换为动漫或插画风格图像是一件非常有趣且具有实际应用需求的任务,自该概念提出后就在计算机视觉领域引起了广泛的研究兴趣.当前在该任务的研究中主要通过生成对抗学习模型对图像进行风格迁移来实现.但是现有方法在图像风格迁移时难以同时传输风格与内容.本文针对该问题设计了新的生成器网络,在同时迁移...     

结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

基于StarGAN和类别编码器的图像风格转换

图像风格转换技术已经融入到人们的生活中,并被广泛应用于图像艺术化、卡通化、图像着色、滤镜处理和去遮挡等实际场景中,因此,图像风格转换具有重要的研究意义与应用价值.StarGAN是近年来用于多域图像风格转换的生成对抗网络框架.StarGAN通过简单地下采样提取特征,然后通过上采样生成图片,但是生成图片的背景颜色信息、人物...     

内容结构保持的图像风格迁移方法

现有的风格迁移算法大多是实现艺术作品到真实场景,如照片等的转换任务。在这种任务设定下,图像内容的边界等结构信息可能会出现一定程度的变化,然而这种变化不利于下游任务的完成,因而不适用于大部分工业场景。为此提出一种新的结构保持的风格迁移方法,该方法分为频域约束的图像生成模块和基于memory bank机制的语义匹配模块。前者用以保证转换前后图像的整体语义结构一致性,而后者保证了图像的语义与风格匹配,从而物体内部结构一致。为了验证该方法在工业场景中的迁移效果,采用光伏板数据集,在虚拟到真实的迁移方向上,所提出的风格迁移算法能在完成风格转换的同时较好地解决图像结构形变问题,进而满足后续任务的需求。     

基于CycleGAN的人脸素描图像生成

CycleGAN是一种基于生成对抗网络的衍生模型,可以在缺少成对训练图像的条件下实现两个具有不同风格的图像域之间的相互转换.由于收集大量成对的人脸图像和素描图像存在较大的难度,并且针对人脸素描图像生成任务中存在的图像细节模糊和低清晰度的问题,提出一种改进的CycleGAN模型.通过引入基于注意力机制的残差模块,让Cyc...     

联合图像域间和域内信息建模的图像风格转换

针对当前图像风格转换算法缺乏建模图像域间语义信息和域内长范围信息的能力,提出了一种联合图像域间和域内信息建模的图像风格转换算法SSC-GAN.通过提出语义残差连接,提取图像域内的语义特征,增强模型建模图像域间语义信息差异的能力;同时,将注意力机制引入图像风格转换任务中,解决卷积缺乏图像域内长范围信息建模能力的问题.SSC-GAN可以在不增加计算量的情况下,显著提升图像风格转换的表现.在图像风格转换数据集vangh2photo和selfie2anime上对SSC-GAN进行训练、评估和验证,结果表明,SSC-GAN不仅能取得极佳的视觉效果,而且在FID和KID指标上分别平均下降了1.3和1.1,证明了SSC-GAN的有效性.     

基于生成对抗网络的无监督图像风格迁移

无监督的图像风格迁移是计算机视觉领域中一个非常重要且具有挑战性的问题.无监督的图像风格迁移旨在通过给定类的图像映射到其他类的类似图像.一般情况下成对匹配的数据集很难获得,这极大限制了图像风格迁移的转换模型.因此,为了避免这种限制,对现有的无监督的图像风格迁移的方法进行改进,采用改进的循环一致性对抗网络进行无监督图像风格迁移.首先为了提升网络的训练速度,避免梯度消失的现象出现,在传统的循环一致性网络生成器部分引入DenseNet网络;在提高生成器的性能方面,生成器网络部分引入attention机制来输出效果更好的图像;为了减少网络的结构风险,在网络的每一个卷积层都使用谱归一化.为了验证本文方法的有效性,在monet2photo、vangogh2photo和facades数据集上进行了实验,实验结果表明,该方法在Inception score平均分数和FID距离评价指标上均有所提高.     

基于图像蒙板的无监督图像风格迁移

目前大多数的图像风格迁移方法属于有监督学习,训练数据需要成对出现,并且在处理图像背景时,现有的方法过于繁琐。针对这些问题,提出了一种基于图像蒙板的无监督图像风格迁移方法。在实验中,采用了基于循环一致性的CycleGAN架构,并使用Inception-ResNet结构设计了一个全新的具有内置图像蒙板的生成式模型,最后通过无监督学习将图像的背景与学习到的抽象特征进行自动重组。实验表明,新方法有效地对图像背景和抽象特征进行自动分离与重组,同时解决了特征学习过程中的区域干扰问题,获得了可观的视觉效果。     

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。     

基于改进CycleGAN的人脸性别伪造图像生成模型

深度伪造可以将人的声音、面部及身体动作拼接,从而合成虚假内容,用于转换性别、改变年龄等.基于生成对抗式图像翻译网络的人脸性别伪造图像存在容易改变无关图像域、人脸细节不够丰富等问题.针对这些问题,文中提出基于改进Cy-cleGAN的人脸性别伪造图像生成模型.首先,优化生成器结构,利用注意力机制与自适应残差块提取更丰富的人...     

基于生成对抗网络的图像动漫风格化

目前的卡通风格图片生成方法仍然存在局限,如色彩不真实、图片局部细节处理不到位等,要想快速将输入图片转换为动漫的风格输出还需要结合深度学习进行研究。基于生成对抗网络的思想,提出了一种动漫风格化编码的生成对抗网络,将输入的图像风格转变为宫崎骏动画电影的风格。网络结构加入自适应实例归一化层（AdaIN）模块和多层感知机（MLP）模块,得到很大优化,同时提高实验效果。在损失函数部分,引入图像感知相似性（lpips）作为内容损失函数,二分类交叉熵（binary cross entropy）损失函数（BCELoss）作为对抗损失函数。实验结果表明,该网络对于动漫化图片起到了很好的效果,FID分数72,能够灵活适用于各种类型的图片动漫化。     

神经风格迁移模型综述

神经风格迁移技术主要用于对图像、视频等进行风格化,使其具有艺术美感,该领域极具应用价值,是人工智能的热门研究领域之一.为推动神经风格迁移领域的研究发展,对神经风格迁移技术进行了全面概述.简述了非真实感渲染技术和传统的纹理迁移技术.对现有神经风格迁移模型进行了分类整理,并详细探讨了各类代表性模型的算法原理及后续改进,分析...     

融合超分辨率重构的图像任意风格迁移

图像风格迁移是指将一张普通照片转化为具有其他艺术风格效果的图像。针对风格迁移算法中无法重构生成图像的分辨率而造成生成图像清晰度低、纹理细节表现不丰富的问题,提出一种融合超分辨率重构的图像任意风格迁移模型。模型中加入的多支路特征处理模块通过计算特征的自相似性以增强特征的表达,提出新的特征融合模块以提升特征融合效果,提出特征解码模块来实现图像的超分辨率重构,并在其中多次进行特征融合以提升风格化图像的质量;在损失函数中加入生成对抗损失和白化处理来进一步提升风格化效果。实验表明,模型具有较好的任意风格迁移效果,分辨率重构后的风格化图像的细节丰富、纹理清晰。     

基于改进CycleGAN的水下图像颜色校正与增强

针对水下观测图像的颜色失真和散射模糊问题, 提出一种基于改进循环一致性生成对抗网络(Cycle-consistent generative adversarial networks, CycleGAN)的水下图像颜色校正与增强算法. 为了利用CycleGAN学习水下降质图像到空气中图像的映射关系, 对传统CycleGAN的损失函数进行了改进, 提出了基于图像强边缘结构相似度(Strong edge and structure similarity, SESS)损失函数的SESS-CycleGAN, SESS-CycleGAN可以在保留原水下图像的边缘结构信息的前提下实现水下降质图像的颜色校正和对比度增强. 为了确保增强后图像和真实脱水图像颜色的一致性, 建立了SESS-CycleGAN和正向生成网络G相结合的网络结构; 并提出了两阶段学习策略, 即先利用非成对训练集以弱监督方式进行SESS-CycleGAN学习, 然后再利用少量成对训练集以强监督方式进行正向生成网络G的监督式学习. 实验结果表明: 本文算法在校正水下图像颜色失真的同时还增强了图像对比度, 且较好地实现了增强后图像和真实脱水图像视觉颜色的一致性.     

基于CycleGAN的灰度图像彩色化方法

当前主流的图片彩色化方法包括传统算法和深度学习方法.随着深度学习模型的发展,基于深度学习的灰度图像彩色化方法能带来更好的着色效果,但仍然存在细节损失和着色枯燥问题.针对上述问题,本文将CycleGAN模型应用在非单一类别的灰度图像彩色化上,使其在动物、植物、风景等图片上有逼真的着色效果.模型结构上对CycleGAN模型的激活函数加以改进,在生成器使用PReLU激活函数,使模型更易于训练.在判别器使用PatchGAN提高图片高分辨率上的颜色细节.通过ImageNet数据集5个热门类别图像的训练后,模型对动植物与风景图彩色化的效果十分逼真.在图像评估指标中,该模型在PSNR中比GAN高了0.603 dB约有2.1%的提升,在SSIM中明显高于其他模型,在效果上有5.1%的提升.从视觉感受来看,通过CycleGAN彩色化的图片饱和度更高,在视觉真实性上高于VGG和GAN等模型,解决了着色枯燥问题,而且更容易还原图片中的颜色细节,避免细节损失.     

结合风格迁移的最小化类混淆领域自适应算法

在无监督领域自适应中分类器对目标域的样本进行类别预测时容易产生混淆预测,虽然已有研究提出了相关算法提取到样本的类间相关性,降低了分类器在目标域上的类混淆预测。但该方法仍然未能解决源域和目标域因共享特征稀疏导致的迁移学习能力不足的问题,针对这个问题,通过使用生成对抗网络对源域进行了风格迁移,扩展源域各类样本的特征空间可供目标域匹配的共享特征,解决因共享特征稀疏导致分类器正迁移力不足的问题,从而进一步减少分类器在目标域上产生的类混淆预测。当分类器利用扩充后的共享特征对目标域样本预测分类概率时,基于不确定性权重机制,加重预测概率权重使其能在几个预测概率峰值上以更高的概率值突出,准确地量化类混淆,最小化跨域的类混淆预测,抑制跨域的负迁移。在UDA场景下,对标准的数据集ImageCLEF-DA和Office-31的三个子数据集分别进行了领域自适应实验,相较于RADA算法平均识别精度分别提升了1.3个百分点和1.7个百分点。     

基于生成式对抗网络的中文字体风格迁移

风格多样的中文字体是一种重要的中国文化符号,它的设计和操作是一项需要大量专业知识的艰巨工作。因此,针对这项工作提出一种基于生成式对抗网络的中文字体风格迁移的新方法。实验中,使用基于残差网络结构的生成式模型,在均方误差约束下,进行生成式模型与判别式模型之间的对抗训练,最后使用训练所得的生成式模型实现不同中文字体间一对一和多对多的风格迁移。实验表明,与之前常用的基于◢l◣▼1▽正则化方法相比,使用这种方法在字体细节生成上有更出色的表现,简化了中文字体的建模方式,提高了生成图像的逼真度,并具有更好的灵活性和通用性。     

多通道CartoonGAN下的图像风格动漫化

为解决真实图像转换为动漫风格图像出现的参数量大、图像纹理和颜色损失的问题,提出了一种多通道卡通生成对抗网络(MC_CartoonGAN).首先,使用HSCNN+(advanced CNNs for the hyperspectral reconstruction task)和遗传算法重新构建多通道图像数据集,丰富图像信息.其次,利用DenseNet网络进行特征复用减少参数的内存占用率及缓解梯度消失的问题.最后,引入多通道颜色重建损失函数,在保证了生成图像内容完整的情况下,降低了生成图像的颜色损失.实验结果表明,提出的多通道卡通生成对抗网络将真实图像转换成动漫风格图像的质量更优.     

基于条件生成对抗网络的蒙古文字体风格迁移模型

蒙古文的每个字素在词的不同位置有着不同的书写形式,使得蒙古文字形结构多样且数量庞大,从而导致利用计算机辅助和传统人工方式设计蒙古文字体需要耗费大量的人力物力。故创建一种能自动生成蒙文字体风格的模型十分必要。国内外已有学者开展了对汉字和英文字体风格自动迁移的研究,但蒙古文领域仍处于空白阶段。因此,该文提出将条件生成对抗网络模型应用于蒙古文字体风格迁移,并给出了相关模型,实现了相应的算法和软件。在蒙古文字体数据集上进行实验,模型采用生成损失和判别损失衡量模型,Adam优化器自动调整学习率,逐渐减少差异值,直到生成器和判别器达到纳什平衡状态,可直接从蒙古文标题字体生成蒙古文手写体等字体,得到的生成字体样式基本接近真实字体样式,达到字体风格迁移的效果。