结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

基于中国写意风格迁移的动漫视频生成模型

目前生成式对抗网络（GAN）已经被用于图像的动漫风格转换。然而,现有基于GAN的动漫生成模型主要以日本动漫和美国动漫为对象,集中在写实风格的提取与生成,很少关注到中国风动漫中写意风格的迁移,因此限制了GAN在国内广大动漫制作市场中的应用。针对这一问题,通过将中国写意风格融入到GAN模型,提出了一种新的中国风动漫生成式对抗网络模型CCGAN,用以自动生成具有中国写意风格的动漫视频。首先,通过在生成器中增加反向残差块,构造了一个轻量级的深度神经网络模型,以降低视频生成的计算代价。其次,为了提取并迁移中国写意风格中图像边缘锐利、内容构造抽象、描边线条具有水墨质感等性质,在生成器中构造了灰度样式损失和颜色重建损失,以约束真实图像和中国风样例图像在风格上的高层语义一致性,并且在判别器中构造了灰度对抗损失和边缘促进对抗损失,以约束重构图像与样例图像保持相同的边缘特性。最终,采用Adam算法最小化上述损失函数,从而实现风格迁移,并将重构图像组合为视频。实验结果表明,与目前最具代表性的风格迁移模型CycleGAN与CartoonGAN相比,所提CCGAN可从以《中国唱诗班》为例的中国风动漫中有效地学习到中国写意风格,同时显著降低了计算代价,适合于大批量动漫视频的快速生成。     

深度卷积神经网络下的图像风格迁移算法

针对图像风格迁移中出现的图像扭曲、内容细节丢失的问题,提出一种基于深度卷积神经网络的带有语义分割的图像风格迁移算法。定义内容图像损失和风格图像损失函数;对内容图像与风格图像分别进行语义分割,并将Matting算法作用在内容图像上,使用最小二乘惩罚函数来增强图片边缘真实性;进行图像的内容重建和风格重建生成新的图像。分析比较Neural Style改进方法、CNNMRF方法和带有语义分割的图像风格迁移方法生成的图像。实验结果和质量评估表明,70%带有语义分割的图像风格迁移方法生成的图像没有明显的图像扭曲,且内容细节完好。所以,该方法可以解决图像扭曲和细节丢失的问题,使内容丰富的图像可以得到精确的风格迁移。     

基于生成式对抗网络的画作图像合成方法

画作图像合成旨在将两个不同来源的图像分别作为前景和背景融合在一起,这通常需要局部风格迁移。现有算法过程繁琐且耗时,不能做到实时的图像合成。针对这一缺点,提出了基于生成式对抗网络(generative adversarial net,GAN)的前向生成模型(PainterGAN)。PainterGAN的自注意力机制和U-Net结构控制合成过程中前景的语义内容不变。同时,对抗学习保证逼真的风格迁移。在实验中,使用预训练模型作为PainterGAN的生成器,极大地节省了计算时间和成本。实验结果表明,比起已有方法,PainterGAN生成了质量相近甚至更好的图像,生成速度也提升了400倍,在解决局部风格迁移问题上是高质量、高效率的。     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

一种使用多维度直方图匹配的图像风格迁移算法

在传统的基于直方图匹配的图像风格迁移算法的基础上，提出一种新的基于多维度直方图匹配的图像风格迁移算法。通过构建关于原图像的不同维度的直方图，然后进行原图像和目标图像的匹配，分别得到原图像在不同维度直方图下的风格迁移图像，最后对这些风格迁移后的图像进行融合生成最终的结果。在保持原图像与目标图像整体风格上尽量相似的情形下，同时又使原图像的局部细节尽可能保留，实现整体风格相似却又保留局部细节的平衡。     

基于对抗生成网络的蒙特卡罗噪声去除算法

针对现有的蒙特卡罗噪声去除方法存在的高频细节丢失问题,文中提出基于对抗生成网络的蒙特卡罗噪声去除方法.设计对抗网络结构,包括全卷积网络的生成网络和深度卷积网络的判别网络,用于蒙特卡罗噪声的去除.除了加入包括图像像素颜色外的多维辅助特征作为网络输入以外,还采用包含平滑损失在内的新的损失函数和基于法向量方差和梯度大小相似度偏差的图像局部重要性采样技术用于网络训练.实验表明,文中方法在去除蒙特卡罗噪声时不仅可以取得不错的量化指标,而且还保留图像的高频细节特征.     

基于循环生成对抗网络的图像风格迁移

图像风格迁移是指将学习到的油画图像风格应用到其他图像上,让图像拥有油画的风格,当前生成对抗网络已被广泛应用到图像风格迁移中。针对循环生成对抗网络CycleGAN在处理图像时纹理清晰度不高的问题,提出了加入局部二值模式LBP算法的方法,将LBP算法加入生成对抗网络的生成器中,增强了循环对抗生成网络提取图像纹理特征内容的效果。针对生成图像产生噪声的问题,在损失函数中加入Total Variation Loss来约束噪声。实验结果表明,循环生成对抗网络加入LBP算法和Total Variation Loss后能提高生成图像的质量,使之具有更好的视觉效果。     

基于深度学习的图像风格转换研究

随着深度学习的发展,图像风格转换任务开始使用卷积神经网络实现。针对传统图像转换网络在转换后,保留纹理细节的能力不足的问题,本文基于Justin等人的风格转换模型,优化了转换网络中的残差结构,并结合生成对抗的思想,改进了风格转换模型,使模型能提取图像中更抽象的特征,并对损失函数进行调整,进一步提升生成图像的质量。实验表明,本文方法在进行图像风格转换时,有效提升了风格化效果并且通过比较在多种评价指标下得到的结果,可知图像质量得到提升。     

基于深度神经网络的表面划痕识别方法

为实现亮度不均的复杂纹理背景下表面划痕的鲁棒、精确、实时识别，提出一种基于深度神经网络的表面划痕识别方法。用于表面划痕识别的深度神经网络由风格迁移网络和聚焦卷积神经网络（CNN）构成，其中风格迁移网络针对亮度不均的复杂背景下的表面划痕进行预处理，风格迁移网络包括前馈转换网络和损失网络，首先通过损失网络提取亮度均匀模板的风格特征和检测图像的知觉特征，对前馈转换网络进行离线训练，获取网络最优参数值，最终使风格迁移网络生成亮度均匀且风格一致的图像，然后，利用所提出的基于聚焦结构的聚焦卷积神经网络对生成图像中的划痕特征进行提取并识别。以光照变化的金属表面为例，进行划痕识别实验，实验结果表明：与需要人工设计特征的传统图像处理方法及传统深度卷积神经网络相比，划痕漏报率低至8.54%，并且收敛速度更快，收敛曲线更加平滑，在不同的深度模型下均可取得较好的检测效果，准确率提升2%左右。风格迁移网络能够保留完整划痕特征的同时有效解决亮度不均的问题，从而提高划痕识别精度；同时聚焦卷积神经网络能够实现对划痕的鲁棒、精确、实时识别，大幅度降低划痕漏报率和误报率。     

多通道CartoonGAN下的图像风格动漫化

为解决真实图像转换为动漫风格图像出现的参数量大、图像纹理和颜色损失的问题,提出了一种多通道卡通生成对抗网络(MC_CartoonGAN).首先,使用HSCNN+(advanced CNNs for the hyperspectral reconstruction task)和遗传算法重新构建多通道图像数据集,丰富图像信息.其次,利用DenseNet网络进行特征复用减少参数的内存占用率及缓解梯度消失的问题.最后,引入多通道颜色重建损失函数,在保证了生成图像内容完整的情况下,降低了生成图像的颜色损失.实验结果表明,提出的多通道卡通生成对抗网络将真实图像转换成动漫风格图像的质量更优.     

基于残差网络的快速图像风格迁移研究

图像风格迁移技术是指将一幅图像通过学习（利用卷积神经网络）名画风格，转换为与名画风格相近的图像。Gatys提出的NAAS利用VGG网络设计了一个损失网络，通过反复迭代得到风格迁移图像。Li Feifei在NAAS的基础上引入残差网络，利用残差元的快捷连接特性加速计算。主要针对以下两个方面提出了改进：对经典残差元结构进行调整，将标准卷积转换为点卷积和深度卷积，在保证卷积效果的同时降低计算量；对损失网络进行简化，该模型中第四、第五层在结构上高度一致，并且这两层的风格还原与内容重建效果基本相同，因此删去第五层并相应调整结构参数，去掉冗余参数，在降低参数量的同时保证风格还原与内容重建的效果。     

基于拉普拉斯算子和颜色保留的神经风格迁移算法

针对神经风格迁移算法结果中存在伪影、颜色丢失、轮廓模糊不清等影响整体艺术效果的问题,提出了一种基于拉普拉斯算子和颜色保留（LCR）的神经风格迁移算法。所提LCR算法使用内容损失项、风格损失项、直方图损失项以及拉普拉斯损失项构建总损失函数。由于在LCR算法中使用了直方图损失项和拉普拉斯损失项,因此,LCR算法与基于卷积神经网络的图像风格迁移（IST-CNN）算法、基于深度特征扰动（DFP）算法相比,对风格化结果图有更好的整体艺术效果。首先,通过对输入内容图像和风格图像进行去噪处理,减小了图像噪声对后续各个损失项计算的影响;其次,对内容图像和风格图像进行RGB空间到Lab空间的转换,以实现图像亮度通道L和颜色通道a、b的分离,并把内容图像的亮度信息迁移到风格图像上,从而达到内容图像颜色保留的目的;最后,在卷积神经网络（CNN）中对总损失函数进行迭代优化并输出风格化结果图。与IST-CNN和DFP算法相比,所提LCR算法的峰值信噪比（PSNR）平均分别提高了约12.418 dB和8.038 dB,结构相似性（SSIM）平均分别提高了约0.348 06和0.258 54,均方差（MSE）平均分别降低了0.653 76和0.296 00。实验结果表明,LCR算法有更好的风格化绘制整体视觉效果。     

风格强度可变的人脸风格迁移网络

目的 针对人脸风格迁移算法StarGAN （star generative adversarial network）、MSGAN （mode seeking generative adversarial network）等存在细节风格学习不佳、迁移效果单一和生成图像失真等缺点，提出一种能够降低失真并生成不同风格强度图像的人脸风格迁移算法MStarGAN （multilayer StarGAN）。方法 首先，通过特征金字塔网络（feature pyramid network，FPN）构建前置编码器，生成蕴含有图像细节特征的多层特征向量，增强生成图像在风格传输时能学习到的风格图像的细节风格；其次，使用前置编码器对原图像及风格图像各生成一个风格向量并进行组合，利用组合后的风格向量进行风格传输，使生成图像具有不同的风格迁移强度；最后，采用权重解调算法作为生成器中的风格传输模块，通过对卷积权重的操作代替在特征图上的归一化操作，消除特征图中的特征伪影，减少生成图像中的失真。结果 在Celeba_HQ数据集上进行实验，与MSGAN、StarGAN v2等对比算法相比，在参考引导合成实验中，MStarGAN的FID （Frechét inception distance score）指标分别降低了18.9和3.1，LPIPS （learnedperceptual image patch similarity）指标分别提升了0.094和0.018。在潜在引导合成实验中，MStarGAN的FID指标分别降低了20.2和0.8，LPIPS指标分别提升了0.155和0.92，并能够生成具有不同风格强度的结果图像。结论 提出的算法能够传输图像的细节风格，生成具有不同强度的输出图像，并减少生成图像的失真。     

面向样本扩充的新型风格迁移网络研究

全监督语义分割网络在训练时需要耗费大量的人力与时间成本来标注样本。所以减少人工标注样本的时间,同时提升语义分割效果,对于深度学习网络的快速部署和应用推广具有重要意义。提出一种基于改进图像风格迁移网络（CycleGAN-AD）的样本扩充方法。以CycleGAN为基础,在生成器中引入注意力机制并将深度残差网络改为密集连接卷积网络。利用计算机批量产生自带标签的模拟样本,使用CycleGAN-AD网络将模拟样本风格迁移成为真实样本风格（标签不变）,并用于扩充训练样本。对石墨电极的钢印字符进行语义分割的实验结果表明,采用CycleGAN-AD网络进行样本扩充后,其分割效果得到显著提升,MIoU值最高升至0.826 0。可见,提出的样本扩充方法有希望在显著减少人工标注工作量的同时,获得高质量的训练样本。     

相关对齐的总变分风格迁移新模型

目的 图像的风格迁移是近年来机器视觉领域的研究热点之一。针对传统基于卷积神经网络（CNN）的图像风格迁移方法得到的结果图像存在风格纹理不均匀、噪声增强及迭代时间长等问题,本文在CNN框架下提出了一种基于相关对齐的总变分图像风格迁移新模型。方法 在详细地分析了传统风格迁移方法的基础上,新模型引入了基于相关对齐的风格纹理提取方法,通过最小化损失函数,使得风格信息更加均匀地分布在结果图像中。通过分析比较CNN分解图像后不同卷积层的重构结果,提出了新的卷积层选择策略,以有效地提高风格迁移模型的效率。新模型引入了经典的总变分正则,以有效地抑制风格迁移过程中产生的噪声,使结果图像具有更好的视觉效果。结果 仿真实验结果说明,相对于传统方法,本文方法得到的结果图像在风格纹理和内容信息上均有更好的表现,即在风格纹理更加均匀细腻的基础上较好地保留了内容图像的信息。另外,新模型可以有效地抑制风格迁移过程中产生的噪声,且具有更高的运行效率（新模型比传统模型迭代时间减少了约30%）。结论 与传统方法相比,本文方法得到的结果图像在视觉效果方面有更好的表现,且其效率明显优于传统的风格迁移模型。     

保留细节特征的图像任意风格迁移

一些主流的图像任意风格迁移模型在保持内容图像的显著性信息和细节特征方面依然有局限性, 生成的图像往往具有内容模糊、细节失真等问题. 针对以上问题, 本文提出一种可以有效保留内容图像细节特征的图像任意风格迁移模型. 模型包括灵活地融合从编码器提取到的浅层至深层的多层级图像特征; 提出一种新的特征融合模块, 该模块可以高质量地融合内容特征和风格特征. 此外, 还提出一个新的损失函数, 该损失函数可以很好地保持内容和风格全局结构, 消除伪影. 实验结果表明, 本文提出的图像任意风格迁移模型可以很好地平衡风格和内容, 保留内容图像完整的语义信息和细节特征, 生成视觉效果更好的风格化图像.     

基于生成对抗网络的无监督图像风格迁移

无监督的图像风格迁移是计算机视觉领域中一个非常重要且具有挑战性的问题.无监督的图像风格迁移旨在通过给定类的图像映射到其他类的类似图像.一般情况下成对匹配的数据集很难获得,这极大限制了图像风格迁移的转换模型.因此,为了避免这种限制,对现有的无监督的图像风格迁移的方法进行改进,采用改进的循环一致性对抗网络进行无监督图像风格迁移.首先为了提升网络的训练速度,避免梯度消失的现象出现,在传统的循环一致性网络生成器部分引入DenseNet网络;在提高生成器的性能方面,生成器网络部分引入attention机制来输出效果更好的图像;为了减少网络的结构风险,在网络的每一个卷积层都使用谱归一化.为了验证本文方法的有效性,在monet2photo、vangogh2photo和facades数据集上进行了实验,实验结果表明,该方法在Inception score平均分数和FID距离评价指标上均有所提高.