多区域差异化的图像风格迁移算法

图像风格迁移技术可以自动地赋予图像不同的风格.现有的研究大多针对图像的整体或者图像中的单一区域进行风格迁移,在实际应用中难免存在局限性.在风格迁移过程中引入内容图像的语义信息,提出一种针对图像不同区域进行的差异风格化的方法.将内容图像经过语义分割后引入VGG损失网络,从而限定图像的风格化区域.分别在每个区域上计算各自的...     

结合全卷积网络与CycleGAN的图像实例风格迁移

目的 传统的图像风格迁移主要在两个配对的图像间进行。循环一致性对抗网络（CycleGAN）首次将生成对抗网络应用于图像风格迁移,实现无配对图像之间的风格迁移,取得了一定的效果,但泛化能力较弱,当训练图像与测试图像之间差距较大时,迁移效果不佳。针对上述问题,本文提出了一种结合全卷积网络（FCN）与CycleGAN的图像风格迁移方法,使得图像能够实现特定目标之间的实例风格迁移。同时验证了训练数据集并非是造成CycleGAN风格迁移效果不佳的因素。方法 首先结合全卷积网络对图像进行语义分割,确定风格迁移的目标,然后将风格迁移后的图像与目标进行匹配,确定迁移对象实现局部风格迁移。为验证CycleGAN在训练图像和测试图像差距较大时风格转移效果不佳并非因缺少相应训练集,制作了训练数据集并带入原网络训练。结果 实验表明结合了全卷积网络与CycleGAN的图像风格迁移方法增加了识别能力,能够做到图像局部风格迁移而保持其余元素的完整性,相对于CycleGAN,该方法能够有效抑制目标之外区域的风格迁移,实验中所用4张图片平均只有4.03%的背景像素点发生了改变,实例迁移效果得到很好提升。而将自制训练集带入原网络训练后,依然不能准确地在目标对象之间进行风格迁移。结论 结合了全卷积网络与CycleGAN的方法能够实现图像的局部风格迁移而保持目标对象之外元素不发生改变,而改变训练数据集对CycleGAN进行实例风格迁移准确性的影响并不大。     

融合视觉注意机制的图像显著性区域风格迁移方法

对图像局部进行风格迁移通常会导致风格溢出和较小的区域风格化后效果不明显,针对该问题,提出一种图像显著性区域风格迁移方法.首先,根据人眼视觉注意机制的特点,对训练图像数据集中的显著性区域进行标注,采用快速语义分割模型进行训练,得出包含图像显著性区域的二值掩码图.然后,通过精简快速神经风格迁移模型网络层结构,并在生成网络部...     

深度卷积神经网络下的图像风格迁移算法

针对图像风格迁移中出现的图像扭曲、内容细节丢失的问题,提出一种基于深度卷积神经网络的带有语义分割的图像风格迁移算法。定义内容图像损失和风格图像损失函数;对内容图像与风格图像分别进行语义分割,并将Matting算法作用在内容图像上,使用最小二乘惩罚函数来增强图片边缘真实性;进行图像的内容重建和风格重建生成新的图像。分析比较Neural Style改进方法、CNNMRF方法和带有语义分割的图像风格迁移方法生成的图像。实验结果和质量评估表明,70%带有语义分割的图像风格迁移方法生成的图像没有明显的图像扭曲,且内容细节完好。所以,该方法可以解决图像扭曲和细节丢失的问题,使内容丰富的图像可以得到精确的风格迁移。     

融合多重风格迁移和对抗样本技术的验证码安全性增强方法

验证码对于防御Web服务的自动攻击具有重要作用,但面对具有自动识别技术的破解工具时,难以实现有效的安全保护。如果采用高度失真等方式增强验证码的安全性,会使验证码失去原来的形状,导致人眼也难以识别。文章提出一种融合多重风格迁移和对抗样本技术的验证码安全性增强方法,在保留原有内容的同时利用多重风格迁移方式抵御未知的机器识别,再通过对抗样本技术攻击已知的常见模型,从而欺骗神经网络。在文本验证码数据集上的实验结果表明,文章提出的生成算法具有更低的机器识别率,有效提高了文本验证码的安全性。     

基于风格迁移的手势分割方法

基于全卷积神经网络的手势分割方法过于依赖大量精准标注的训练样本,同时由于提取特征中缺乏足够的上下文信息,常出现类内不一致的错分现象。针对上述问题,本文提出一种基于风格迁移的手势分割方法。首先选择HGR-Net手势分割网络的前5层作为主干网络,并在主干网各层添加上下文信息增强层,使用全局均值池化操作,结合通道注意机制,增强显著性特征通道的权值,保证特征上下文信息的连续性,从而解决类内不一致问题;其次,本文还提出一种基于风格迁移的领域自适应方法,使用VGG网络,对源域测试图像进行风格迁移预处理,使其同时具有自身内容和目标域训练样本图像的风格,提高本文的手势分割模型的泛化能力,从而解决跨域样本的分割问题。使用OUHANDS数据集进行测试,本文的手势分割结果mIoU和MPA分别为0.9143和0.9363,较HGR-Net手势分割网络提高了3.2个百分点和1.8个百分点。使用本文的风格迁移方法,并在自采集数据集上进行测试,迁移后的mIoU和MPA值分别提高了19个百分点和23个百分点。本文的风格迁移领域自适应方法为无标记样本的跨域分割提供了一种新的思路。     

面向图像分类的小样本学习算法综述

目前,以深度学习为代表的人工智能算法凭借超大规模数据集以及强大的计算资源,在图像分类、生物特征识别、医疗辅助诊断等领域取得了优秀的成果并成功落地.然而,在许多实际的应用场景中,因诸多限制,研究人员无法获取到大量样本或者获取样本的代价过高,因此研究图像分类任务在小样本情形下的学习算法成为了推动智能化进程的核心动力,同时也...     

风格强度可变的人脸风格迁移网络

目的 针对人脸风格迁移算法StarGAN （star generative adversarial network）、MSGAN （mode seeking generative adversarial network）等存在细节风格学习不佳、迁移效果单一和生成图像失真等缺点,提出一种能够降低失真并生成不同风格强度图像的人脸风格迁移算法MStarGAN （multilayer StarGAN）。方法 首先,通过特征金字塔网络（feature pyramid network,FPN）构建前置编码器,生成蕴含有图像细节特征的多层特征向量,增强生成图像在风格传输时能学习到的风格图像的细节风格;其次,使用前置编码器对原图像及风格图像各生成一个风格向量并进行组合,利用组合后的风格向量进行风格传输,使生成图像具有不同的风格迁移强度;最后,采用权重解调算法作为生成器中的风格传输模块,通过对卷积权重的操作代替在特征图上的归一化操作,消除特征图中的特征伪影,减少生成图像中的失真。结果 在Celeba_HQ数据集上进行实验,与MSGAN、StarGAN v2等对比算法相比,在参考引导合成实验中,MStarGAN的FID （Frechét inception distance score）指标分别降低了18.9和3.1,LPIPS （learnedperceptual image patch similarity）指标分别提升了0.094和0.018。在潜在引导合成实验中,MStarGAN的FID指标分别降低了20.2和0.8,LPIPS指标分别提升了0.155和0.92,并能够生成具有不同风格强度的结果图像。结论 提出的算法能够传输图像的细节风格,生成具有不同强度的输出图像,并减少生成图像的失真。     

基于样本扩充和改进2DPCA的单样本人脸识别

针对大多数人脸识别方法在单个训练样本条件下识别性能下降的问题,提出了结合多种样本扩充方法和改进二维主成分分析(2DPCA)的人脸识别算法。通过分析各种样本扩充方法的优缺点,用多种样本扩充方法来生成虚拟样本,以充分利用单一样本所提供的信息。采用改进的2DPCA方法对生成的虚拟样本进行特征提取,对训练样本进行分块,并用类内平均值规范后的分块来构造总体散布矩阵。在ORL和Yale人脸库上的实验表明,所提出的方法在识别性能方面优于普通的2DPCA方法,优于单一的样本扩充方法。     

基于注意力机制的CycleGAN服装局部风格迁移研究

针对复杂背景下服装图像局部区域风格迁移难以控制及迁移后容易产生边界伪影的问题,提出一种基于注意力机制的CycleGAN服装局部风格迁移方法。通过VGG16网络分别提取服装图像的内容特征与风格特征,将其输入基于注意力机制的CycleGAN生成器中,应用注意力机制在复杂背景下的各个服装区域分配概率分布信息,获得注意力分布更多的区域及相关度更高的区域,并采用改进的损失函数校正边界伪影,对该区域进行风格迁移得到所需的风格迁移服装图像。实验结果表明,与CNN、FCN、BeautyGAN图像局部风格迁移方法相比,该方法不仅可以突出服装图像局部风格迁移效果,而且增强了图像细节,有利于提高输出图像的真实性和艺术性。     

改进型任意风格快速迁移元网络算法

基于元网络的任意风格快速迁移方法得到业界的高度关注和评价。然而,该模型的结果图中经常出现灰色风格不协调的像素缺块,颜色色调与目标风格图不一致,严重影响了迁移质量。提出了该方法的改进策略。使用Gram矩阵作为风格统计量,用于元网络信息输入和计算网络训练损失函数。同时,综合Gram矩阵平均池化操作和元网络分组全连接策略,有效避免了传统Gram矩阵带来网络参数整体过大的问题。实验结果显示,该方法不仅有效去除了不协调风格缺块问题,而且在纹理和颜色布局上较原方法取得了更好的视觉效果。通过理论分析、实验佐证,在算法收敛性和视觉效果方面,进一步确认了采用Gram矩阵作为风格损失和特征统计量的优越性。     

基于样本区域的线条画风格转换

针对某些线条画存在多于一种风格的线条的情况，提出了一种利用线条画作为样本对任意线条画进行风格转换的方法。该方法基于指定的样本区域和目标区域，通过指定单位长度对笔划分段进行风格相似性比较，并引入旋转和缩放参数进行笔划的规范化表示。与已有的方法比较，该方法算法简单并能产生新的风格转换效果。     

基于样本区域的线条画风格转换

针对某些线条画存在多于一种风格的线条的情况,提出了一种利用线条画作为样本对任意线条画进行风格转换的方法。该方法基于指定的样本区域和目标区域,通过指定单位长度对笔划分段进行风格相似性比较,并引入旋转和缩放参数进行笔划的规范化表示。与已有的方法比较,该方法算法简单并能产生新的风格转换效果。     

基于语义分割的图像风格迁移技术研究

随着民族服装文化的碰撞与融合,对图像风格迁移技术进行了研究,阐述了当前风格迁移的研究现状,将蒙古族服饰风格与汉族风格进行融合,继承和弘扬了民族文化。针对蒙古服饰元素多样、颜色差异大、花纹不规则性等特征而引起的风格提取难度大的问题,采用[K]均值与封闭式自然抠图算法相结合的方法进行图像分割,基于神经网络提取图像的风格和内容,利用图像重建技术合成结果图,实现蒙汉服饰图像风格迁移;针对输出图像伪影严重的问题,采取一种改进的图像风格迁移算法,将输入图像到输出图像的变换约束在色彩空间的局部仿射变换中,将这个约束表示成一个完全可微的参数项,有效抑制图像扭曲,针对真实照片风格迁移过程中存在的空间不一致问题,进行平滑处理确保风格处理后空间风格一致,该方法大大加快了运算速度。     

文本风格迁移研究综述

文本风格迁移是近年来自然语言处理领域的热点问题之一,旨在保留文本内容的基础上通过编辑或生成的方式更改文本的特定风格或属性(如情感、时态和性别等).旨在梳理已有的技术,以推进该方向的研究.首先,给出文本风格迁移问题的定义及其面临的挑战;然后,对已有方法进行分类综述,重点介绍基于无监督学习的文本风格迁移方法并将其进一步分为隐式和显式两类方法,对各类方法在实现机制、优势、局限性和性能等方面进行分析和比较;同时,还通过实验比较了几种代表性方法在风格迁移准确率、文本内容保留和困惑度等自动化评价指标上的性能;最后,对文本风格迁移研究进行总结和展望.     

新的基于GAN的局部写实感漫画图像风格迁移

利用生成对抗网络对图像进行风格迁移,将真实世界的图像直接转换为高品质动漫风格,是当今计算机视觉的研究热点之一。针对目前流行的AnimeGAN和CartoonGAN漫画生成对抗网络在图像迁移中存在细节丢失严重、色彩失真等问题。通过引入SE-Residual Block（挤压激励残差块）、漫画脸部检测机制并优化损失函数提出全新的ExpressionGAN解决了AnimeGAN迁移图像细节丢失严重的问题。通过加入DSConv（分布偏移卷积）提出SceneryGAN 加快了训练速度并消除了CartoonGAN迁移图像中的歧义像素块。通过卷积优化了图像的融合边界。同时,提出了一种新的对原始图像人物和环境分别处理并融合的局部写实主义漫画模型。实验结果表明,与AnimeGAN和CartoonGAN相比,该方法在训练速度、漫画图像生成质量和图像局部写实感方面都有了明显的提升。