基于参考图语义匹配的花卉线稿工笔效果上色算法

研究基于参考图像的花卉线稿图的工笔效果上色问题.现有的基于参考图像的线稿图上色算法对工笔花卉画特有的色彩渐变的特点难以学习和模拟;此外通常还要求参考图像与线稿图具有相似的几何布局结构,这也限制了算法的适用性,故而直接采用现有算法难以实现线稿图的工笔效果上色.基于条件生成对抗网(conditional generative adversarial network, CGAN)框架,提出了一种将参考图像与线稿图进行语义匹配的花卉线稿图工笔效果上色算法RBSM-CGAN.该算法在网络结构设计方面,以U型网络(简称U-Net)为生成器基础,设计了2个附加子模块：1)语义定位子模块.该模块预训练了一个语义分割网络,以生成花卉线稿图的语义标签图,该标签图编码后作为自适应实例归一化的仿射参数引入到上色模型中,提升对不同语义区域的识别能力,进而提高颜色定位的准确性.2)颜色编码子模块.该模块提取参考图像的颜色特征,而后将该特征拼接到生成网络解码层的前3层,利用这种方式将颜色信息注入上色模型,与语义定位模块相配合加强算法对渐变色的学习和模拟.另外,算法在网络训练方面改变传统的“工笔花卉原作-花卉线稿图”...     

注意力引导的交互式工笔花卉上色算法

中国传统的工笔花卉画中人工渲染上色过程繁复、技巧性较高,现有的线稿图自动上色算法难以生成自然合理的渐变色效果.文中基于条件生成对抗网络,提出注意力引导的交互式工笔花卉上色算法,自动完成花卉白描线稿到工笔花卉色图的仿真生成.首先设计刻画花朵颜色类别和布局的花色注意力图,可在训练阶段指导网络进行重要颜色特征的学习,在应用阶段作为用户与系统的交互手段,完成色彩设计.其次,在网络结构设计方面,构建并训练针对花色注意力图的局部颜色编码子网络,将注意力图的编码信息作为仿射参数,引入生成器各层的条件归一化过程中,实现生成网络全域对颜色的学习和控制.考虑到深度特征偏重刻画全局语义信息,可能损失反映线条特征的局部高频信息,在生成器网络中引入跨层连接的结构,加强线条特征的学习.实验表明,文中算法可以较好地将花卉白描线稿渲染成工笔花卉的色图,生成的图像符合真实工笔花卉画的颜色分布和特点,具有较好的艺术真实感和观赏性.     

循环生成对抗网络的线稿图像自动提取

目的 动漫制作中线稿绘制与上色耗时费力,为此很多研究致力于动漫制作过程自动化。目前基于数据驱动的自动化研究工作快速发展,但并没有一个公开的线稿数据集可供使用。针对真实线稿图像数据获取困难,以及现有线稿提取方法效果失真等问题,提出基于循环生成对抗网络的线稿图像自动提取模型。方法 模型基于循环生成对抗网络结构,以解决非对称数据训练问题。然后将不同比例的输入图像及其边界图输入到掩码指导卷积单元,以自适应选择网络中间特征。同时为了进一步提升网络提取线稿的效果,提出边界一致性约束损失函数,确保生成结果与输入图像在梯度变化上的一致性。结果 在公开的动漫彩色图像数据集Danbooru2018上,应用本文模型提取的线稿图像相比于现有线稿提取方法,噪声少、线条清晰且接近真实漫画家绘制的线稿图像。实验中邀请30名年龄在2025岁的用户,对本文以及其他4种方法提取的线稿图像进行打分。最终在30组测试样例中,本文方法提取的线稿图像被认为最佳的样例占总样例84%。结论 通过在循环生成对抗网络中引入掩码指导单元,更加合理地提取彩色图像的线稿图像,并通过对已有方法提取效果进行用户打分证明,在动漫线稿图像提取中本文方法优于对比方法。此外,该模型不需要大量真实线稿图像训练数据,实验中仅采集1 000幅左右真实线稿图像。模型不仅为后续动漫绘制与上色研究提供数据支持,同时也为图像边缘提取方法提供了新的解决方案。     

基于生成对抗网络的破损老照片修复

提出一种基于生成对抗网络的破损老照片修复方法.生成器基于U-Net网络,采用局部卷积代替所有的卷积层,仅对有效像素进行操作,不仅避免传统常规卷积所造成的色彩不协调和模糊等问题,而且能够修复任意非中心不规则的破损区域.考虑对长距离特征信息的依赖,在生成网络解码阶段加入上下文注意力模块,以保持语义连贯性.此外,生成器的损失...     

有限色彩空间下的线稿上色

目的 线稿上色是由线条构成的黑白线稿草图涂上颜色变为彩色图像的过程,在卡通动画制作和艺术绘画等领域中是非常关键的步骤。全自动线稿上色方法可以减轻绘制过程中烦琐耗时的手工上色的工作量,然而自动理解线稿中的稀疏线条并选取合适的颜色仍较为困难。方法 依据现实场景中特定绘画类型常有固定用色风格偏好这一先验,本文聚焦于有限色彩空间下的线稿自动上色,通过约束色彩空间,不仅可以降低语义理解的难度,还可以避免不合理的用色。具体地,本文提出一种两阶段线稿自动上色方法。在第1阶段,设计一个灰度图生成器,对输入的稀疏线稿补充线条和细节,以生成稠密像素的灰度图像。在第2阶段,首先设计色彩推理模块,从输入的颜色先验中推理得到适合该线稿的色彩子空间,再提出一种多尺度的渐进融合颜色信息的生成网络以逐步生成高质量的彩色图像。结果 实验在3个数据集上与4种线稿自动上色方法进行对比,在上色结果的客观质量对比中,所提方法取得了更高的峰值信噪比（peak signal to noise ratio,PSNR）和结构相似性（structural similarity index measure,SSIM）值以及更低的均方误差;在上色结果的色彩指标对比中,所提方法取得了最高的色彩丰富度分数;在主观评价和用户调查中,所提方法也取得了与人的主观审美感受更一致的结果。此外,消融实验结果也表明了本文所使用的模型结构及色彩空间限制有益于上色性能的提升。结论 实验结果表明,本文提出的有限色彩空间下的线稿自动上色方法可以有效地完成多类线稿的自动上色,并且可以简单地通过调整颜色先验以获得更多样的彩色图像。     

结合绘画先验的线稿上色方法

自动线稿上色近年来已成为计算机视觉领域的研究热点之一.现有方法旨在通过改进网络架构或图像生成流程来提升上色的质量,但生成结果多存在色相集中、饱和度和明度分布不合理等现象.为此,提出一种结合绘画先验的线稿上色方法.该方法受插画师上色过程的启发,学习其广泛使用的绘画先验知识(如色相变化、饱和度对比和明暗对比)来提升自动线稿...     

基于生成对抗网络的多聚焦图像融合

多聚焦图像融合能够融合同一场景下具有不同聚焦部分的一系列图像.为了克服多聚焦图像融合模糊特征提取中存在的不足,提出一种基于U-Net的生成对抗网络模型.首先,生成器采用U-Net和SSE对多聚焦图像的特征进行提取,并完成图像融合;其次,判别器采用卷积层对已知的融合结果和生成器生成的融合图像进行分辨;然后,损失函数采用生成器的对抗损失、映射损失、梯度损失、均方误差损失和判别器对抗损失对生成网络进行参数调节;最后,将生成器、判别器和损失函数组成生成对抗网络模型,并进行实验.Pascal VOC2012数据集作为生成对抗网络的训练集,包括近焦图像、远焦图像、映射图像和融合图像.实验结果证明,该生成对抗网络模型能够有效地提取多聚焦图像中的模糊特征,且融合图像在互信息、相位一致性和感知相似性等方面表现优异.     

Swish模块残差增强的动漫线稿上色方法

人为的动漫线稿着色耗时费力,现有基于深度学习上色方法的着色效果并不是很好,比如颜色混淆不清晰、色彩梯度较差、颜色线条不合理等等。基于上述问题,提出了一种基于Swish激活函数残差增强模块的GAN网络,它可以更好地学习到颜色填充时线条的细节,避免颜色超过填充区域,造成颜色混淆。同时,该方法可以直接对线稿到彩色图片进行端到端的训练,仅仅输入线稿就可以自动地对线稿上色,生成颜色丰富纹理清晰的彩色图片。实验结果表明,该方法比现有方法具有更好的着色能力,可以获得更符合视觉感官、视觉效果更好的彩色图片。     

基于深度神经网络的电影彩色化研究

针对电影彩色化面临着上色质量和时序稳定性的双重挑战,提出一种带有循环结构的生成对抗网络,可用于电影的自动彩色化,不需要任何参考帧和人工干预.该网络基于经典的条件生成对抗网络:生成器用于生成彩色图像,完成彩色化任务;鉴别器用于鉴别真伪,提升生成器性能.引入循环结构和时序一致性损失,用于整合时序信息,解决上色的稳定性问题.实验结果表明,该方法在保证单帧图像上色的同时,可以有效减少生成的电影序列中的闪烁现象.     

基于生成对抗网络的图像去雾算法

与基于图像增强的去雾算法和基于物理模型的去雾算法相比,基于深度学习的图像去雾方法在一定程度上提高计算效率,但在场景复杂时仍存在去雾不彻底及颜色扭曲的问题.针对人眼对全局特征和局部特征的感受不同这一特性,文中构建基于生成对抗网络的图像去雾算法.首先设计多尺度结构的生成器网络,分别以全尺寸图像和分割后的图像块作为输入,提取图像的全局轮廓信息和局部细节信息.然后设计一个特征融合模块,融合全局信息和局部信息,通过判别网络判断生成无雾图像的真假.为了使生成的去雾图像更接近对应的真实无雾图像,设计多元联合损失函数,结合暗通道先验损失函数、对抗损失函数、结构相似性损失函数及平滑L1损失函数训练网络.在合成数据集和真实图像上与多种算法进行实验对比,结果表明,文中算法的去雾效果较优.     

基于密集神经网络的灰度图像着色算法

针对在灰度图像着色领域中，传统算法信息提取率不高、着色效果不理想的问题，提出了基于密集神经网络的灰度图像着色算法，以实现改善着色效果，让人眼更好地观察图片信息的目的。利用密集神经网络的信息提取高效性，构建并训练了一个端到端的深度学习模型，对图像中的各类信息及特征进行提取。训练网络时与原图像进行对比，以逐渐减小网络输出结果的信息、分类等各类型的损失。训练完成后，只需向网络输入一张灰度图片，即可生成一张颜色饱满、鲜明逼真的彩色图片。实验结果表明，引入密集网络后，可有效改善着色过程中的漏色、细节信息损失、对比度低等问题，所提算法着色效果较基于VGG网络及U-Net、双流网络结构、残差网络（ResNet）等性能优异的先进着色算法而言取得了显著的改进。     

Adversarial Interactive Cartoon Sketch Colourization with Texture Constraint and Auxiliary Auto-Encoder

Colouring cartoon sketches can help children develop their intellect and inspire their artistic creativity. Unlike photo colourization or anime line art colourization, cartoon sketch colourization is challenging due to the scarcity of texture information and the irregularity of the line structure, which is mainly reflected in the phenomenon of colour-bleeding artifacts in generated images. We propose a colourization approach for cartoon sketches, which takes both sketches and colour hints as inputs to produce impressive images. To solve the problem of colour-bleeding artifacts, we propose a multi-discriminator colourization framework that introduces a texture discriminator in the conditional generative adversarial network (cGAN). Then we combined this framework with a pre-trained auxiliary auto-encoder, where an auxiliary feature loss is designed to further improve colour quality, and a condition input is introduced to increase the generalization ability over hand-drawn sketches. We present both quantitative and qualitative evaluations, which prove the effectiveness of our proposed method. We test our method on sketches of varying complexity and structure, then build an interactive programme based on our model for user study. Experimental results demonstrate that the method generates natural and consistent colour images in real time from sketches drawn by non-professionals.     

结合注意力机制与多尺度特征融合的视频彩色化方法

针对现有视频彩色化方法难以同时保证着色质量和时间一致性的问题,提出一种结合注意力机制和多尺度特征融合的视频彩色化方法AMVC-GAN。首先,提出以GAN为主体的视频彩色化网络模型,通过在GAN的生成器中设计以循环时间网络为主体的多尺度特征融合模块,来获取不同时间频率的信息;其次,为了有效地考虑相邻帧之间的关系,将不同时间频率提取的特征进行融合,加强帧与帧之间的联系,以此增强彩色化的时间一致性;最后,为了获取更多的有效信息,在主网络的上采样部分引入了注意力模块,并通过使用PatchGAN来对结果进行优化训练,以增强最终的着色效果。在DAVIS和VIDEVO数据集上与先进的全自动视频彩色化方法进行对比实验。结果表明,AMVC-GAN在多项指标上排名第一,具有更好的时间一致性和着色效果。相比于其他方法,AMVC-GAN能够有效地减少时间闪烁,同时保证着色效果更为真实、自然。     

基于深层聚合结构网络的灰度图像彩色化方法

当前灰度图像彩色化方法普遍存在边界晕染、细节丢失和着色效果枯燥等问题。针对以上问题,提出了一种基于改进的深层聚合结构网络的灰度图像彩色化方法。将深层聚合结构网络引入图像彩色化领域中,且在传统网络基础上加入长连接,在缓解网络梯度消失问题的同时提升其特征利用率,从而提升算法模型对图像边界和细节的处理能力。另外,模型融合生成对抗网络结构,搭建判别网络,动态评价图片彩色化质量,缓解着色枯燥的问题。实验证明,该方法相比于传统彩色化方法,减轻了着色时边界漏色问题,还原了更多的图像细节,图像颜色更为丰富。     

基于联合一致循环生成对抗网络的人像着色

传统灰度图像着色方法存在颜色失真、效果不佳等问题,已逐渐被深度学习方法取代。目前基于深度学习的人像着色方法主要存在复杂背景下误着色的问题。针对上述问题,提出了联合一致循环生成对抗网络的人像着色方法。该方法在循环生成对抗网络的基础上,采用联合的一致性损失训练模型;生成网络采用U型网络结构（UNet）进行改进,以提高生成图像信息的完整性;判别网络中引入多特征融合的特征提取方式,增强特征对图像的细节表达。最后通过在自建的CASIA-PlusColors高质量人像数据集中的对比实验,验证了该方法对复杂背景中的人像着色有着更好的效果。     

融合深度学习和语义树的草图识别方法

现有的草图识别框架利用整幅图像作为网络输入,草图识别过程可解释性较差.文中融合深度学习和语义树,提出草图语义网(Sketch-Semantic Net).首先对草图进行部件分割,将单幅完整的草图分割为多个具有语义概念的部件图.然后利用深度迁移学习识别草图部件.最后通过语义树的语义概念关联部件同部件所属草图对象类别,较好地弥补sketch图像从底层语义到高层语义之间的语义鸿沟.在广泛应用的草图分割数据集上的实验验证文中方法的有效性.     

基于生成对抗网络的CFA图像去马赛克算法

在单传感器数码相机图像采集系统的彩色滤波阵列中,每个像素仅捕获单一颜色分量,并且在彩色图像重构过程中图像边缘等高频区域的伪影现象尤为明显。提出一种基于生成对抗网络的图像去马赛克算法,通过设计生成对抗网络的生成器、鉴别器和网络损失函数增强学习图像高频信息的能力,其中使用的生成器为具有残差稠密块和远程跳跃连接的深层残差稠密网络,鉴别器由一系列堆叠的卷积单元构成,并且结合对抗性损失、像素损失以及特征感知损失改进网络损失函数,提升网络整体性能。数值实验结果表明,与传统去马赛克算法相比,该算法能更有效减少图像边缘的伪影现象并恢复图像高频信息,生成逼真的重建图像。