基于条件生成对抗网络的图像着色研究

随着多媒体技术的发展,诸如黑白照片着色、医学影像渲染和手绘图上色等各种图像着色应用需求逐渐增多。传统着色算法大部分存在着色模式单一、在处理部分数据时着色效果不佳或者依赖人工输入信息等缺点,对此,设计了一种条件生成对抗网络和颜色分布预测模型相结合的图像着色方法。由生成对抗网络生成着色图像,并通过预测模型的预测值来对生成器的生成的着色图像做出校正,改善了生成对抗网络生成图像颜色容易趋向单一化的问题。最后通过引入一个色彩对比度损失,进一步提升了算法在某些对比度较小的分类图像上的着色质量。通过在ImageNet数据集上的多组对比实验表明,与其他传统方法相比,该方法在更多的图像分类上有着更出色的着色效果。     

结合细粒度自注意力的实例图像着色

尽管基于深度学习的图像着色方法已取得显著效果,但仍存在冗余色斑、着色暗淡和颜色偏差三个问题。为此,提出了一种结合细粒度自注意力（fine-grain self-attention,FGSA）的实例图像着色方法。具体地,首先将提取的特征图分为颜色和空间位置,并结合两者拟合提高颜色和图像空间位置的对应关系,以缓解冗余色斑。其次,受光学摄影HDR原理的启发,利用感受野小的卷积核增强或抑制图像的颜色特征,并结合softmax对特征进行动态映射,从而提高对比度,缓解着色暗淡的问题;最后,组合不同的非线性基函数,增加网络对非线性颜色的表达,拟合出最接近真实图像的颜色分布,以解决颜色偏差。大量的实验结果表明,该方法在实例图像着色中取得了良好的效果。特别地,与当前最优的着色方法相比,该方法在特征感知评价指标LPIPS和FID上分别降低了4.1%和7.9%。     

基于OTSU分割与K-均值聚类的MPEG-7主颜色提取算法

针对图像检索系统,提出一种MPEG-7主颜色提取的改进算法.首先通过OTSU阈值对图像进行分割,得到图像的前景和背景,然后应用K-均值聚类算法分别提取前景和背景的主颜色,最后综合前景和背景的颜色特征进行图像检索.改进算法既减少了颜色特征维数,又综合了颜色的空间分布信息,并且对图像的旋转和绝对位置不敏感.对比实验结果表明此方法具有较好的检索效果.     

保色调的黑白卡通图像着色方法

图像彩色化是给黑白图像或者视频上色,对黑白卡通图像上色能够大幅度地提高卡通图像的表现力.卡通图像的色调是人们感知的第一印象,为此提出一种保色调的黑白卡通图像着色方法.首先使用保持边界的图像分解技术得到卡通图像的色调,可很好地解决卡通图像灰度不连续的问题;然后使用Gabor特征向量计算出一个模式能量来防止边界处的泄露;最后将图像色调能量和模式能量加入最优化着色方法,得到较好的着色结果.该方法利用少量的人工标色自动上色,不需要分割就能够得到卡通图像保色调着色效果.大量的实验结果表明,文中方法对各种卡通图像都能够取得更好的着色效果.     

基于颜色融合的交互式图像二次着色方法*

针对灰度图像彩色化技术应用于彩色图像二次着色时往往忽略掉原始图像所带的色彩信息的问题,提出了一种基于最短距离颜色融合的交互式彩色图像二次着色方法,通过有效利用原始图像中的色彩信息降低用户交互复杂度。计算过程中采用分层采样与随机采样相结合的策略,确保种子像素合理分布,在颜色融合过程中增加动态权值调整,减少笔画位置对着色结果的影响。实验结果说明该方法与现有颜色扩展着色方法相比较,其结果不再过度依赖于初始用户标记的位置,不需要用户进行复杂的彩色线条标记就能够得到不错的着色效果。     

结合Pix2Pix生成对抗网络的灰度图像着色方法

针对神经网络在进行图像着色时容易出现物体边界不明确、图像着色质量不高的问题,提出结合Pix2Pix生成对抗网络的灰度图像着色方法.首先改进U-Net结构,采用8个下采样层和8个上采样层对图像进行特征提取和颜色预测,提高网络模型对图像深层次特征的提取能力;然后使用L1损失和smooth L 1损失度量生成图像与真实图像之间的差距,对比不同损失函数下的图像着色质量;最后加入梯度惩罚,在生成图像和真实图像分布之间构造新的数据分布,对每个输入数据进行梯度惩罚,改变判别器网络梯度限制方法,提高网络在训练过程中的稳定性.在相同实验环境下,使用Pix2Pix模型和summer2winter数据进行对比分析.实验结果表明,改进后的U-Net和使用smooth L 1损失作为生成器损失可以生成更好的着色图像;而L1损失能更好地保持图像结构信息,使用梯度惩罚可以加速模型的收敛速度,提高模型稳定性和图像质量;该方法能更好地学习图像的深层次特征,减少图像着色模糊现象,在有效地保持图像结构相似性的同时提高图像着色质量.     

改进颜色融合的医学图像彩色化技术

彩色化后的医学图像能清晰体现患者病灶信息有利于医患沟通。提出改进颜色融合的医学图像彩色化方法,首先利用基于KNN的图像前背景区分算法,强化病灶区域的边界信息;然后以此为约束条件,只需提供简单的着色输入;最后将边界能量引入颜色融合方法,得到较好的着色结果。着色图像保持了原图的灰度信息不变,增加了彩色标记图像的颜色和真实感。实验结果表明,该算法具有较高的精确度,可有效的应用于医学图像彩色化处理。     

单参数控制的灰度图像着色

灰度图像着色是计算机图形学和计算机图像处理等领域的研究热点,在影视制作、数字照片编辑、动漫艺术等方面具有重要的应用价值。传统的方法通过大量的交互操作实现灰度图像中不同区域的聚类或者色源图像和灰度图像之间的匹配,大大降低了着色的效率。提出一种新的基于单参数控制的灰度图像着色方法。首先,利用球体几何理论建立色彩变换模型。其次,基于线性回归的方法,对色源图像和灰度图像的直方图分别进行多项式拟合建模。用户输入拟合多项式的阶数之后,可以实现色源图像和灰度图像的自动聚类并建立它们之间的匹配关系。最后,通过色源图像和灰度图像之间的颜色映射实现灰度图像的着色。该方法无须烦琐的用户交互,使得着色过程更为方便快捷。     

基于区域熵的图像检索

提出了一种新的基于区域熵的图像检索算法RECS，不仅利用图像的子块熵来描述图像的特性，而且依据熵信息的均值和方差将图像分割为高熵子图和低熵子图两部分。综合图像区域的颜色形状特征和分两步的图像检索过程，有效提高检索准确性的同时也节省了检索时间。实验结果表明，RECS算法对前景单一和前景复杂图像的检索效果同样令人满意。     

基于样例图像的颜色传输函数设计

体绘制是颜色混合的过程,用户很难通过直接编辑颜色传输函数来得到期望的颜色混合效果.为了能更直观地为体绘制图像设置颜色,提出一种基于样例图像的颜色传输函数设计方法.首先使用颜色迁移方法,基于样例图像对初始体绘制图像进行颜色迁移,使得迁移后的体绘制图像与样例图像有类似的着色风格;然后还原体绘制的颜色混合过程,使用最优化的框架将迁移后的体绘制图像反推到三维建立颜色传输函数,在该颜色传输函数下的绘制结果与样例图像尽可能保持一致,样例图像可以是任意符合用户期望颜色效果的图像.与传统的传输函数设计方法相比,文中方法利用了已有图像资源和人类对图像的感知能力,更简单直观,易于使用,且该方法是有效的.     

基于密集神经网络的灰度图像着色算法

针对在灰度图像着色领域中，传统算法信息提取率不高、着色效果不理想的问题，提出了基于密集神经网络的灰度图像着色算法，以实现改善着色效果，让人眼更好地观察图片信息的目的。利用密集神经网络的信息提取高效性，构建并训练了一个端到端的深度学习模型，对图像中的各类信息及特征进行提取。训练网络时与原图像进行对比，以逐渐减小网络输出结果的信息、分类等各类型的损失。训练完成后，只需向网络输入一张灰度图片，即可生成一张颜色饱满、鲜明逼真的彩色图片。实验结果表明，引入密集网络后，可有效改善着色过程中的漏色、细节信息损失、对比度低等问题，所提算法着色效果较基于VGG网络及U-Net、双流网络结构、残差网络（ResNet）等性能优异的先进着色算法而言取得了显著的改进。     

基于深层聚合结构网络的灰度图像彩色化方法

当前灰度图像彩色化方法普遍存在边界晕染、细节丢失和着色效果枯燥等问题。针对以上问题,提出了一种基于改进的深层聚合结构网络的灰度图像彩色化方法。将深层聚合结构网络引入图像彩色化领域中,且在传统网络基础上加入长连接,在缓解网络梯度消失问题的同时提升其特征利用率,从而提升算法模型对图像边界和细节的处理能力。另外,模型融合生成对抗网络结构,搭建判别网络,动态评价图片彩色化质量,缓解着色枯燥的问题。实验证明,该方法相比于传统彩色化方法,减轻了着色时边界漏色问题,还原了更多的图像细节,图像颜色更为丰富。     

局部线性嵌入与模糊 C-均值聚类的红外图像彩色化算法

针对红外图像彩色化处理后清晰度低、色彩不够自然等问题,将改进后的局部线 性嵌入算法(LLE)算法引入到红外图像彩色化应用中,提出了一种 LLE 与模糊 C-均值聚类的红 外图像彩色化算法。首先通过扩大邻域范围和添加权重信息等方法改善了 LLE 算法敏感于稀疏 矩阵的缺陷,在红外和彩色模板像素矢量化空间中,利用最近邻搜索计算最佳匹配系数,经彩 色值计算将彩色模板中的颜色映射到红外图像特定区域,完成模板彩色与红外目标图像的颜色 传递。利用改进后的模糊 C-均值聚类对彩色化后的红外图像进行颜色聚类,在颜色聚类集上利 用直方图均衡化进行分段颜色均衡处理,最后将均衡化后的图像合成。将本算法与其他两种红 外彩色化算法进行仿真对比,实验结果表明,与其他两种算法相比,提出的红外图像彩色化算 法在仅仅利用目标红外图像和彩色模板下就能获得图像较为清晰、目标突出的彩色化结果。     

基于感知颜色空间的透明度估计方法

提出一种用于自然图像抠图的高效的基于感知颜色空间的透明度估计方法。在用户指定图像的未知区域后,对于其中的任意一点,估计出该点的前景颜色分量和背景颜色分量,把该点RGB颜色的亮度信息和色度信息分开。分别估计出该点的亮度透明度分量和色度透明度分量,将这2个透明度分量的加权平均作为该点的最终透明度值。     

一种利用回归神经网络黑白图像着色算法研究

研究了利用神经网络对序列黑白(灰度)图像进行着色的问题。针对以往基于人工或者半自动化技术的黑白图像着色技术效率低下、视觉效果较差的缺陷,提出了一种利用三层神经网络、无须人工干预的图像自动着色算法。首先将灰度图像分割成小块,通过对小块提取灰度特征、空间特征等作为神经网络的输入,训练得到一个回归神经网络。在着色过程中,可以利用该神经网络将图像中各像素由灰度空间投影到一个经过压缩的色彩空间,从而实现了图像的自动着色过程。实验结果显示本方法能有效地将灰度图像着色,并且由于使用了一个压缩的色彩空间,使得计算效率和着色效果都得到了有效的提高,能很好地逼近原始的真实图像。     

基于模糊熵的空间语义图像检索模型研究*

根据模糊熵理论和改进的空间信息分布,提出了颜色空间特征语义图像检索模型。阐述基于语法规则的颜色空间特征语义描述方法,构造从低层颜色空间特征到高层语义之间的映射,根据这些模糊语义值进行图像检索。实验结果表明,该模型能够有效地对图像高层语义进行刻画,由此实现的模型不仅能获得高效和稳定的检索结果,获得与人类视觉感知较好的一致性,该算法还能很好地消除低层图像空间特征和高层语义之间的语义鸿沟。     

语义分割和HSV色彩空间引导的低光照图像增强

目的 低光照图像增强是图像处理中的基本任务之一。虽然已经提出了各种方法,但它们往往无法在视觉上产生吸引人的结果,这些图像存在细节不清晰、对比度不高和色彩失真等问题,同时也对后续目标检测、语义分割等任务有不利影响。针对上述问题,提出一种语义分割和HSV（hue,saturation and value）色彩空间引导的低光照图像增强方法。方法 首先提出一个迭代图像增强网络,逐步学习低光照图像与增强图像之间像素级的最佳映射,同时为了在增强过程中保留语义信息,引入一个无监督的语义分割网络并计算语义损失,该网络不需要昂贵的分割注释。为了进一步解决色彩失真问题,在训练时利用HSV色彩空间设计HSV损失;为了解决低光照图像增强中出现细节不清晰的问题,设计了空间一致性损失,使增强图像与对应的低光照图像尽可能细节一致。最终,本文的总损失函数由5个损失函数组成。结果 将本文方法与LIME（low-light image enhancement）、RetinexNet（deep retinex decomposition）、EnlightenGAN（deep light enhancement using generative adversarial networks）、Zero-DCE（zero-reference deep curve estimation）和SGZ（semantic-guided zero-shot learning）5种方法进行了比较。在峰值信噪比（peak signal-to noise ratio,PSNR）上,本文方法平均比Zero-DCE（zero-reference deep curve estimation）提高了0.32dB;在自然图像质量评价（natural image quality evaluation,NIQE）方面,本文方法比EnlightenGAN提高了6%。从主观上看,本文方法具有更好的视觉效果。结论 本文所提出的低光照图像增强方法能有效解决细节不清晰、色彩失真等问题,具有一定的应用价值。     

结合上下文特征与CNN多层特征融合的语义分割

目的 针对基于区域的语义分割方法在进行语义分割时容易缺失细节信息,造成图像语义分割结果粗糙、准确度低的问题,提出结合上下文特征与卷积神经网络（CNN）多层特征融合的语义分割方法。方法 首先,采用选择搜索方法从图像中生成不同尺度的候选区域,得到区域特征掩膜;其次,采用卷积神经网络提取每个区域的特征,并行融合高层特征与低层特征。由于不同层提取的特征图大小不同,采用RefineNet模型将不同分辨率的特征图进行融合;最后将区域特征掩膜和融合后的特征图输入到自由形式感兴趣区域池化层,经过softmax分类层得到图像的像素级分类标签。结果 采用上下文特征与CNN多层特征融合作为算法的基本框架,得到了较好的性能,实验内容主要包括CNN多层特征融合、结合背景信息和融合特征以及dropout值对实验结果的影响分析,在Siftflow数据集上进行测试,像素准确率达到82.3%,平均准确率达到63.1%。与当前基于区域的端到端语义分割模型相比,像素准确率提高了10.6%,平均准确率提高了0.6%。结论 本文算法结合了区域的前景信息和上下文信息,充分利用了区域的语境信息,采用弃权原则降低网络的参数量,避免过拟合,同时利用RefineNet网络模型对CNN多层特征进行融合,有效地将图像的多层细节信息用于分割,增强了模型对于区域中小目标物体的判别能力,对于有遮挡和复杂背景的图像表现出较好的分割效果。     

注意力引导的交互式工笔花卉上色算法

中国传统的工笔花卉画中人工渲染上色过程繁复、技巧性较高,现有的线稿图自动上色算法难以生成自然合理的渐变色效果.文中基于条件生成对抗网络,提出注意力引导的交互式工笔花卉上色算法,自动完成花卉白描线稿到工笔花卉色图的仿真生成.首先设计刻画花朵颜色类别和布局的花色注意力图,可在训练阶段指导网络进行重要颜色特征的学习,在应用阶段作为用户与系统的交互手段,完成色彩设计.其次,在网络结构设计方面,构建并训练针对花色注意力图的局部颜色编码子网络,将注意力图的编码信息作为仿射参数,引入生成器各层的条件归一化过程中,实现生成网络全域对颜色的学习和控制.考虑到深度特征偏重刻画全局语义信息,可能损失反映线条特征的局部高频信息,在生成器网络中引入跨层连接的结构,加强线条特征的学习.实验表明,文中算法可以较好地将花卉白描线稿渲染成工笔花卉的色图,生成的图像符合真实工笔花卉画的颜色分布和特点,具有较好的艺术真实感和观赏性.