结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。     

基于边缘图与多尺度特征融合的图像修复

针对现有的图像修复方法在面对大规模图像缺损和不规则破损区域修复时,修复结果出现生成结构与原图像语义不符以及纹理细节模糊等问题,本文提出一种利用生成边缘图的多尺度特征融合图像修复算法——MSFGAN(multi-scale feature network model based on edge condition).模型采用两阶段网络设计,使用边缘图作为修复条件对修复结果进行结构约束.首先,使用Canny算子提取待修复图像的边缘图进行完整边缘图生成;然后利用完整的边缘图结合待修复图像进行图像修复.为了弥补图像修复算法中经常出现的问题,提出一种融入了注意力机制的多尺度特征融合模块(attention mechanism multi-fusion convolution block, AM block),实现受损图像的特征提取和特征融合.在图像修复网络解码器部分引入跳跃链接,将高级语义提取和底层特征进行融合实现高质量细节纹理修复.在CelebA和Places2数据集上的测试结果显示, MSFGAN修复质量上比当前修复方法有一定提升,其中在20%–30%掩码比例中, SSIM平均提升0.029...     

基于边缘先验融合动态门控特征的人脸图像修复

为解决现有人脸图像修复算法因无法提取动态特征和缺乏边缘先验信息导致修复大区域不规则破损时纹理模糊和结构扭曲问题,提出了基于边缘先验融合动态门控特征的人脸图像修复算法。首先,设计动态门控卷积模块动态提取破损区域特征,关联已知区域和缺失区域的有效特征,提升纹理细腻度;然后,设计动态门控边缘增强网络和U型编码纹理修复网络,边缘增加网络旨在获取边缘轮廓信息,为U型编码纹理修复网络提供结构先验约束;U型编码纹理修复网络采用UNet++网络融合多层特征以保证人脸修复图像结构和纹理一致性;最后,通过消融实验证明UNet++网络的有效性和通用性,并剪枝U型网络以选取适宜的人脸图像模型表征层进行缺失区域纹理重建,在CelebA-HQ人脸数据集上进行实验评估。实验结果表明：相较于主流算法,所提方法在SSIM上平均提升3.87%,PSNR平均提升3.79 dB,FID平均下降16.54%,能有效修复大区域不规则缺失面积,生成纹理清晰、结构合理的图像。     

基于边缘与注意力跨层转移的图像修复模型

针对现有基于深度学习的图像修复算法在处理大面积不规则缺损图像时出现局部结构不连通与模糊的问题，提出一种基于边缘和注意力跨层转移的二阶生成式图像修复模型。该模型由边缘修复网络和图像修补网络构成，边缘修复网络在自编码器的基础上结合扩张卷积对缺损图像的边缘二值图进行修复，并将边缘修复图作为先验条件与缺损图像一起输入到图像修补网络，在图像修补网络中，给出注意力跨层转移网络对各尺度编码特征由深到浅进行重构，并将重构特征图跳跃连接至解码层与对应潜在特征融合进行解码，提高各级解码层输出的上下文一致性，减少结构信息和语义特征丢失，最终得到修复图像。在Celeba、Facade、Places2这3个数据集上的实验结果表明，与当前主流算法相比，该方法平均L1损失降低了1.044%～3.801%，峰值信噪比和结构相似性分别提升了1.435～4.486 dB和1.789%～8.755%，不仅能够生成整体语义合理的内容，而且在局部结构连通性和纹理合成方面更符合人眼视觉感受。     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

基于MRF模型的图像修复算法*

基于马尔可夫随机场(MRF)模型,提出一种直接采样的图像修复方法.通过优先权机制来决定边界像素的修复次序,充分顾及到图像的边缘结构信息,同时能够恢复纹理细节,避免了模糊效应.实验证明该算法具有很好的修复效果.     

基于结构嵌入的图像修复方法研究

针对当前图像修复领域存在结构丢失、纹理模糊、不能够充分利用背景信息生成内容风格一致的填充区域的问题,在编码解码网络基础上,提出带有多尺度结构信息与注意力机制的共享修复模型。在生成阶段,嵌入多尺度结构信息为图像修复提供前提条件。同时使用多尺度注意力机制,从背景信息中获取相关信息,并经过细化,生成与图像相关的内容和结构;使用PatchGAN和固定权重VGG-16分类器作为鉴别器,并将风格损失和感知损失引入到对抗网络中,以实现所生成图像的风格一致性。在Places2数据集上与当前主流的图像修复算法进行对比,实验结果表明该算法与其他算法相比能较好地恢复图像结构的细节信息,生成更清晰、精细的修复结果。     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

基于多粒度特征融合的边缘一致性图像补全

图像补全是数字图像处理领域的一项重要研究内容,大面积不规则缺失图像的补全是近年来的研究热点.然而,现有的图像补全技术存在一些局限性,基于生成式对抗网络的方法忽略了图像的边缘结构信息,存在无法还原精细细节的问题;基于局部判别器的方法不能处理非矩形的缺失图像,存在补全任务不符合实际应用场景的问题等.鉴于此,结合多粒度认知计算的思想,提出基于多粒度特征融合的边缘判别器,充分学习不同粒度的边缘结构信息,提高生成图像边缘和真实图像边缘的一致性,生成结构更加清晰的补全图像.同时,引入边缘空间衰减损失,以提高边缘区域像素的连续性.此外,利用注意力机制将补全区域的像素作为有效像素,优化局部判别器使其能够处理非矩形缺失图像.在Places2和Paris Streetview等公共数据集上的实验结果表明,补全大面积不规则缺失图像时,所提出方法能够取得比其他图像补全方法更好的效果,一定程度上表明了边缘结构信息在图像补全研究中的重要性.     

基于色彩聚类的图像修复

现有图像修复方式普遍存在结构错乱和修复区域边缘模糊的问题,这是由于修复过程中已知区域的结构信息未能得到充分利用,针对这一问题,本文提出了一种具有编解码结构的基于色彩聚类的图像修复算法,算法采用渐进式图像修复网络结构,将图像经过色彩聚类的结果作为输入,聚类算法处理后的图像更好保留了输入图像的结构特征,因此在后续图像纹理恢复过程中结构信息可以得到充分利用;同时,为进一步减少网络的计算开销,引入交叉注意力机制,从水平和垂直两个维度建模图像全局依赖性.实验结果表明,本文提出的图像修复算法可以有效缓解图像修复区域边缘模糊的现象,与几种主流图像修复算法相比,我们提出的图像修复算法可以在缺失区域较大的情况下产生更加真实的输出结果.     

结构先验指导的文本图像修复模型

目的 图像修复是根据图像中已知内容来自动恢复丢失内容的过程。目前基于深度学习的图像修复模型在自然图像和人脸图像修复上取得了一定效果，但是鲜有对文本图像修复的研究，其中保证结构连贯和纹理一致的方法也没有关注文字本身的修复。针对这一问题，提出了一种结构先验指导的文本图像修复模型。方法 首先以Transformer为基础，构建一个结构先验重建网络，捕捉全局依赖关系重建文本骨架和边缘结构先验图像，然后提出一种新的静态到动态残差模块（static-to-dynamic residual block，StDRB），将静态特征转换到动态文本图像序列特征，并将其融合到编码器—解码器结构的修复网络中，在结构先验指导和梯度先验损失等联合损失的监督下，使修复后的文本笔划连贯，内容真实自然，达到有利于下游文本检测和识别任务的目的。结果 实验在藏文和英文两种语言的合成数据集上，与4种图像修复模型进行了比较。结果表明，本文模型在主观视觉感受上达到了较好的效果，在藏文和英文数据集上的峰值信噪比和结构相似度分别达到了42.31 dB，98.10%和39.23 dB，98.55%，使用Tesseract OCR （optical character recognition）识别修复后藏文图像中的文字的准确率达到了62.83%，使用Tesseract OCR、CRNN （convolutional recurrent neural network）以及ASTER （attentional scene text recognizer）识别修复后英文图像中的文字的准确率分别达到了85.13%，86.04%和76.71%，均优于对比模型。结论 本文提出的文本图像修复模型借鉴了图像修复方法的思想，利用文本图像中文字本身的特性，取得了更加准确的文本图像修复结果。     

基于上下文门卷积的盲图像修复

目前基于深度学习的图像修复方法已经取得较大地进展,其方法均是基于输入的掩模对图像的退化区域进行修复.基于此,提出了由掩模预测网络和图像修复网络组成的2阶段盲图像修复网络.整个修复过程无需输入掩模,掩模预测网络可以根据输入图像自动检测图像退化区域并生成掩模,图像修复网络根据预测掩模对输入图像的缺失部分进行修复.为了更好地...     

Finger vein image inpainting using neighbor binary-wasserstein generative adversarial networks (NB-WGAN)

Traditional inpainting methods obtain poor performance for finger vein images with blurred texture. In this paper, a finger vein image inpainting method using Neighbor Binary-Wasserstein Generative Adversarial Networks (NB-WGAN) is proposed. Firstly, the proposed algorithm uses texture loss, reconstruction loss, and adversarial loss to constrain the network, which protects the texture in the inpainting process. Secondly, the proposed NB-WGAN is designed with a coarse-to-precise generator network and a discriminator network composed of two Wasserstein Generative Adversarial Networks with Gradient Penalty (WGAN-GP). The cascade of a coarse generator network and a precise generator network based on Poisson fusion can obtain richer information and get natural boundary connection. The discriminator consists of a global WGAN-GP and a local WGAN-GP, which enforces consistency between the entire image and the repaired area. Thirdly, a training dataset is designed by analyzing the locations and sizes of the damaged finger vein images in practical applications (i.e., physical oil dirt, physical finger molting, etc). Experimental results show that the performance of the proposed algorithm is better than traditional inpainting methods including Curvature Driven Diffusions algorithm without texture constraints, a traditional inpainting algorithm with Gabor texture constraints, and a WGAN inpainting algorithm based on attention mechanism without texture constraints.

     

采用TV及纹理合成技术的分层图像修复

整体变分（TV）模型在图像修复中能够保持图像的边缘且数值实现方便,但在图像修复中对于人类视觉连通性的处理还有所不足。根据图像遗失或者损坏的不同类型,针对TV、CDD模型在图像修复中存在的问题,提出了一种结合TV、CDD模型及基于块的纹理合成算法的分层图像修复算法。实验结果表明,这种分层修复的方法在图像的结构修复和纹理修复两方面实现了较好的统一,而且在较大区域图像修复上表现出良好的效果。     

新的彩色图像分层修复方法

基于全变分的彩色图像修复(CTV)模型,可以在保持边缘的同时达到去噪目的,但对纹理较复杂的区域修复效果不理想。利用分层修复的思想在对整幅彩色图像进行CTV修复后,再对有明显修复痕迹的局部待修复区域使用基于块的纹理合成算法。实验结果表明,这种分层修复的方法在彩色图像的结构修复和纹理修复两方面实现较好的统一,既能很好地降噪,又能保持彩色图像的清晰边界,而且在较大区域图像修复上表现出良好的效果。     

基于非局部CTV-L1模型的大破损彩色纹理图像修复

针对大破损彩色纹理图像的修复问题,本文将TV-L1模型推广到非局部CTV-L1模型。该模型不仅包含非局部算子,同时还引入了CTV (Color Total Variation)规则项。前者可以修复大破损纹理图像,后者充分考虑了彩色图像层与层之间的耦合关系,在处理彩色图像时可以有效地保边缘。为提高模型的运算效率,本文通过引入辅助变量和Lagrange乘子为其设计了相应的增广Lagrangian算法。数值实验结果证实所提出的模型在处理彩色图像时可以有效地保持边缘,同时去除图像中异常的不规则点。本文的相关研究可以推广到彩色纹理图像椒盐噪声去除及彩色纹理图像分割等。     

强化边缘结构的分段自适应图像修复算法

针对基于样本的图像修复技术在修复井下煤岩图像时存在纹理过渡延伸和边缘结构不连续的问题,提出一种强化边缘结构的分段自适应图像修复算法,其在Criminisi算法中引入基于ISEF的数据项和等照度线曲率信息构成新的优先权函数,解决了修复顺序不当的问题;并利用局部方差特征与信息熵划分的区域类型自适应选择样本块大小,解决了边缘保持的问题。在常用测试图像与孟村煤矿的煤岩图像上进行了修复实验,相较于传统的Criminisi方法,该算法的平均PSNR分别提升了0.37 dB与1.33 dB,平均SSIM分别提升了0.002 3与0.002 7。实验结果表明,该算法对纹理结构信息复杂的图像具有较好的修复效果,为煤壁图像的修复奠定了基础。     

结合纹理结构的分数阶TV模型的图像修复

目的 TV（total variation）模型在图像修复时易导致图像中具有弱导数性质的纹理和边缘细节等信息变得模糊,为了克服该缺陷,分数阶微分被引入到TV模型中,但传统的分数阶TV模型对弱边缘和弱纹理等细节信息的保持仍不够理想,并且没有充分利用图像已知区域的先验信息,修复精度仍有待提高。方法 针对该问题,提出结合纹理结构信息和分数阶TV模型的图像修复算法。改进的模型在分数阶TV模型求解时,在梯度计算过程中增加了一个极小值,克服了正则项和数据项在零点处的不可微,从而增加了模型的稳定性。再则改进的模型根据图像已知区域的先验信息确定待修复区域的纹理方向,从而更好地保持了图像中的纹理细节和弱边缘信息。结果 将本文算法与3种修复效果较好的算法进行对比,采用客观评价指标：均方差（MSE）、峰值信噪比（PSNR）和差值图像进行评价,实验结果表明本文算法在不同的纹理图像修复中均取得较好的效果,如对标准图像库中的Barbara和Lena图像以及岩石图像进行修复后,与原始TV模型相比,它们的峰值信噪比分别提高5.94%、8.07%和3.85%,灰度均方差分别降低48.66%、65.89%和35%;与分数阶TV模型相比,它们的峰值信噪比分别提高4.17%、8.59%和1.81%,灰度均方差分别降低37.90%、68.00%和18.68%。结论 提出的模型相对于原始的TV模型和分数阶TV模型,均能有效地提高图像修复的精度,适合于包含较多弱纹理和弱边缘信息的图像修复,该模型是TV模型的重要延伸和推广。     

小波变换与纹理合成相结合的图像修复

目的 为了克服传统的图像修复算法在结构和纹理边界的错误修复,利用小波变换域的系数特征,探讨了一种基于小波变换与纹理合成相结合的修复算法。方法 算法先利用小波变换将待修复图像分解成具有不同分辨率的低频子图和高频子图,然后根据不同子图各自的特征分别进行修复。对代表图像结构信息的低频子图,采用FMM(fast marching method)算法进行修复;对代表图像纹理信息的高频子图,根据各子图中小波系数的特征,利用纹理合成方法进行修复。结果 分层、分类修复方法对边缘破损具有良好的修复效果,其峰值信噪比相比于传统算法提高了1~2 dB。结论 与相关算法相比,本文算法的综合修复能力较好,可以有效修复具有较强边缘和丰富纹理的破损图像,尤其对破损自然图像的修复,修复后图像质量得到较大提升,修复效果更符合人眼视觉效应。