基于新编码器和相似度约束的图像修复

现有的图像修复方法存在受损区域修复痕迹明显、语义不连续、不清晰等问题,针对这些问题本文提出了一种基于新型编码器并结合上下文感知损失的图像修复方法.本文方法采用生成对抗网络作为基本网络架构,为了能够充分学习图像特征得到更清晰的修复结果,引入了SE-ResNet提取图像的有效特征;同时提出联合上下文感知损失训练生成网络以约...     

基于整体变分模型的矢量图像修复

基于灰度图像修复的整体变分法,提出解决矢量图像修复处理的4步法：对待修补图像进行标注,根据标注的像素灰度值求掩模图像,对掩模图像进行膨胀,根据膨胀信息进行修复。对3幅彩色图像进行实验,取得了很好的修复效果,对含有噪声的图像,也能很好地去噪并保持图像的清晰边界。     

结合双编码器与对抗训练的图像修复

为了解决图像修复过程中破损区域信息丢失问题并实现图像中任意破损区域的修复,设计了双编码器模型,独立地对掩模和图像进行编码,利用掩模特征重建图像,减少掩模信息的损失,添加跳跃连接补充因下采样丢失的图像信息并加速网络的收敛,引入对抗训练提高重建图像的质量。在places2数据集上进行的训练和测试结果表明,该方法的图像修复效果在精度和全局性上均有良好的表现,且可用于多种类型掩模的图片修复。     

基于样本块的唐卡图像修复技术研究

图像的修复技术已成为图像工程领域的一个新的活跃研究方向,本文主要目的就是研究如何更好地实现图像损伤区域的修复,并根据受损图像周围的有效信息用图像修复算法自动进行修复。本文在基于样本块修复算法的基础上,对算法所具有的不足之处,建立了唐卡图像库,采用基于图像颜色特征检索唐卡图像,用检索到最相似图像区域来修复图像破损区域,使唐卡图像的修复更加完美。     

基于稠密残差网络的多序列卫星图像去云

遥感影像中最常见的问题是云层污染,它会导致图像信息缺失,降低遥感数据的可用性。针对该问题,提出了一种基于稠密残差网络的多序列卫星图像去云算法。首先,该网络使用多序列的有云卫星图像作为输入,能为网络提供更多的时序特征信息,提升去云效果;其次,在网络中段使用稠密残差层,以保证卷积层之间最大程度地传递和使用特征信息,让生成的修复图像整体结构合理、边缘细节更加清晰;最后,使用像素上采样来增强空间信息的利用,提升修复效果。该方法在欧洲"哨兵-2"遥感卫星图像数据集上进行验证,峰值信噪比和结构相似度指标为27.59和0.854 0,两项指标均超过了该数据集的原处理方法STGAN,提升了遥感图像去云的效果。     

基于上下文特征的渐进式图像修复方法

针对现有图像修复方法在面对大尺度缺失时生成部分易产生伪影、不符合原始图像语义等问题,提出了一种基于上下文特征的渐进式图像修复方法。首先,使用ResNet18网络对破损图像进行粗略填充。然后,将其输入具有双分支结构的细化网络：上下文特征聚合模块通过多尺度语义特征获取现存图像内部最有利于修复图像的区域;注意转移网络学习缺失区域与剩余背景区域的联系,将其以更高分辨率对缺失区域进行填充,引入CBAM(convolutional block attention module)模块作为网络注意力机制。定义全局和局部判别网络实现生成图像与背景语义一致性并计算得到对抗损失,将L₁损失与结构相似性损失相结合作为网络重建损失,再将其与对抗损失相结合作为损失函数。在Place2数据集上进行实验,平均峰值信噪比和平均结构相似性分别为27.83 dB和93.19%;与四种图像修复方法进行比较：主观感受上该方法较其他方法生成的修复图像更加清晰自然,与背景语义高度相符;客观指标上选用四种常用评价指标进行比较,在更符合人眼视觉的结构相似性上该方法分别提升11.48%、6.23%、3.24%、2....     

一种简单的块匹配图像修复算法

图像修复是对图像的破损区域的复原,实现对图像的小区域的重建.对图像修复的主要方法有两类:一种是基于偏微分方程(PDE)的修复方法,另外一种为基于纹理合成的修复算法.大多数现有图像修复算法都非常复杂,修复速度慢.基于纹理合成算法主要是搜索的范围太大导致效率低,为了在修复效果和效率之间取得折中,文中提出了一种简单的基于块匹配修复算法,应用不同的修复模板,根据图像的空间连续性,缩小了匹配块的搜索范围,大大提高了修复效率.该算法实现简单,修复速度快,对空间较连续的图像修复效果较好.     

基于残差网络的图像缺失修复研究

图像修复技术在古文物保护等领域具有重要的作用,并且是计算机视觉中有挑战性的任务之一。本文提出一种基于残差网络的图像修复算法,通过使用残差网络将多尺度特征信息进行融合学习,利用学习到的特征信息在图像修复过程,根据图像纹理走向和图像细节进行微调。结果显示,该算法可以有效地修复有缺损的图像,修复后的图像可以最大程度地减少图像失真的情况。     

结合门循环单元和生成对抗网络的图像文字去除

目的 图像文本信息在日常生活中无处不在,其在传递信息的同时,也带来了信息泄露问题,而图像文字去除算法很好地解决了这个问题,但存在文字去除不干净以及文字去除后的区域填充结果视觉感受不佳等问题。为此,本文提出了一种基于门循环单元(gate recurrent unit,GRU)的图像文字去除模型,可以高质量和高效地去除图像中的文字。方法 通过由门循环单元组成的笔画级二值掩膜检测模块精确地获得输入图像的笔画级二值掩膜;将得到的笔画级二值掩膜作为辅助信息,输入到基于生成对抗网络的文字去除模块中进行文字的去除和背景颜色的回填,并使用本文提出的文字损失函数和亮度损失函数提升文字去除的效果,以实现对文字高质量去除,同时使用逆残差块代替普通卷积,以实现高效率的文字去除。结果 在1 080组通过人工处理得到的真实数据集和使用文字合成方法合成的1 000组合成数据集上,与其他3种文字去除方法进行了对比实验,实验结果表明,在峰值信噪比和结构相似性等图像质量指标以及视觉效果上,本文方法均取得了更好的性能。结论 本文提出的基于门循环单元的图像文字去除模型,与对比方法相比,不仅能够有效解决图像文字去除不干净以及文字去除后的区域与背景不一致问题,并能有效地减少模型的参数量和计算量,最终整体计算量降低了72.0%。     

相似度自适应样本块的高分辨SAR图像阴影修复

高分辨率SAR图像目标阴影可为目标识别提供更多的信息,对SAR图像目标阴影进行修复可以获取完整的目标阴影.采用传统样本匹配方法对SAR图像进行目标阴影修复时会出现阴影区域漏判问题和过渡区域不均匀问题.提出一种相似度自适应样本块的SAR图像目标阴影修复方法.利用SAR图像中目标及其阴影斜距的相对位置关系作为待修复区域的预判依据,有效地解决了阴影区域漏判问题;然后采用相似度自适应样本块的图像修复方法,改善了过渡区域不均匀问题.实验结果表明,本文方法可以有效地恢复高分辨率SAR图像中缺失的目标阴影.     

结构先验指导的文本图像修复模型

目的 图像修复是根据图像中已知内容来自动恢复丢失内容的过程。目前基于深度学习的图像修复模型在自然图像和人脸图像修复上取得了一定效果，但是鲜有对文本图像修复的研究，其中保证结构连贯和纹理一致的方法也没有关注文字本身的修复。针对这一问题，提出了一种结构先验指导的文本图像修复模型。方法 首先以Transformer为基础，构建一个结构先验重建网络，捕捉全局依赖关系重建文本骨架和边缘结构先验图像，然后提出一种新的静态到动态残差模块（static-to-dynamic residual block，StDRB），将静态特征转换到动态文本图像序列特征，并将其融合到编码器—解码器结构的修复网络中，在结构先验指导和梯度先验损失等联合损失的监督下，使修复后的文本笔划连贯，内容真实自然，达到有利于下游文本检测和识别任务的目的。结果 实验在藏文和英文两种语言的合成数据集上，与4种图像修复模型进行了比较。结果表明，本文模型在主观视觉感受上达到了较好的效果，在藏文和英文数据集上的峰值信噪比和结构相似度分别达到了42.31 dB，98.10%和39.23 dB，98.55%，使用Tesseract OCR （optical character recognition）识别修复后藏文图像中的文字的准确率达到了62.83%，使用Tesseract OCR、CRNN （convolutional recurrent neural network）以及ASTER （attentional scene text recognizer）识别修复后英文图像中的文字的准确率分别达到了85.13%，86.04%和76.71%，均优于对比模型。结论 本文提出的文本图像修复模型借鉴了图像修复方法的思想，利用文本图像中文字本身的特性，取得了更加准确的文本图像修复结果。     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

面向图像内补与外推问题的迭代预测统一框架

目的 图像内补与外推可看做根据已知区域绘制未知区域的问题,是计算机视觉领域研究热点。近年来,深度神经网络成为解决内补与外推问题的主流方法。然而,当前解决方法多分别对待内补与外推问题,导致二者难以统一处理;且模型多采用卷积神经网络(convolutional neural network,CNN)构建,受到视野局部性限制,较难绘制远距离内容。针对这两个问题,本文按照分而治之思想联合CNN与Transformer构建深度神经网络,提出图像内补与外推统一处理框架及模型。方法 将内补与外推问题的解决过程分解为“表征、预测、合成”3个部分,表征与合成采用CNN完成,充分利用其局部相关性进行图像到特征映射和特征到图像重建;核心预测由Transformer实现,充分发挥其强大的全局上下文关系建模能力,并提出掩膜自增策略迭代预测特征,降低Transformer同时预测大范围未知区域特征的难度;最后引入对抗学习提升绘制图像逼真度。结果 实验给出在多种数据集下内补与外推对比评测,结果显示本文方法各项性能指标均超越对比方法。通过消融实验发现,模型相比采用非分解方式具有更佳表现,说明分而治之思路功效显著。此外,对掩膜自增策略进行详细的实验分析,表明迭代预测方法可有效提升绘制能力。最后,探究了Transformer关键结构参数对模型性能的影响。结论 本文提出一种迭代预测统一框架解决图像内补与外推问题,相较对比方法性能更佳,并且各部分设计对性能提升均有贡献,显示了迭代预测统一框架及方法在图像内补与外推问题上的应用价值与潜力。     

面向图像修复的增强语义双解码器生成模型

目的 图像修复技术虽然取得了长足进步,但是当图像中缺失区域较大时,非缺失区域提供的信息量非常有限,从而导致难以产生语义信息一致的内容来增强修复图像和真实图像的视觉一致性;同时图像修复常使用两阶段网络结构,基于该结构的模型不仅需要较长的训练时间,还会导致图像修复效果对第1阶段输出结果依赖性较强。针对上述问题,提出了一种基于双解码器的增强语义一致的图像修复方法。方法 使用双解码器网络结构消除两阶段修复方法中存在的依赖性问题,同时有效缩短模型的训练时间;利用一致性损失、感知损失和风格损失,更好地捕获图像的上下文语义信息,解决图像修复任务中出现的视觉不一致的问题。此外,本文使用了跳跃连接,并引入多尺度注意力模块和扩张卷积,进一步提高了网络的特征提取能力。结果 为了公正地评价,在Celeb A、Stanford Cars和UCF Google Street View共3个数据集上对具有规则和不规则缺失区域的图像分别进行实验,采用客观评价指标:均方误差(L₂)、峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural si...     

全局与局部属性一致的图像修复模型

目的 图像修复是计算机视觉领域的研究热点之一。基于深度学习的图像修复方法取得了一定成绩,但在处理全局与局部属性联系密切的图像时难以获得理想效果,尤其在修复较大面积图像缺损时,结果的语义合理性、结构连贯性和细节准确性均有待提高。针对上述问题,提出一种基于全卷积网络,结合生成式对抗网络思想的图像修复模型。方法 基于全卷积神经网络,结合跳跃连接、扩张卷积等方法,提出一种新颖的图像修复网络作为生成器修复缺损图像;引入结构相似性（structural similarity,SSIM）作为图像修复的重构损失,从人眼视觉系统的角度监督指导模型学习,提高图像修复效果;使用改进后的全局和局部上下文判别网络作为双路判别器,对修复结果进行真伪判别,同时,结合对抗式损失,提出一种联合损失用于监督模型的训练,使修复区域内容真实自然且与整幅图像具有属性一致性。结果 为验证本文图像修复模型的有效性,在CelebA-HQ数据集上,以主观感受和客观指标为依据,与目前主流的图像修复算法进行图像修复效果对比。结果表明,本文方法在修复结果的语义合理性、结构连贯性以及细节准确性等方面均取得了进步,峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性的均值分别达到31.30 dB和90.58%。结论 本文提出的图像修复模型对图像高级语义有更好的理解,对上下文信息和细节信息把握更精准,能取得更符合人眼视觉感受的图像修复结果。     

基于生成式对抗网络的图像修复研究进展

图像修复是图像处理的一个重要问题,目的是利用计算机视觉技术自动恢复退化图像中损坏或丢失的部分,被广泛应用于影视特技制作、图像编辑、数字化文物保护等领域。近几年,以生成式对抗网络(GAN)为代表的深度学习技术在计算机视觉和图像处理领域大获成功,基于GAN的图像修复逐渐成为主流,受到了广泛关注。针对图像修复的关键问题,文章对GAN和基于GAN的修复方法进行理论分析,首先整理分析了传统的基于人工特征的经典图像修复方法,其次总结了近年来基于GAN的代表性图像修复算法,并进行归纳分类,探讨了各类方法的特点和局限性。然后对图像修复模型常用的评价指标和公开数据集进行整理和分析,最后阐述了图像修复面临的挑战,对图像修复技术未来的发展方向进行展望。     

基于生成对抗网络的人像修复

人像修复广泛用于基于图像渲染和计算摄影的照片编辑。针对衣着的不同、高矮胖瘦的区别以及姿态的高自由度等因素给人像修复带来的困难,提出了一种基于生成对抗网络（GAN）的高效人像修复方法。算法分为两阶段：第一阶段基于编码器-解码器网络粗略修复图像,然后估计其中人体姿态信息;第二阶段基于姿态信息和GAN来精确修复人像。利用人像姿态信息来连接人像姿态关键点,形成姿态框架并执行膨胀操作,得到人像姿态掩码,以此构造人像姿态损失函数进行网络训练。实验结果表明,与Contextual Attention修复方法相比,所提方法的修复结果在结构相似度（SSIM）上提升了1%。该方法将人像姿态信息加入到修复过程中,有效地约束了待修复区域人像数据的解空间范围,加强了网络对人像姿态信息的关注程度。     

面向图像修复取证的U型特征金字塔网络

图像修复是一种常见的图像篡改手段,而基于深度学习的图像修复方法能生成更复杂的结构乃至新的对象,使得图像修复取证工作更具有挑战性。因此,提出一种端到端的面向图像修复取证的U型特征金字塔网络（FPN）。首先,通过自上而下的VGG16模块进行多尺度特征提取,并利用自下而上的特征金字塔架构对融合后的特征图进行上采样,整体流程形成U型结构;然后,结合全局和局部注意力机制凸显修复痕迹;最后,使用融合损失函数以提高修复区域的预测率。实验结果表明,所提方法在多种深度修复数据集上的平均F1分数和IoU值分别为0.791 9和0.747 2,与现有的基于扩散的数字图像修复定位（LDI）、基于图像块的深度修复取证方法（Patch-CNN）和基于高通全卷积神经网络（HP-FCN）方法相比,所提方法具有更好的泛化能力,且对JPEG压缩也具有较强的鲁棒性。     

基于变分自编码器的人脸图像修复

基于卷积神经网络的人脸图像修复技术在刑事侦破、文物保护及影视特效等领域有着重要的应用.但现有方法存在着图像修复结果不够清晰以及结果多样化不足等缺点,为此,提出了一种基于变分自编码器的人脸图像修复方法.首先设计了一种变分自编码器的变种网络,通过引入生成对抗网络解决修复人脸图像不清晰的问题,同时对变分自编码器中的隐变量进行约束,使得其中各个维度相互独立,实现特征解耦操作;最后通过动态规划获得最佳分割边界,利用泊松图像编辑得到无缝融合的结果.在CelebA数据集上的实验结果表明,该方法获得了良好的图像修复结果,同时,通过显式地控制隐变量的不同维度,展现了不同属性的人脸图像修复结果.