结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。     

生成式对抗网络在图像补全中的应用*

图像补全是数字图像处理领域的重要研究方向,具有广阔的应用前景。提出了一种基于生成式对抗网络(GAN)的图像补全方法。生成式对抗网络模型由生成器模型和判别器模型两部分构成,通过采用卷积神经网络(CNN)实现。首先,通过生成器模型对图像的缺失区域进行补全;然后,利用判别器模型对图像的补全效果进行判别。采用马尔科夫随机场(MRF)与均方误差(MSE)相结合的损失函数训练生成器模型,加强对图像纹理细节的处理能力。实验结果证明,基于生成式对抗网络的图像补全方法,相较于其他现有的方法,具有更好的补全效果。     

基于扩张卷积的图像修复

现有图像修复方法虽然能够补全图像缺失区域的内容,但是仍然存在结构扭曲、纹理模糊、内容不连贯等问题,无法满足人们视觉上的要求。针对这些问题,提出一种基于扩张卷积的图像修复方法,通过引入扩张卷积的思想增大感受野来提升图像修复的质量。该方法基于生成对抗网络（GAN）的思想,分为生成网络和对抗网络。生成网络包括全局内容修复网络和局部细节修复网络,并使用gated卷积动态地学习图像特征,解决了使用传统卷积神经网络方法无法较好地补全大面积不规则缺失区域的问题。首先利用全局内容修复网络获得一个初始的内容补全结果,之后再通过局部细节修复网络对局部纹理细节进行修复。对抗网络由SN-PatchGAN鉴别器构成,用于评判图像修复效果的好坏。实验结果表明,与目前存在的图像修复方法相比,该方法在峰值信噪比（PSNR）、结构相似性（SSIM）、inception分数3个指标上都有较大的提升;而且该方法有效解决了传统修复方法出现的纹理模糊问题,较好地满足了人们的视觉连贯性,证实了提出的方法的有效性和可行性。     

基于并行对抗与多条件融合的生成式高分辨率图像修复

现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.     

一种基于生成对抗网络的图像修复算法

针对目前基于生成对抗网络(GAN)的图像修复算法存在修复效果的视觉连续性不佳、网络训练过程中模型崩溃等问题,提出一种基于双判别器的生成对抗网络的修复算法。该方法将WGAN-GP的损失函数引入全局判别器和局部判别器中,并结合改进的上下文内容损失来训练网络模型,修复破损区域。在CelebA数据集以峰值信噪比PSNR和结构相似性SSIM的标准下的实验结果证明,该算法提高了图像修复结果的质量和训练稳定性。     

基于Transformer的结构强化IVOCT导丝伪影去除方法

为去除导丝伪影以提高血管内光学相干断层扫描（IVOCT）的图像质量,辅助医师更加准确地诊断心血管疾病,降低误诊及漏诊的概率,针对IVOCT图像结构信息复杂且伪影区域占比大的难点,提出一种采用生成对抗网络（GAN）架构的基于Transformer的结构强化网络（SETN）。首先,GAN的生成器在提取纹理特征的原始图像（ORI）主干生成网络的基础上,并联了RTV(Relative Total Variation)图像强化生成网络用于获取图像的结构信息;其次,在ORI/RTV图像的伪影区域重建过程中,引入了分别关注时/空间域信息的Transformer编码器,用于捕获IVOCT图像序列的上下文信息以及纹理/结构特征之间的关联性;最后,利用结构特征融合模块将不同层次的结构特征融入ORI主干生成网络的解码阶段,配合判别器完成导丝伪影区域的图像重建。实验结果表明,SETN的导丝伪影去除结果在纹理和结构的重建上均十分优秀。此外,导丝伪影去除后IVOCT图像质量的提高,对于IVOCT图像的易损斑块分割及管腔轮廓线提取任务均具有积极意义。     

基于GAN先验的图像补全方法

设计和利用良好的图像先验知识是解决图像补全问题的重要方式.生成对抗网络(GAN)作为一种优秀的生成式模型,其生成器可以从大型图像数据集中学习到丰富的图像语义信息,将预训练GAN模型作为图像先验是一种好的选择.为了利用预训练GAN模型更好地解决图像补全问题,本文在使用多个隐变量的基础上,在预训练生成器中间层同时对通道和特征图添加自适应权重,并在训练过程中微调生成器参数.最后通过图像重建和图像补全实验,定性和定量分析相结合,证实了本文提出的方法可以有效地挖掘预训练模型的先验知识,进而高质量地完成图像补全任务.     

利用生成对抗网络的人脸图像分步补全法

人脸图像修复技术是近年来图像处理领域的研究热点,而人脸图像大面积缺失导致损失语义信息过多,一直是该领域的重点难点问题.针对这一问题,文中提出了一种基于生成对抗网络的图像分步补全算法.将人脸图像修复问题分为两步,设计两个串联的生成对抗网络,首先残缺图像通过预补全网络进行图像的预补全,预补全图像进入增强网络进行特征增强;判别器分别判断预补全图像和增强图像与理想图像的差异性;采用长短时记忆单元连接两部分的信息流,增强信息的传递.然后使用内容损失、对抗损失和全变分损失相结合的损失函数,提高网络的修复效果.最后在CelebA数据集上进行实验,结果显示,所提算法相较于对比算法在峰值信噪比指标上提高了16.84％～22.85％,在结构相似性指标上提高了10％～12.82％.     

融合边缘检测和自注意力的图像修复方法

针对修复后图像边界模糊、图像纹理不清晰、视觉效果差的问题,提出了一种融合边缘检测和自注意力机制的生成式对抗修复模型.通过边缘检测可提取出图像的轮廓信息,避免了修复后边界模糊的问题;利用自注意力机制能够捕获图像全局信息并生成图像精确细节的能力,设计出融合自注意力机制的纹理修复网络.该模型由边缘补全网络和纹理修复网络组成,首先,设计的边缘补全网络对受损图像的边缘进行补全,得到边缘补全图像;其次,利用纹理修复网络联合补全的边缘图像对缺失区域的纹理进行精确修复.在CelebA和Place2两个图像数据集上对本文所建模型进行了训练和测试.实验结果表明:本文所建模型与现有图像修复方法相比,大幅提高了图像修复的精确度,且生成的图像更加逼真.     

基于新编码器和相似度约束的图像修复

现有的图像修复方法存在受损区域修复痕迹明显、语义不连续、不清晰等问题,针对这些问题本文提出了一种基于新型编码器并结合上下文感知损失的图像修复方法.本文方法采用生成对抗网络作为基本网络架构,为了能够充分学习图像特征得到更清晰的修复结果,引入了SE-ResNet提取图像的有效特征;同时提出联合上下文感知损失训练生成网络以约...     

基于图像云模型语义标注的条件生成对抗网络

在图像补全技术中,当图像丢失较多信息时,仅凭自身已有的信息很难补全图像.因此,文中使用条件生成对抗网络(CGAN)和多粒度认知相结合的方式研究图像的降噪和补全.首先借助云模型中高斯云变换算法提取无标签图像的多层语义信息,并根据不同层次的语义信息对图像进行不同粒度的分割,同时对已分割图像进行自动语义标注.然后将各粒层图像和其对应的语义信息分别作为CGAN的训练数据,得到图像生成对抗网络模型.最后依据此模型补全图像的缺失信息.实验表明,对于Caltech-UCSD Birds和Oxford-102flowers数据集的图像降噪和图像补全,文中算法取得较好效果.     

基于改进部分卷积的瑕疵布匹图像生成算法

针对工业生产中布匹瑕疵自动化检测模型训练时缺少带瑕疵位置信息的瑕疵布匹图像数据集的问题,本文提出了一种以改进的部分卷积网络作为基本框架的带瑕疵位置信息的瑕疵布匹图像生成模型EC-PConv.该模型引入小尺寸瑕疵特征提取网络,将提取出的瑕疵纹理特征与空白mask拼接起来形成带有位置信息和瑕疵纹理特征的mask,然后以修复方式生成带有瑕疵位置信息的瑕疵布匹图像,另外,本文提出一种结合MSE损失的混合损失函数以生成更加清晰的瑕疵纹理.实验结果表明,与最新的GAN生成模型相比,本文提出的生成模型的FID值降低了0.51;生成的瑕疵布匹图像在布匹瑕疵检测模型中查准率P和MAP值分别提高了0.118和0.106.实验结果表明,该方法在瑕疵布匹图像生成上比其他算法更稳定,能够生成更高质量的带瑕疵位置信息的瑕疵布匹图像,可较好地解决布匹瑕疵自动化检测模型缺少训练数据集的问题.     

一种双判别器GAN的古彝文字符修复方法EI北大核心CSCD

在中国,彝文古籍文献日益流失而且损毁严重,由于通晓古彝文的研究人员缺乏,使得古籍恢复工作进展十分缓慢.人工智能在图像文本领域的应用,为古籍文献的自动修复提供可能.本文设计了一种双判别器生成对抗网络(Generative adversarial networks with dual discriminator,D2GAN),以还原古代彝族字符中的缺失部分.D2GAN是在深度卷积生成对抗网络的基础上,增加一个古彝文筛选判别器.通过三个阶段的训练来迭代地优化古彝文字符生成网络,以获得古彝文字符的文字生成器.根据筛选判别器的损失结果优化D2GAN模型,并使用生成的字符恢复古彝文中丢失的笔画.实验结果表明,在字符残缺低于1/3的情况下,本文提出的方法可使文字笔画的修复率达到77.3%,有效地加快了古彝文字符修复工作的进程.     

基于生成对抗网络的CT图像数据扩增

训练基于深度学习的计算机辅助诊断系统可以有效地从肺部CT图像中检测出是否受到COVID-19感染, 但目前面临的主要问题是缺乏高质量带标注的CT图像用于训练. 为了有效的解决该问题, 本文提出了一种基于生成对抗网络来扩增肺部CT图像的方法. 新方法通过生成不同感染区域的标签并通过泊松融合以增加生成图像的多样性; 通过训练对抗网络模型实现图像的转换生成, 以达到扩增CT图像的目的. 为验证生成数据的有效性, 基于扩增数据进一步做了分割实验. 通过图像生成实验和分割实验, 结果都表明, 本文提出的图像生成方法取得了较好的效果.     

基于生成对抗网络的图像修复

针对现有图像修复算法存在受损区域的形状和大小受限以及修复痕迹明显、修复边缘不连续的问题,文中提出一种基于生成对抗网络的图像修复方法。该方法采用生成对抗网络(Generative Adversarial Networks,GAN)这种新的生成模型作为基本架构,结合Wasserstein距离,同时融入条件对抗网络(CGAN)的思想;以破损图像作为附加条件信息,采用对抗损失与内容损失相结合的方式来训练网络模型,以修复破损区域。此方法能够修复大多数破损情况下的图像。在CelebA和LFW两个数据集上的实验结果表明,所提方法能够取得很好的修复效果。     

基于快速傅里叶变换和选择性卷积核网络的图像补全

较传统方案而言, 目前基于深度学习的图像补全方法取得了更优的修复效果. 但大都忽视了建立像素的长距离依赖, 深度学习模型处理大面积不规则缺失时效果不佳、生成图像整体契合度不足. 另一方面, 很多通过融合多尺度感受野来保留更多细节信息的补全算法, 由于无法动态的调节感受野, 而受到输入尺度与补全目标尺度变化带来的影响, 最终导致生成结果产生明显的伪影误差. 针对这类问题, 本文提出一种基于快速傅里叶变换和选择性卷积核网络的补全算法, 在实现像素长距离依赖的同时保证模型的高效率运行. 此外, 本算法还改进了选择性卷积核网络, 可按照各卷积核特征的贡献, 自适应调整相应权重, 从而为模型提供精确的局部性信息补充, 最终生成全局融合度更高、局部细节更丰富的补全结果. 在Celeb-A和Place2数据集的实验表明, 本文方法不仅在PSNR和SSIM指标上超越了现有的前沿图像补全方法, 且处理受遮挡率为80%以上的图像时具有明显优势, 能够生成更真实地结果.     

基于多尺度生成对抗网络的遮挡行人重识别方法

行人重识别是指在多个非重叠摄像头拍摄的场景下,给定一幅查询行人图像,从大规模行人图像库中检索出具有相同身份的行人图像,是一类特殊的图像检索任务.随着深度学习的不断发展,行人重识别方法的性能得到了显著提升.但是行人重识别在实际应用中经常遭遇遮挡问题（例如背景遮挡、行人互相遮挡等）.由于遮挡图像不仅丢失了部分目标信息,而且引入了额外的干扰,使得现有方法往往难以学习到鲁棒的特征表示,从而导致识别性能严重下降.最近,生成对抗网络在各类计算机视觉任务上展现出强大的图像生成能力.受到生成对抗网络的启发,提出了一种基于多尺度生成对抗网络的遮挡行人重识别方法.首先,利用成对的遮挡图像和非遮挡图像训练一个多尺度生成器和一个判别器.多尺度生成器能够对随机遮挡区域进行去遮挡操作,生成高质量的重构图;而判别器能够区分输入图像是真实图像还是生成图像.其次,利用训练好的多尺度生成器,生成去除随机遮挡的训练图像,添加到原始训练图像集,用于增加训练样本的多样性.最后,基于此扩充训练图像集,训练分类识别模型,有效地提高模型在测试图像集上的泛化性.在多个有挑战性的行人重识别数据集上的实验结果,验证了所提出方法的有效性.     

基于多粒度特征融合的边缘一致性图像补全

图像补全是数字图像处理领域的一项重要研究内容,大面积不规则缺失图像的补全是近年来的研究热点.然而,现有的图像补全技术存在一些局限性,基于生成式对抗网络的方法忽略了图像的边缘结构信息,存在无法还原精细细节的问题;基于局部判别器的方法不能处理非矩形的缺失图像,存在补全任务不符合实际应用场景的问题等.鉴于此,结合多粒度认知计算的思想,提出基于多粒度特征融合的边缘判别器,充分学习不同粒度的边缘结构信息,提高生成图像边缘和真实图像边缘的一致性,生成结构更加清晰的补全图像.同时,引入边缘空间衰减损失,以提高边缘区域像素的连续性.此外,利用注意力机制将补全区域的像素作为有效像素,优化局部判别器使其能够处理非矩形缺失图像.在Places2和Paris Streetview等公共数据集上的实验结果表明,补全大面积不规则缺失图像时,所提出方法能够取得比其他图像补全方法更好的效果,一定程度上表明了边缘结构信息在图像补全研究中的重要性.