基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

一种门控卷积生成对抗网络的图像修复算法

生成对抗网络图像修复算法在填充任意掩码区域时会经常出现错误,原因是其在进行卷积运算时将所有输入像素都视为有效像素.针对该问题,提出一种门控卷积生成对抗网络的图像修复算法,利用门控卷积替换网络残差块中的传统卷积,以有效地学习已知区域与掩码区域之间的关系.算法采用边缘修复加纹理修复的两阶段生成对抗修复网络.首先,用边缘检测...     

基于生成对抗网络的遮挡图像修复算法

提出一种基于生成对抗网络的遮挡图像修复算法,能够在大量像素缺失的场景下复原出图像的本来面目.该算法不同于其他的样本块搜索复原算法,可直接生成并且填充可能的缺失元素,改进了生成对抗网络生成模型的结构和生成损失的计算方法,具有半监督学习的特点.实验结果表明,在满足图像整体轮廓的前提下,新算法优于其他算法.     

基于单阶段生成对抗网络的文本生成图像方法

为了提高生成图像质量,提出新的文本生成图像方法,整体框架采用单阶段文本生成图像主干.在原有模型只使用句子信息生成图像的基础上,使用注意力机制把单词信息融入图像特征,采用合理地融入更多文本信息的方式提高生成图像的质量.引入对比损失,使相同语义图像之间更加接近,不同语义图像之间更加疏远,从而更好地保证文本与生成图像之间的语义一致性.在生成器中采用动态卷积来增强生成器的表达能力.实验结果表明,所提方法在数据集CUB(Fréchet inception distance(FID)从12.10提升到10.36)和数据集COCO(FID从15.41提升到12.74)上都获得了较好的性能提升.     

基于三判别器生成对抗网络的PET和MRI图像融合

针对正电子发射断层(positron emission tomography, PET)图像和磁共振成像(magnetic resonance imaging, MRI)的融合,提出了一种基于三判别器生成对抗网络的PET和MRI图像融合算法。首先将PET图像进行RGB到YCbCr彩色空间的转换;然后将所得PET图像的Y分量与MRI图像进行差分操作,得到“差分”图像;再将PET图像的Y分量、MRI图像和得到的差分图像进行“联结”,分别输入到三支路生成器网络中,得到融合图像的Y分量;接着将所得到融合图像的Y分量分别与源PET图像的Y分量、MRI图像和差分图像输入到三个判别器中,与生成器进行对抗训练;最后对得到的融合图像Y分量,连同PET图像的Cb和Cr分量进行YCbCr到RGB的反变换,从而得到最终的融合图像。在一组公开数据集上的实验结果表明,相较于其他几种对比算法,所提算法在主观判读与客观评价指标上均具有一定的优势。     

基于RCNN的图像修复技术

目前,失真图像在图像获取、转存和传输过程中发生图像信息丢失问题日益严重,然而目前很多基于深度学习的图像修复方法都需要大量的数据集支持才能实现图像修复的高复原度这一指标,严重耗费时间和资源。提出一种新型循环卷积融合神经网络模型来实现图像恢复,将原本的卷积层重构后获得的特征图导入循环模型进行信息获取,并通过U-net网络结构实现重建以得到结果。在失真数据集TID2008和TID2013上的实验结果证明,数据集较少的情况下,修复效果相对于传统方法更佳。     

基于双网络及多尺度判决器的图像修复算法

为了有效解决修复复杂背景及高分辨率图像时产生的边界扭曲、伪影及训练不稳定的缺陷,提出了一种基于双生成对抗网络及多尺度判决器的图像修复算法。首先,将待修复图像输入基于空洞卷积(Dilated Convolution)层的内容预测网络,以重构损失和基于生成对抗损失的全局判决器为标准,进行粗修复.然后将粗修复结果输入细节修复网络,经空洞卷积路径和感知(Contextual Attention)卷积路径解码和反卷积后,送入三个不同尺度的判决器进行优化。在公认的图像数据集上对本文算法进行训练和测试,实验结果显示：提出方法在修复背景复杂及高分辨率图像时,能生成合理的结构和清晰的纹理细节,其主客观指标均优于对比算法。     

基于相似图像配准的图像修复算法

传统基于纹理合成的图像修复算法只能从破损图像中提取有用信息,不能修复复杂结构;基于深度学习的修复算法训练时间长,纹理合成效果不理想.为解决上述问题,该文提出了一种基于相似图像配准的图像修复算法.首先提出一种破损图像的相似度计算方法,利用图像的深度学习特征,在数据库中寻找与之最为相近的图像,为修复过程提供更多的有效信息;...     

基于生成对抗网络的无人机图像道路提取

该文基于TensorFlow开发平台,搭建了生成对抗网络模型,通过无人机遥感图像预处理、道路标签制作、网络训练和算法改进,完成了道路特征信息的深度学习,固化了生成网络参数,实现了基于无人机图像的低等级道路信息自动提取的科学目标,并通过形态学处理进一步增强了道路的提取效果。通过分析不同特征道路提取的信息,证明了本方法对利用高分辨率无人机图像提取低等级道路信息具有较好的借鉴作用。     

基于改进生成对抗网络的图像数据增强方法

为了提高机器学习模型的精确度,提出基于数据分布拟合、生成式对抗神经网络和图像超分辨率重建的图像数据增强方法.该方法将最大似然估计和采样算法生成的符合原始数据分布的二维噪声用于对抗训练,克服了在生成模型中传统图像噪声输入随意的问题;采用逐层训练方式生成高分辨率图像,改进高分辨率图像映射困难、参数冗余的缺点.以轴承滚子表面灰度图像数据增强为例,验证所提方法的有效性.研究结果表明,所提方法生成的图像质量更优,相比传统方法生成的图像峰值信噪比提高13.07%,结构相似性提高32.40%,弗雷歇初始距离降低37.58%,且数据增强后的模型平均精确度提升7.89%.     

基于生成对抗网络的对抗防御系统

针对不断更新的对抗攻击,提出一个基于生成对抗网络的防御系统.系统利用生成对抗网络不断生成新的对抗样本,反复训练模型以增强其鲁棒性.具体过程为将预先训练的卷积神经网络和外部GAN(conditional GAN:Pix2Pix)相结合,自动流水线式地推断对抗样本和干净样本之间的转换关系,并合成新的对抗样本.根据分辨得到的...     

基于蒙特卡罗方法的图像修复快速算法

图像修复指的是这样一个病态问题,图像的某些局部区域数据丢失了,要从周围的有效数据把这些区域填充起来,以恢复图像的完整性和视觉效果。本文讨论用蒙特卡罗随机模拟的方法进行图像修复,针对较窄的带状区域和较宽的块状区域分别提出两种不同的修复算法,对前者用随机游动的方法进行修复,而对后者则采用随机模拟边界积分的方法进行修复。笔者的算法比现有的基于扩散的修复方法要快的多,并且能够保持强边缘。     

基于特征线的三维模型孔洞修复方法

三维模型的孔洞修复是数字几何处理中的一个重要问题.首先利用耳切三角化技术,提出了针对三维模型孔洞的一种基曲面构建方法.然后利用孔洞周围探测得到的特征线的信息来恢复孔洞区域的细节.对于孔洞区域的三角形,根据特征线确定的细分顺序进行细分.细分方法是利用三角形的邻域点的信息和特征线的信息拟合二次曲面,再将三角形的重心投影到拟合的二次曲面上.实验表明:基于特征线的修复方法能够较好地捕获模型的全局特征,并能够有效恢复孔洞区域的显著几何特征,从而获得较自然的修复效果.     

一种基于区域搜索的快速图像修复算法

基于纹理合成的图像修复技术在修复大面积破损区域时,普遍存在时间复杂度高的问题.针对Criminisi等提出的基于样本图像修复算法中的匹配技术存在的问题.该文提出了一种根据图像破损区域尺寸进行快速匹配的算法.同时,为了强调前次修复对以后修复产生误差累积的影响,提出了新的置信度更新方法.实验结果表明,改进算法对图像结构边缘...     

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。     

基于生成对抗网络的文本两阶段生成高质量图像方法

为了解决传统文本生成图像方法生成图像质量差和文本描述与生成图像不一致问题,以多种损失函数为约束,提出深度融合注意力的生成对抗网络方法（DFA-GAN）.采用两阶段图像生成,以单级生成对抗网络（GAN）为主干,将第一阶段生成的初始模糊图像输入第二阶段,对初始图像进行高质量再生成,以提升图像的生成质量.在图像生成的第一阶段,设计视觉文本融合模块,深度融合文本特征与图像特征,将文本信息充分融合在不同尺度的图像采样过程中.在图像生成的第二阶段,为了充分融合图像特征与文本描述词特征,提出以改进后的Vision Transformer为编码器的图像生成器.定量与定性实验结果表明,对比其他主流模型,所提方法提高了生成图像的质量,与文本描述更加符合.     

一种改进的生成对抗网络在朱金木雕图像修复中的应用

针对朱金木雕图像纹理丰富难以用简单超分辨率方法修复的问题,提出了一种改进的生成对抗网络方法。依据深度残差模型、子像素卷积模型及截断的预训练视觉几何组19 (Visual Geometry Group 19, VGG 19)模型,把输入的低分辨率图像转化为高分辨率图像,并利用原始图像的特征图计算内容损失;应用判别网络判别图像的真实性并计算对抗损失,不断反馈这两种损失来更新模型;通过迁移学习将预训练得到的参数迁移到朱金木雕数据集上,经过少量训练后得到新模型。实验结果表明：使用改进的生成对抗网络得到的峰值信噪比（FPSNR）与结构相似性（FSSIM）指标均值分别为22.546 9和0.675 9,使用其他方法得到FPSNR与FSSIM指标的均值分别为9.835 5和0.100 4。使用改进的生成对抗网络获得图片纹理更丰富,在指标和图像效果上更优。     

基于SmsGAN的对抗样本修复

针对对抗样本给基于深度学习的检测模型带来的严重识别干扰问题,提出一种基于随机多滤波特征统计生成对抗网络(SmsGAN)的对抗样本修复方案.采用随机多滤波特征统计网络(SmsNet)构建了特征统计层,实现了对抗样本的高精度检测,并将每个卷积核输出的特征图直接送到特征统计层获取全局特征.随机多滤波特征统计生成对抗网络(Sm...