基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

一种门控卷积生成对抗网络的图像修复算法

生成对抗网络图像修复算法在填充任意掩码区域时会经常出现错误,原因是其在进行卷积运算时将所有输入像素都视为有效像素.针对该问题,提出一种门控卷积生成对抗网络的图像修复算法,利用门控卷积替换网络残差块中的传统卷积,以有效地学习已知区域与掩码区域之间的关系.算法采用边缘修复加纹理修复的两阶段生成对抗修复网络.首先,用边缘检测...     

基于SmsGAN的对抗样本修复

针对对抗样本给基于深度学习的检测模型带来的严重识别干扰问题,提出一种基于随机多滤波特征统计生成对抗网络(SmsGAN)的对抗样本修复方案.采用随机多滤波特征统计网络(SmsNet)构建了特征统计层,实现了对抗样本的高精度检测,并将每个卷积核输出的特征图直接送到特征统计层获取全局特征.随机多滤波特征统计生成对抗网络(Sm...     

基于生成对抗网络的无人机图像道路提取

该文基于TensorFlow开发平台,搭建了生成对抗网络模型,通过无人机遥感图像预处理、道路标签制作、网络训练和算法改进,完成了道路特征信息的深度学习,固化了生成网络参数,实现了基于无人机图像的低等级道路信息自动提取的科学目标,并通过形态学处理进一步增强了道路的提取效果。通过分析不同特征道路提取的信息,证明了本方法对利用高分辨率无人机图像提取低等级道路信息具有较好的借鉴作用。     

一种改进的生成对抗网络在朱金木雕图像修复中的应用

针对朱金木雕图像纹理丰富难以用简单超分辨率方法修复的问题,提出了一种改进的生成对抗网络方法。依据深度残差模型、子像素卷积模型及截断的预训练视觉几何组19 (Visual Geometry Group 19, VGG 19)模型,把输入的低分辨率图像转化为高分辨率图像,并利用原始图像的特征图计算内容损失;应用判别网络判别图像的真实性并计算对抗损失,不断反馈这两种损失来更新模型;通过迁移学习将预训练得到的参数迁移到朱金木雕数据集上,经过少量训练后得到新模型。实验结果表明：使用改进的生成对抗网络得到的峰值信噪比（FPSNR）与结构相似性（FSSIM）指标均值分别为22.546 9和0.675 9,使用其他方法得到FPSNR与FSSIM指标的均值分别为9.835 5和0.100 4。使用改进的生成对抗网络获得图片纹理更丰富,在指标和图像效果上更优。     

基于SN-GAN的大面积缺损图像修复算法研究

针对传统图像修复算法存在的图像细节修复效果差、视觉连贯性不佳以及训练不稳定等问题,将生成对抗网络和孪生神经网络进行结合,孪生神经网络当成GAN中的判别器,并在生成网络中使用均方误差,孪生网络中使用对比损失.实验结果显示,SN-GAN模型在细节修复及视觉连贯性上得到一定提升,并且也更适用于大面积缺损图像的修复.     

基于改进生成对抗网络的书法字生成算法

针对生成对抗网络生成字体存在笔画缺失、字形结构错乱、图像模糊与质量差的问题,提出改进zi2zi生成对抗网络的书法字生成算法.在编码器中引入卷积核为1的残差块,提高生成器提取书法字体细节特征的能力,通过增加上下文感知注意力结构提取书法字体的风格特征.在判别器中利用谱归一化增强模型的稳定性,避免因模型训练不稳定而带来的模式崩塌.采用最小绝对误差L1范数约束生成字体边缘特征,使得字体轮廓更加清晰,最终生成2种风格的书法字.颜真卿楷书与赵孟頫行书目标风格数据集的测试结果表明,提出算法的主观客观评价结果均优于对比算法,与zi2zi相比,峰值信噪比分别提高了1.58、1.76 dB,结构相似性分别提高了5.66%、6.91%,感知相似性分别降低了4.21%、6.20%.     

一种改进条件生成对抗网络的图像去雾算法

针对现有去雾算法存在的颜色失真、细节丢失和一些肉眼可见的薄雾残留等问题,提出了一种改进条件生成对抗网络的去雾算法。首先,为了能更好地保留图像的底层纹理信息和结构信息,共享浅层和深层图像之间的特征,设计了含对称层跳跃连接结构的生成器。其次,为了保留图像的细节并减少伪影,重新设计了损失函数,在原始网络损失的基础上引入L1损失和感知损失。提出的算法在HSTS数据集上的峰值信噪比可达27.306 4 dB,结构相似度达0.963 3,比其他算法的最优值分别提高了5.728 dB和0.058 1。去雾后目标检测的mAP提高了2.51%,召回率提高了4.31%。实验结果表明,所提出算法可以减少色差,解决薄雾残留问题,块效应基本消除,在主观效果和客观评价上均具有明显优势。     

基于双网络及多尺度判决器的图像修复算法

为了有效解决修复复杂背景及高分辨率图像时产生的边界扭曲、伪影及训练不稳定的缺陷,提出了一种基于双生成对抗网络及多尺度判决器的图像修复算法。首先,将待修复图像输入基于空洞卷积(Dilated Convolution)层的内容预测网络,以重构损失和基于生成对抗损失的全局判决器为标准,进行粗修复.然后将粗修复结果输入细节修复网络,经空洞卷积路径和感知(Contextual Attention)卷积路径解码和反卷积后,送入三个不同尺度的判决器进行优化。在公认的图像数据集上对本文算法进行训练和测试,实验结果显示：提出方法在修复背景复杂及高分辨率图像时,能生成合理的结构和清晰的纹理细节,其主客观指标均优于对比算法。     

基于生成对抗网络的对抗样本集成防御

针对现有对抗样本防御方法防御能力不足、时间消耗过高等问题,参考生成对抗网络与集成学习在对抗样本研究中的优势,本文提出一种基于生成对抗网络的对抗样本集成防御方法.该方法使用生成对抗网络训练多个能够消除对抗样本表面对抗扰动的生成器,使用集成学习方法将多个生成器进行集成作为最终的防御.该方法的生成对抗网络由生成器和判别器组成...     

基于曲率驱动的图像修补方法

利用Euler’s Elastica Inpainting Model建立曲率驱动图像修补模型,基于该模型建立了一个新的曲率驱动图像修补方程,并实现了此图像修补算法.从修补效果可以看到,不仅待修补区域在图像内部时修补后的图像具有良好的光滑性,而且当待修补区域在边缘处时仍具有光滑的水平线和陡峭的边缘.     

一种基于区域搜索的快速图像修复算法

基于纹理合成的图像修复技术在修复大面积破损区域时,普遍存在时间复杂度高的问题.针对Criminisi等提出的基于样本图像修复算法中的匹配技术存在的问题.该文提出了一种根据图像破损区域尺寸进行快速匹配的算法.同时,为了强调前次修复对以后修复产生误差累积的影响,提出了新的置信度更新方法.实验结果表明,改进算法对图像结构边缘...     

基于偏微分方程的图像修补方法

根据最小能量化泛函所建立的图像修补模型可以得到其欧拉方程,把该欧拉方程所对应的梯度下降流作用于需要修补的图像,当偏微分方程的解稳定时,此时的解就是修补后的图像．基于该原理建立了一个图像修补方程,并实现了此图像修补算法．从这个修补方法的修补效果可以看到,修补后的图像具有良好的光滑性．     

生成式对抗网络应用领域综述

近年来,人工智能高速发展,各种神经网络层出不穷。介绍了生成式对抗网络的基本原理,以及GAN在图像、音频、视频3大领域中的应用,包括风格转换、音频生成、视频生成等。根据现有研究,分析了当前生成式对抗网络发展中的不足,并对未来的研究方向进行了展望。     

基于生成对抗网络的对抗防御系统

针对不断更新的对抗攻击,提出一个基于生成对抗网络的防御系统.系统利用生成对抗网络不断生成新的对抗样本,反复训练模型以增强其鲁棒性.具体过程为将预先训练的卷积神经网络和外部GAN(conditional GAN:Pix2Pix)相结合,自动流水线式地推断对抗样本和干净样本之间的转换关系,并合成新的对抗样本.根据分辨得到的...     

多层次特征融合与超图卷积的生成对抗壁画修复

针对现有深度学习图像修复方法在修复壁画时,存在特征利用率低及对上下文信息关注不足等问题,提出了一种多层次特征融合与超图卷积的生成对抗壁画修复模型。首先,设计金字塔特征提取层结构,利用金字塔特征分层对壁画进行多尺度层次特征提取,并采用混合空洞卷积单元扩大多层特征提取感受野,克服了单尺度卷积操作对于壁画特征提取能力不足的问题。然后,提出多分支短链融合层及门控机制融合多分支特征,将相邻分支间的特征信息进行融合,使融合后的壁画特征图中既有同分支的特征,又有相邻分支的特征,提高特征信息的利用率,并引入门控机制对特征进行选择融合,减少细节信息的丢失。接着,将融合特征通过ConvLSTM特征注意力,增强对壁画上下文信息的关注。最后,设计超图卷积壁画长程特征增强模块,通过在编码器和解码器的跳跃连接之间建立超图卷积层,利用超图卷积来捕获编码器的空间特征信息,将其迁移到解码器中,有助于解码器更好地生成壁画图像,加强特征的长程依赖关系,并与SN-PatchGAN判别网络对抗完成壁画修复。通过对人为添加破损和真实破损壁画图像进行数字化修复实验,结果可以发现：所提方法在PSNR和SSIM等客观评价指标均优于对比算法。多组实验结果表明：所提方法的对于破损壁画修复结果更加清晰自然。     

基于注意力机制的生成对抗网络古诗插图生成方法

古诗插图自动生成是非常具有挑战性的任务。提出了一种新的方法,通过使用注意力机制的生成对抗网络,输入古诗文字和草绘图,经由网络输出古诗插图。该模型在利用编码与解码的图片生成结构的同时,结合注意力机制,将图像色彩及轮廓特征进行了提取,生成器中加入了残差网络模块,增加了网络深度,同时提高了网络模型的效果,最终生成图像质量更高的古诗插图。实验结果表明,所提方法相较于对比方法,在图像质量和色彩渲染方面均有优势,输入的古诗和草图经过网络模型,生成了较为符合古诗意境的插图。     

基于轮廓-纹理分解的图像修补技术研究

研究了传统整体变分去噪算法和图像修补算法,提出了一种基于轮廓-纹理分解的图像修补算法.算法首先将待修补图像分解为轮廓结构图像和纹理细节图像.再对轮廓结构图像的空缺进行轮廓结构修补,并对纹理细节图像的空缺进行纹理合成.最后将修补后的轮廓结构图像及纹理合成后的纹理细节图像进行合成,得到需要的修补图像.这种方法能够很好地修补图像空缺部分的轮廓结构及纹理细节.实验结果表明,该算法比纯结构图像修补法或纯纹理合成法要好.