基于三网络对抗学习的素描人脸合成方法

为解决现有素描人脸合成方法中素描人脸图像细节缺失、清晰度低及可适用性差的问题,提出一种三网络对抗学习的模型.由面部特征提取网络、生成网络及判别网络组成,引入面部细节损失与对抗损失相结合的复合损失函数,提高合成素描人脸图像的质量.在公共素描人脸数据集中与现有方法的定量与定性对比实验验证了该方法能够生成更加逼真、清晰的素描...     

基于对抗网络人脸超分辨率重建算法研究

由于受到光照和成像设备等条件因素的影响,采集到的单帧人脸图像分辨率低,无法进行准确人脸识别,所以需要图像超分辨率重建.而利用SRGAN模型在进行人脸超分辨率重建过程中,易出现梯度消失或爆炸的问题,严重影响了重建图像的精度和质量.针对上述问题,提出了基于生成对抗网络的改进人脸超分辨率重建算法,在SRGAN结合WGA-N的...     

基于多任务对抗和抗噪对抗学习的人脸超分辨率算法

高倍率单幅人脸图像超分辨率重建是一项具有实用价值但困难的任务.在人脸超分辨率任务中,端到端网络超分辨率图像较模糊,图像真实性和人眼视觉效果较差.针对上述问题,文中提出基于多任务对抗和抗噪对抗学习的人脸超分辨率算法.算法分为端到端网络学习阶段和网络参数微调阶段.为了提高端到端学习效果,设计深度多任务拉普拉斯金字塔网络,并结合多任务对抗学习.主任务为端到端学习,子任务为优化对抗学习惩罚项函数.为了改进通过对抗学习并微调主任务网络参数后的效果,在对抗学习的判别器优化过程中,融入抗噪对抗学习.实验表明,文中算法能使人脸超分辨率图像更具有图像真实性,更符合人眼视觉习惯.     

基于改进CycleGAN的视频监控人脸超分辨率恢复算法

针对有监督超分辨率算法训练过程需要大量成对图像、处理真实低分辨率图像视觉恢复效果差等问题,提出了一种基于改进CycleGAN的半监督算法Cycle-SRNet.首先,利用退化模型获得与真实低分辨率人脸相似的图像,用于训练网络参数;其次,通过重建模型恢复出具有真实效果的高分辨率人脸图像;最后引入感知损失函数保持人脸结构相似性,以更好地恢复面部特征.实验结果表明,该算法不需要成对的图像进行网络训练,在视觉效果上能够将模糊的视频监控低分辨率人脸图像恢复成清晰可辨的人脸图像,在FID、PSNR和SSIM指标上超越了SRCNN、SRGAN、CinCGAN等方法.     

基于双向生成对抗网络的图像超分辨率算法

基于深度学习的图像超分辨率重建算法不能很好地处理现实生活中有多种复杂噪声干扰的低分辨率图片,提出一种双向的生成对抗网络,引入下采样网络及重建网络联合学习的方法.下采样网络模拟生成现实生活中有复杂噪声及受运动干扰的低分辨率图片,重建网络将模拟生成的低分辨率图片恢复为细节清晰的高分辨率图片.实验结果表明,该算法能够重建出视觉效果良好的超分辨率图像,在Set5、DIV2 K等通用测试集上,其客观评价指标(PSNR、SSIM)对比于SRGAN方法分别提高了约0.9 dB,0.25.     

渐进式生成对抗网络的人脸超分辨率重建

人脸幻构是图像超分辨率重建领域的一个子领域,用于恢复面部基本特征且不变形.现有方法着重于恢复本身细节相对丰富的图像,本文针对高频细节已丢失严重的人脸图像提出了一种渐进式生成对抗网络的人脸超分辨率重建方法(P-FSR-GAN),可生成逼真的8倍超高分辨率人脸图像.采用渐进式生成方法,通过分阶段拆分训练的方式来保证训练过程...     

人脸合成技术综述

人脸合成由于其应用与技术价值,是机器视觉领域的热点之一,而近年来深度学习的突破性进展使该领域吸引了更多关注.将该领域的研究分为四个子类:人脸身份合成、人脸动作合成、人脸属性合成与人脸生成,并系统地总结了这些子类的发展历程、现状,以及现有技术存在的问题.首先针对人脸身份合成,从图形学、数字图像处理与深度学习三个角度总结了各自的合成流程,对关键技术原理进行了详细的解释与分析.其次将人脸动作合成进一步分为利用标签驱动的表情编辑与利用真实人脸驱动的人脸重演,并指出了各自领域中存在的缺陷与难题.然后介绍了基于生成模型,尤其是生成对抗网络在人脸属性合成方面的发展,最终对人脸生成的各类工作进行了简单的阐述.此外,介绍了人脸合成技术的实际应用与当前面临的相关问题,并展望了该领域未来可能的研究方向.     

基于深度学习的超分辨率图像重建研究综述

目前超分辨率图像重建技术是计算机视觉领域的研究热点,随着深度学习的发展,基于深度学习的超分辨率图像重建技术已经取得了一定的研究成果.论文回顾了典型的超分辨率图像重建的深度网络模型,对超分辨率图像重建的深度学习算法和网络结构进行介绍,比较分析了不同模型的优缺点,从本质上发现并提出了超分辨率图像重建的一些问题.在此基础上,提出了基于深度学习的超分辨率图像重建方法未来的研究趋势.     

人脸图像超分辨率非线性学习算法

针对一般学习算法效率低下的问题,提出一种马尔可夫网络模型下的非线性学习算法。对输入的低分辨率图像以及训练用高分辨率图像和对应的低分辨率图像进行分块,并使图像基本对齐,构造训练图像集,利用训练集人脸图像的差异,采用块坐标限位操作技术,给出一种非线性样本搜索算法,降低搜索空间复杂度,提高了匹配效率和相关性。利用搜索到的高分辨率图像分块样本,直接输出超分辨率图像。分析和实验证实,与传统学习算法相比,该方法具有输出质量好、效率高的特点。     

基于GAN的分步合成人脸素描生成算法

人脸素描具有丰富的阴影、纹理和鲜明的脸部特征,广泛应用于人脸识别和生活娱乐等领域.鉴于艺术家对人脸素描的绘制步骤具有一定次序的特点,提出一种模拟艺术家绘制人脸素描步骤的算法.将素描生成过程分为2个阶段:第1阶段利用重建的图像辅助生成素描信息;第2阶段利用第1阶段得到的素描信息辅助合成目标素描图像,达到具有脸部轮廓、头发纹理与五官特征、脸部阴影特征的目的.采用CUHK和CUFS数据集进行大量实验,通过PSNR, SSIM和FIR这3个客观评价指标进行对比,结果表明,所提算法的PSNR比典型算法平均提高了4.7 dB, SSIM平均提升0.08, FID分数平均降低8.3;该算法能够生成效果更好的人脸素描图像.     

基于面部特征图对称的人脸正面化生成对抗网络算法

目前人脸正面化研究主要解决人脸偏转问题,而对监控视频等现实场景中同时受偏转和俯仰变化影响的侧脸的正面化生成关注较少,针对这个问题和多角度侧脸生成的正面人脸图存在身份信息保留不全的问题,提出了一种基于特征图对称模块和眼周特征保留损失的生成对抗网络(GAN).首先,根据人脸对称性先验,提出特征图对称模块,先使用人脸关键点检...     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价(NR-IQA)方法的性能,参考先进的深度生成对抗网络(GAN)研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟"参考图",进而可以像全参考图像质量评价(FR-IQA)方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。     

基于仲裁机制的生成对抗网络改进算法

针对深度卷积生成对抗网络（DCGAN）中的对抗训练缺乏灵活性以及DCGAN所使用的二分类交叉熵损失（BCE loss）函数存在优化不灵活、收敛状态不明确的问题,提出了一种基于仲裁机制的生成对抗网络（GAN）改进算法,即在DCGAN的基础上引入了所提出的仲裁机制。首先,所提改进算法的网络结构由生成器、鉴别器和仲裁器组成;然后,生成器与鉴别器会根据训练规划进行对抗训练,并根据从数据集中感知学习到的特征分别强化生成图像以及辨别图像真伪的能力;其次,由上一轮经过对抗训练的生成器和鉴别器与度量分数计算模块一起组成仲裁器,该仲裁器将度量生成器与鉴别器对抗训练的结果,并反馈到训练规划中;最后,在网络结构中添加获胜限制以提高模型训练的稳定性,并使用Circle loss函数替换BCE loss函数,使得模型优化过程更灵活、收敛状态更明确。实验结果表明,所提算法在建筑类以及人脸数据集上有较好的生成效果,在LSUN数据集上,该算法的FID指标相较于DCGAN原始算法下降了1.04%;在CelebA数据集上,该算法的IS指标相较于DCGAN原始算法提高了4.53%。所提算法生成的图像具有更好的多样性以及更高的质量。     

基于改进的GAN的局部遮挡人脸表情识别

针对实际应用中人脸图像存在局部遮挡的情况经常发生,会造成识别率下降和鲁棒性降低。因此针对目前存在的这种情况,提出一种基于改进生成式对抗网络（Generative Adversarial Network,GAN）的表情识别模型,先利用由自动编码器构成的生成器和两个鉴别器（局部鉴别器和全局鉴别器）的对抗学习对遮挡人脸图像填补修复,再在全局鉴别器后面添加多分类层,利用全局鉴别器的部分卷积层并在后面添加多分类层构成表情分类器进行表情识别。最后通过实验进行了不同遮挡面积的人脸图像在填补前后表情识别率的对比和不同算法的识别率对比,实验结果证明识别率会更高,尤其提高了人脸大面积遮挡的识别率。     

基于生成对抗网络的自动细胞核分割半监督学习方法

为了减少对标注图像数量的依赖，提出一种新颖的半监督学习方法用于细胞核的自动分割。首先，通过新的卷积神经网络（CNN）从背景中自动提取细胞区域。其次，判别器网络通过应用全卷积网络来为输入的图像生成置信图；同时耦合对抗性损失和标准交叉熵损失，以改善分割网络的性能。最后，将标记图像和无标记图像与置信图结合来训练分割网络，使分割网络可以在提取的细胞区域中识别单个细胞核。对84张图像（训练集中的1/8图像带标注，其余图像无标注）的实验结果表明，提出的细胞核分割方法的分割准确率度量（SEG）得分可以达到77.9%，F1得分可以达到76.0%，这比该方法使用670张图像且训练集中的所有图像都带标注时的表现要好。     

基于循环生成对抗网络的含遮挡人脸识别

人脸图像的遮挡会严重影响人脸识别准确率,当前处理带遮挡人脸识别的方法主要有丢弃法和修复法两种。丢弃法因忽略或丢弃大量遮挡区域的有效特征易造成识别准确率不高,而当前大多数修复法需要原图的相关信息,限制了其应用。针对现有含遮挡人脸识别方法存在的问题,提出一种基于循环生成对抗网络的人脸识别算法,通过利用2对生成器和判别器进行循环训练,实现遮挡人脸图像的盲修复,此过程不需要除遮挡区域外的原图信息。在此基础上,采用ResNet-50网络对修复后人脸进行识别,该网络通过跳跃连接消除深层卷积神经网络中的网络退化问题,能够降低网络训练的难度,且不会增加额外的参数和计算量。针对盲修复后人脸特征存在类内差异大和类间差异小的特性,引入一种能够量化类间距离的分类损失函数RegularFace作为识别网络损失函数。实验结果表明,与DCGAN+CNN算法相比,所提算法对不同遮挡类型和遮挡区域的人脸图像识别准确率均有所提高,当线性遮挡面积为40%时,所提算法的识别准确率提高了14.4个百分点。     

基于生成对抗网络的自动细胞核分割半监督学习方法

为了减少对标注图像数量的依赖,提出一种新颖的半监督学习方法用于细胞核的自动分割。首先,通过新的卷积神经网络（CNN）从背景中自动提取细胞区域。其次,判别器网络通过应用全卷积网络来为输入的图像生成置信图;同时耦合对抗性损失和标准交叉熵损失,以改善分割网络的性能。最后,将标记图像和无标记图像与置信图结合来训练分割网络,使分割网络可以在提取的细胞区域中识别单个细胞核。对84张图像（训练集中的1/8图像带标注,其余图像无标注）的实验结果表明,提出的细胞核分割方法的分割准确率度量（SEG）得分可以达到77.9%,F1得分可以达到76.0%,这比该方法使用670张图像且训练集中的所有图像都带标注时的表现要好。     

基于单幅图像学习的生成对抗网络模型

将卷积神经网络引入生成对抗网络可提高所生成图像的质量,但网络的感受野较小且难以学习各个特征通道之间的重要关系.在SinGAN网络的基础上,提出一种能从单幅图像中学习的生成对抗网络模型.在SinGAN网络的生成器和鉴别器中引入Inception V2模块以增加网络宽度扩大感受野,采用多个卷积核提取图像特征并进行特征融合,...     

基于多特征融合的多尺度生成对抗网络图像修复算法

针对多尺度生成式对抗网络图像修复算法（MGANII）在修复图像过程中训练不稳定、修复图像的结构一致性差以及细节和纹理不足等问题,提出了一种基于多特征融合的多尺度生成对抗网络的图像修复算法。首先,针对结构一致性差以及细节和纹理不足的问题,在传统的生成器中引入多特征融合模块（MFFM）,并且引入了一个基于感知的特征重构损失函数来提高扩张卷积网络的特征提取能力,从而改善修复图像的细节性和纹理特征;然后,在局部判别器中引入了一个基于感知的特征匹配损失函数来提升判别器的鉴别能力,从而增强了修复图像的结构一致性;最后,在对抗损失函数中引入风险惩罚项来满足利普希茨连续条件,使得网络在训练过程中能快速稳定地收敛。在CelebA数据集上,所提的多特征融合的图像修复算法与MANGII相比能快速收敛,同时所提算法所修复图像的峰值信噪比（PSNR）、结构相似性（SSIM）比基线算法所修复图像分别提高了0.45%～8.67%和0.88%～8.06%,而Frechet Inception距离得分（FID）比基线算法所修复图像降低了36.01%～46.97%。实验结果表明,所提算法的修复性能优于基线算法。