基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

改进网络模型的局部骨切片图像重构

基于骨切片图像的三维骨多孔结构数字建模是骨组织工程的技术基础,也是生物医学工程领域的研究热点,骨切片图像的质量决定了骨多孔结构数字模型的准确程度。然而,骨切片图像在获取过程中会出现数据丢失、图像受损或图像尺寸过小等问题,导致只能得到局部的切片图像。为了解决这个问题,提出对局部骨切片图像进行完整重构修复的改进条件生成对抗网络,即在条件生成对抗网络基础上,对生成器进行改进,加入嵌套残差密集块,同时,在判别器中加入极化自注意力模块,并对重构的图像进行形态学函数分析和局部孔隙率分布研究来评价生成图像与真实骨多孔图像的相似程度。结果表明该网络能准确、稳定地重构出多样化的完整骨多孔切片图像。     

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想,将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构. 经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.     

人脸超分辨率网络(FSRNet)的改进

人脸超分辨网络(FSRNet)使用人脸几何先验信息优化人脸超分辨率,可以从低分辨率人脸图像生成逼真的高分辨率人脸图像,但FSRNet生成的超分辨率图像存在伪影.对其关键模块进行了改进,并引入了新的损失函数.直接输入16×16像素的低分辨率图像,最后使用转置卷积函数放大图像,降低了计算复杂度,提升了粗略超分辨网络的性能....     

结合年龄监督和人脸先验的语音-人脸图像重建

针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息,导致生成图像和真实图像相似度不高的问题,提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法. 通过预训练的年龄评估模型为当前数据集扩充年龄数据,弥补来自年龄监督信息的缺乏. 通过语音-人脸图像跨模态身份匹配方法,为给定语音检索接近真实人脸的面部图像,将得到的图像作为人脸先验信息使用. 该方法通过定义结合交叉熵损失和对抗损失的联合损失函数,从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量. 基于数据集Voxceleb 1,通过人脸检索实验的方式进行测试,与当前主流方法进行比较和分析. 结果表明,该方法能有效提升生成图像与真实图像的相似度,所生成的图像具有更好的主客观评价结果.     

基于辅助任务和Transformer的人脸正面化网络

现有人脸正面化方法仅使用侧面图像生成正面图像,容易带来生成效果不佳及过拟合等问题。对此,提出一种具有辅助任务及Transformer的生成对抗网络(Auxiliary Task Generative Adversarial Network, AT-GAN)。AT-GAN利用多任务的相关性提高人脸正面化效果及泛化性,主任务为人脸正面化本身,使用侧面人脸生成对应的正面人脸;次任务为侧面人像草图生成对应的正面人像草图,引导并辅助主任务,加速网络收敛。两任务之间共享网络权重,并使用基于视觉Transformer的特征交互模块将两部分特征深度融合,提高网络整体的性能,生成更加具有真实感的正面图像。AT-GAN由生成器及判别器组成,生成器的特征提取部分将人脸关键点与空间注意力结合,确保模型准确地提取关键特征。实验结果表明,AT-GAN在MASFD与CAS-PEAL-R1数据集上的Rank-1识别率分别平均提高了4.42%与1.30%,视觉效果及模型泛化性得到提升。     

风格感知和多尺度注意力的人脸图像修复

人脸图像修复是计算机视觉领域中重建人脸图像的一项重要图像处理技术。现有人脸图像修复技术存在修复结果全局语义不合理的问题,这主要是由于现有技术的特征长程迁移能力不足,无法将破损图像中已知区域的信息合理地迁移到被遮蔽区域上。为此,本文在生成式对抗网络(generative adversarial network, GAN)框架下,构建了一种融合风格感知和多尺度注意力的编解码人脸图像修复模型。风格感知模块用于提取图像的全局语义信息,并利用提取的信息对编码逐级地进行渲染,以实现对修复过程的全局性调节;利用多尺度注意力模块对多尺度特征进行补丁块提取,并通过共享注意力得分和提取补丁块的矩阵乘法进行多尺度特征的长程迁移。在公开数据集CelebA-HQ上的实验结果表明:风格感知模块和多尺度注意力模块极大地增强了修复网络的特征长程迁移能力。相较于现有先进的人脸图像修复方案,本文所提出的模型在多种评价指标上均有显著的提升;修复结果的全局语义更加合理,并且在暗光条件下的修复效果更加自然。     

一种基于图像变换预测的自监督GAN模型

自监督学习是目前深度学习的重要趋势之一,从无标记数据中获取学习有效信息是自监督学习的重点之一.目前的自监督学习方法大致包括:图像块拼图、运动传播、旋转预测等等.针对目前GAN的训练不稳定问题,自监督学习可以通过前置任务来改进生成器和判别器的模型性能.由此在经典的旋转预测任务上提出了改进和创新,采用图像变换旋转翻折的操作...     

基于DCGANs的二维页岩图像重构方法

利用现代物理实验技术可以有效获取真实的页岩孔隙图像,但是成本高昂。采用数值模拟方法重构页岩,提出了利用深度卷积生成对抗网络重构页岩图像,且该对抗网络允许隐式描述二维图像数据集所表示的概率分布。实验结果证明,该方法能够生成与真实样本更相似的页岩二维图像。     

三维动态人脸图像的高精度填充重构算法设计

现有的图像重构算法未进行立体匹配处理,导致重构的图像与原图像相比在细节方面差距较大,甚至出现失真.为此,进行了三维动态人脸图像的高精度填充重构算法设计.采集二维人脸图像,进行相机标定、图像灰度化、图像滤波等预处理;利用算子提取人脸图像特征点并根据特征点分布进行立体匹配;对立体匹配后的特征点进行划分,得到人脸特征网格组成的三维模型;将二维图像中的纹理映射到三维模型上,实现三维重构.结果表明:所设计的算法减少了重构图像与原图像在细节上的差距,解决了重构图像的失真问题.     

一种改进深度卷积生成对抗网络的人脸分割方法

在智能算法领域,人脸识别是一个重要的算法部分,而人脸分割又是人脸识别的一个重要组成部分。提出一种基于改进的深度卷积生成式对抗网络的人脸分割方法,将端到端的图像变换模式应用于生成器中,利用生成器对人脸图像进行分割。深度卷积生成式对抗网络将卷积层加入到生成器和判别器,使得生成器通过反卷积产生图像,而文中在反卷积之前再加入卷积层,组合形成全卷积的网络结构,将生成器的图像生成功能扩展成为语义分割功能。同时,生成器的输入原图和输出标签的通道组合作为判别器的判别对象,通过判别器来评判分割水平,进一步提高分割的标签与输入原图的关联性。经过多次实验,验证此方法能有效分割人脸主要区域。     

基于高斯肤色模型和图像分割的人脸检测

提出了一种基于HSV、YCgCr颜色空间和图像区域分割的人脸检测方法.首先,将规范化的rgb肤色转化到HSV、YCgCr颜色空间,对向量（H,Cg,Cr）T进行统计,得到肤色的三维高斯概率模型.然后,根据该模型计算待检图像的肤色相似概率,采用最大类间方差的方法计算二值化阈值,根据阈值将相似度图像二值化.为了抵消人脸区域亮度变化和阴影的影响,以二值图像为模板,在原待检图像的饱和图中根据3像素×3像素区域的平均R、G值进行图像区域分割.在分割得到的区域中,根据人脸特征检测出图像中的人脸.实验表明,提出的方法能在复杂背景的情况下检测出人脸图像.     

基于CycleGAN的非配对人脸图片光照归一化方法

针对人脸识别过程中光照对识别结果的影响问题,提出了一种基于CycleGAN的光照归一化方法.使用了生成对抗式的网络结构,利用图像翻译的原理,将较亮图片的光照风格迁移至较暗图片,同时保持原人脸表面平滑且结构基本不变.使用非配对的数据集,无需人工标注标签,简化了数据准备阶段的工作,达到了利用无监督的深度学习方法去除图片光照影响的目的.最后用训练好的模型处理CroppedYale测试集,比较处理前后的人脸识别准确率.实验证明,本文方法具有较强的降低人脸光照对识别率影响的能力且基本不改变人脸结构,有利于提高人脸识别的准确率.     

基于改进YOLO-MobileNet的近红外图像特征驾驶员人脸检测

针对暗光环境下驾驶员人脸检测问题,提出了一种基于改进YOLO-MobileNet轻量级深度学习算法的近红外图像特征驾驶员人脸检测方法。以高于人眼敏感范围但在CMOS响应范围内的近红外光对人脸进行补光,使用摄像头采集图像,通过经改进并且轻量化的YOLO-MobileNet网络进行特征提取。试验结果表明：在FADIA数据集上,改进后的算法检测精度为84.93%, YOLOv5s算法为85.37%,改进后检测精度降低了0.44%,但检测速度提高了7.6毫秒。     

基于非对称U型金字塔重建的轻量级人脸超分辨率网络

为解决深度卷积神经网络在人脸超分辨率任务中模型复杂并难以实际应用的问题,提出一种轻量级人脸超分辨率网络.利用残差编码块构成的编码结构进行特征提取,在解码结构中引入金字塔重建从而实现快速准确的超分辨率.为降低解码块中上采样操作的参数量,采用基于分辨率选择的非一致通道扩宽策略.为避免增加分支,通过热图损失引入人脸先验知识....     

基于递归双对抗网络模型的人脸表情生成

针对目前表情生成网络中存在的人脸表情失真、不同帧间图像明暗差异明显的问题,提出一种基于递归双对抗网络模型的人脸表情生成框架。首先通过提取深度人脸特征并生成表情特征图,将其作为监督信号,生成人脸表情种子图像;然后使用生成的种子图像和原始目标人脸一起作为输入,生成特征保持图像,作为当前帧的输出,同时该特征保持图像也作为下一帧种子图像生成的输入;最后,将种子图像生成网络和特征保持图像生成网络递归进行下一帧图像的生成,多次递归得到与原始输入表情一致的特征保持人脸表情视频序列。在CK+和MMI数据库上的实验结果表明,提出的方法能够生成清晰自然的人脸表情视频帧,且在目标人脸形状和驱动的表情特征图像有较大形状差异时具有鲁棒性。     

基于肤色模型和重心模板的人脸检测

为了获得具有较高检测率并保持较低误检率的快速人脸检测,提出了一种基于知识的人脸检测方法.在人脸粗检中用肤色模型分割出输入图像中的人脸可能区域,并对这些区域进行重心模板匹配过滤出非人脸区域.利用人脸的生理分布特征设计出一种动态的人脸三分图分布模型,并以不同条件下的大量人脸图像样本作为统计数据建立了一个人脸规则知识库,用来判定过滤后的区域是否为人脸.实验结果表明,该方法具有很好的鲁棒性,能快速检测出不同光照、不同大小和有一定旋转角度的人脸.     

多尺度语义学习的人脸图像修复

针对卷积神经网络在图像修复过程中难以兼顾修复结果的局部细节和全局语义一致性问题,以生成对抗网络为基础,提出一种多尺度语义学习的编解码人脸图像修复模型.首先,将人脸图像用门控卷积分解为具有不同大小的感受野和特征分辨率的分量,用不同尺寸的卷积核提取多尺度特征,通过提取合适的局部特征来提升修复结果的细节;其次,将提取的多尺度特征输入至语义学习模块,从通道和空间两个角度学习特征之间的语义关系,从而增强修复结果的全局一致性;最后,引入跳跃连接将编码端的特征补充到解码端中减少采样造成的细节信息损失,改善修复结果的纹理细节.在CelebA-HQ人脸数据集上进行实验,结果表明提出的模型在峰值信噪比、结构相似性、l₁三个性能指标上均有显著提升,修复的结果在视觉上局部细节和全局语义更合理.