基于级联生成对抗网络的人脸图像修复

人脸图像修复技术为近年来图像处理领域的研究热点。该文提出一种基于级联生成对抗网络的人脸图像修复方法,从生成器、判别器、损失函数三个方面进行改良。生成器采用由粗到精的级联式模型,并结合密集连接模块使所修复区域更加精细;判别器采用局部与全局特征相融合的双重判别式模型以提升判别准确性;损失函数采用最小化重构损失和对抗网络损失相结合以获得更好训练效果。基于CelebA数据集的实验显示,该方法可实现面部区域丢失50%以上的人脸图像修复,在客观评价指标PSNR和SSIM上,较现有方法分别提高了1.1~7.5 dB和0.02~0.15。从主观效果来看,该方法修复的人脸图像拥有更丰富的细节、更显自然。     

改进网络模型的局部骨切片图像重构

基于骨切片图像的三维骨多孔结构数字建模是骨组织工程的技术基础,也是生物医学工程领域的研究热点,骨切片图像的质量决定了骨多孔结构数字模型的准确程度。然而,骨切片图像在获取过程中会出现数据丢失、图像受损或图像尺寸过小等问题,导致只能得到局部的切片图像。为了解决这个问题,提出对局部骨切片图像进行完整重构修复的改进条件生成对抗网络,即在条件生成对抗网络基础上,对生成器进行改进,加入嵌套残差密集块,同时,在判别器中加入极化自注意力模块,并对重构的图像进行形态学函数分析和局部孔隙率分布研究来评价生成图像与真实骨多孔图像的相似程度。结果表明该网络能准确、稳定地重构出多样化的完整骨多孔切片图像。     

基于生成对抗网络的偏转人脸转正

为了提高偏转人脸转正的效果,借鉴双通道生成对抗网络（TP-GAN）双通道生成的思想,将原始网络中的深度卷积生成对抗网络（DCGAN）替换成边界均衡生成对抗网络（BEGAN）. 在传统两者对抗的网络结构中加入判别人脸身份的分类器,形成三者对抗的网络结构. 经实验对比可知,与在生成器损失函数中添加约束相比,结构上加入分类器对人脸身份一致性的保持更加有效. TP-GAN存在训练复杂、模式崩溃等难题,使用BEGAN的网络结构,可以避免这些问题,提高训练效率. 在Multi-PIE数据集及LFW上的实验结果表明,利用提出的方法能够高效地生成高质量的正面人脸图片,且保留人脸的身份特征.     

人脸超分辨率网络(FSRNet)的改进

人脸超分辨网络(FSRNet)使用人脸几何先验信息优化人脸超分辨率,可以从低分辨率人脸图像生成逼真的高分辨率人脸图像,但FSRNet生成的超分辨率图像存在伪影.对其关键模块进行了改进,并引入了新的损失函数.直接输入16×16像素的低分辨率图像,最后使用转置卷积函数放大图像,降低了计算复杂度,提升了粗略超分辨网络的性能....     

结合年龄监督和人脸先验的语音-人脸图像重建

针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息,导致生成图像和真实图像相似度不高的问题,提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法. 通过预训练的年龄评估模型为当前数据集扩充年龄数据,弥补来自年龄监督信息的缺乏. 通过语音-人脸图像跨模态身份匹配方法,为给定语音检索接近真实人脸的面部图像,将得到的图像作为人脸先验信息使用. 该方法通过定义结合交叉熵损失和对抗损失的联合损失函数,从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量. 基于数据集Voxceleb 1,通过人脸检索实验的方式进行测试,与当前主流方法进行比较和分析. 结果表明,该方法能有效提升生成图像与真实图像的相似度,所生成的图像具有更好的主客观评价结果.     

基于辅助任务和Transformer的人脸正面化网络

现有人脸正面化方法仅使用侧面图像生成正面图像,容易带来生成效果不佳及过拟合等问题。对此,提出一种具有辅助任务及Transformer的生成对抗网络(Auxiliary Task Generative Adversarial Network, AT-GAN)。AT-GAN利用多任务的相关性提高人脸正面化效果及泛化性,主任务为人脸正面化本身,使用侧面人脸生成对应的正面人脸;次任务为侧面人像草图生成对应的正面人像草图,引导并辅助主任务,加速网络收敛。两任务之间共享网络权重,并使用基于视觉Transformer的特征交互模块将两部分特征深度融合,提高网络整体的性能,生成更加具有真实感的正面图像。AT-GAN由生成器及判别器组成,生成器的特征提取部分将人脸关键点与空间注意力结合,确保模型准确地提取关键特征。实验结果表明,AT-GAN在MASFD与CAS-PEAL-R1数据集上的Rank-1识别率分别平均提高了4.42%与1.30%,视觉效果及模型泛化性得到提升。     

基于生成对抗网络的人脸超分辨率重建算法

为了能够生成纹理细节丰富的人脸图像,提出一种基于生成对抗网络的人脸超分辨率重建算法.设计一个由2条支路组成的生成器,并在网络中采用了更适合图像重建的残差单元结构;在模型优化过程中,提供一种将对抗损失与重建损失相融合的方法,有助于生成更加真实自然的人脸图像.实验结果表明,该重建算法能够得到细节突出的人脸图像,且FID分数...     

风格感知和多尺度注意力的人脸图像修复

人脸图像修复是计算机视觉领域中重建人脸图像的一项重要图像处理技术。现有人脸图像修复技术存在修复结果全局语义不合理的问题,这主要是由于现有技术的特征长程迁移能力不足,无法将破损图像中已知区域的信息合理地迁移到被遮蔽区域上。为此,本文在生成式对抗网络(generative adversarial network, GAN)框架下,构建了一种融合风格感知和多尺度注意力的编解码人脸图像修复模型。风格感知模块用于提取图像的全局语义信息,并利用提取的信息对编码逐级地进行渲染,以实现对修复过程的全局性调节;利用多尺度注意力模块对多尺度特征进行补丁块提取,并通过共享注意力得分和提取补丁块的矩阵乘法进行多尺度特征的长程迁移。在公开数据集CelebA-HQ上的实验结果表明:风格感知模块和多尺度注意力模块极大地增强了修复网络的特征长程迁移能力。相较于现有先进的人脸图像修复方案,本文所提出的模型在多种评价指标上均有显著的提升;修复结果的全局语义更加合理,并且在暗光条件下的修复效果更加自然。     

一种基于图像变换预测的自监督GAN模型

自监督学习是目前深度学习的重要趋势之一,从无标记数据中获取学习有效信息是自监督学习的重点之一.目前的自监督学习方法大致包括:图像块拼图、运动传播、旋转预测等等.针对目前GAN的训练不稳定问题,自监督学习可以通过前置任务来改进生成器和判别器的模型性能.由此在经典的旋转预测任务上提出了改进和创新,采用图像变换旋转翻折的操作...     

三维动态人脸图像的高精度填充重构算法设计

现有的图像重构算法未进行立体匹配处理,导致重构的图像与原图像相比在细节方面差距较大,甚至出现失真.为此,进行了三维动态人脸图像的高精度填充重构算法设计.采集二维人脸图像,进行相机标定、图像灰度化、图像滤波等预处理;利用算子提取人脸图像特征点并根据特征点分布进行立体匹配;对立体匹配后的特征点进行划分,得到人脸特征网格组成的三维模型;将二维图像中的纹理映射到三维模型上,实现三维重构.结果表明:所设计的算法减少了重构图像与原图像在细节上的差距,解决了重构图像的失真问题.     

维度情感模型下的表情图像生成及应用

为了解决基于深度学习的人脸表情识别所需训练数据包含表情类别有限且训练数据规模不均衡的问题,提出了Arousal-Valence维度情感空间中基于生成对抗网络的表情图像生成方法AV-GAN,用于生成更多样且均衡的表情识别训练数据。该方法使用标记分布表示表情图像,通过引入身份控制和表情控制模块,以及对抗学习方法实现在Arousal-Valence空间中随机采样和生成表情图像。在Oulu-CASIA数据库上的评估实验显示,使用本文方法对训练数据进行数据增强比使用原训练数据的表情识别准确率可提升6.5%,证明了该方法能有效地提升非均衡训练数据下的表情识别准确率。     

一种改进深度卷积生成对抗网络的人脸分割方法

在智能算法领域,人脸识别是一个重要的算法部分,而人脸分割又是人脸识别的一个重要组成部分。提出一种基于改进的深度卷积生成式对抗网络的人脸分割方法,将端到端的图像变换模式应用于生成器中,利用生成器对人脸图像进行分割。深度卷积生成式对抗网络将卷积层加入到生成器和判别器,使得生成器通过反卷积产生图像,而文中在反卷积之前再加入卷积层,组合形成全卷积的网络结构,将生成器的图像生成功能扩展成为语义分割功能。同时,生成器的输入原图和输出标签的通道组合作为判别器的判别对象,通过判别器来评判分割水平,进一步提高分割的标签与输入原图的关联性。经过多次实验,验证此方法能有效分割人脸主要区域。     

基于DCGANs的二维页岩图像重构方法

利用现代物理实验技术可以有效获取真实的页岩孔隙图像,但是成本高昂。采用数值模拟方法重构页岩,提出了利用深度卷积生成对抗网络重构页岩图像,且该对抗网络允许隐式描述二维图像数据集所表示的概率分布。实验结果证明,该方法能够生成与真实样本更相似的页岩二维图像。     

结合自注意力机制的进化GAN人脸图像生成

针对生成对抗网络在训练类别丰富、细节特征复杂的数据集时,难以捕捉图像全局与局部特征间的依赖关系而出现图像分辨率不高、特征信息不完善等问题,提出一种结合自注意力机制的进化生成对抗网络(generative adver-sarial networks,GAN)图像生成方法.在进化生成对抗网络的生成器和鉴别器中均引入自注意力...     

基于高斯肤色模型和图像分割的人脸检测

提出了一种基于HSV、YCgCr颜色空间和图像区域分割的人脸检测方法.首先,将规范化的rgb肤色转化到HSV、YCgCr颜色空间,对向量（H,Cg,Cr）T进行统计,得到肤色的三维高斯概率模型.然后,根据该模型计算待检图像的肤色相似概率,采用最大类间方差的方法计算二值化阈值,根据阈值将相似度图像二值化.为了抵消人脸区域亮度变化和阴影的影响,以二值图像为模板,在原待检图像的饱和图中根据3像素×3像素区域的平均R、G值进行图像区域分割.在分割得到的区域中,根据人脸特征检测出图像中的人脸.实验表明,提出的方法能在复杂背景的情况下检测出人脸图像.     

基于CycleGAN的非配对人脸图片光照归一化方法

针对人脸识别过程中光照对识别结果的影响问题,提出了一种基于CycleGAN的光照归一化方法.使用了生成对抗式的网络结构,利用图像翻译的原理,将较亮图片的光照风格迁移至较暗图片,同时保持原人脸表面平滑且结构基本不变.使用非配对的数据集,无需人工标注标签,简化了数据准备阶段的工作,达到了利用无监督的深度学习方法去除图片光照影响的目的.最后用训练好的模型处理CroppedYale测试集,比较处理前后的人脸识别准确率.实验证明,本文方法具有较强的降低人脸光照对识别率影响的能力且基本不改变人脸结构,有利于提高人脸识别的准确率.     

基于改进YOLO-MobileNet的近红外图像特征驾驶员人脸检测

针对暗光环境下驾驶员人脸检测问题,提出了一种基于改进YOLO-MobileNet轻量级深度学习算法的近红外图像特征驾驶员人脸检测方法。以高于人眼敏感范围但在CMOS响应范围内的近红外光对人脸进行补光,使用摄像头采集图像,通过经改进并且轻量化的YOLO-MobileNet网络进行特征提取。试验结果表明：在FADIA数据集上,改进后的算法检测精度为84.93%, YOLOv5s算法为85.37%,改进后检测精度降低了0.44%,但检测速度提高了7.6毫秒。     

基于非对称U型金字塔重建的轻量级人脸超分辨率网络

为解决深度卷积神经网络在人脸超分辨率任务中模型复杂并难以实际应用的问题,提出一种轻量级人脸超分辨率网络.利用残差编码块构成的编码结构进行特征提取,在解码结构中引入金字塔重建从而实现快速准确的超分辨率.为降低解码块中上采样操作的参数量,采用基于分辨率选择的非一致通道扩宽策略.为避免增加分支,通过热图损失引入人脸先验知识....