基于生成对抗网络的遮挡表情识别

针对实际应用中局部遮挡会影响人脸表情识别,提出一种基于生成对抗网络（GAN）的表情识别算法。先对遮挡人脸图像填补修复,再进行表情识别。其中GAN的生成器由卷积自动编码机构成,与鉴别器的对抗学习使得生成的人脸图像更加逼真;由卷积神经网络构成的鉴别器具有良好的特征提取能力,添加多分类层构成了表情分类器,避免了重新计算图像特征。为了解决训练样本不足的问题,将CelebA人脸数据集用于训练人脸填补修复,同时表情分类器的特征提取部分得到了预训练。在CK+数据集上的实验证明,填补后的人脸图像真实连贯,并取得了较高的表情识别率,尤其提高了人脸大面积遮挡的识别率。     

结合边缘信息和门卷积的人脸修复算法

针对任意形状遮挡下人脸修复,现有方法容易产生边缘模糊和恢复结果失真等问题。提出了一种结合边缘信息和门卷积的人脸修复算法。首先,通过先验人脸知识产生遮挡区域的边缘图,以约束人脸修复过程。其次,利用门卷积在部分像素缺失下的精确局部特征描述能力,设计面向图像修复的门卷积深度生成对抗网络(GAN)。该模型由边缘连接生成对抗网络和图像修复生成对抗网络两部分组成。边缘连接网络利用二值遮挡图和待修复图像及其边缘图的多源信息进行训练,实现对缺失边缘图像的自动补全和连接。图像修复网络以补全的边缘图为引导信息,联合遮挡图像进行缺失区域修复。实验结果表明:相比其他算法,该算法修复效果更好,其评价指标比当前基于深度学习的图像修复算法更优。     

关键人脸轮廓区域卡通风格化生成算法

针对人脸轮廓特征区域的局部化限定,结合关键特征点的提取和脸部邻近颜色区域的融合,并 引入注意力机制,提出了一种基于 CycleGAN 的关键人脸轮廓区域卡通风格化生成算法,以此作为初始样本构 建生成对抗网络(GAN)并获取自然融合的局部卡通风格化人脸图像。利用人脸轮廓及关键特征点进行提取,结 合颜色特征信息限定关键人脸风格化区域,并通过局部区域二值化生成关键区域人脸预处理的采样图像;为了 使生成图像能够自然匹配所提取特征区域,利用均值滤波操作对所提取区域的边缘轮廓进行平滑羽化处理,并 相应地扩展风格化生成图像的过渡区域;最后通过构建基于无监督学习的生成对抗网络,使用训练数据集进行 人脸图像局部轮廓特征区域的卡通风格化生成。算法对人脸轮廓区域的边缘及邻近区域颜色进行滤波处理,可 实现良好的边缘轮廓过渡融合,生成自然的人脸局部轮廓区域的卡通风格化图像。实验结果表明,该算法对于 人脸图像的生成具有很高的鲁棒性,能够应用于各种尺度人脸图像的风格化生成。     

基于类别注意实例归一化机制的人脸年龄合成

近年来,生成对抗网络(generativeadversarialnetwork,GAN)家族已在人脸年龄合成任务上取得了巨大的成功.然而,通过研究发现,在解决人脸年龄合成的问题时,即使是善于利用年龄先验信息的条件生成对抗网络(conditional generative adversarial network, CGAN),重要的人脸年龄相关信息在一程度上也会被丢弃.这是导致以CGAN为代表的GAN家族在人脸年龄合成上的性能到达瓶颈期的一个重要因素.为此,提出了一种类别注意实例归一化机制(class-aware instance normalization, CAIN).该机制能够灵活地嵌入到CGAN中,形成一种新的生成对抗网络模型,即CAIN-GAN.CAIN-GAN能够充分利用人脸年龄先验信息来进一步提高人脸年龄合成性能.在公开数据集上的实验结果表明,与其他几种GAN家族的方法对比, CAIN-GAN方法仅通过利用人脸年龄相关信息就能对人脸年龄合成性能进行提升.     

解纠缠表示学习在跨年龄人脸识别中的应用

跨年龄人脸识别因其在现实生活中的广泛应用而成为人脸识别领域的热门话题.针对跨年龄人脸识别精度较低的问题,引入解纠缠表示学习,提出了一个基于生成对抗网络的解纠缠表示学习(IPDRL)网络来实现人脸图像的识别.该网络由编码器、生成器和鉴别器构成.编码器在对特征中的年龄变化进行解纠缠的同时,对人脸图像的身份信息进行编码,提取只利于身份鉴别的特征,实现身份特征和年龄特征的解纠缠;生成器根据输入的年龄特征生成对应的身份保持的年龄图像;鉴别器通过对抗学习和多任务学习实现年龄和身份的类分布预测.通过将解纠缠表示学习、对抗学习和多任务学习相结合的方法,很好地保留了人脸图像的身份信息,并使跨年龄人脸图像识别的精度得到了提高.     

基于视觉注意力机制的人脸属性迁移

人脸属性迁移作为计算机视觉领域的一个研究热点,对于数字娱乐制作、辅助人脸识别等领域有着重要的意义。现有的算法存在着生成图像模糊、转移属性无关区域变化等问题。针对这些不足,提出一种基于视觉注意力生成对抗网络的人脸属性迁移模型。生成器为减小属性无关区域的变化,引入视觉注意力分别输出RGB图像和注意力图像,并通过一定的融合方式得到属性迁移结果。采用多尺度判别器保持高维特征映射的细节。在约束中加入循环一致性损失和注意力图像损失,保持人脸身份信息,并专注属性相关区域的迁移。实验证明,该模型能够减少属性无关区域的变化,提高人脸属性转移的效果。     

基于生成对抗网络的人脸口罩图像合成

为了解决现阶段缺乏被口罩遮挡的人脸数据集的问题,本文提出了基于生成对抗网络与空间变换网络相结合生成戴口罩的人脸图像的方法。本文的方法以生成对抗网络为基础,结合了多尺度卷积核对图像进行不同尺度的特征提取,并引入了沃瑟斯坦散度作为度量真实样本和合成样本之间的距离,并以此来优化生成器的性能。实验表明,所提方法能够在没有对原始图像进行任何标注的情况下有效地对人脸图像进行口罩佩戴,且合成的图像具有较高的真实性。     

基于仿射包和伪Zernike矩的视频人脸检索

近年来基于视频的人脸检索已成为人脸识别和检索领域最为活跃的研究方向之一。提出了一种基于仿射包结合伪Zernike矩特征的视频人脸检索算法（FRIVAP）。在视频中检测跟踪到人脸生成图像集,接着提取图像集中人脸的伪Zernike矩特征,建立特征的仿射包,通过相似度计算得到结果。经对Honda/UCSD视频数据库和自行构建的视频数据库的大量实验表明,该算法可以充分利用视频中人脸的时间和空间信息,并且对噪声、人脸姿势变化等条件下的人脸检索有较强的鲁棒性。     

纹理和深度特征增强的双流人脸呈现攻击检测方法

人脸呈现攻击是一种利用照片、视频等将人脸通过媒介呈现在摄像头前欺骗人脸识别系统的技术.现有的人脸呈现攻击检测方法大多采用深度特征辅助监督分类,忽略有效的细粒度信息以及深度信息与纹理信息的相互联系.因此,文中提出纹理和深度特征增强的双流人脸呈现攻击检测方法.一端网络通过中心差分卷积网络提取比原始卷积网络更鲁棒的欺骗人脸纹理模式.另一端网络通过生成对抗网络生成深度图的深度线索,提高对外观变化和图像质量差异的稳定性.在特征增强模块中,设计中心边缘损失,对两类互补特征进行融合和增强.在4个数据集上的实验表明,文中方法在数据集内以及跨数据集的测试中都取得较优性能.     

对抗样本在人脸匿名中的应用

人脸识别模型给生产生活带来了便利,但其出色的识别能力也对个人隐私产生了巨大的威胁。为保护图像中的隐私信息,传统的人脸图像匿名方法对人脸图像进行较大的改动,严重破坏了图像的可用性。本文提出一种基于对抗样本的人脸图像匿名方法,通过向人脸图像中添加细微的对抗扰动,使人脸识别模型无法正确推理出其真实身份。实验结果表明,经过匿名处理后的人脸图像能够在主流的人脸识别模型上取得85%以上的匿名精度。     

一种基于2DLPP和2DLDA的人脸识别方法研究

局部保持投影（locality preserving projection,LPP）和线性鉴别分析（linear discrimin antanalysis,LDA）是两种有效的一维特征提取方法,广泛应用于人脸识别领域。但采用一维特征提取方法时会存在列向量化时样本的结构信息被破坏和样本在提取特征时必须对协方差矩阵进行特征分解,对于高维小样本的问题很容易出现协方差矩阵奇异的问题。文中提出将二维局部保持投影（2DLPP）和二维线性鉴别分析（2DLDA）这两种方法在特征层进行融合并应用在人脸识别。基于人脸库AR上的实验表明,该方法比传统的IJPP和LDA识别性能更高,因此可作为一种新的人脸识别方法。     

基于空间支持向量域分类器的人脸识别

提出了一种基于小波变换、奇异值分解与空间支持向量域分类器相结合的人脸识别方法。在使用空间支持向量分类器对不同人脸图像的奇异特征向量进行分类时,计算所测样本到各个超球球心的距离,并根据其与超球半径的关系来判断其所归属。并在ORL人脸数据库中进行实验。实验表明提出的人脸识别方法识别精度可达97.5%。     

基于PCA和SVM算法的人脸识别

人脸识别是计算机视觉和图像模式识别领域的一个重要技术。主成分分析（PCA）是人脸图像特征提取的一个重要算法。而支持向量机（SVM）有适合处理小样本问题、高维数及泛化性能强等多方面的优点。文章将两者结合,先用PCA算法进行人脸图像特征提取,再用SVM进行分类识别。通过基于ORL人脸数据库的计算机仿真实验表明,该方法具有很好的可行性和实际意义。     

人脸老化/去龄化的高质量图像生成模型

目的 近年来关于人脸老化/去龄化的研究在深度学习的推动下取得了飞速发展,2017年提出的条件对抗自编码器（CAAE）人脸老化/去龄化模型生成的人脸不仅可信度高,而且更贴近目标年龄。然而在人脸老化/去龄化过程中仍存在生成图像分辨率低、人工鬼影噪声严重（生成人脸器官扭曲）等问题。为此,在CAAE的基础上,提出一个人脸老化/去龄化的高质量图像生成模型（HQGM）。方法 用边界平衡对抗生成网络（BEGAN）替换CAAE中的对抗生成网络（GAN）。BEGAN在人脸图像生成上不仅分辨率更高而且具有更好的视觉效果。在此基础上,添加两个提高生成图像质量的损失函数：图像梯度差损失函数和人脸特征损失函数。图像梯度差损失函数通过缩小生成图像和真实图像的图像梯度,使生成图像具有更多轮廓等高频信息;人脸特征损失函数将生成图像和真实图像分别输入到配置预训练参数的VGG-FACE网络模型中,输出各自的特征图。通过缩小两幅特征图的对应点差值,使生成图像具有更多真实图像的人脸特征信息。结果 实验使用UTKface、FGnet和Morph数据集,经过训练,每幅测试图像分别生成10幅不同年龄的图像。与CAAE相比,HQGM可以有效去除人工鬼影噪声,峰值信噪比高3.2 dB,结构相似性高0.06,提升显著。结论 HQGM可以生成具有丰富纹理信息和人脸特征信息的人脸老化/去龄化图像。     

基于TI-SPCA的人脸自动对齐及识别框架

随着人脸识别算法在众多应用领域的迅猛发展,作为人脸检测和人脸识别中间步骤的人脸对齐算法日益受到重视。针对平面内的人脸图像旋转问题,提出一个基于TI-SPCA（Transformation Invariant Symmetrical Principal Components Analysis）的人脸自动对齐方法及其识别框架。不同于传统的人眼对齐方法,TI-SPCA通过最小化重构图像和扭曲图像之间的误差得到一个旋转不变的特征空间,最终实现无人为干涉的全自动对齐。为了将其性能与人眼对齐方法的性能进行比较,并展示其优势,文中分别在ORL数据库和FERET数据库上通过两种不同对齐方法的输出图像从视觉效果上直观地展现。进一步地,为了验证对齐后的图像在识别算法中的有效性,结合三种距离函数和四种局部算子进行了对比实验,实验结果表明了基于TI-SPCA的全自动对齐方法在人脸识别中的有效性。     

基于Uniform LBP和DMMA的单样本人脸识别

在单样本人脸识别系统中,为了获得更好的人脸面部特征,提出了一种融合Uniform LBP特征和多流形判别分析（Discriminative Multi-Manifold Analysis,DMMA）的特征提取方法。对每幅人脸图像进行分块构成一个子集。使用统一局部二值模式（Uniform LBP）算子提取每个子集中图像的直方图,每个子集中的直方图形成一个统计流形,应用DMMA算法获得人脸图像的低维特征。采用基于重建的流形-流形间的距离识别未知的人脸图像。在AR数据库和ORL数据库上实验结果表明,该算法的识别性能优于一般的DMMA算法。     

基于FABEMD的变化光照下人脸识别方法

在光照变化的环境下,人脸识别因受到光照强度和方向的非线性干扰而变得困难重重。在人脸局部区域,光照的变化比较缓慢,而皮肤对光照的反射率特征变化比较快,可以认为光照变化是低频信号,而人脸本质特征是高频信号。FABEMD是一种快速自适应的BEMD（Bidimensional Empirical Mode Decomposition,二维经验模式分解）方法,它能够将图像分解为不同尺度的高频图像和低频图像,高频图像代表了人脸皮肤细节纹理特征,而低频图像则代表了轮廓特征。但是并不能定量判别什么样的高频信号以及多少高频信号能够用来消除光照影响,所以提出了两种衡量高频细节信息量的方法,将这些信息量的相对值来推算融合不同尺度的高频信号权重系数。基于Yale B人脸数据库的实验数据证明了所提方法能够取得很好的识别效果。     

融合LSH和LoG特征的人脸识别

为了解决人脸识别率受光照变化影响较大的问题,提出一种局部敏感直方图（LSH）和高斯-拉普拉斯（LoG）特征相结合的人脸识别方法。首先,提取人脸图像中的LSH光照不变特征以及LoG边缘细节特征,然后通过计算各特征的标准差确定自适应融合权重,将其进行特征级融合来弥补单一使用LSH特征带来的细节损失,并以此构建更为有效的人脸特征样本集,最后使用稀疏表示算法对样本进行分类识别。在PIE和AR人脸库上的实验表明,所提方法能很好地处理光照问题,而且在训练样本较少的情况下,依然能获得较高的识别率。     

风格强度可变的人脸风格迁移网络

目的 针对人脸风格迁移算法StarGAN （star generative adversarial network）、MSGAN （mode seeking generative adversarial network）等存在细节风格学习不佳、迁移效果单一和生成图像失真等缺点，提出一种能够降低失真并生成不同风格强度图像的人脸风格迁移算法MStarGAN （multilayer StarGAN）。方法 首先，通过特征金字塔网络（feature pyramid network，FPN）构建前置编码器，生成蕴含有图像细节特征的多层特征向量，增强生成图像在风格传输时能学习到的风格图像的细节风格；其次，使用前置编码器对原图像及风格图像各生成一个风格向量并进行组合，利用组合后的风格向量进行风格传输，使生成图像具有不同的风格迁移强度；最后，采用权重解调算法作为生成器中的风格传输模块，通过对卷积权重的操作代替在特征图上的归一化操作，消除特征图中的特征伪影，减少生成图像中的失真。结果 在Celeba_HQ数据集上进行实验，与MSGAN、StarGAN v2等对比算法相比，在参考引导合成实验中，MStarGAN的FID （Frechét inception distance score）指标分别降低了18.9和3.1，LPIPS （learnedperceptual image patch similarity）指标分别提升了0.094和0.018。在潜在引导合成实验中，MStarGAN的FID指标分别降低了20.2和0.8，LPIPS指标分别提升了0.155和0.92，并能够生成具有不同风格强度的结果图像。结论 提出的算法能够传输图像的细节风格，生成具有不同强度的输出图像，并减少生成图像的失真。