关键人脸轮廓区域卡通风格化生成算法

针对人脸轮廓特征区域的局部化限定,结合关键特征点的提取和脸部邻近颜色区域的融合,并 引入注意力机制,提出了一种基于 CycleGAN 的关键人脸轮廓区域卡通风格化生成算法,以此作为初始样本构 建生成对抗网络(GAN)并获取自然融合的局部卡通风格化人脸图像。利用人脸轮廓及关键特征点进行提取,结 合颜色特征信息限定关键人脸风格化区域,并通过局部区域二值化生成关键区域人脸预处理的采样图像;为了 使生成图像能够自然匹配所提取特征区域,利用均值滤波操作对所提取区域的边缘轮廓进行平滑羽化处理,并 相应地扩展风格化生成图像的过渡区域;最后通过构建基于无监督学习的生成对抗网络,使用训练数据集进行 人脸图像局部轮廓特征区域的卡通风格化生成。算法对人脸轮廓区域的边缘及邻近区域颜色进行滤波处理,可 实现良好的边缘轮廓过渡融合,生成自然的人脸局部轮廓区域的卡通风格化图像。实验结果表明,该算法对于 人脸图像的生成具有很高的鲁棒性,能够应用于各种尺度人脸图像的风格化生成。     

多尺度残差注意力网络及其表情识别算法

面部表情识别已经广泛运用于人机交互、教育、自动驾驶等各种领域,针对现有表情识别方法网络结构复杂、参数多、泛化能力不足、识别率低等问题,且人脸表情在自然环境下易受到光照、姿态和局部遮挡等环境因素的影响,提出了一种多尺度残差注意力网络.以ResNet-18网络为基础,提出了一种新的多尺度残差注意力模块,通过提取不同尺度特征,增加特征多样性.引入CBAM注意力机制获取表情图像重点特征信息,有利于提升遮挡表情的识别.构建特征残差融合块,将浅层特征与深层特征进行残差融合,有利于获取丰富的人脸表情图像整体特征.实验结果表明,本文方法在CK+、JAFFE和Oulu-CASIA 3个公开表情数据集上分别达到了99.49%、98.53%和97.08%的准确率,与一些现有方法相比,本文方法表情识别率更高,证明了该方法可用于人脸表情识别.     

基于自注意力孪生神经网络的人脸识别——在家族人脸数据库上的亲属关系预测

人脸识别任务中,孪生神经网络被广泛应用于解决样本过少、类别庞大的项目,通过判别输入的人脸相似度达到较高的鲁棒性。通过设计和改造传统孪生神经网络,提出了基于自注意力机制的孪生神经网络,将经典人脸识别任务衍生到亲属关系预测。网络设计思路结合了近期提出的全局上下文非局部注意力模块(GlobalContextNon-local Network,GC Block),使用自注意力机制融合人脸远距离关键特征,且在保持有效计算精度的基础上减少计算量,同时,使用美国西北大学的SMILE人脸数据集进行训练,并在官方于Kaggle举办的基于人脸亲属关系识别数据竞赛中进入前十名。实验表明,全局上下文模块可以有效融合人脸的远距离关键特征间的依赖信息,结合孪生网络,显著提升亲属关系预测任务的精度。     

基于注意力残差网络的人脸超分辨率重建

为解决通道内部特征信息交互性不足、特征利用和表示不够充分导致的人脸面部细节信息恢复不理想的问题,提出一种基于编码器-解码器的注意力残差网络,并设计基于注意力的残差模块,其主要由基准残差模块、沙漏模块与内部特征拆分注意力模块组成,通过内部特征拆分注意力模块加强通道内部之间的交互性,使网络能够提取到更详细的特征信息,恢复出更多人脸面部细节,同时在残差模块中利用一个预激活模块,解决批量归一化层在超分辨率网络中存在的伪影问题。在特征提取单元末端运用多阶特征融合模块充分融合多个阶段的特征,缓解特征在网络传输过程中的丢失现象,提高特征利用率。实验结果表明,该方法可以恢复出更多人脸面部细节,在Helen人脸数据集上,重建人脸图像的PSNR值为27.74 dB,相比SISN和DICNet方法,分别提高了1.47 dB、1.12 dB。在CelebA人脸数据集上,重建人脸图像的PSNR值为27.40 dB,相比SISN和DICNet方法,分别提高了1.26 dB、0.39 dB。     

基于局部生成对抗网络的水上低照度图像增强

针对低照度条件下获取的水上图像亮度和对比度低以及质量差的问题,提出一种基于局部生成对抗网络的图像增强方法。以残差网络作为基本框架设计生成器,通过加入金字塔扩张卷积模块提取与学习图像深层特征和多尺度空间特征,从而减少结构信息丢失。设计一个自编码器作为注意力网络,估计图像中的光照分布并指导图像不同亮度区域的自适应增强。构建具有判别图像局部区域能力的判别器结构,约束生成器输出增强效果更加自然的图像。实验结果表明,该方法能够有效增强水上低照度图像,场景还原和细节保留能力优于SRIE和LIME等方法。     

基于多分支注意力增强的细粒度图像分类

针对细粒度图像类间差距小、类内差距大的问题,文中提出以弱监督学习的方式使用多分支注意力增强卷积网络,从而实现细粒度图像分类.文中采用Inception-V3网络提取图像的基础特征,从中获取多个局部响应区域并进行特征融合,在此基础上采用注意力机制对图像关键区域进行自约束的局部裁剪和局部擦除,避免仅提取目标单个部位的特征,...     

非受限条件下的深度人脸年龄分类

针对非受限条件下人脸图像年龄分类准确度较低的问题,提出了一种基于深度残差网络（ResNets）和大数据集微调的非受限条件下人脸年龄分类方法。首先,选用深度残差网络作为基础卷积神经网络模型处理人脸年龄分类问题;其次,在ImageNet数据集上对深度残差网络预训练,学习基本图像特征的表达;然后,对大规模人脸年龄图像数据集IMDB-WIKI清洗,并建立了IMDB-WIKI-8数据集用于微调深度残差网络,实现一般物体图像到人脸年龄图像的迁移学习,使模型适应于年龄段的分布并提高网络学习能力;最后,在非受限人脸数据集Adience上对微调后的网络模型进行训练和测试,并采用交叉验证方法获取年龄分类准确度。通过34/50/101/152层残差网络对比可知,随着网络层数越深年龄分类准确度越高,并利用152层残差网络获得了Adience数据集上人脸图像年龄分类的最高准确度65.01%。实验结果表明,结合更深层残差网络和大数据集微调,能有效提高人脸图像年龄分类准确度。     

融合先验信息的残差空间注意力人脸超分辨率重建模型

针对公共场所监控图像中低分辨率人脸图像利用现有人脸识别系统识别准确率低的问题,提出了融合先验信息的残差空间注意力人脸超分辨率重建模型,用该模型对低分辨率人脸图像进行预处理后再进行识别可大大提升识别准确率.该模型将面部先验结构信息嵌入到生成对抗网络模型中,再采用残差空间注意力激活算法突出空间位置中携带高频信息的特征,最后使用多阶特征融合算法充分利用不同尺度的特征,防止携带高频信息的人脸特征在网络传播中丢失.实验结果表明,重建出的超分辨率人脸图像具有更多的面部细节特征,大大提高了对低分辨率人脸图像的识别准确率,并且与其他5种模型相比,新模型具有较低的耗时和较少的参数.     

Res2Net融合注意力学习的YOLOv4目标检测算法

摘要:针对传统目标检测算法容易出现漏检、误检或者有遮挡物时检测困难等问题,提出一种Res2Net融合注意力学习的YOLOv4(Res2Net fusion with attention learning YOLOv4, RFAL YOLOv4)目标检测模型。首先为了获取更多特征图语义信息,通过在一个残差块内构造层次化的类残差连接,引入Res2Net替换原YOLOv4主干网络中的ResNet残差网络结构,可以获取到更细小的特征,同时也增加了模型感受野。其次将Res2Net与注意力机制相融合,获取关键特征信息,减轻因优化主干网络带来计算量增加的负担。最后通过改进CIOU损失,降低预测框与真实框之间的误差值,有效的解决因目标过小或者有遮挡时模型出现漏检误检等问题。在公开的PASCAL VOC数据集上进行验证,结果表明：RFAL YOLOv4模型的mAP达到了79.5%,比原模型提升了5.5%,改进后的模型具有较高的鲁棒性。     

基于混合注意力机制的表情识别研究

针对目前传统人脸表情识别算法存在特征提取复杂、表情识别率低等问题,提出一种基于混合注意力机制的Res Net人脸表情识别方法。该方法把通道注意力模块和空间注意力模块组成混合注意力模块,将混合注意力模块嵌入Res Net残差学习分支中。针对CK+人脸表情数据集过小问题,采用数据增强策略扩充数据集。实验结果表明,改进后的Res Net在CK+数据集上表情识别准确率为97. 04%,有效提高了表情识别准确率。     

跨年龄人脸验证技术研究

针对跨年龄人脸验证任务中面部纹理、形状特征变化的问题,提出一种基于双编码平均局部二值模式(dual-coded average local binary pattern,DCALBP)与深度学习算法相结合的多任务人脸验证算法。首先,使用多任务卷积神经网络(multi-task convolutional neural network,MTCNN)对人脸检测图片进行预处理,引入双编码平均局部二值模式(DCALBP)和梯度直方图算法(histogram of oriented gradient,HOG)提取人脸的局部纹理特征和形状特征,运用典型相关性分析(canonical correlation analysis,CCA)算法将两种特征融合,得到人脸年龄特征。然后,孪生网络(siamese network)提取人脸面部特征,并将纹理形状特征从中分离,抑制年龄因素对人脸验证的影响,从而得到具有年龄不变性的人脸特征。最后进行人脸特征匹配,实现跨年龄人脸验证。通过在数据集FG-NET、MORPH Album2以及经过处理的综合数据集上进行实验,准确率分别为89.73%、98.32%和98.27%,充分验证了该方法的有效性。     

基于局部特征融合的邻域排斥度量学习亲属关系认证算法*

针对如何利用人脸图像局部特征进行亲属关系认证的问题,文中提出基于局部特征融合的邻域排斥度量学习亲属关系认证算法.首先抽取脸部的关键区域,分别对每块关键区域提取纹理和肤色特征.然后进行特征融合.最后引入度量学习,学习能使具有亲属关系样本距离变小、非亲属关系样本距离变大的变换矩阵,利用已有数据样本间相似程度的先验知识学习最佳相似性度量,更好地刻画亲属样本间的相似关系.在KinFaceW-I和KinFaceW-II数据库中的实验表明,相比已有的亲属关系认证算法,文中算法性能更好.     

多层次深度网络融合人脸识别算法*

深度学习模型可以获得更具有鉴别力的人脸特征,提高人脸识别性能.因此,文中结合深度学习思想,提出多层次深度网络融合特征提取模型.在深度子空间基础上,采用“卷积-池化”网络结构,在降低特征维度的同时保留图像纹理信息,并且获得局部转换鲁棒性.同时,利用人脸标定算法获得人脸特征点,并以此划分人脸区域为5个局部人脸块.基于多层次分类策略,利用全局人脸训练全局网络,完成测试样本预分类.利用局部人脸块训练局部网络,在候选类别中完成最终分类.实验表明,结合局部特征与全局特征的模型可以取得较好的识别率,对光照、表情、姿态,遮挡等影响因素具有较好的鲁棒性,并且加入池化层及两步判别的算法可以有效提高识别率.     

结合深度度量学习的血缘关系识别

目的 人脸图像分析是计算机视觉和模式识别领域的重要研究方向之一,基于人脸图像的血缘关系识别是对给定的一对或一组人脸图像,判断其是否存在某种血缘关系。人脸血缘关系识别不仅在生物特征识别领域有着重要研究价值,而且在社交媒体挖掘、失散家庭成员寻找等社会生活领域中有重要的应用价值。针对当前大多数算法都是基于传统机器学习方法,提出一种采用深度度量学习进行人脸图像血缘关系研究的新方法。方法 目前深度学习算法能很好地理解单张人脸图像,但是多个主体间的关系探究仍然是计算机视觉领域富有挑战性的问题之一。为此,提出一种基于深度度量学习的父母与子女的血缘关系识别方法。首先使用超过5 000 000张人脸图像的样本集训练一个深度卷积神经网络FaceCNN并提取父母与子女的人脸图像深度特征,之后引入判别性度量学习方法,使得具有血缘关系的特征尽可能地靠近,反之则尽可能地远离。然后对特征进行分层非线性变换使其具有更强判别特性。最后根据余弦相似度分别计算父亲、母亲和孩子的相似度并利用相似概率值得到双亲和孩子的综合相似度得分。结果 算法在TSKinFace数据集上验证了FaceCNN提取特征与深度度量学习结合进行血缘关系识别的有效性,最终在该数据集上父母与儿子和女儿的血缘关系识别准确率分别达到87.71%和89.18%,同时算法在进行血缘度量学习和双亲相似度计算仅需要3.616 s。结论 提出的血缘关系识别方法,充分利用深度学习网络良好的表征和学习能力,不仅耗时少,而且有效地提高了识别准确率。     

基于残差双注意力与跨级特征融合模块的静态手势识别

为解决卷积神经网络提取特征遗漏、手势多特征提取不充分问题, 本文提出基于残差双注意力与跨级特征融合模块的静态手势识别方法. 设计了一种残差双注意力模块, 该模块对ResNet50网络提取的低层特征进行增强, 能够有效学习关键信息并更新权重, 提高对高层特征的注意力, 然后由跨级特征融合模块对不同阶段的高低层特征进行融合, 丰富高级特征图中不同层级之间的语义和位置信息, 最后使用全连接层的Softmax分类器对手势图像进行分类识别. 本文在ASL美国手语数据集上进行实验, 平均准确率为99.68%, 相比基础ResNet50网络准确率提升2.52%. 结果验证本文方法能充分提取与复用手势特征, 有效提高手势图像的识别精度.     

注意力分层双线性池化残差网络的表情识别

由于人脸表情图像具有细微的类间差异信息和类内公有信息,提取具有判别性的局部特征成为关键问题,为此提出了一种注意力分层双线性池化残差网络。该模型采用有效的通道注意力机制显式地建模各通道的重要程度,为输出特征图分配不同的权重,按权重值大小定位显著区域。并添加了一个新的分层双线性池化层,集成多个跨层双线性特征来捕获层间部分特征关系,以端到端的深度学习方式在特征图中进行空间池化,使所提网络模型更适合精细的面部表情分类。分别在FER-2013和CK+数据集上对设计的网络进行实验,最高识别率分别为73.84%和98.79%,达到了具有竞争性的分类准确率,适用于细微的面部表情图像识别任务。     

应用深度光学应变特征图的人脸活体检测

目的 随着人脸识别系统应用的日益广泛,提高身份认证的安全性,提升人脸活体检测的有效性已经成为迫切需要解决的问题。针对活体检测中真实用户的照片存在的人脸欺骗问题,提出一种新的解决照片攻击的人脸活体检测算法。方法 利用局部二值模式LBP（local binary pattern）、TV-L1（total variation regularization and the robust L1 norm）光流法、光学应变和深度网络实现的人脸活体检测方法。对原始数据进行预处理得到LBP特征图;对LBP特征图提取光流信息,提高对噪声适应的鲁棒性;计算光流的导数得到图像的光学应变图,以表征相邻两帧之间的微纹理性质的微小移动量;通过卷积神经网络模型（CNN）将每个应变图编码成特征向量,最终将特征向量传递给长短期记忆LSTM（long short term memory）模型进行分类,实现真假人脸的判别。结果 实验在两个公开的人脸活体检测数据库上进行,并将本文算法与具有代表性的活体检测算法进行对比。在南京航空航天大学（NUAA）人脸活体检测数据库中,算法精度达到99.79%;在Replay-attack数据库中,算法精度达到98.2%,对比实验的结果证明本文算法对照片攻击的识别更加准确。结论 本文提出的针对照片攻击的人脸活体检测算法,融合光学应变图像和深度学习模型的优点,使得人脸活体检测更加准确。     

多级特征全局一致性的伪造人脸检测

目的 随着深度伪造技术的快速发展,人脸伪造图像越来越难以鉴别,对人们的日常生活和社会稳定造成了潜在的安全威胁。尽管当前很多方法在域内测试中取得了令人满意的性能表现,但在检测未知伪造类型时效果不佳。鉴于伪造人脸图像的伪造区域和非伪造区域具有不一致的源域特征,提出一种基于多级特征全局一致性的人脸深度伪造检测方法。方法 使用人脸结构破除模块加强模型对局部细节和轻微异常信息的关注。采用多级特征融合模块使主干网络不同层级的特征进行交互学习,充分挖掘每个层级特征蕴含的伪造信息。使用全局一致性模块引导模型更好地提取伪造区域的特征表示,最终实现对人脸图像的精确分类。结果 在两个数据集上进行实验。在域内实验中,本文方法的各项指标均优于目前先进的检测方法,在高质量和低质量FaceForensics++数据集上,AUC(area under the curve)分别达到99.02%和90.06%。在泛化实验中,本文的多项评价指标相比目前主流的伪造检测方法均占优。此外,消融实验进一步验证了模型的每个模块的有效性。结论 本文方法可以较准确地对深度伪造人脸进行检测,具有优越的泛化性能,能够作为应对当前人脸伪造威胁的一种有效检测手段。