基于图像扩散速度模型和纹理信息的人脸活体检测

为了解决人脸身份认证中的欺诈问题,提出了一种基于图像扩散速度模型和纹理信息的人脸活体检测算法。真实人脸和虚假人脸图像的空间结构不同,为了提取这种差异特征,该方法使用各向异性扩散增强图像的边缘信息。然后,将原始图像与扩散后图像的差值作为图像的扩散速度,并构建扩散速度模型。接着使用局部二值算法提取图像扩散速度特征并训练分类器。真实人脸图像和虚假人脸图像之间存在很多差异特征,为了进一步提高人脸活体检测算法的泛化能力,该方法同时提取人脸图像的模糊程度特征和色彩纹理特征,通过特征矩阵级联的方法将两种特征进行融合,并训练另一个分类器。最后根据分类器输出概率加权融合的结果做出判决。实验结果表明,该算法能够快速有效地检测出虚假的人脸图像。     

光流与纹理特征融合的人脸活体检测算法

针对照片与视频重放这一常见人脸识别欺诈手段,利用人脸攻击图像的语义信息提出一种基于光流与纹理特征融合的人脸活体检测算法:采集连续两帧待检测人脸图像,通过光流法及人脸检测方法生成人脸区域光流场变化图,将其与原始RGB图像输入至2通道卷积神经网络提取并融合得到人脸动-静态特征,基于融合特征实现真实人脸与欺诈人脸分类.此外,...     

基于多光谱和面部多区域联合的人脸活体检测算法

在常见的人脸活体检测应用场景中,绝大多数相关技术聚焦于RGB图像或IR图像,但是这些图像缺乏足够的生物特征,容易受到层出不穷的假体人脸攻击。该文提出了一种基于面部多区域联合的Transformer模型,并将多光谱成像技术引入人脸活体检测任务,旨在获取人脸的独特生物特征,增加与假体的可区分性,进而提高活体检测准确率。多光谱图像拓宽了光谱范围,可获取物体更为丰富的反射特性,通过逐像元进行光谱归一化操作,可降低光照强度变化带来的影响,增强人脸反射特征区域的一致性。该文提出的算法选取多个人脸核心区域(如眼睛、鼻子、嘴巴、脸颊等)作为深度学习模型输入,构建了基于Transformer的神经网络模型,同时获取人脸局部区域特征和区域间关联特征,整合成完备的人脸生物特征。在自建的多光谱人脸数据集上,该文提出的方法获得了95.72%的活体检测准确率及5.10%的活体检测错分率,优于常用的人脸活体检测模型。     

应用深度光学应变特征图的人脸活体检测

目的 随着人脸识别系统应用的日益广泛,提高身份认证的安全性,提升人脸活体检测的有效性已经成为迫切需要解决的问题。针对活体检测中真实用户的照片存在的人脸欺骗问题,提出一种新的解决照片攻击的人脸活体检测算法。方法 利用局部二值模式LBP（local binary pattern）、TV-L1（total variation regularization and the robust L1 norm）光流法、光学应变和深度网络实现的人脸活体检测方法。对原始数据进行预处理得到LBP特征图;对LBP特征图提取光流信息,提高对噪声适应的鲁棒性;计算光流的导数得到图像的光学应变图,以表征相邻两帧之间的微纹理性质的微小移动量;通过卷积神经网络模型（CNN）将每个应变图编码成特征向量,最终将特征向量传递给长短期记忆LSTM（long short term memory）模型进行分类,实现真假人脸的判别。结果 实验在两个公开的人脸活体检测数据库上进行,并将本文算法与具有代表性的活体检测算法进行对比。在南京航空航天大学（NUAA）人脸活体检测数据库中,算法精度达到99.79%;在Replay-attack数据库中,算法精度达到98.2%,对比实验的结果证明本文算法对照片攻击的识别更加准确。结论 本文提出的针对照片攻击的人脸活体检测算法,融合光学应变图像和深度学习模型的优点,使得人脸活体检测更加准确。     

基于深度学习和特征融合的人脸活体检测算法

针对目前基于深度学习的活体检测算法大都基于大型卷积神经网络的问题,提出一种基于轻量级网络MobileNetV2和特征融合的活体检测算法。首先,以改进的MobileNetV2为基础网络分别从RGB、HSV、LBP图中提取特征;然后,将得到的特征图堆叠在一起以进行特征层的融合;最后,从融合后的特征图中继续提取特征,并利用Softmax层作出真假人脸的判断。仿真结果显示,所提算法在NUAA数据集上的等错误率（EER）为0.02%,在Siw数据集上的ACER（Average Classification Error Rate）为0.75%,而且测试单张图像仅用时6 ms。实验结果表明：融合不同的信息可以获得更低的错误率,改进的轻量化网络保证了算法的高效性并满足实时性需求。     

基于多特征融合的人脸活体检测算法

近年来,随着人脸识别系统的不断发展,各种假冒合法用户的欺骗手段不断出现.基于单一差异线索进行的活体检测,已经不能满足当前复杂环境下提高人脸活体检测方法性能的需求.基于此,文中提出多特征融合的方法,使用卷积神经网络从人脸图像的不同线索中学习多个特征来进行活体检测,深度图在空间上能够区分真假人脸之间的深度信息;光流图在时间上能够区分真假人脸之间的动态信息;残差噪声图根据真人脸的一次成像和假冒人脸的二次成像噪声成分的不同进行区分.文中融合3种特征,不仅利用空间、时间多维度线索弥补了单一线索的不足,同时也提高了模型的泛化能力.相比现有的方法,所提方法无论是在同一个数据库还是跨数据库的情况下,均有较好的实验结果.具体而言,所提方法在CASIA数据集、RE-PLAY-ATTACK数据集和NUAA数据集上的错误率分别为0.11％,0.06％和0.45％.     

基于多尺度Transformer融合多域信息的伪造人脸检测

当前,基于Deepfakes等深度伪造技术生成的“换脸”类伪造视频泛滥,给公民个人隐私和国家政治安全带来巨大威胁,为此,研究视频中深度伪造人脸检测技术具有重要意义。针对已有伪造人脸检测方法存在的面部特征提取不充分、泛化能力弱等不足,提出一种基于多尺度Transformer对多域信息进行融合的伪造人脸检测方法。基于多域特征融合的思路,同时从视频帧的频域与RGB域进行特征提取,提高模型的泛化性;联合EfficientNet和多尺度Transformer,设计多层级的特征提取网络以提取更精细的伪造特征。在开源数据集上的测试结果表明,相比已有方法,所提方法具有更好的检测效果;同时在跨数据集上的实验结果证明了所提模型具有较好的泛化性能。     

基于近红外与可见光双目视觉的活体人脸检测方法

针对人脸识别系统易受伪造攻击的问题,提出了一种基于近红外与可见光双目视觉的活体人脸检测方法。首先,采用近红外与可见光双目装置同步获取人脸图像,提取两图像的人脸特征点,利用双目关系实现特征点的匹配并获取其深度信息,再利用深度信息进行三维点云重建;然后,将全部人脸特征点划分为四个区域,计算各区域内人脸特征点在深度方向的平均方差;接着,选取人脸关键特征点,以鼻尖点为参照点,计算鼻尖点到人脸关键特征点之间的空间距离;最后,利用人脸特征点的深度值方差和空间距离来构造特征向量,使用支持向量机（SVM）实现活体人脸判断。实验结果表明,所提方法能够准确检测活体人脸以及有效抵御伪造人脸的攻击,在实验测试中达到99.0%的识别率,在准确性和鲁棒性上优于利用人脸特征点深度信息进行检测的同类算法。     

图像多阈值特征融合及其在人脸检测中的应用

从原始彩色图像中提取多阈值器官梯度图、双阈值肤色图、梯度方向图和灰度特征图等四种特征图像, 并运用多姿态知识模型和多姿态模板, 实现了一种快速人脸检测算法. 该算法不仅融合了彩色图像的多种特征, 而且利用了同一特征不同阈值下的信息. 实验表明该算法检测精度高, 速度快, 适于复杂背景下的多姿态人脸检测.     

人脸识别系统的活体检测综述

人脸识别系统的快速发展对人脸活体检测技术提出了新要求,包括检测实时性、面对复杂环境的泛化性、对多种攻击类型的鲁棒性以及用户体验的友好性等.主要阐述了人脸活体检测的必要性,对方法进行了分类、整理和总结,根据所提特征的不同,将活体检测分为基于手工特征的方法和基于深度学习的方法,并将近期针对算法泛化性的研究进展归纳为基于辅助监督信号方法、基于域适应域泛化的方法、基于特征解耦的方法、基于噪声建模的方法、基于异常检测的方法,对每类方法的代表性算法进行了分析介绍,详细总结了每类方法的基本思想和优缺点.从各方面系统地概括了人脸活体检测问题,包括不同类型的呈现攻击、先进的人脸活体检测方法、常用公共数据库、标准化评价指标、测试方法等的介绍.此外,还讨论了该领域的难点与挑战,总结了未来的研究方向扣发展趋势.     

自适应加权融合显著性结构张量和LBP的表情识别

针对局部二值模式（Local Binary Pattern，LBP）提取纹理特征时忽略了图像的局部结构信息问题，提出一种自适应加权融合显著性结构张量和LBP的表情识别算法。该算法通过对整幅图片进行显著性区域检测得到全局显著图来消除细小的纹理和噪声。在显著图的基础上进一步提取两种显著性纹理特征，根据每种特征信息熵的贡献度来作为特征向量的加权依据。利用支持向量机（Support Vector Machine，SVM）进行表情图像的分类。实验结果表明，自适应加权融合的两种纹理特征能够较好地描述人脸的特征，有效地提高表情识别率。     

一种改进的双流Faster R-CNN图像篡改识别模型

针对目前大多数图像篡改算法只能针对一类图像篡改进行检测，以及双流Faster R-CNN算法提取的RGB流和噪声流特征对多种图像篡改检测精度不高的问题，提出一种通用的基于改进的双流Faster R-CNN图像篡改识别算法。提取图像的YCrCb颜色空间，代替之前的RGB颜色空间，以更好找出篡改的痕迹；对提取噪声特征的三个隐写分析丰富模型(SRM)滤波器进行旋转变换，以更好区别真实区域和篡改区域的噪声不一致，从而提高对篡改图像的识别精度；通过双线性池化，输入网络训练和分类，完成对图像篡改的检测与篡改区域定位。为验证算法的性能，在CASIA和NISIT16两个数据集上进行了实验。结果表明，与双流Faster R-CNN算法相比，提出的图像篡改识别算法在拼接检测、复制移动检测和移除检测上平均精度(AP)分别提升0.9百分点、1.5百分点和2.6百分点。     

基于多模态特征融合的轻量级人脸活体检测方法

人脸活体检测是人脸识别过程中的一个重要环节，对于身份验证的安全性尤为重要。针对人脸识别过程存在照片、视频、面具、头套、头模等欺骗手段，通过Intel Realsense相机采集人脸RGB图和深度图信息，并在MobileNetV3的基础上提出了特征融合的轻量级活体检测网络，将深度图与RGB图的特征融合起来并且进行端到端的训练。而为了解决深度学习中参数量较大以及网络尾部对于权重区域的区分的问题，提出在网络尾部采用Streaming Module以减少网络参数量并且对权重区域进行区分。在CASIA-SURF数据集以及所制作的CQNU-LN数据集上进行仿真实验，结果表明所提方法在两个数据集上均于TPR@FPR=10E-4的级别上达到了95%的精度，相较对比方法中精度最高的ShuffleNet分别提高了0.1%和0.05%；在所制作的CQNU-3Dmask数据集上，所提方法于TPR@FPR=10E-4的级别达到了95.2%的精度，比仅训练RGB图或仅训练深度图的方法分别提升了0.9%和6.5%，并且，模型的参数文件的大小仅为1.8 MB，每秒浮点数运算量（FLOPs）仅为1.5×10⁶。该方法能够在实际应用中对提取到的人脸进行准确的实时检测。     

局部相似度异常的强泛化性伪造人脸检测

目的 人脸伪造技术迅猛发展，对社会信息安全构成了严重威胁，亟需强泛化性伪造人脸检测算法抵抗多种多样的伪造模型。目前的研究发现伪造算法普遍包含人脸与背景融合的操作，这意味着任何伪造方式都难以避免在人脸边缘遗留下伪造痕迹。根据这一发现，本文将模型的学习目标从特定的伪造痕迹特征转化为更加普适的人脸图像局部相似度特征，并提出了局部相似度异常的深度伪造人脸检测算法。方法 首先提出了局部相似度预测（local similarity predicator，LSP）模块，通过一组局部相似度预测器分别计算RGB图像中间层特征图的局部异常，同时，为了捕捉频域中的真伪线索，还提出了可学习的空域富模型卷积金字塔（spatial rich model convolutional pyramid，SRMCP）来提取多尺度的高频噪声特征。结果 在多个数据集上进行了大量实验。在泛化性方面，本文以ResNet18为骨干网络的模型在FF++4个子集上的跨库检测精度分别以0.77%、5.59%、6.11%和4.28%的优势超越了对比方法。在图像压缩鲁棒性方面，在3种不同压缩效果下，分别以2.48%、4.83%和10.10%的优势超越了对比方法。结论 本文方法能够大幅度提升轻量型卷积神经网络的检测性能，相比于绝大部分工作都取得了更优异的泛化性和鲁棒性效果。     

基于深度学习与二维离散小波分解特征相融合的adaboost人脸识别模型

为了提高人脸识别的效率,本文提出了一种将小波分析、深度学习和adaboost分类器相结合的人脸识别方法。传统的基于小波变换的人脸识别算法仅仅提取了小波分解的低频分量用于分类图像的特征,为了更有效地提取人脸图像特征,提出了一种将传统特征和深度特征相融合的人脸识别算法。首先,通过二维离散小波变换函数对人脸图像进行二维离散小波变换,提取出人脸图像的低频部分作为特征值,接着通过深度残差网络提取人脸深度特征,最后将融合后的特征应用adaboost分类器进行分类识别。通过在ORL人脸库实验证明,融合后的方法能有效地提高分类识别率。     

特征融合与S-D概率矫正的RGB-D显著检测

目的 许多先前的显著目标检测工作都是集中在2D的图像上,并不能适用于RGB-D图像的显著性检测。本文同时提取颜色特征以及深度特征,提出了一种基于特征融合和S-D概率矫正的RGB-D显著性检测方法,使得颜色特征和深度特征相互补充。方法 首先,以RGB图像的4个边界为背景询问节点,使用特征融合的Manifold Ranking输出RGB图像的显著图;其次,依据RGB图像的显著图和深度特征计算S-D矫正概率;再次,计算深度图的显著图并依据S-D矫正概率对该显著图进行S-D概率矫正;最后,对矫正后的显著图提取前景询问节点再次使用特征融合的Manifold Ranking方法进行显著优化,得到最终的显著图。结果 利用本文RGB-D显著性检测方法对RGBD数据集上的1 000幅图像进行了显著性检测,并与6种不同的方法进行对比,本文方法的显著性检测结果更接近人工标定结果。Precision-Recall曲线（PR曲线）显示在相同召回率下本文方法的准确率较其中5种方法高,且处理单幅图像的时间为2.150 s,与其他算法相比也有一定优势。结论 本文方法能较准确地对RGB-D图像进行显著性检测。     

基于特征调节器和双路径引导的RGB-D室内语义分割

针对室内场景图像语义分割结果不精确、显著图粗糙的问题,提出一种基于多模态特征优化提取和双路径引导解码的网络架构（feature regulator and dual-path guidance,FG-Net）。具体来说,设计的特征调节器对每个阶段的多模态特征依次进行噪声过滤、重加权表示、差异性互补和交互融合,通过强化RGB和深度特征聚合,优化特征提取过程中的多模态特征表示。然后,在解码阶段引入特征交互融合后丰富的跨模态线索,进一步发挥多模态特征的优势。结合双路径协同引导结构,在解码阶段融合多尺度、多层次的特征信息,从而输出更细致的显著图。实验在公开数据集NYUD-v2和SUN RGB-D上进行,在主要评价指标mIoU上达到48.5 %,优于其他先进算法。结果表明,该算法实现了更精细的室内场景图像语义分割,表现出了较好的泛化性和鲁棒性。     

融合多尺度特征的多监督人脸活体检测算法

目前的多数活体检测算法忽略了特征挖掘,导致判别性信息提取不足。提出一种融合梯度纹理和群感受野的活体检测算法。使用中心差分卷积计算感受野周围点与中心点的差值,提取图像的梯度纹理特征,设计群感受野模块,采用不同尺寸的卷积核结合空洞卷积组成多分支结构,在使用较少参数量的情况下获得更大的感受野和多尺度特征,并将两种特征融合输入到残差结构中。此外,在使用深度图进行监督的同时,增加二值掩模进行辅助监督,使得网络将学习的中心放到人脸部位,进一步提升模型的鲁棒性。在此基础上,综合深度图生成器和掩模生成器的输出结果,计算预测得分,实现端到端的活体检测。实验结果表明,该算法在公开数据集OULU-NPU 4个协议上的平均分类错误率分别为0.9%、1.9%、1.6%±2.0%和2.7%±1.8%,在数据集CASIA-MFSD和Replay-Attack上可实现无误差活体检测,并且模型参数量仅为1.1 MB,与Auxiliary和STASN等活体检测算法相比,检测精度更高,具有更好的鲁棒性。     

基于条件对抗域泛化的人脸活体检测方法

针对现存的跨场景人脸活体检测模型泛化性能差、类间重叠等问题,提出了一种基于条件对抗域泛化的人脸活体检测方法。首先,该方法使用嵌入注意力机制的U-Net网络和ResNet-18编码器提取多个源域的特征,然后将提取的特征送入辅助分类器,并将特征编码器的输出和分类器预测的结果通过多线性映射的方法进行融合,再输入到域判别器中进行对抗训练,以实现特征和类层面对齐多个源域。其次,为了减少预测不准确的难迁移样本对域泛化造成的影响,采用了熵函数来控制样本的优先级,以提高域泛化的性能。此外,通过添加人脸深度图以进一步抓取活体与假体的区别特征,通过非对称三元组损失约束作为辅助监督,进一步提高类内紧凑性和类间区分性。在公开活体检测数据集上的对比实验验证了所提方法的有效性。     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.