基于多光谱和面部多区域联合的人脸活体检测算法

在常见的人脸活体检测应用场景中,绝大多数相关技术聚焦于 RGB 图像或 IR 图像,但是这些图像缺乏足够的生物特征,容易受到层出不穷的假体人脸攻击。该文提出了一种基于面部多区域联合的 Transformer 模型,并将多光谱成像技术引入人脸活体检测任务,旨在获取人脸的独特生物特征,增加与假体的可区分性,进而提高活体检测准确率。多光谱图像拓宽了光谱范围,可获取物体更为丰富的反射特性,通过逐像元进行光谱归一化操作,可降低光照强度变化带来的影响,增强人脸反射特征区域的一致性。该文提出的算法选取多个人脸核心区域(如眼睛、鼻子、嘴巴、脸颊等)作为深度学习模型输入,构建了基于 Transformer 的神经网络模型,同时获取人脸局部区域特征和区域间关联特征,整合成完备的人脸生物特征。在自建的多光谱人脸数据集上,该文提出的方法获得了 95.72% 的活体检测准确率及 5.10% 的活体检测错分率,优于常用的人脸活体检测模型。     

基于多尺度分析的自动人脸照片移植

针对人脸移植中输入图像与目标图像的脸部姿态、光照环境与颜色分布不一致的问题,提出了一种基于多尺度分析的自动人脸照片移植方法。通过多线性模型从单张图像中恢复三维人脸模型,从而自动变换输入图像中的人脸姿态。提出了一种多尺度增强与融合算法,根据目标图像的细节特征对输入图像自动调整,并通过无缝融合合成新的人脸照片。实验结果表明该方法可以使输入图像有效匹配目标图像的明暗变化与颜色分布,并自适应调整局部细节。该方法对各种人脸图像之间的移植鲁棒性高,合成照片真实感强。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合,但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题,但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点,因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合,提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别,具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能,以CASIA-FASD和Replay-Attack作为实验的基准数据集,结果表明在活体检测中该算法的半错误率（HTER）为9.7%,等错误率（EER）为5.5%,而且在整个流程中处理1帧图像所需时间为0.12 s,验证了该算法的可行性和有效性。     

结合反射图像的双流多层次融合人脸活体检测

针对从RGB图像提取到的特征对光照敏感，导致人脸活体检测模型泛化性能较差的问题，提出一种结合反射图像的双流多层次融合检测（face anti-spoofing using dual-stream multi-level fusion and reflection images,DMF-RI）算法。对RGB图像进行带色彩恢复的多尺度Retinex增强，获得反射图，并分别提取原图和反射图的低、中、高多层次深度特征；通过双流多层次特征融合模块（dual multi-level feature fusion,DMFF）实现不同层次不同特征的有效融合；联合基于二值掩码的像素级监督和基于二值标签的二分类监督训练网络模型。在CASIA-FASD、Replay-Attack、MSU-MFSD、OULU-NPU和SiW这5个人脸活体检测数据集上的多组实验表明，所提算法通过多层次融合RGB图像和MSRCR图像的深度特征，能提取人脸中更为本质的特征信息，在复杂背景条件下表现出较强的鲁棒性和泛化能力。     

光流与纹理特征融合的人脸活体检测算法

针对照片与视频重放这一常见人脸识别欺诈手段,利用人脸攻击图像的语义信息提出一种基于光流与纹理特征融合的人脸活体检测算法：采集连续两帧待检测人脸图像,通过光流法及人脸检测方法生成人脸区域光流场变化图,将其与原始RGB图像输入至2通道卷积神经网络提取并融合得到人脸动-静态特征,基于融合特征实现真实人脸与欺诈人脸分类。此外,为了更好地捕捉人脸区域的光流场变化,应用影像动作放大技术将待检测视频帧中0.04~0.4?Hz信号放大20倍。使用IDIAP的Replay Attack人脸活体检测数据集中1?300段视频数据进行模型训练、验证和测试。实验表明,提出的人脸活体检测算法在Replay Attack数据集测试表现良好并取得了1.04%半错误率,能够有效识别照片、视频攻击。     

基于图像扩散速度模型和纹理信息的人脸活体检测

为了解决人脸身份认证中的欺诈问题,提出了一种基于图像扩散速度模型和纹理信息的人脸活体检测算法。真实人脸和虚假人脸图像的空间结构不同,为了提取这种差异特征,该方法使用各向异性扩散增强图像的边缘信息。然后,将原始图像与扩散后图像的差值作为图像的扩散速度,并构建扩散速度模型。接着使用局部二值算法提取图像扩散速度特征并训练分类器。真实人脸图像和虚假人脸图像之间存在很多差异特征,为了进一步提高人脸活体检测算法的泛化能力,该方法同时提取人脸图像的模糊程度特征和色彩纹理特征,通过特征矩阵级联的方法将两种特征进行融合,并训练另一个分类器。最后根据分类器输出概率加权融合的结果做出判决。实验结果表明,该算法能够快速有效地检测出虚假的人脸图像。     

基于活体检测和身份认证的人脸识别安防系统

人脸识别由于其便捷性和实用性而被广泛应用于各种门禁等场合，但容易受到多种形式的欺骗攻击（如照片攻击和视频攻击）。基于深度卷积神经网络（CNN）的活体检测虽然能够解决以上问题，但是却存在计算量大、对用户不友好以及难以部署于嵌入式系统等缺点，因此提出了一种实时的轻量级的人脸识别安全分类方法。通过将基于色彩纹理分析的人脸活体检测算法与人脸认证算法相融合，提出了一种在无需用户配合的单目摄像头场景下进行人脸活体检测和人脸验证的人脸识别算法。该算法支持实时人脸识别，具有更高的活体检测识别率与鲁棒性。为了验证该算法的性能，以CASIA-FASD和Replay-Attack作为实验的基准数据集，结果表明在活体检测中该算法的半错误率（HTER）为9.7%，等错误率（EER）为5.5%，而且在整个流程中处理1帧图像所需时间为0.12 s，验证了该算法的可行性和有效性。     

基于深度学习的人脸活体检测算法

身份认证技术有了很大的发展,随之不断出现的是各种伪造合法用户信息的欺诈手段。针对这一问题,提出一种基于深度学习人脸活体检测算法,分析了真实人脸和欺诈人脸之间的区别,将真实人脸和照片进行数据去中心化、zca白化去噪声、随机旋转等处理;同时,利用卷积神经网络对照片的面部特征进行提取,提取出来的特征送入神经网络训练、分类。算法在公开的数据库NUAA上进行了验证,实验结果表明该方法降低了计算的复杂度,提高了识别准确率。     

多姿态人脸照片的姿态估计

提出了一种基于面部图像的新的匹配系统。在这个系统中,输入的图像与各种人脸姿态的数据库图像进行比较,然后,匹配的图像给出了人脸姿态。图像数据库不仅包括各种人脸姿态,而且也包括不同的光照条件,如此,这个人脸姿态评价系统适用于不同的光照条件。对于收集各种不同面部图像,这里是通过计算机自动产生,而不是拍摄实际的照片。特征空间方法被用于寻找与输入面部图像匹配的图像。因为不同的光照图像被收集在面部图像数据库中,故提取的主特征向量主要依靠人脸姿态。由于通过选用主特征向量而减少了向量的维数,故这个匹配过程是很快的。这个姿态评价系统能够继续跟踪在不同的光照条件下不同人的人脸姿态。     

应用深度光学应变特征图的人脸活体检测

目的 随着人脸识别系统应用的日益广泛,提高身份认证的安全性,提升人脸活体检测的有效性已经成为迫切需要解决的问题。针对活体检测中真实用户的照片存在的人脸欺骗问题,提出一种新的解决照片攻击的人脸活体检测算法。方法 利用局部二值模式LBP（local binary pattern）、TV-L1（total variation regularization and the robust L1 norm）光流法、光学应变和深度网络实现的人脸活体检测方法。对原始数据进行预处理得到LBP特征图;对LBP特征图提取光流信息,提高对噪声适应的鲁棒性;计算光流的导数得到图像的光学应变图,以表征相邻两帧之间的微纹理性质的微小移动量;通过卷积神经网络模型（CNN）将每个应变图编码成特征向量,最终将特征向量传递给长短期记忆LSTM（long short term memory）模型进行分类,实现真假人脸的判别。结果 实验在两个公开的人脸活体检测数据库上进行,并将本文算法与具有代表性的活体检测算法进行对比。在南京航空航天大学（NUAA）人脸活体检测数据库中,算法精度达到99.79%;在Replay-attack数据库中,算法精度达到98.2%,对比实验的结果证明本文算法对照片攻击的识别更加准确。结论 本文提出的针对照片攻击的人脸活体检测算法,融合光学应变图像和深度学习模型的优点,使得人脸活体检测更加准确。     

视觉深度伪造检测技术综述

随着生成式深度学习算法的发展,深度伪造技术发展并应用于各个领域。深度伪造技术的滥用使人们逐渐意识到其带来的威胁,伪造检测技术随之而生。本文基于视觉深度伪造技术研究进行综述。1）简要介绍了视觉深度伪造技术的发展历程及技术原理,包括生成对抗网络在深度伪造制品中的应用;2）对现有的视觉深度伪造数据集进行汇总并归类;3）对目前的视觉深度伪造检测技术进行了分类,将现有的检测方法归纳为基于具体伪影的、基于数据驱动的、基于信息不一致和其他类型视觉深度伪造检测等4种分类。其中,基于伪影的检测方法着重于寻找伪造制品与真实图像之间的像素级差异,通过机器学习识别深度伪造制品中的人工伪影痕迹,基于信息不一致的方法则着重于寻找伪造制品与真实图像或视频之间的信息级差异,这两种方法都具有识别效率高、训练便捷等优点;基于数据驱动的方法通过大量的数据集和机器学习训练,直接使用神经网络本身对深度伪造制品进行训练,并通过改善网络架构增进模型以提高训练效率,因为其模型的多变和高精确率成为目前深度伪造检测的热门方向。同时,本文分析了4种方法的具体优缺点,并进一步给出了未来视觉深度伪造检测研究的重点和难点。     

基于肤色和改进的贝叶斯分类器的人脸检测

提出了一种新的基于肤色的多人脸检测方法.该方法先通过肤色分割得到人脸候选区,然后结合图像的小波表示和主元分析方法通过训练得到可用于区分人脸和非人脸的特征向量,并用改进的贝叶斯分类器对输入图像进行多人脸检测,改进的判决准则中参数ω,可用于控制检测的准确率和虚警概率,通过设定不同ω值可使算法适用于不同要求的应用,另外为保证获得较高准确率的同时降低虚警概率,还提出在经分类器判决后的人脸区域中依据对应的马赛克模板进一步排除虚假人脸.     

面向商用活体检测平台的鲁棒性评估

活体检测技术已经成为日常生活中的重要应用,手机刷脸解锁、刷脸支付、远程身份验证等场景都会用到这一技术.但如果攻击者利用虚假视频生成技术生成逼真的换脸视频来攻击上述场景的活体检测系统,将会对这些场景的安全性产生巨大的威胁.针对这个问题使用4种先进的Deepfake技术生成大量的换脸图片和视频作为测试样本,用这些样本来对百...     

基于深度学习的重叠人脸检测

人脸检测在人机界面、安全系统、人脸识别、基于内容的图像检索等不同应用中起着重要作用。随着计算机图像技术的发展,人脸检测的方法也越来越多。但是利用现有的人脸检测方法检测重叠人脸时,虽然能够检测出部分人脸,但是相比于单人脸的检测,算法的效率和准确性都有所欠缺。针对这个问题,提出了一种基于深度学习的重叠人脸检测方法。首先基于机器学习方法,构建出多个人脸特征分类器,然后再利用肤色检测的方法对分类器得到的候选人脸进行二次检测,最后利用提出的一种NMS算法对候选人脸进行进一步的处理,从而检测出精确的人脸。为了验证算法的高效性和准确性,进行了多个人脸检测算法的对比实验,结果表明,该算法在效率和准确性方面都有较大提高。     

Enhancing the Realism of Sketch and Painted Portraits With Adaptable Patches

Realizing unrealistic faces is a complicated task that requires a rich imagination and comprehension of facial structures. When face matching, warping or stitching techniques are applied, existing methods are generally incapable of capturing detailed personal characteristics, are disturbed by block boundary artefacts, or require painting‐photo pairs for training. This paper presents a data‐driven framework to enhance the realism of sketch and portrait paintings based only on photo samples. It retrieves the optimal patches of adaptable shapes and numbers according to the content of the input portrait and collected photos. These patches are then seamlessly stitched by chromatic gain and offset compensation and multi‐level blending. Experiments and user evaluations show that the proposed method is able to generate realistic and novel results for a moderately sized photo collection.     

基于单幅正面照片的三维人脸重建方法

三维人脸重建算法需要多张照片实现重建且重建效率低下。针对上述问题,提出一种利用单幅正面照片重建三维人脸的方法。采用薄板样条函数对数据库中的三维人脸确立点对点的对应关系,建立平均三维人脸模型,利用LMA算法优化形状系数以恢复其三维形状,人脸颜色纹理信息可通过垂直投影得到。实验结果表明,利用该方法重建得到的三维人脸逼真且时间效率高。     

Depth calculation by using face detection ASIC

Real-time processing in mobile devices is always a hot issue. Although face detection and stereo matching, in particular, are core elements for HRI applications, they are processes that impose the heaviest loads in real-time processing. In this article, we present novel methods of calculating disparities and face detection by using an Altair chip which can detect 32 frontal faces per frame at speed of 30 frames per second (f.p.s.). Altair can take two stereo images and process them in a frame-by-frame manner. If the left-hand image is input in the N-th time frame and then the right-hand image is input in the (N + 1)-th time frame, we can get information about left and right facial images with a one-frame delay. Then we can calculate the disparities between the faces, and can easily estimate the distance from a robot to a human with this information. In cases where several faces are detected, we classified various cases in order to identify corresponding faces. The experimental results show that we can detect faces and calculate distances in the range 0.5 m–3.5 m, with a 0.5%–8.9% error, at a processing speed of 15 f.p.s.     

级联型P-RBM神经网络的人脸检测

目的 针对非理想条件下快速准确的人脸检测问题,提出一种基于概率态多层受限玻尔兹曼机(RBM)级联神经网络的检测方法。方法 它采用RBM中神经元的概率态表征来模拟人脑神经元连续分布的激活状态,并且利用多层P-RBM(概率态RBM)级联来仿真人脑对视觉的层次学习模式,又以逐层递减隐藏层神经元数来控制网络规模,最后采用分层训练和整体优化的机制来缓解鲁棒性和准确性的矛盾。结果 在LFW、FERET、PKU-SVD-B以及CAS-PEAL数据集上的测试都实现了优于现有典型算法的检测性能。对于单人脸检测,相比于Adaboost算法,将漏检率降低了2.92%;对于多人脸检测,相比于结合肤色的Adaboost算法,将误检率降低了14.9%,同时漏检率降低了5.0%,检测时间降低了50%。结论 无论是静态单张人脸,还是复杂条件下视频多人脸检测,该方法不仅在误检率和漏检率上表现更好,而且具有较快的检测速度,同时对于旋转人脸检测具有较强的鲁棒性。针对基于肤色的多人脸检测研究,该方法能显著降低误检率。