人类面部重演方法综述

随着计算机视觉领域图像生成研究的发展,面部重演引起广泛关注,这项技术旨在根据源人脸图像的身份以及驱动信息提供的嘴型、表情和姿态等信息合成新的说话人图像或视频。面部重演具有十分广泛的应用,例如虚拟主播生成、线上授课、游戏形象定制、配音视频中的口型配准以及视频会议压缩等,该项技术发展时间较短,但是涌现了大量研究。然而目前国内外几乎没有重点关注面部重演的综述,面部重演的研究概述只是在深度伪造检测综述中以深度伪造的内容出现。鉴于此,本文对面部重演领域的发展进行梳理和总结。本文从面部重演模型入手,对面部重演存在的问题、模型的分类以及驱动人脸特征表达进行阐述,列举并介绍了训练面部重演模型常用的数据集及评估模型的评价指标,对面部重演近年研究工作进行归纳、分析与比较,最后对面部重演的演化趋势、当前挑战、未来发展方向、危害及应对策略进行了总结和展望。     

基于全局与局部特征融合的人脸识别方法

针对现有预处理算法存在的缺陷及单一人脸特征在识别中的局限性,本文在基于双眼独立动态阈值的人脸预处理方法的基础上,研究全局特征PCA、2DPCA与局部特征LBP、Gabor,分析对比这几种特征的识别效果及适用情况;根据对这几种特征的研究分析,采用特征融合的方式对PCA和LBP特征进行融合;实验结果验证了在ORL库和ESSEX库上采用决策级融合的识别率优于特征级融合及单一特征的识别率。      

基于帧间差异的人脸篡改视频检测方法

近几年,随着计算机硬件设备的不断更新换代和深度学习技术的不断发展,新出现的多媒体篡改工具可以让人们更容易地对视频中的人脸进行篡改。使用这些新工具制作出的人脸篡改视频几乎无法被肉眼所察觉,因此我们急需有效的手段来对这些人脸篡改视频进行检测。目前流行的视频人脸篡改技术主要包括以自编码器为基础的Deepfake技术和以计算机图形学为基础的Face2face技术。我们注意到人脸篡改视频里人脸区域的帧间差异要明显大于未被篡改的视频中人脸区域的帧间差异,因此视频相邻帧中人脸图像的差异可以作为篡改检测的重要线索。在本文中,我们提出一种新的基于帧间差异的人脸篡改视频检测框架。我们首先使用一种基于传统手工设计特征的检测方法,即基于局部二值模式（Local binary pattern,LBP）/方向梯度直方图（Histogram of oriented gradient,HOG）特征的检测方法来验证该框架的有效性。然后,我们结合一种基于深度学习的检测方法,即基于孪生网络的检测方法进一步增强人脸图像特征表示来提升检测效果。在FaceForensics++数据集上,基于LBP/HOG特征的检测方法有较高的检测准确率,而基于孪生网络的方法可以达到更高的检测准确率,且该方法有较强的鲁棒性;在这里,鲁棒性指一种检测方法可以在三种不同情况下达到较高的检测准确率,这三种情况分别是：对视频相邻帧中人脸图像差异用两种不同方式进行表示、提取三种不同间隔的帧对来计算帧间差异以及训练集与测试集压缩率不同。     

基于多尺度LBP的人脸识别

提出一种基于多尺度LBP(Local Binary Pattern)的人脸识别算法。建立人脸图像高斯差分尺度空间,计算尺度空间图像的LBP特征,将LBP特征图像划分为互不重叠的特征区域,然后分别进行直方图统计,最后将所有区域的LBP直方图序列连接起来得到多尺度LBP特征,采用最近邻分类器对人脸图像分类识别。实验分析表明,多尺度LBP特征具有较强的人脸图像描述能力,能够提取到更加丰富的全局信息,鲁棒性强,在识别率和识别速度上均比SIFT算法高。     

Learning local binary patterns for gender classification on real-world face images

Gender recognition is one of fundamental face analysis tasks. Most of the existing studies have focused on face images acquired under controlled conditions. However, real-world applications require gender classification on real-life faces, which is much more challenging due to significant appearance variations in unconstrained scenarios. In this paper, we investigate gender recognition on real-life faces using the recently built database, the Labeled Faces in the Wild (LFW). Local Binary Patterns (LBP) is employed to describe faces, and Adaboost is used to select the discriminative LBP features. We obtain the performance of 94.81% by applying Support Vector Machine (SVM) with the boosted LBP features. The public database used in this study makes future benchmark and evaluation possible.     

改进的HOG和Gabor,LBP性能比较

为了实现复杂环境下的人脸特征有效表达,提出一种改进的梯度方向直方图(HOG)人脸识别方法.首先以人脸图像网格作为采样窗口并在其上提取HOG特征;然后将所有网格HOG特征向量进行组合,实现整个人脸特征表达;最后采用最近邻分类器进行识别.另外,比较了该方法与Gabor小波和局部二值模式(LBP)2种著名的人脸局部特征表示方法的优劣.实验结果表明,在调优的HOG参数下,在具有光照和时间环境等复杂变化的FERET人脸库中,较少维数的HOG特征比LBP特征有更好的表现,而且HOG特征提取时间和特征向量维数比Gabor小波方法更具有优势.     

面部表情分析进展和挑战

面部表情分析是计算机通过分析人脸信息尝试理解人类情感的一种技术,目前已成为计算机视觉领域的热点话题。其挑战在于数据标注困难、多人标签一致性差、自然环境下人脸姿态大以及遮挡等。为了推动面部表情分析发展,本文概述了面部表情分析的相关任务、进展、挑战和未来趋势。首先,简述了面部表情分析的几个常见任务、基本算法框架和数据库;其次,对人脸表情识别方法进行了综述,包括传统的特征设计方法以及深度学习方法;接着,对人脸表情识别存在的问题与挑战进行总结思考;最后,讨论了未来发展趋势。通过全面综述和讨论,总结以下观点：1）针对可靠人脸表情数据库规模小的问题,从人脸识别模型进行迁移学习以及利用无标签数据进行半监督学习是两个重要策略;2）受模糊表情、低质量图像以及标注者的主观性影响,非受控自然场景的人脸表情数据的标签库存在一定的不确定性,抑制这些因素可以使得深度网络学习真正的表情特征;3）针对人脸遮挡和大姿态问题,利用局部块进行融合的策略是一个有效的策略,另一个值得考虑的策略是先在大规模人脸识别数据库中学习一个对遮挡和姿态鲁棒的模型,再进行人脸表情识别迁移学习;4）由于基于深度学习的表情识别方法受很多超参数影响,导致当前人脸表情识别方法的可比性不强,不同的表情识别方法有必要在不同的简单基线方法上进行评测。目前,虽然非受控自然环境下的表情分析得到较快发展,但是上述问题和挑战仍然有待解决。人脸表情分析是一个比较实用的任务,未来发展除了要讨论方法的精度也要关注方法的耗时以及存储消耗,也可以考虑用非受控环境下高精度的人脸运动单元检测结果进行表情类别推断。     

LBP 直方图与PCA 的欧式距离的人脸识别

基于LBP算子具有旋转不变性和灰度不变性等显著特点,本文通过LBP算子的特征提取,将人脸分成子区域,然后通过连接这些子区域的LBP直方图生成人脸特征向量,由于生成的特征向量的维数过高,通过PCA算法降维压缩,最后用欧式距离分类器完成测试样本和训练样本的人脸识别,通过实验比较得出很好的人脸识别效果,此人脸识别算法过程用于火车站等各种公共场合有很好的应用效果。     

结合像素模式和特征点模式的实时表情识别

目的 目前2D表情识别方法对于一些混淆性较高的表情识别率不高并且容易受到人脸姿态、光照变化的影响,利用RGBD摄像头Kinect获取人脸3D特征点数据,提出了一种结合像素2D特征和特征点3D特征的实时表情识别方法。方法 首先,利用3种经典的LBP（局部二值模式）、Gabor滤波器、HOG（方向梯度直方图）提取了人脸表情2D像素特征,由于2D像素特征对于人脸表情描述能力的局限性,进一步提取了人脸特征点之间的角度、距离、法向量3种3D表情特征,以对不同表情的变化情况进行更加细致地描述。为了提高算法对混淆性高的表情识别能力并增加鲁棒性,将2D像素特征和3D特征点特征分别训练了3组随机森林模型,通过对6组随机森林分类器的分类结果加权组合,得到最终的表情类别。结果 在3D表情数据集Face3D上验证算法对9种不同表情的识别效果,结果表明结合2D像素特征和3D特征点特征的方法有利于表情的识别,平均识别率达到了84.7%,高出近几年提出的最优方法4.5%,而且相比单独地2D、3D融合特征,平均识别率分别提高了3.0%和5.8%,同时对于混淆性较强的愤怒、悲伤、害怕等表情识别率均高于80%,实时性也达到了10~15帧/s。结论 该方法结合表情图像的2D像素特征和3D特征点特征,提高了算法对于人脸表情变化的描述能力,而且针对混淆性较强的表情分类,对多组随机森林分类器的分类结果加权平均,有效地降低了混淆性表情之间的干扰,提高了算法的鲁棒性。实验结果表明了该方法相比普通的2D特征、3D特征等对于表情的识别不仅具有一定的优越性,同时还能保证算法的实时性。     

A compact local binary pattern using maximization of mutual information for face analysis

Although many variants of local binary patterns (LBP) are widely used for face analysis due to their satisfactory classification performance, they have not yet been proven compact. We propose an effective code selection method that obtain a compact LBP (CLBP) using the maximization of mutual information (MMI) between features and class labels. The derived CLBP is effective because it provides better classification performance with smaller number of codes. We demonstrate the effectiveness of the proposed CLBP by several experiments of face recognition and facial expression recognition. Our experimental results show that the CLBP outperforms other LBP variants such as LBP, ULBP, and MCT in terms of smaller number of codes and better recognition performance.     

基于多通道Gabor滤波与CS-LBP的人脸识别方法

近来,局部二值模式(Local Binary Pattern,LBP)在人脸识别中取得了成功应用。然而,LBP提取的特征维数通常很高。而中心对称局部二值模式(Center-Symmetric Local Binary Pattern,CS-LBP)采用中心对称思想对图像进行编码,能够显著降低提取的特征的维数。为此,将CS-LBP应用于人脸图像特征提取,并结合多通道Gabor滤波,提出了基于多通道Gabor滤波与CS-LBP的人脸识别算法。在Yale,ORL,FETER标准人脸库上的实验结果表明,相比局部二值模式,CS-LBP以提取更少的特征维数取得了相当的识别率,并且,基于多通道Gabor滤波的CS-LBP能显著提高识别精度。     

融合LBP和局部稀疏表示的人脸表情识别

为更好获取人脸局部表情特征,提出了一种融合局部二值模式（Local Binary Pattern,LBP）和局部稀疏表示的人脸表情特征与识别方法。为深入分析表情对人脸子区域的影响,根据五官特征对人脸进行非均匀分区,并提取局部LBP特征;为精细刻画人脸局部纹理,整合人脸局部特征,设计了人脸局部稀疏重构表示方法,并根据表情对各局部子区域的影响因子,加权融合局部重构残差进行人脸表情识别。在JAFFE2表情人脸库上的对比实验,验证了该方法的可行性和鲁棒性。     

Illuminant-Dependence of Von Kries Type Quotients

An expression-invariant 3D face recognition approach is presented. Our basic assumption is that facial expressions can be modelled as isometries of the facial surface. This allows to construct expression-invariant representations of faces using the bending-invariant canonical forms approach. The result is an efficient and accurate face recognition algorithm, robust to facial expressions, that can distinguish between identical twins (the first two authors). We demonstrate a prototype system based on the proposed algorithm and compare its performance to classical face recognition methods.The numerical methods employed by our approach do not require the facial surface explicitly. The surface gradients field, or the surface metric, are sufficient for constructing the expression-invariant representation of any given face. It allows us to perform the 3D face recognition task while avoiding the surface reconstruction stage.     

Audiovisual synchrony assessment for replay attack detection in talking face biometrics

Audiovisual speech synchrony detection is an important liveness check for talking face verification systems in order to make sure that the input biometric samples are actually acquired from the same source. In prior work, the used visual speech features have been mainly describing facial appearance or mouth shape in frame-wise manner, thus ignoring the lip motion between consecutive frames. Since also the visual speech dynamics are important, we take the spatiotemporal information into account and propose the use of space-time auto-correlation of gradients (STACOG) for measuring the audiovisual synchrony. For evaluating the effectiveness of the proposed approach, a set of challenging and realistic attack scenarios are designed by augmenting publicly available BANCA and XM2VTS datasets with synthetic replay attacks. Our experimental analysis shows that the STACOG features outperform the state of the art, e.g. discrete cosine transform based features, in measuring the audiovisual synchrony.     

基于流形的表情分解算法

提出了基于流形的表情分解算法。首先,运用保局投影将图像投影到低维的表情流形子空间,再在流形子空间里对它们进行高阶奇异值分解,最后在个人子空间和表情子空间里完成人脸和表情识别。该算法用流形学习解决了高阶奇异值分解中的图像特征值提取问题,用高阶奇异值分解解决了流形表情识别中个人模式影响表情识别的问题。是一种流形学习与高阶奇异值分解优势互补的算法。在CMU-AMP和JAFFE人脸库上的实验表明,该算法对人脸和表情识别都十分有效。     

Fast and accurate global motion compensation

Video understanding has attracted significant research attention in recent years, motivated by interest in video surveillance, rich media retrieval and vision-based gesture interfaces. Typical methods focus on analyzing both the appearance and motion of objects in video. However, the apparent motion induced by a moving camera can dominate the observed motion, requiring sophisticated methods for compensating for camera motion without a priori knowledge of scene characteristics. This paper introduces two new methods for global motion compensation that are both significantly faster and more accurate than state of the art approaches. The first employs RANSAC to robustly estimate global scene motion even when the scene contains significant object motion. Unlike typical RANSAC-based motion estimation work, we apply RANSAC not to the motion of tracked features but rather to a number of segments of image projections. The key insight of the second method involves reliably classifying salient points into foreground and background, based upon the entropy of a motion inconsistency measure. Extensive experiments on established datasets demonstrate that the second approach is able to remove camera-based observed motion almost completely while still preserving foreground motion.