人脸表情视频数据库的设计与实现

人脸表情分析与合成是近年来人机交互领域的研究热点。由于不同研究小组使用的数据集各异,不同方法的效果和适用性缺乏统一的测试基础。为此,该文研究了人脸表情分析与合成的问题空间,建立了一个大型人脸表情视频数据库,并制定了一套人脸表情视频数据库技术规范。该数据库采集时采用正面充分光照,从3个不同的视角记录图像数据,内容包括了70个人的1000段脸部表情视频,涵盖了常见的8类情感类表情和中文语音发音的说话类表情,提供了一个中文语音动态视位系统,并对表情序列采用了FACS(脸部动作编码系统)评价。该数据库是我国目前人脸表情研究较全面的基础资源库,可以作为人脸识别、人脸表情识别与合成算法的一个标准测试平台。该文介绍了建立人脸表情视频数据库的一系列关键技术,并给出了该数据库的技术标准。     

基于CNN的监控视频中人脸图像质量评估

在公共安全领域,监控视频中的人脸识别技术是不可或缺的技术,成为研究热点.而监控视频中低质量的人脸图像会大大降低整个人脸识别系统的识别准确率,系统难以更广泛地被投入实际使用.本文提出了一种基于CNN的人脸图像质量评估方法.通过对Alexnet模型进行改进,将网络中的多个卷积层与全连接层连接,从而提取不同尺度的图像特征.通过端到端的训练过程,预测人脸图像质量分数.另外,采用人脸识别算法来标定人脸图像的质量分数,使质量分数能更有效地筛选出适合识别算法的图像.在Color FERET数据集上实验表明,本文方法能够准确地对人脸图像进行质量评估.而在实际采集的监控视频数据集上实验表明,本文方法能筛选出高质量的人脸图像用作后续人脸识别,提高人脸识别准确率.     

CAS-PEAL大规模中国人脸图像数据库及其基本评测介绍

人脸图像数据库是人脸识别算法研究、开发、评测的基础,具有重要的意义．介绍了自行创建并已经部分共享的CAS-PEAL大规模中国人脸图像数据库及其基准测试结果．CAS-PEAL人脸图像数据库中包含了1040名中国人共99450幅头肩部图像．所有图像在专门的采集环境中采集,涵盖了姿态、表情、饰物和光照4种主要变化条件,部分人脸图像具有背景、距离和时间跨度的变化．目前该人脸图像数据库的标准训练、测试子库已经公开发布．与其他已经公开发布的人脸图像数据库相比,CAS-PEAL人脸图像数据库在人数、图像变化条件等方面具有综合优势,将对人脸识别算法的研究、评测产生积极的影响．同时,作为以东方人为主的人脸图像数据库,CAS-PEAL人脸图像数据库也使人脸识别算法在不同人种之间的比较成为可能,利于人脸识别算法在国内的实用化．还给出了两种基准人脸识别算法(Eigenface和Correlation)和两个著名商业系统在该人脸图像数据库上的测试结果,定量分析了该人脸图像数据库对于人脸识别算法的难易程度和人脸识别算法的发展现状．     

基于视频监控的人脸识别方法

目前人脸识别方法主要针对静态图像进行识别,而在监控视频中,不同视频帧人脸具有相关性且只有部分人脸能够有效反映人脸信息。根据监控视频中人脸图像变化特性,提出了一种基于监控视频的人脸识别方法。首先通过结合人脸检测与跟踪技术获得视频人脸序列,然后以视频人脸序列中部分人脸图像识别结果为导向选取全部人脸序列图像中的代表人脸图像进行识别,最后根据选取的全部人脸图像识别结果综合反映人脸信息。实验结果表明,该方法能够在确保识别率和误识率的前提下有效提升监控视频中人脸识别的实时性。     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

人脸识别研究的新进展及趋势

简要回顾了人脸识别技术的研究背景及发展历程,总结了近三四年人脸识别方法的研究进展,根据三维人脸重构方法的数据来源不同,将其分为基于静态图像和视频序列的三维重构技术.重点对目前多特征和多模态识别技术进行了分类阐述,分析了一些有代表性的算法并对其识别结果进行了比较.最后,总结了人脸识别技术现存的研究难点,并探讨了其未来的发展方向.     

多模态人脸识别中的人脸特征定位

多模态人脸识别技术是解决目前二维人脸识别领域瓶颈问题的一项重要手段.在二维人脸特征定位中结合Gabor变换和人脸弹性图方法,采用缩小搜索范围的方法提高系统效率;三维人脸特征定位首先采用PS方法进行粗略定位,然后仿照二维人脸识别方法定义Gabor变换系数向量进行精确定位,其中也采用一个模板来缩小搜索范围.试验证明,方法不仅效率高,而且能适应多种姿态和表情的变换.     

基于无人机数据采样的人脸识别研究方法

提出了一种基于无人机数据采样的人脸识别研究方法.针对无人机采集的图像或视频数据进行人脸识别应用,采用深度学习算法对此进行研究,通过线下采集获取目标人脸,对采集到的目标人脸进行数据增强扩充数据集,进而增加入物识别准确率,使用训练好的Facenet网络对目标人脸进行特征提取,获得目标人物人脸特征并建立人脸特征库.在人脸检测...     

人脸识别:从二维到三维

人脸识别是生物特征识别技术的一个重要方向。虽然目前大部分研究都还只是针对二维人脸图像,但是3D人脸模型包含更丰富的人脸信息,有助于机器对人脸的识别。从二维到三维,人脸识别研究进入了一个新的阶段。从3D人脸数据的获取方式入手,介绍最近提出的一系列3D人脸识别算法,并进行归类。最后提出"有针对性地获取3D人脸模型数据是进行有效识别的基础"这一结论。     

复杂背景下视频序列中的人脸定位算法

视频序列中的人脸定位是利用视频图像进行人脸识别的关键技术.为提高视频序列中人脸定位的准确性,通过分析彩色视频序列中的人脸特点,提出一种采用背景去除、肤色区域探测、水平亮度投影和垂直梯度运算、特征点拟合等人脸模板特征的方法,对视频序列中的人脸进行定位.实验结果表明,该方法定位的人脸能够满足实际应用,已利用本方法开发了人脸门禁系统.     

融合多种几何特征的三维人脸识别算法

由于对光照、姿态变化的不敏感, 三维人脸识别算法已经受到人们的极大关注, 其中三维人脸特征的表示、获取以及多种表示特征的有效融合仍然是三维人脸识别的核心问题. 本文提出一种三维人脸识别方法, 该方法针对归一化的三维人脸数据, 选取人脸的曲面特征和描述人脸特征相互关系矩阵的主分量特征作为人脸表示特征, 给出了各特征的提取方法及同类特征的相似性度量, 进而提出了一种对各类特征进行加权融合的方法, 即通过分析不同特征的分类识别能力, 根据Fisher的线性判别准则, 以类内和类间特征相似度的均值差与类内和类间的散度平方和之比的大小作为该类特征权重, 在决策层为不同的特征赋予不同的权重. 最后, 基于公开发布的BJUT-3D三维人脸数据库进行了识别性能实验. 实验结果证明, 本文的特征融合方法比一般的加权策略有更好的识别性能．     

BJUT-3D三维人脸数据库及其处理技术

BJUT-3D是目前国际上最大的中国人的三维人脸数据库,其中包括经过顸处理的1200名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义.首先介绍了BJUT-3D数据库的数据获取条件、数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.     

一种基于QPSO优化的流形学习的视频人脸识别算法

视频场景复杂多变,视频采集设备不一致等原因,导致无约束视频中充斥着大量的遮挡和人脸旋转,视频人脸识别方法的准确率不高且性能不稳定.为解决上述问题,本文提出了一种基于QPSO优化的流形学习的视频人脸识别算法.该算法将视频人脸识别视为图像集相似度度量问题,首先帧图像对齐后提取纹理特征并进行融合,再利用带有QPSO优化的黎曼流形大幅度简约维度以获得视频人脸的内在表示,相似度则由凸包距离表示,最后利用SVM分类器获得分类结果.通过在Youtube Face数据库和Honda/UCSD数据库上与当前主流算法进行的对比实验,验证了本文算法的有效性,所提算法识别精度较高,误差较低,并且对光照和表情变化具有较强的鲁棒性.     

An evaluation of multimodal 2D+3D face biometrics

We report on the largest experimental study to date in multimodal 2D+3D face recognition, involving 198 persons in the gallery and either 198 or 670 time-lapse probe images. PCA-based methods are used separately for each modality and match scores in the separate face spaces are combined for multimodal recognition. Major conclusions are: 1) 2D and 3D have similar recognition performance when considered individually, 2) combining 2D and 3D results using a simple weighting scheme outperforms either 2D or 3D alone, 3) combining results from two or more 2D images using a similar weighting scheme also outperforms a single 2D image, and 4) combined 2D+3D outperforms the multi-image 2D result. This is the first (so far, only) work to present such an experimental control to substantiate multimodal performance improvement.     

Automatic 3D face recognition from depth and intensity Gabor features

As is well known, traditional 2D face recognition based on optical (intensity or color) images faces many challenges, such as illumination, expression, and pose variation. In fact, the human face generates not only 2D texture information but also 3D shape information. In this paper, we investigate what contributions depth and intensity information makes to face recognition when expression and pose variations are taken into account, and we propose a novel system for combining depth and intensity information to improve face recognition systems. In our system, local features described by Gabor wavelets are extracted from depth and intensity images, which are obtained from 3D data after fine alignment. Then a novel hierarchical selecting scheme embedded in linear discriminant analysis (LDA) and AdaBoost learning is proposed to select the most effective and most robust features and to construct a strong classifier. Experiments are performed on the CASIA 3D face database and the FRGC V2.0 database, two data sets with complex variations, including expressions, poses and long time lapses between two scans. Experimental results demonstrate the promising performance of the proposed method. In our system, all processes are performed automatically, thus providing a prototype of automatic face recognition combining depth and intensity information.     

Face recognition based on 3D ridge images obtained from range data

In this paper, we present an approach for 3D face recognition from frontal range data based on the ridge lines on the surface of the face. We use the principal curvature, k_max, to represent the face image as a 3D binary image called ridge image. The ridge image shows the locations of the ridge points around the important facial regions on the face (i.e., the eyes, the nose, and the mouth). We utilized the robust Hausdorff distance and the iterative closest points (ICP) for matching the ridge image of a given probe image to the ridge images of the facial images in the gallery. To evaluate the performance of our approach for 3D face recognition, we performed experiments on GavabDB face database (a small size database) and Face Recognition Grand Challenge V2.0 (a large size database). The results of the experiments show that the ridge lines have great capability for 3D face recognition. In addition, we found that as long as the size of the database is small, the performance of the ICP-based matching and the robust Hausdorff matching are comparable. But, when the size of the database increases, ICP-based matching outperforms the robust Hausdorff matching technique.     

2D representation of facial surfaces for multi-pose 3D face recognition

The increasing availability of 3D facial data offers the potential to overcome the intrinsic difficulties faced by conventional face recognition using 2D images. Instead of extending 2D recognition algorithms for 3D purpose, this letter proposes a novel strategy for 3D face recognition from the perspective of representing each 3D facial surface with a 2D attribute image and taking the advantage of the advances in 2D face recognition. In our approach, each 3D facial surface is mapped homeomorphically onto a 2D lattice, where the value at each site is an attribute that represents the local 3D geometrical or textural properties on the surface, therefore invariant to pose changes. This lattice is then interpolated to generate a 2D attribute image. 3D face recognition can be achieved by applying the traditional 2D face recognition techniques to obtained attribute images. In this study, we chose the pose invariant local mean curvature calculated at each vertex on the 3D facial surface to construct the 2D attribute image and adopted the eigenface algorithm for attribute image recognition. We compared our approach to state-of-the-art 3D face recognition algorithms in the FRGC (Version 2.0), GavabDB and NPU3D database. Our results show that the proposed approach has improved the robustness to head pose variation and can produce more accurate 3D multi-pose face recognition.     

基于三角函数迭代的视频数据特征提取

在计算机视觉研究中,基于视频数据进行图像对象识别逐渐增多。针对视频数据 的特征提取,提出了一种基于三角函数迭代提取视频三维迭代轨迹特征的方法。该方法是考虑 视频数据的时间空间维度,利用三角函数构造三维动力系统,整体一次性进行视频段数据特征 的抽取,提取出一种近似混沌吸引子的三维特征点集,这种视频数据迭代特征实际上是迭代轨 迹点集合。以VidTIMIT 数据集进行人脸识别实验,发现增加初始迭代值的个数,减少迭代次 数后,提取出的特征点集合具有更好的效果。当VidTIMIT 的43 组559 个视频全部参与实验, 识别率达到88.16%,与现有文献中记载的其他方法相比,具有识别率高、计算时间少的特点, 初步证实了该三维视频迭代轨迹特征具有实用性,同时也值得进一步研究验证与分析。