基于LBP和数据扩充的CNN人脸识别研究

针对卷积神经网络在人脸识别存在的数据集比较少,容易发生过拟合的问题,提出对人脸进行局部二值模式处理,提升图像特征,再引入深度卷积生成对抗网络对局部二值化的人脸进行生成,有效扩充数据集,提升卷积神经网络的泛化能力。该人脸识别卷积神经网络模型包括3层卷积层,3层池化层,1个全连接层,1个Softmax分类回归层。仿真实验中,选取ORL人脸数据库中40人每人10张的人脸图像按8∶1∶1比例设置为训练集、验证集和测试集,并选取Yale人脸数据库中15人每人11张的人脸图像按9∶1∶1的比例设置训练集、验证集和测试集,通过LBP算法提取人脸纹理特征对其进行生成,分别扩充数据集至990张和2200张。结果表明,该算法的人脸识别率不仅高于未扩充数据PCA和LBP等传统人脸识别方法的识别率,而且也将卷积神经网络的识别率提升了约2%,有效提高了泛化能力。     

深度人脸识别的光照分析

光照是影响人脸识别效果的重要因素,针对当前人脸数据建库技术构建满足光照分析需求的数据库难度较大的问题,开展基于三维人脸模型的深度人脸识别光照分析研究.首先,借助三维人脸模型,根据人脸基图像表示理论提出一种对应任意光照的人脸图像生成方法,用于构建光照分析所需的人脸图像库;然后,利用构建的多光照人脸图像库分析不同光照采样方案对人脸识别模型性能的影响,探索建库所需的最优光照采样方案;最后,借助虚拟数据具有准确光照标注的优势,基于多任务学习框架测试不同光照标注方法对识别网络训练效果的影响,进一步提高深度人脸识别网络对光照变化的鲁棒性.通过在虚拟数据和真实数据上开展的不同光照采样方案及标注方法对人脸识别模型性能影响的实验得出,使用适量基图像光照构建数据库是一种有效的光照采样方案,而准确的光照标注可进一步提升人脸识别率,对应的识别模型在具备极端光照的测试集上的人脸识别率可达98%以上.该研究提高了深度人脸识别模型的性能,为构建人脸图像库的光照采样策略和光照标注方法提供了依据.     

多属性无监督人脸风格翻译

针对现有人脸图像翻译模型不能实现多个视觉属性之间的翻译及翻译后的人脸图像不清晰自然的问题,提出了基于人脸识别方法的人脸多属性图像翻译模型.模型主要由内容和风格编码器、AdaIN解码器以及人脸识别模块构成.首先,两个编码器提取内容和风格图像的潜在编码,然后将编码送入到AdaIN层中仿射变换,最后解码器还原翻译后的图像.该方法设计并训练了一个准确率90.282%的人脸识别模型并提出了一种联合人脸属性损失函数,增强了模型对风格人脸的属性的关注程度,解决了模型不能准确提取到人脸的属性信息以及摒弃了无关信息,使得模型能够生成清晰的、多属性的,多样的人脸翻译图像.该方法在公开的数据集CelebA-HQ实验并在定量和定性指标上都高于基线方法,在不同的人脸朝向时也表现出良好的鲁棒性.模型生成的图像还能应用于人脸图像生成领域,解决数据集匮乏等问题.     

自然场景下人脸表情数据集的构建

目前人脸识别研究中表情数据集图像数量较少、表情信息单一,不利于人脸表情识别的研究。本文创建了自然场景下带标签的人脸表情数据集(Facial expression dataset in the wild, FELW),并对其进行测试。FELW表情数据集包含了多张从互联网上收集的不同的年龄、种族、性别的人脸表情图像,采用适合的方法标注每张图像带有人脸部件的状态标签和表情标签,并引入Kappa一致性检验,提高人脸表情识别率。使用传统方法和深度学习的表情识别方法对数据集进行实验分析,与其他公开的人脸表情数据集相比,FELW数据集具有更多图像和更丰富的表情类别,并包含了两种图像标签有利于表情识别的研究。     

基于人脸识别的人脸图像质量评估

无约束场景下,低质量的人脸图像不仅浪费计算资源而且降低系统识别率.针对此问题,提出一种基于人脸识别的人脸质量评估方法对人脸图像进行预评估.以人脸识别系统特征提取网络为基础网络在COX数据集上进行微调,并使用微调后网络对COX数据集进行质量分数标定.最后,结合基础网络及质量预测网络并以相应损失函数在标定数据上进行回归学习以获取质量评估模型.实验结果表明,该方法能够有效区分不同质量的人脸图像并提升人脸识别系统性能.     

基于CNN的监控视频中人脸图像质量评估

在公共安全领域,监控视频中的人脸识别技术是不可或缺的技术,成为研究热点.而监控视频中低质量的人脸图像会大大降低整个人脸识别系统的识别准确率,系统难以更广泛地被投入实际使用.本文提出了一种基于CNN的人脸图像质量评估方法.通过对Alexnet模型进行改进,将网络中的多个卷积层与全连接层连接,从而提取不同尺度的图像特征.通过端到端的训练过程,预测人脸图像质量分数.另外,采用人脸识别算法来标定人脸图像的质量分数,使质量分数能更有效地筛选出适合识别算法的图像.在Color FERET数据集上实验表明,本文方法能够准确地对人脸图像进行质量评估.而在实际采集的监控视频数据集上实验表明,本文方法能筛选出高质量的人脸图像用作后续人脸识别,提高人脸识别准确率.     

CAS-PEAL大规模中国人脸图像数据库及其基本评测介绍

人脸图像数据库是人脸识别算法研究、开发、评测的基础,具有重要的意义．介绍了自行创建并已经部分共享的CAS-PEAL大规模中国人脸图像数据库及其基准测试结果．CAS-PEAL人脸图像数据库中包含了1040名中国人共99450幅头肩部图像．所有图像在专门的采集环境中采集,涵盖了姿态、表情、饰物和光照4种主要变化条件,部分人脸图像具有背景、距离和时间跨度的变化．目前该人脸图像数据库的标准训练、测试子库已经公开发布．与其他已经公开发布的人脸图像数据库相比,CAS-PEAL人脸图像数据库在人数、图像变化条件等方面具有综合优势,将对人脸识别算法的研究、评测产生积极的影响．同时,作为以东方人为主的人脸图像数据库,CAS-PEAL人脸图像数据库也使人脸识别算法在不同人种之间的比较成为可能,利于人脸识别算法在国内的实用化．还给出了两种基准人脸识别算法(Eigenface和Correlation)和两个著名商业系统在该人脸图像数据库上的测试结果,定量分析了该人脸图像数据库对于人脸识别算法的难易程度和人脸识别算法的发展现状．     

多矩阵低秩分解的鲁棒特征提取

由于传统的人脸识别算法效果容易受制于光照、表情、遮挡以及稀疏大噪声等外界因素的影响,如何有效提取数据特征、进一步提升算法的鲁棒性,是传统人脸识别方法发展的关键所在.本文将多矩阵低秩分解应用在人脸特征提取中,充分利用多张人脸之间的结构相似性,探索人脸图像集的低秩子空间,进而结合低秩矩阵恢复模型来提取测试样本的低秩特征.最...     

基于弱监督学习的三维人脸形状与纹理重建

三维人脸相较于二维人脸包含了更多特征信息, 可应用于如人脸识别、影视娱乐、医疗美容等更多实际应用场景, 因此三维人脸重建技术一直是计算机视觉领域的研究热点. 由于真实三维人脸数据较难获取, 很多基于深度学习的重建算法首先利用传统重建方法为大量二维人脸图像构建三维标签, 作为训练数据, 这些数据可能并不精准, 从而导致算法的重建精度受到影响. 为此, 本文提出一种基于multi-level损失函数的弱监督学习模型, 结合传统三维人脸形变模型3DMM与深度学习方法, 直接从大量无三维标签的二维人脸图像中学习三维人脸特征信息, 从而实现基于单张二维人脸图像的三维人脸重建算法. 此外, 为解决二维人脸图像中常存在遮挡或大姿态情况而影响人脸纹理重建的问题, 本文使用基于CelebAMask-HQ数据集的人脸解析分割算法对图像进行预处理去除遮挡区域. 实验结果表明, 基于本文方法的三维人脸重建质量与重建精度均实现了一定的提升.     

基于深度可分离卷积的轻量化人脸识别方法设计

针对传统人脸识别方法识别精度较低的问题,提出基于深度可分离卷积的轻量化人脸识别方法。构建深度可分离卷积的轻量级卷积神经网络模型,采集人脸图像并进行预处理,从而增强数据集,采用多任务卷积神经网络提取人脸特征,完成人脸识别方法的设计。实验结果表明,该方法优于其他方法,人脸识别的准确率保持在90%以上,识别精度较高。     

针对单张沥青路面图像中裂缝的高效语义级修复

原始无损路面图像对分析路面损伤演化细节及制定下一步养护方案具有重要意义,而实地采集中无法获取路面裂缝图像对应的初始状态.为了获取其对应的无损路面图像,本文提出了一种基于深度图像先验的无监督沥青路面裂缝图像修复算法,可实现对单张路面图像中裂缝的高效语义级修复.首先采用鲁棒主成分分析算法去除路面裂缝图像表面的竖状条纹噪声.随后,采用最大类间方差法及形态学处理得到裂缝区域的二进制掩码图像.最后,运用提出的深度图像先验修复算法对裂缝区域进行修复得到最终的无损路面图像.在自采集路面裂缝图像数据集上对所提方法进行了评估.实验结果表明,所提方法能够有效实现路面裂缝图像语义级修复,峰值信噪比和结构相似性较传统的方法有了明显提升,平均达到了43.382 3 dB和0.983 4,且兼具高速度.     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

人脸识别背后的数据清理问题研究

人脸识别技术在深度卷积神经网络（deep convolution neural networks,DCNN）的快速发展下取得了显著的成就。这些成果主要体现在更深层次的DCNN架构和更大的训练数据库。然而,由大多数私人公司持有的大型数据库（百万级）并不对外公开,即使当前部分开放的大型数据库,因为标注信息过少,无法保证精度,会影响DCNN的训练。本文提出了一种易于使用的多角度清理图像方法来提高数据的准确性:通过人脸检测算法清除掉无法检测到人脸的图像;在清理后的数据集上利用已有模型提取图像特征,并计算相似度,进而统计出一类人脸图像中每一张图像与其他图像不相似的数目,根据改进参数清理数据。实验表明,清理后的数据库训练模型在LFW和Youtube Face数据集上测试的精度得到了提升,使用较小规模数据集情况下,在LFW数据集上取得了99.17%的准确率,在Youtube Face数据集也达到了93.53%的准确率。     

可变光照条件下的人脸识别

主要解决人脸识别中因光照变化导致误识或者拒识的问题。使用DOG（高斯差分变换）对原始人脸图像样本集（A）进行处理,将滤波后的人脸图像样本集（B）加入到原始样本集（A）中,采用了新的方法将样本集A和B进行融合,则既对极端光照条件下人脸图像进行了矫正,又不影响正常光照条件下的人脸识别。在分类阶段,引入了SRC（Sparse Representation Classification）分类器代替传统分类器,提升了在低错误接收率下的识别率,改善因光照剧烈变换而导致的无法识别或者误识的情况。在公开人脸库Yale-B、CMU-PIE以及ORL上的实验结果表明,该方法在不同光照条件下可以提高识别率,改善拒识和误识情况。     

面向非受控场景的人脸图像正面化重建

目的 人脸正面化重建是当前视觉领域的热点问题。现有方法对于模型的训练数据具有较高的需求,如精确的输入输出图像配准、完备的人脸先验信息等。但该类数据采集成本较高,可应用的数据集规模较小,直接将现有方法应用于真实的非受控场景中往往难以取得理想表现。针对上述问题,提出了一种无图像配准和先验信息依赖的任意视角人脸图像正面化重建方法。方法 首先提出了一种具有双输入路径的人脸编码网络,分别用于学习输入人脸的视觉表征信息以及人脸的语义表征信息,两者联合构造出更加完备的人脸表征模型。随后建立了一种多类别表征融合的解码网络,通过以视觉表征为基础、以语义表征为引导的方式对两种表征信息进行融合,融合后的信息经过图像解码即可得到最终的正面化人脸图像重建结果。结果 首先在Multi-PIE(multi-pose, illumination and expression)数据集上与8种较先进方法进行了性能评估。定量和定性的实验结果表明,所提方法在客观指标以及视觉质量方面均优于对比方法。此外,相较于当前性能先进的基于光流的特征翘曲模型(flow-based feature warping model, FFWM)方...     

Face recognition in low-quality images using adaptive sparse representations

Although unconstrained face recognition has been widely studied over the recent years, state-of-the-art algorithms still result in an unsatisfactory performance for low-quality images. In this paper, we make two contributions to this field: the first one is the release of a new dataset called ‘AR-LQ’ that can be used in conjunction with the well-known ‘AR’ dataset to evaluate face recognition algorithms on blurred and low-resolution face images. The proposed dataset contains five new blurred faces (at five different levels, from low to severe blurriness) and five new low-resolution images (at five different levels, from 66 × 48 to 7 × 5 pixels) for each of the hundred subjects of the ‘AR’ dataset. The new blurred images were acquired by using a DLSR camera with manual focus that takes an out-of-focus photograph of a monitor that displays a sharp face image. In the same way, the low-resolution images were acquired from the monitor by a DLSR at different distances. Thus, an attempt is made to acquire low-quality images that have been degraded by a real degradation process. Our second contribution is an extension of a known face recognition technique based on sparse representations (ASR) that takes into account low-resolution face images. The proposed method, called blur-ASR or bASR, was designed to recognize faces using dictionaries with different levels of blurriness. These were obtained by digitally blurring the training images, and a sharpness metric for matching blurriness between the query image and the dictionaries. These two main adjustments made the algorithm more robust with respect to low-quality images. In our experiments, bASR consistently outperforms other state-of-the-art methods including hand-crafted features, sparse representations, and seven well-known deep learning face recognition techniques with and without super resolution techniques. On average, bASR obtained 88.8% of accuracy, whereas the rest obtained less than 78.4%.     

基于Hadoop的大规模图像存储与检索

图像数据的指数型增长使得传统单机的图像检索在处理大规模图像时面临着检索速度慢、并发性差、检索准确率低的问题。由于图像特征文件都是小文件,本文提出将图像特征小文件进行适当的合并后存储于Hadoop的分布式文件系统HDFS中,实现大规模图像的快速存储和读取;为了适应大规模的图像检索,对图像Fisher向量进行二值化处理,并利用MapReduce并行编程模型实现基于二值Fisher向量和SIFT(Scale Invariant Feature Transform)特征的并行检索。在INRIA Holidays数据集、Kentucky数据集和Flicker1M数据集上的实验结果表明该方法扩展性强,能够取得较好的检索准确率,有效减少检索时间,提高检索速度,是一种高效的大规模图像存储和检索的方法。     

Pose-and-illumination-invariant face representation via a triplet-loss trained deep reconstruction model

Face recognition under variable pose and illumination is a challenging problem in computer vision tasks. In this paper, we solve this problem by proposing a new residual based deep face reconstruction neural network to extract discriminative pose-and-illumination-invariant (PII) features. Our deep model can change arbitrary pose and illumination face images to the frontal view with standard illumination. We propose a new triplet-loss training method instead of Euclidean loss to optimize our model, which has two advantages: a) The training triplets can be easily augmented by freely choosing combinations of labeled face images, in this way, overfitting can be avoided; b) The triplet-loss training makes the PII features more discriminative even when training samples have similar appearance. By using our PII features, we achieve 83.8% average recognition accuracy on MultiPIE face dataset which is competitive to the state-of-the-art face recognition methods.     

Evaluation of Face Datasets as Tools for Assessing the Performance of Face Recognition Methods

Face datasets are considered a primary tool for evaluating the efficacy of face recognition methods. Here we show that in many of the commonly used face datasets, face images can be recognized accurately at a rate significantly higher than random even when no face, hair or clothes features appear in the image. The experiments were done by cutting a small background area from each face image, so that each face dataset provided a new image dataset which included only seemingly blank images. Then, an image classification method was used in order to check the classification accuracy. Experimental results show that the classification accuracy ranged between 13.5% (color FERET) to 99% (YaleB). These results indicate that the performance of face recognition methods measured using face image datasets may be biased. Compilable source code used for this experiment is freely available for download via the Internet.