深度学习人脸特征点自动定位综述

人脸特征点定位是根据输入的人脸数据自动定位出预先按人脸生理特征定义的眼角、鼻尖、嘴角和脸部轮廓等面部关键特征点,在人脸识别和分析等系统中起着至关重要的作用。本文对基于深度学习的人脸特征点自动定位进行综述,阐释了人脸特征点自动定位的含义,归纳了目前常用的人脸公开数据集,系统阐述了针对2维和3维数据特征点的自动定位方法,总结了各方法的研究现状及其应用,分析了当前人脸特征点自动定位技术在深度学习应用中的现状、存在问题及发展趋势。在公开的2维和3维人脸数据集上对不同方法进行了比较。通过研究可以看出,基于深度学习的2维人脸特征点的自动定位方法研究相对比较深入,而3维人脸特征点定位方法的研究在模型表示、处理方法和样本数量上都存在挑战。未来基于深度学习的3维人脸特征点定位方法将成为研究趋势。     

基于头肩图像序列的人脸特征定位系统的实现

针对复杂背景的人脸彩色图像进行特征定位,一直是研究的热点和难点问题.提出了一种实时进行人脸特征定位的算法.在单人脸头肩图像序列中,首先利用背景差分法提取出人脸前景图像,利用几何先验知识和积分投影法分离出人脸区域;接着在人脸区域中采用YCbCr肤色模型、模板匹配以及边缘检测的方法定位出眼睛和嘴角,最后在RGB空间上采用阈值方法和积分投影法相结合的方法确定眉毛和鼻子的位置.实验表明,系统可以快速地检测出人脸特征,具有较高的检测精度和鲁棒性,检测的帧率达到10fps.     

一种人脸图像的匹配识别方法

为进行人脸图像的识别，需要提取面部图像的特征点，通过提取鼻尖、眼角、鼻角、嘴角等特征点，并且以鼻尖作为基准点，分别与两只眼睛的左右眼角以及左右两个鼻角和两个嘴角等构成11维特征向量，作为标准人脸特征向量存入数据库。在分析某人脸图像时，按上述方法提取特征点构成11维特征向量，并与数据库中的特征向量进行对照匹配，当数据接近或匹配时，则认为是同一个人。实验证明，该系统的识别率达到设计要求。     

基于人眼定位的人脸与检测与归一化算法

文中针对复杂背景下多姿态静态人脸图像,提出了一种通过对眼睛这一特征的自动检测与定位,从而实现对人脸检测的新方法.首先对原灰度图像做边缘灰度加强;然后结合根据人脸几何特征先验知识建立的人眼位置判定准则,在分割阈值递增的过程中,寻找能分割出双眼眼块的最优分割阈值;最后用两维相关系数作为对称相似度来检验检测出的双眼的真实性,并利用找到的双眼图像垂直方向的灰度积分投影,精确定位瞳孔中心.对彩色图像,利用肤色在YCbCr颜色空间的分布特性建立肤色模型,粗略找出肤色区域,进行灰度变换后,再采用上述方法检测人脸.最后提出一种脸相归一化方法,便于进一步的提取特征工作.实验结果证实了文中方法在速度和准确性方面具有良好的性能.     

基于深度数据的空间人脸旋转角度估计

提出一种基于三维人脸深度数据的人脸姿态计算方法。利用人脸的深度数 据以及与其一一对应的灰度图像,根据微分几何原理和相应的曲率算法与人脸数据中的灰度 特征对人脸面部关键特征点定位,进而计算出人脸姿态在三维空间中的3 个姿态角。实验证 明该方法能在姿态变化情况下实现对人脸旋转角的准确估计,为进一步的人脸识别和表情分 析提供基础。     

基于几何特征与深度数据的三维人脸识别

提出一种基于三维点云数据多特征融合的人脸识别方法。利用深度信息提取人脸中分轮廓线和鼻尖横切轮廓线;采用曲率分析的方法定位出人脸关键点,针对鼻子等人脸刚性区域,选取并计算了4类(包括曲率、距离、体积和角度)共13维的特征向量作为三维几何特征。深度图特征采用结合LBP与Fisherface的方法进行提取与识别。在3DFACE-XMU和ZJU-3DFED数据库上比较了该方法与PCA、LBP等单一方法的识别性能,识别效果有比较明显的提升。     

基于人眼定位的人脸检测与归一化算法

文中针对复杂背景下多姿态静态人脸图像,提出了一种通过对眼睛这一特征的自动检测与定位,从而实现对人脸检测的新方法。首先对原灰度图像做边缘灰度加强;然后结合根据人脸几何特征先验知识建立的人眼位置判定准则,在分割阈值递增的过程中,寻找能分割出双眼眼块的最优分割阈值;最后用两维相关系数作为对称相似度来检验检测出的双眼的真实性,并利用找到的双眼图像垂直方向的灰度积分投影,精确定位瞳孔中心。对彩色图像,利用肤色在YCbCr颜色空间的分布特性建立肤色模型,粗略找出肤色区域,进行灰度变换后,再采用上述方法检测人脸。最后提出一种脸相归一化方法,便于进一步的提取特征工作。实验结果证实了文中方法在速度和准确性方面具有良好的性能。     

三维人脸数据的获取及人脸特征自动定位

介绍了一种快速获取人脸三维面貌数据的结构光相移测量技术,并利用这种高速的相移技术在获取三维面貌数据的同时获得人脸纹理背景图像,结合二维人脸图像中的人脸特征识别手段,应用到三维人脸图像中,可以让计算机自动提取人脸图像的主要特征点.首先介绍了高速相移技术的基本原理,介绍了二维人脸图像中的积分投影方法来求取人脸轮廓粗略位置的方法,接着介绍了将二维图像做纹理映射到三维数据里面的方法,结合三维高度信息的曲线分析、曲率判断等,快速的提取出了人脸的三维特征.经实验验证,此方法对于三维人脸特征的自动定位有很高的准确性和通用性.     

基于改进Hausdorff距离的人脸匹配方法

提出了一种基于改进Hausdorff距离的人脸相似度匹配的方法,该方法首先将人脸划分为脸型、双眼、鼻、嘴等几个特征点集,分别计算各部分的改进Hausdorff距离,然后进行加权计算相似度。利用该方法,在ASM（主动形状模型）定位人脸的基础上进行了人脸检索。实验表明,利用人脸相似度计算方法对人脸特征库进行搜索,达到了较好的效果。同时结合ASM自动人脸检测,本方法可以全自动完成人脸匹配,应用于人脸识别及数字娱乐等领域。     

脸部特征点的定位与提取方法

提出一种正面人脸关键特征点的自动提取方法。该方法选取两个瞳孔点、两个鼻孔点、鼻尖点、两个嘴角点共7个关键特征点进行自动标定的研究,通过在图像预处理阶段采用选择式掩模平滑算子和Fisher线性判别思想分别进行灰度图像的边缘检测和二值化处理,并结合灰度积分投影方法定位人脸区域,进一步应用人脸结构基本特征的先验知识定位面部主要器官,在此基础上结合Hough变换,SUSAN算子实现特征点的自动提取。实验证明：该方法能够准确、有效地标定人脸的关键特征点,具有一定的实用性,可应用于安全部门、身份证管理、电视会议等领域。     

A method of detecting and tracking irises and eyelids in video

We locate the eye corners, eyelids, and irises in every frame of an image sequence, and analyze the movements of the irises and eyelids to determine changes in gaze direction and blinking, respectively. Using simple models for the motions of the head and eyes, we determine the head-independent motions of the irises and eyelids by stabilizing for the head motion. The head-independent motions of the irises can be used to determine behaviors like saccades and smooth pursuit. Tracking the upper eyelid and using the distance between its apex and the center of the iris, we detect instances of eye closure during blinking. In experiments on two short image sequences, in one of which the subject was wearing glasses, we successfully located the irises in every frame in which the eyes were fully or partially open, and successfully located the eyelids 80% of the time. When motion information in the form of normal flow was used, the irises were successfully tracked in every frame in which the eyes were fully or partially open, and the eyelids were successfully located and tracked 90% of the time.     

基于眼部特征的疲劳检测算法

PERCLOS值因其良好的非接触性和准确性而被广泛应用于疲劳检测,但通常只采用一种PERCLOS标准.针对这种情况,该文提出眼睛持续闭合时间和动态 PERCLOS 值两个参数进行疲劳检测.该算法首先利用Haar-like 分类器和 Adaboost 算法进行人脸检测和定位;然后利用人脸结构特征缩小人眼的搜索区域,进一步利用 Adaboost 算法定位人眼,避免了眉毛的影响;最后采用图像形态学等图像处理方法获取人眼的垂直高度即上下眼帘的距离,判断人眼是否闭合.在疲劳预测阶段,分时间段采用不同的 PERCLOS 值标准进行判断.该算法对每秒10帧视频帧中的人眼定位准确率达到86.14%,并达到实时性要求,能够提高预测疲劳驾驶的准确性.     

基于近红外光和可变形模板的人眼特征检测方法

本文提出了一种提取人眼特征的方法。采用先瞳孔,后眼角,再眼睑的顺序分步提取眼睛特征点。利用人脸在近红外光下的红眼现象快速定位和跟踪瞳孔,然后在眼部的可信区域内同时利用眼白信息和角模板找到内外眼角,再使用已知的眼角点初始化可变形模板并跟踪眼睑。这样既能精确地提取人眼特征,又有效地减少了可变形模板匹配时间,提高能量函数收敛速度。实验证明本文提出的方法快速、有效,能为基于人眼状态检测的应用系统提供可靠的数据支持。     

Meticulously detailed eye region model and its application to analysis of facial images

We propose a system that is capable of detailed analysis of eye region images in terms of the position of the iris, degree of eyelid opening, and the shape, complexity, and texture of the eyelids. The system uses a generative eye region model that parameterizes the fine structure and motion of an eye. The structure parameters represent structural individuality of the eye, including the size and color of the iris, the width, boldness, and complexity of the eyelids, the width of the bulge below the eye, and the width of the illumination reflection on the bulge. The motion parameters represent movement of the eye, including the up-down position of the upper and lower eyelids and the 2D position of the iris. The system first registers the eye model to the input in a particular frame and individualizes it by adjusting the structure parameters. The system then tracks motion of the eye by estimating the motion parameters across the entire image sequence. Combined with image stabilization to compensate for appearance changes due to head motion, the system achieves accurate registration and motion recovery of eyes.     

一种人眼运动及表情仿真方法

真实感人脸动画是计算机图形学领域的一个研究热点,为了更逼真的仿真虚拟人眼部的表情动作,提出了一种基于机构学原理与肌肉模型的人眼运动及表情仿真方法。可将人眼眼皮的三维网格模型分为边界点和非边界点分别控制,对于边界点的运动采用机构模型实现,对于非边界点及眼部其余部分采用肌肉模型控制,仿真出不同的人眼运动及表情。同时给出了仿真运动的效果实例。采用上述方法可以得到逼真的人眼表情动作仿真动画,效果良好。     

基于面板数据的接近性和相似性关联度模型

对于面板数据, 首先给出面板数据的空间投射方法, 将面板数据投射为空间的向量序列. 然后, 基于空间向量的夹角和距离分别构建相似性和接近性关联度模型. 具体方法为: 利用向量夹角构建面板数据的相似性关联度模型; 同时, 基于向量差的模构建面板数据的接近性关联度模型. 分别讨论两种关联度模型的规范性和对称性等性质. 最后, 通过实例验证了相似性和接近性关联度模型的合理性. 分析结果表明, 所提出的关联度模型能较好地反映面板数据的相似性和接近性的关联程度.

     

基于DSP多特征检测疲劳驾驶监测系统研究

针对疲劳驾驶监测的要求,提出基于DSP红外条件下对眼睛、嘴巴、头部同时检测进行疲劳监测的方法.该方法首先利用人眼红外光源下的红外效应来进行图像差分,以此获取瞳孔来定位眼睛区域;然后用基于个体的模板匹配方法进行特征提取和动态模板匹配方法进行原始迭代跟踪;最后用计算出来的眼睛的闭合程度和是否打哈欠、点头来判断疲劳程度.实验证明该方法综合了驾驶员的三个个体特征.准确率较高、速度较快,可以满足非接触式、全天候、实时监测的要求.     

信息融合中的伪证据识别方法

由于人为或是自然因素的影响,多传感器应用系统中收集的证据中常常存在伪证据。这些伪证据导致信息融合过程中出现证据冲突,并影响最后的融合结果。为了有效识别伪证据,提出一种基于距离的伪证据识别方法。定义了各个证据的平均证据距离,设定一个阈值作为系统的平均证据距离作为判断依据,当一个证据的平均证据距离高于系统的平均证据距离时,则该证据被判断为伪证据,用一个目标识别的算例表明该方法简单有效。     

视频聊天中的人眼自然对视自适应矫正方法

视频聊天中,人们通常注视的是显示对方画面的窗口而非摄像头,这就导致视频聊天中,很难达到双方自然对视的效果,基于这个问题,本文提出解决方法。该方法首先需要拍下一张双眼注视摄像头的图片,利用Harr分类器提取眼睛大致区域,对其进行去干扰处理,检测左右眼角点和上下眼睑点,并据此提取眼睛外切矩形区域即眼睛精确区域,将它作为眼睛标准模板;然后,对聊天视频中的单帧图像进行相同的处理,获得视频图像中眼睛精确区域;最后,使用眼睛标准模板对视频图像中的眼睛精确区域进行替换处理,进而达到自然对视的效果。在算法中,将直方图规定化引入图像二值化时的阈值选取中,能够在不同光照环境下,准确选取保留眼睛完全信息的阈值,便于准确提取眼睛外切矩形。实验结果表明,该方法简单有效,准确率达到85%以上,能够较自然达到对视的效果,操作方便。     

Kalman滤波和Mean Shift算法在疲劳预警系统中的应用

为了预防交通事故的发生,针对驾驶员在驾驶过程中出现疲劳现象,重点对驾驶员眼睛的检测与跟踪的算法进行了研究与改进。通过人的肤色检测出人脸,通过AdBoost算法检测到眼睛,基于Kalman滤波和Mean Shift算法相结合的方法,能够在眼睛部分被遮挡或者眼睛闭合的情况下,在疲劳预警系统中实时地跟踪驾驶员眼睛,准确地判断眼睛的位置。