多视角级联回归模型人脸特征点定位

针对人脸姿态偏转较大导致人脸特征点定位精度低的问题，提出了多视角人脸特征点定位算法，采用随机森林局部学习与全局线性回归相结合的级联姿态回归（Cascaded Pose Regression，CPR）人脸特征点定位模型，在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度。首先采用CPR模型对不同视角下的人脸建立不同的模型；然后采用多视角生成模型（Multi-View Generative Model，MVGM）来评估输入人脸图片的姿态；最后根据评估的姿态选择相对应的模型，进而实现特征点的精确定位。仿真实验结果表明，相比于现有的几种人脸特征点定位算法，所提算法实现了更精确的定位效果。     

面向三维打印的特征驱动轮廓线编辑方法

当用户评估完三维打印模型而需要修改时,目前的编辑技术需要返回原始三维模型进行修改再重新分层,效率低、易出错且编辑不直观.为此,提出面向三维打印的模型编辑方法,即用户直接编辑分层模型的轮廓线,可见即可得,其核心是特征保持的轮廓线编辑技术.首先,将每一条轮廓线分割为特征点和特征段;每个特征点具有特征保持和位移传播的功能,特征保持允许用户自由选择是否保留特征点的角度值,而位移传播则确定了编辑操作的影响范围;两者共同定义了特征点和特征段的编辑模式.然后,根据轮廓线的所有特征及其邻接关系构建一个闭合的特征链图,并结合拉普拉斯坐标的保特征性质让编辑操作在相同层和不同层内的轮廓线上传播.实验结果表明,该方法能够有效地提高面向三维打印的模型编辑效率.     

两层级联卷积神经网络的人脸检测

目的 传统人脸检测方法因人脸多姿态变化和人脸面部特征不完整等问题,导致检测效果不佳。为解决上述问题,提出一种两层级联卷积神经网络（TC_CNN）人脸检测方法。方法 首先,构建两层卷积神经网络模型,利用前端卷积神经网络模型对人脸图像进行特征粗略提取,再利用最大值池化方法对粗提取得到的人脸特征进行降维操作,输出多个疑似人脸窗口;其次,将前端粗提取得到的人脸窗口作为后端卷积神经网络模型的输入进行特征精细提取,并通过池化操作得到新的特征图;最后,通过全连接层判别输出最佳检测窗口,完成人脸检测全过程。结果 实验选取FDDB人脸检测数据集中包含人脸多姿态变化以及人脸面部特征信息不完整等情况的图像进行测试,TC_CNN方法人脸检测率达到96.39%,误检率低至3.78%,相比当前流行方法在保证算法效率的同时检测率均有提高。结论 两层级联卷积神经网络人脸检测方法能够在人脸多姿态变化和面部特征信息不完整等情况下实现精准检测,保证较高的检测率,有效降低误检率,方法具有较好的鲁棒性和泛化能力。     

直接点操作的人脸变形与动画

自由变形（FFD）是计算机人脸动画和表情编辑的常用方法,但对控制点的反求和变形结果的不直观是该方法的不足。提出了基于直接点操作网格的变形方法,通过鼠标的交互编辑,可以直接得到可控制的变形结果。试验结果表明该方法简单有效。     

多尺度YOLO人脸年龄估计方法研究

通过观察人脸估计年龄较为常见，但如何准确预测年龄则是一个难题。为提高人脸图像年龄估计的准确率，提出一种基于YOLO（You Only Look Once）模型的目标检测方法。将多尺度回归思想应用于卷积神经网络（Convolutional Neural Network，CNN），通过多尺度卷积改善模型对小尺寸目标的提取能力，结合特征通道分权重思想，改善特征提取操作中特征信息丢失的问题，构造决策树回归得到年龄估计。这种方法在人脸年龄图像库FG-NET上获得平均绝对误差（MAE）3.43，在GROUP数据集获得区间匹配度（AEM）62.4%。实验结果表明，通过多尺度特征回归以及通道权重分配，可以较为准确地进行人脸信息检测，并由此建立鲁棒性更强的人脸年龄估计模型。     

多层AR-LBP与WLD特征融合的SA-CRC人脸识别

针对非对称局部二值模式（AR-LBP）提取的人脸特征有限，以及协同表示分类（CRC）人脸存在的类间干扰，提出以多层AR-LBP特征及联合韦伯局部描述子（WLD）特征进行补充，并以增加CRC中稀疏性来降低类间干扰。提取人脸图像的多层AR-LBP特征并级联，与从原图像提取的WLD特征级联得到多层AR-LBP与WLD融合特征，采用稀疏增强的协同表示分类（SA-CRC）完成人脸分类。在ORL、Yale和GT公开人脸库上，提出的多层AR-LBP与WLD特征融合算法与AR-LBP特征提取算法、WLD特征提取算法以及多层LBP与HOG特征融合算法相比，识别正确率提高了0.7%~42.6%；当利用SA-CRC取代CRC后，识别正确率进一步得到提高。     

基于照片的个性化人脸建模系统研究

三维个性化人脸建模一直是计算机图形学中一个具有挑战性的课题。论文建立了一个基于照片的个性化人脸建模通用系统。根据MPEG-4确定出标准模型特征点的位置,从正面和侧面两幅照片出发,进行特征点编辑,获取人脸的关键特征点的位置,然后对标有对应特征点的标准模型进行变形,进行纹理映射,最后获得了真实的个性化人脸模型。该系统操作方便,可以快速地建立个性化人脸模型,为三维人脸动画提供了真实模型。     

基于优化的并行AlexNet人脸特征点检测算法

基于深度学习的人脸特征点检测会因环境明亮程度、人体姿态、人脸表情等因素影响检测结果的鲁棒性。采用基于优化的并行卷积神经网络模型,将人脸图像切分为3个互有重叠且各带一个颜色通道的子图像,对应3个不同的模型,将模型结果加权平均,得到人脸特征点坐标。其中模型均采用Alex Net模型,针对子图像尺寸特征修改卷积核尺寸以及输出特征图数量,并引入批归一化层,归一化隐藏层中激活函数的输出值,降低误差的同时减少迭代次数。最后在LFW人脸数据集上进行验证,结果表明,优化的算法准确率达到99%以上,迭代次数减少约4 000次,误差降低了44.57%。     

图像驱动的三维人脸自动生成与编辑算法

针对图像驱动的三维人脸建模这个计算机图形学中的研究热点问题,提出一种采用三维人脸形变模型的三维人脸自动生成与编辑算法.首先建立三维人脸形变模型,由三维人脸数据库统计学习得到线性混合人脸模型,用一个低维的参数向量来描述一个人脸;然后通过人脸检测、人脸对齐、边缘提取等方法从人脸图像中提取人脸的特征,根据这些特征实现三维人脸形变模型与图像的匹配,重建出与图像对应的三维人脸模型;最后,通过改变参数向量的值实现人脸的编辑.对5个输入人脸照片进行了三维人脸模型重建和编辑并且将重建的人脸模型和真实人脸模型进行了对比,实验结果表明,该算法可实现真实化的人脸重建效果.     

一种基于轮廓图像的人脸检测方法

提出了一种基于轮廓图像的人脸检测方法。针对人脸的生理结构特征，对人脸的灰度图像进行水平和垂直方向的轮廓分割；在此基础上对轮廓图像进行分块，抽取水平和垂直方向的轮廓特征；将抽取的特征用支持向量机（support vector machine，SVM）进行分类，将分类结果用于人脸检测。实验表明：轮廓特征能较好的反映人的脸部特征，用支持向量机对轮廓特征进行分类的方法来检测人脸是有效的。     

ASM及其改进的人脸面部特征定位算法

为了提高主动形状模型(ASM)算法的性能,提出一种改进的ASM算法.首先,精确定位出瞳孔的位置用作平均形状模型的初始化;其次,采用全局形状模型、面部显著特征区域成分形状模型以及人脸面部的相似性构形相结合的办法来共同约束特征点的定位结果;最后,特征点周围采用Log-Gabor小波系数进行描述,并建立局部纹理模型,提高了算法对光照和噪声的鲁棒性.实验结果表明,与传统的ASM算法相比,该算法特征点定位精确度有显著的提高.     

Emotion recognition from geometric facial features using self-organizing map

This paper presents a novel emotion recognition model using the system identification approach. A comprehensive data driven model using an extended Kohonen self-organizing map (KSOM) has been developed whose input is a 26 dimensional facial geometric feature vector comprising eye, lip and eyebrow feature points. The analytical face model using this 26 dimensional geometric feature vector has been effectively used to describe the facial changes due to different expressions. This paper thus includes an automated generation scheme of this geometric facial feature vector. The proposed non-heuristic model has been developed using training data from MMI facial expression database. The emotion recognition accuracy of the proposed scheme has been compared with radial basis function network, multi-layered perceptron model and support vector machine based recognition schemes. The experimental results show that the proposed model is very efficient in recognizing six basic emotions while ensuring significant increase in average classification accuracy over radial basis function and multi-layered perceptron. It also shows that the average recognition rate of the proposed method is comparatively better than multi-class support vector machine.     

基于多种LBP特征集成学习的人脸识别*

单一的特征与分类器只能对限定条件下的人脸进行较好的识别,当在非限定条件下(如光照、背景等发生变化时)将出现人脸识别率较低问题,针对该问题,提出了一种基于多种局部二进制特征集成学习的人脸识别算法。首先,使用监督梯度下降法 (SDM)对人脸特征点定位,应用中心对称局部二进制(CSLBP)算子提取每个特征点邻域特征,将所有人脸特征点邻域特征合成为精细的纹理特征;同时运用分区LBP直方图算法提取人脸区域的微观空间结构特征;然后,使用K最近邻算法(KNN)和支持向量机(SVM)分别训练这两种特征,得到类别排序列表和投票决策矩阵;最后,利用加权求和的规则融合决策矩阵,构成最优集成分类器,从而得到输出类别。通过在非限制性人脸库LFW上实验结果表明,所提算法采用集成的方法明显优于单一的特征和分类器。     

深度学习人脸特征点自动定位综述

人脸特征点定位是根据输入的人脸数据自动定位出预先按人脸生理特征定义的眼角、鼻尖、嘴角和脸部轮廓等面部关键特征点,在人脸识别和分析等系统中起着至关重要的作用。本文对基于深度学习的人脸特征点自动定位进行综述,阐释了人脸特征点自动定位的含义,归纳了目前常用的人脸公开数据集,系统阐述了针对2维和3维数据特征点的自动定位方法,总结了各方法的研究现状及其应用,分析了当前人脸特征点自动定位技术在深度学习应用中的现状、存在问题及发展趋势。在公开的2维和3维人脸数据集上对不同方法进行了比较。通过研究可以看出,基于深度学习的2维人脸特征点的自动定位方法研究相对比较深入,而3维人脸特征点定位方法的研究在模型表示、处理方法和样本数量上都存在挑战。未来基于深度学习的3维人脸特征点定位方法将成为研究趋势。     

Multiple Facial Image Editing Using Edge–Aware PDE Learning

This paper introduces a novel facial editing tool, called edge‐aware mask, to achieve multiple photo‐realistic rendering effects in a unified framework. The edge‐aware masks facilitate three basic operations for adaptive facial editing, including region selection, edit setting and region blending. Inspired by the state‐of‐the‐art edit propagation and partial differential equation (PDE) learning method, we propose an adaptive PDE model with facial priors for masks generation through edge‐aware diffusion. The edge‐aware masks can automatically fit the complex region boundary with great accuracy and produce smooth transition between different regions, which significantly improves the visual consistence of face editing and reduce the human intervention. Then, a unified and flexible facial editing framework is constructed, which consists of layer decomposition, edge‐aware masks generation, and layer/mask composition. The combinations of multiple facial layers and edge‐aware masks can achieve various facial effects simultaneously, including face enhancement, relighting, makeup and face blending etc. Qualitative and quantitative evaluations were performed using different datasets for different facial editing tasks. Experiments demonstrate the effectiveness and flexibility of our methods, and the comparisons with the previous methods indicate that improved results are obtained using the combination of multiple edge‐aware masks.     

基于DCNN的人脸特征点检测及面部朝向计算

在介绍人脸特征点检测的理论知识的基础上,提出了一种基于深层卷积神经网络（Deep Convolutional Neural Network,DCNN）解决人脸5点特征点（眼角、鼻子、嘴角）预测问题的方法。通过添加更多的卷积层稳定地增加网络的深度,并且在所有层中使用3×3的卷积滤波器,有效减小参数,更好地解决了人脸特征点检测问题。然后计算双眼角与嘴角所成平面与正视时此平面的单应性矩阵,最后利用等效算法求解驾驶员面部转角。实验结果表明,面部特征点检测准确率达到97.96%,算法在角度判断上的误差是1°~5°,这证明了该算法对注意力分散监测的有效性。     

基于并行卷积神经网络的人脸关键点定位方法研究*

为解决人脸关键点定位受到姿态,光线,表情以及遮盖问题的影响而使得定位效果可靠性不佳的问题,提出了一种基于并行卷积神经网络的人脸关键点定位方法。文中利用卷积神经网络对局部细节特征提取以及深度学习特点,设计实现了一种并行卷积神经网络,该网络把人脸图像,上半人脸以及下半人脸分别送入到相同结构的卷积网络进行训练学习,通过对图像进行局部卷积以及下采样,提取人脸关键点附近的细节特征,并对三级并行网络定位结果进行加权合成,实现人脸特征点定位。在LWF人脸库上定位实验结果表明该方法在准确性以及可靠性都得到很大程度提升,能实现对人脸关键点的鲁棒准确估计。     

基于TPS变形的3D面皮层次点对应方法

在统计模型的颅面复原中,针对如何建立三维面皮间顶点的生理一致对应关系的问题,提出一种面皮层次点对应方法(HPCM).根据Frankfurt坐标系下特征点的严格对应关系对样本面皮进行薄板样条变形,使其与模板面皮近似重合.在此基础上分别建立体素模型,结合顶点的欧式距离、局部相对位置与几何特征等多重约束确定最优对应点.实验结果表明,HPCM提高了点对应的精度,可有效建立颅面统计复原所需的具备生理点对应关系的面皮样本.     

视觉语音参数的自动估计

视觉语音参数估计在视觉语音的研究中占有重要的地位．从MPEG-4定义的人脸动画参数FAP中选择24个与发音有直接关系的参数来描述视觉语音,将统计学习方法和基于规则的方法结合起来,利用人脸颜色概率分布信息和先验形状及边缘知识跟踪嘴唇轮廓线和人脸特征点,取得了较为精确的跟踪效果．在滤除参考点跟踪中的高频噪声后,利用人脸上最为突出的4个参考点估计出主要的人脸运动姿态,从而消除了全局运动的影响,最后根据这些人脸特征点的运动计算出准确的视觉语音参数,并得到了实际应用．