基于特征点表情变化的3维人脸识别

目的 为克服表情变化对3维人脸识别的影响,提出一种基于特征点提取局部区域特征的3维人脸识别方法。方法 首先,在深度图上应用2维图像的ASM(active shape model)算法粗略定位出人脸特征点,再根据Shape index特征在人脸点云上精确定位出特征点。其次,提取以鼻中为中心的一系列等测地轮廓线来表征人脸形状;然后,提取具有姿态不变性的Procrustean向量特征(距离和角度)作为识别特征;最后,对各条等测地轮廓线特征的分类结果进行了比较,并对分类结果进行决策级融合。结果 在FRGC V2.0人脸数据库分别进行特征点定位实验和识别实验,平均定位误差小于2.36 mm,Rank-1识别率为98.35%。结论 基于特征点的3维人脸识别方法,通过特征点在人脸近似刚性区域提取特征,有效避免了受表情影响较大的嘴部区域。实验证明该方法具有较高的识别精度,同时对姿态、表情变化具有一定的鲁棒性。     

基于频率簇模型的人脸识别

目的 针对复杂条件下人脸识别鲁棒性差的问题,提出了一种基于频率簇（FC）模型的人脸识别方法。方法 该方法首先在人脸图像内检测目标区域,在目标区域内划分特征子区域并设定采样单元,统计采样单元内前景区域和背景区域的信息熵;然后计算采样单元的熵能量和能量频率,归一化频率系数,利用能量频率的二阶偏导确定人脸子区域边界,以此得到有效采样单元,建立人脸主特征信息;最后,根据采样单元的坐标位置、熵能量和能量频率信息进行排序,得到每个采样单元的几何布局,以采样单元的熵能量、能量频率和几何布局构建人脸的频率簇模型,并以此作为人脸特征进行识别匹配。结果 在FERET、ORL、Yale组合人脸库和CMU-PIE人脸库上进行实验测试,该方法的识别准确率分别为99.11%和97.36%,单幅人脸图像的平均识别速度为0.077 s,结果表明,该方法对复杂条件下的人脸识别具有很好的实时性和准确性。结论 该方法可以有效克服光照变化、特征模糊、姿态和表情变化等因素对人脸识别的影响,具有较好的鲁棒性,对提高人脸识别性能具有重要意义。     

结合形变模型与图像修复的人脸姿态矫正

目的 人脸姿态偏转是影响人脸识别准确率的一个重要因素,本文利用3维人脸重建中常用的3维形变模型以及深度卷积神经网络,提出一种用于多姿态人脸识别的人脸姿态矫正算法,在一定程度上提高了大姿态下人脸识别的准确率。方法 对传统的3维形变模型拟合方法进行改进,利用人脸形状参数和表情参数对3维形变模型进行建模,针对面部不同区域的关键点赋予不同的权值,加权拟合3维形变模型,使得具有不同姿态和面部表情的人脸图像拟合效果更好。然后,对3维人脸模型进行姿态矫正并利用深度学习对人脸图像进行修复,修复不规则的人脸空洞区域,并使用最新的局部卷积技术同时在新的数据集上重新训练卷积神经网络,使得网络参数达到最优。结果 在LFW（labeled faces in the wild）人脸数据库和StirlingESRC（Economic Social Research Council）3维人脸数据库上,将本文算法与其他方法进行比较,实验结果表明,本文算法的人脸识别精度有一定程度的提高。在LFW数据库上,通过对具有任意姿态的人脸图像进行姿态矫正和修复后,本文方法达到了96.57%的人脸识别精确度。在StirlingESRC数据库上,本文方法在人脸姿态为±22°的情况下,人脸识别准确率分别提高5.195%和2.265%;在人脸姿态为±45°情况下,人脸识别准确率分别提高5.875%和11.095%;平均人脸识别率分别提高5.53%和7.13%。对比实验结果表明,本文提出的人脸姿态矫正算法有效提高了人脸识别的准确率。结论 本文提出的人脸姿态矫正算法,综合了3维形变模型和深度学习模型的优点,在各个人脸姿态角度下,均能使人脸识别准确率在一定程度上有所提高。     

结合径向线的局部遮挡下的3维人脸识别

目的 3维人脸点云的局部遮挡是影响3维人脸识别精度的一个重要因素。为克服局部遮挡对3维人脸识别的影响,提出一种基于径向线和局部特征的3维人脸识别方法。方法 首先为了充分利用径向线的邻域信息,提出用一组局部特征来表示径向线;其次对于点云稀疏引起的采样点不均匀,提出将部分相邻局部区域合并以减小采样不均匀的影响;然后,利用径向线的邻域信息构造代价函数,进而构造相应径向线间的相似向量。最后,利用相似向量来进行径向线匹配,从而完成3维人脸识别。结果 在FRGC v2.0数据库上进行不同局部特征识别率的测试实验,选取的局部特征Rank-1识别率达到了95.2%,高于其他局部特征的识别率;在Bosphorus数据库上进行不同算法局部遮挡下的人脸识别实验,Rank-1识别率达到了最高的92.0%;进一步在Bosphorus数据库上进行不同算法的时间复杂度对比实验,耗费时间最短,为8.17 s。该算法在准确率和耗时方面均取得了最好的效果。结论 基于径向线和局部特征的3维人脸方法能有效提取径向线周围的局部信息;局部特征的代价函数生成的相似向量有效减小了局部遮挡带来的影响。实验结果表明本文算法具有较高的精度和较短的耗时,同时对人脸的局部遮挡具有一定的鲁棒性。该算法适用于局部遮挡下的3维人脸识别,但是对于鼻尖部分被遮挡的人脸,无法进行识别。     

基于协作表示残差融合的3维人脸识别

目的 针对2维人脸难以克服光照、表情、姿态等复杂问题,提出了一种基于协作表示残差融合的新算法.方法 协作表示分类算法是将所有类的训练图像一起协作构成字典,通过正则化最小二乘法代替1范数求解稀疏系数,减小了计算的复杂度,由此系数重构测试人脸,根据重构误差最小原则,对测试人脸正确分类.该方法首先在3维人脸深度图上提取Gabor特征和Geodesic特征,然后在协作表示算法的基础上融合两者的残差信息,作为最终差异性度量,最后根据融合残差最小原则,进行人脸识别.结果 在不同的训练样本、特征维数条件下,在CIS和Texas 2 个人脸数据库上,本文算法的识别率可分别达到94.545%和99.286%.与Gabor-CRC算法相比,本文算法的识别率平均高出了10%左右.结论 在实时成像系统采集的人脸库和Texas 3维人脸库上的实验结果表明,该方法对有无姿态、表情、遮挡等变化问题具有较好的鲁棒性和有效性.     

结合曲面局部纹理特征的3维人脸识别

目的 人脸2维图像反映出来的纹理并非是3维人脸曲面真实的纹理,并且受光照和妆容的影响很大,因此探索3维局部纹理特征对于人脸识别任务有着重要的意义。为此详细分析了一种新颖的3维局部纹理特征mesh-LBP对于人脸纹理的描述能力。方法 首先,在特征提取和识别任务之前,进行一系列的预处理：人脸分割、离群点移除和孔洞填补;接着,在预处理后的人脸曲面上,提取原始mesh-LBP特征,以及基于阈值化策略的3种改进特征：mesh-tLBP、mesh-MBP和mesh-LTP;然后,对于上述提取的4种特征,采用不同的统计方法,包括整体直方图、局部分块直方图和整体编码图像,用做人脸纹理的特征描述。最后,针对CASIA3D数据集中不同表情和姿态变化的人脸,采用余弦相似度进行人脸的识别任务。结果 通过对比人脸曲面和普通物体曲面的纹理特征,发现人脸纹理完全不同于普通纹理,不规则并且难以描述;通过对比mesh-LBP两种变体,发现mesh-LBP（α₁）适用于姿态变化,而mesh-LBP（α₂）适用于表情变化;通过对比原始mesh-LBP及其3种改进,发现mesh-tLBP对于人脸不同表情变化下的识别准确率最高有0.5%的提升;通过对比3种不同的统计方法,发现采用整体编码图像进行统计的特征尽管弱于局部分块直方图,但相比整体直方图,识别率在不同表情变化下最高有46.8%的提升。结论 mesh-LBP特征是一种优良的3维局部纹理特征,未来将会在3维医学处理、3维地形起伏检测以及3维人脸识别中得到更多的应用。     

基于侧面轮廓线和刚性区域的3维人脸识别

针对3维人脸识别问题,提出一种由粗到细的两步识别方法。首先结合几何约束与曲率信息定位特征点,根据特征点确定人脸对称面,提取人脸侧面轮廓线。利用轮廓线匹配作为排除算法,在识别初期迅速排除库集中不相似人脸以提高识别效率,剩余库集人脸采用一种具有表情鲁棒性的、基于区域的匹配方法进行识别,该方法自动切割人脸中受表情影响较小的刚性区域,并采用改进的迭代最近点算法对刚性区域进行匹配,为达到更好的识别精度,将各刚性区域的匹配结果采用加法规则融合。在3D_RMA人脸数据库的实验结果表明,该方法具有较好的实时性和鲁棒性。     

结合加权局部旋度模式的3维人脸表情识别

目的 3维人脸的表情信息不均匀地分布在五官及脸颊附近,对表情进行充分的描述和合理的权重分配是提升识别效果的重要途径。为提高3维人脸表情识别的准确率,提出了一种基于带权重局部旋度模式的3维人脸表情识别算法。方法 首先,为了提取具有较强表情分辨能力的特征,提出对3维人脸的旋度向量进行编码,获取局部旋度模式作为表情特征;然后,提出将ICNP（interactive closest normal points）算法与最小投影偏差算法结合,前者实现3维人脸子区域的不规则划分,划分得到的11个子区域保留了表情变化下面部五官和肌肉的完整性,后者根据各区域对表情识别的贡献大小为各区域的局部旋度模式特征分配权重;最后,带有权重的局部旋度模式特征被输入到分类器中实现表情识别。结果 基于BU-3DFE 3维人脸表情库对本文提出的局部旋度模式特征进行评估,结果表明其分辨能力较其他表情特征更强;基于BU-3DFE库进行表情识别实验,与其他3维人脸表情识别算法相比,本文算法取得了最高的平均识别率,达到89.67%,同时对易混淆的“悲伤”、“愤怒”和“厌恶”等表情的误判率也较低。结论 局部旋度模式特征对3维人脸的表情有较强的表征能力; ICNP算法与最小投影偏差算法的结合,能够实现区域的有效划分和权重的准确计算,有效提高特征对表情的识别能力。试验结果表明本文算法对3维人脸表情具有较高的识别率,并对易混淆的相似表情仍具有较好的识别效果。     

结合特征适配与拉普拉斯形变的3维人脸重建

目的 数字娱乐产业的发展要求3维人脸重建技术能重建高分辨率3维人脸,并具有较高计算效率和重建准确性。针对这一情况,提出一种基于单幅图像的高分辨率3维人脸重建方法。方法 该方法包含特征适配与拉普拉斯形变两部分。预先用1组3维人脸样本上的3维特征构造可变形模型。给定图像时,从其上自动提取2维特征点,并根据获得问题最优解的必要条件进行特征适配以重建个性化3维特征;然后基于拉普拉斯方法,用该3维特征对一般人脸模型进行变形以获得特定高分辨率3维人脸;最后通过纹理合成获得真实感人脸。结果 用本文方法和已有方法分别进行可变形模型适配和模型变形,本文的特征适配方法具有更快的收敛速度和更高的准确性,拉普拉斯方法具有更小的重建误差。纹理映射后的3维人脸具有很好的视觉效果。结论 本文方法将特征适配与拉普拉斯形变结合起来进行高分辨率3维人脸重建。实验结果表明所提出的方法具有较高的计算效率和准确性,能实现较为理想的高分辨率3维人脸重建。     

掩膜融合下的人脸图像质量评价方法

目的 人脸识别技术已经在众多领域中得到广泛应用,然而现有识别方法对于人脸图像的质量要求普遍较高,低质量图像会严重影响系统的识别性能,产生误判。人脸图像质量评价方法可用于高质量图像的筛选,对改善人脸识别系统的性能有重要作用。不同于传统的图像质量评价,人脸图像质量评价是一种可用性评价,目前对其研究较少。人们在进行人脸识别时往往主要通过眼睛、鼻子、嘴等关键区域;基于此,本文提出了一种基于掩膜的人脸图像质量无参考评价方法,通过挖掘脸部关键区域对人脸识别算法的影响计算人脸图像质量。方法 人脸识别方法通常需要比较输入人脸图像和高质量基准图像之间的特征相似度;本文从另一个角度出发,在输入人脸图像的基础上构造低可用性图像作为伪参考,并通过计算输入人脸图像和伪参考图像间的相似性获得输入人脸图像的质量评价分数。具体地,对一幅输入的人脸图像,首先对其关键区域添加掩膜获得低可用性质量的掩膜人脸图像,然后将输入图像和掩膜图像输入特征提取网络以获得人脸特征,最后计算特征间的距离获得输入人脸图像的质量分数。结果 用AOC(错误拒绝曲线围成的区域面积)作为评估指标,在5个数据集上将本文方法与其他主流的人脸质量评价方法进行了充分比较,在LFW(labeled faces in the wild)数据集中比性能第2的模型提升了14.8%,在CelebA(celebFaces attribute)数据集中提升了0.1%,在DDFace(diversified distortion face)数据集中提升了2.9%,在VGGFace2(Visual Geometry Group Face2)数据集中提升了3.7%,在CASIA-WebFace(Institute of Automation, Chinese Academy of Science-Website Face)数据集中提升了4.9%。结论 本文提出的基于掩膜的人脸图像质量评价方法,充分利用了人脸识别的关键性区域,将人脸识别的特点融入到人脸图像质量评价算法的设计中,能够在不需要参考图像的条件下准确预测出不同失真程度下的人脸图像质量分数,并且性能优于目前的主流方法。     

一种基于区域综合特征的彩色图像检索方法

提出了一种基于区域综合特征的彩色图像检索算法.该算法首先结合MPEG-7视觉内容描述对真彩色图像进行量化处理,并将量化后的图像划分成若干个子区域.然后选取子区域的主要颜色及其所占百分率作为颜色特征,选取子区域的熵、能量和对比度作为纹理特征.再综合利用上述颜色、纹理两个特征计算图像间内容的相似度,并进行彩色图像检索.仿真实验表明,该算法能够准确和高效地查找出用户所需内容的彩色图像,并且具有较好的查准率、查全率和较快的检索速度.     

结合像素模式和特征点模式的实时表情识别

目的 目前2D表情识别方法对于一些混淆性较高的表情识别率不高并且容易受到人脸姿态、光照变化的影响,利用RGBD摄像头Kinect获取人脸3D特征点数据,提出了一种结合像素2D特征和特征点3D特征的实时表情识别方法。方法 首先,利用3种经典的LBP（局部二值模式）、Gabor滤波器、HOG（方向梯度直方图）提取了人脸表情2D像素特征,由于2D像素特征对于人脸表情描述能力的局限性,进一步提取了人脸特征点之间的角度、距离、法向量3种3D表情特征,以对不同表情的变化情况进行更加细致地描述。为了提高算法对混淆性高的表情识别能力并增加鲁棒性,将2D像素特征和3D特征点特征分别训练了3组随机森林模型,通过对6组随机森林分类器的分类结果加权组合,得到最终的表情类别。结果 在3D表情数据集Face3D上验证算法对9种不同表情的识别效果,结果表明结合2D像素特征和3D特征点特征的方法有利于表情的识别,平均识别率达到了84.7%,高出近几年提出的最优方法4.5%,而且相比单独地2D、3D融合特征,平均识别率分别提高了3.0%和5.8%,同时对于混淆性较强的愤怒、悲伤、害怕等表情识别率均高于80%,实时性也达到了10~15帧/s。结论 该方法结合表情图像的2D像素特征和3D特征点特征,提高了算法对于人脸表情变化的描述能力,而且针对混淆性较强的表情分类,对多组随机森林分类器的分类结果加权平均,有效地降低了混淆性表情之间的干扰,提高了算法的鲁棒性。实验结果表明了该方法相比普通的2D特征、3D特征等对于表情的识别不仅具有一定的优越性,同时还能保证算法的实时性。     

基于奇异点邻域结构的三维人脸识别方法

提出一种新的基于奇异点邻域结构的三维人脸识别方法.首先,在人脸纹理图像上分割目标区域,划分特征子区域,提取二维奇异点和奇异点邻域结构;然后,在人脸空间几何信息上标记三维奇异点及其邻域结构,并以奇异点和奇异点邻域结构的三维信息表征人脸特征;最后,采用奇异点邻域结构最近点方法识别人脸身份信息.实验结果表明,所提出方法在三维人脸识别方面具有较高的识别准确率和较好的鲁棒性能.     

Building Three Dimensional Head Models

This paper proposes a camera-based real-time system for building a three dimensional (3D) human head model. The proposed system is first trained in a semi-automatic way to locate the user's facial area and is then used to build a 3D model based on the front and profile views of the user's face. This is achieved by directing the user to position his or her face and profile in a highlighted area, which is used to train a neural network to distinguish the background from the face. With a blink from the user, the system is then capable of accurately locating a set of characteristic feature points on the front and profile views of the face, which are used for the adaptation of a generic 3D face model. This adaptation procedure is initialized with a rigid transformation of the model aiming to minimize the distances of the 3D model feature nodes from the calculated 3D coordinates of the 2D feature points. Then, a nonrigid transformation ensures that the feature nodes are displaced optimally close to their exact calculated positions, dragging their neighbors in a way that deforms the facial model in a natural looking manner. A male hair model is created using a 3D ellipsoid, which is truncated and merged with the adapted face model. A cylindrical texture map is finally built from the two image views covering the whole area of the head by exploiting the inherent face symmetry. The final result is a complete, textured model of a specific person's head.     

二维Gabor特征与三维NP-3DHOG特征融合的人脸识别算法

基于二维图像的人脸识别算法提取人脸纹理特征进行识别,但是光照、表情、人脸姿态等会对其产生不利影响。三维人脸特征能更精确地描述人脸的几何结构,并且不易受化妆和光照的影响,但只采用三维人脸数据进行人脸识别又缺少人脸纹理信息,因此文中将二维人脸特征与三维人脸特征相融合进行人脸识别。采用基于Gabor变换的二维特征与基于新的分块策略的三维梯度直方图特征相融合的算法进行人脸识别。首先,提取二维人脸的Gabor特征;然后,提取三维人脸基于新的分块策略的三维梯度直方图特征,旨在提取人脸的可辨别性特征;接下来,对二维人脸特征与三维人脸特征分别使用线性判别分析子空间算法进行训练,并使用加法原则融合两种特征的相似度矩阵;最后,输出识别结果。     

一种自动鲁棒的三维人脸重建方法

三维人脸模型已经广泛应用到视频电话、视频会议、影视制作、电脑游戏、人脸识别等多个领域。目前三维人脸建模一般使用多幅图像，且要求表情中性。本文提出了基于正、侧面任意表情三维人脸重建方法。首先对二维图像中的人脸进行特征提取，然后基于三维人脸统计模型，通过缩放、平移、旋转等方法，及全局和局部匹配，获得特定的三维人脸。基于二维图像中的人脸纹理信息，通过纹理映射，获得完整的三维人脸。通过对大量实际二维人脸图像的三维人脸重建，证实了该方法的有效性和鲁棒性。     

基于多级纹理频谱特征与PCA的人脸识别算法

针对主成分分析(PCA)算法在人脸识别中识别率低的问题,提出一种图像纹理频谱特征与PCA相结合的人脸识别算法。该算法利用纹理单元算子提取人脸图像纹理频谱特征,然后用PCA对所提取的特征降维,最后利用最近邻(KNN)分类器进行人脸识别。在ORL人脸库和Yale人脸库上对所提出的算法进行了测试,识别率均高于PCA、模块化二维PCA(M2DPCA)等方法,分别为96.5%和95%。实验结果表明了该算法的有效性和准确性。