从多张非标定图像重建三维人脸

为了在人脸动画中方便地重建真实感强的三维人脸模型,提出一种从多角度、非标定图像重建三维人脸的方法.首先利用一种基于规则网格变形的模型归一化方法建立人脸形变模型;然后分别在5幅人脸图像上手动标注不超过14个关键点,通过拟合图像上的关键点重建个性化的人脸几何形状;最后从每个角度渲染出一幅形状无关纹理,并将5幅形状无关纹理融合成一幅平滑的纹理图像.重建结果显示,该方法能在较少的手动交互的情况下重建出具有真实感的个性化人脸模型.     

规整化人脸图像超分辨率重建的数值解法

提出了基于特征子空间规整化的人脸图像超分辨率重建（SRR）算法并给出了三种数值解法。在仿射变换运动模型下,将图像的四邻域插值方法拓展为图像的梯度场估计问题,推导出了待求高分辨率（HR）图像关于运动参数的雅科比矩阵;并根据对SRR代价函数的全微分和偏微分展开,将非线性的SRR问题转换为线性问题迭代求解,讨论了三种运动参数与HR图像的联合迭代估计算法。给出了SRR规整化参数的自适应计算方法以实现自动SRR。仿真结果证实：采用的人脸子空间规整化方法优于传统规整化方法（拉普拉斯、全变差）,尤其在低信噪比时可以获得良好的人脸图像SRR效果。     

基于单张人脸图像三维形状模型重建

在人脸图像识别优化的研究中,针对由单张人脸图像重建三维模型时对人脸图像姿态存在要求的问题,为了提高识别精度,提出基于单张人脸图像姿态预估计和主成分分析(PCA)的形状模型重建算法.首先由三维姿态估计方法得到人脸姿态,并建立人脸形状模型样本库,然后通过选取的特征点,利用主成分分析进行三维人脸形状模型的重构,最后利用径向基函数(RBF)变换和特征点坐标精确调整三维人脸形状模型,并进行仿真.仿真结果表明,重构的三维人脸形状模型效果良好,提高了精度,对有旋转姿态的人脸图像和特征点定位误差也有很好的鲁棒性.     

面向大姿态人脸识别的正面化形变场学习

目的 人脸识别已经得到了广泛应用,但大姿态人脸识别问题仍未完美解决。已有方法或提取姿态鲁棒特征,或进行人脸姿态的正面化。其中主流的人脸正面化方法包括2D回归生成和3D模型形变建模,前者能够生成相对自然真实的人脸,但会引入额外的噪声导致图像信息的扭曲;后者能够保持原始的人脸结构信息,但生成过程是基于物理模型的,不够自然灵活。为此,结合2D和3D方法的优势,本文提出了基于由粗到细形变场的人脸正面化方法。方法 该形变场由深度网络以2D回归方式学得,反映的是不同视角人脸图像像素之间的语义级对应关系,可以类3D的方式实现非正面人脸图像的正面化,因此该方法兼具了2D正面化方法的灵活性与3D正面化方法的保真性,且借鉴分步渐进的思路,本文提出了由粗到细的形变场学习框架,以获得更加准确鲁棒的形变场。结果 本文采用大姿态人脸识别实验来验证本文方法的有效性,在MultiPIE(multi pose, illumination, expressions)、LFW(labeled faces in the wild)、CFP(celebrities in frontal-profile in the wild)...     

基于最小扭曲变换的正面人脸图像合成

二维正面人脸图像在视频监控、人脸识别等领域有重要的实际意义,为此提出一种利用多幅非正面人脸图像自动合成正面人脸图像的算法.从多幅非正面人脸图像中选择扭曲形变最小的像素进行合成,并使用加权平均来平滑合成图像,从而使得合成的正面人脸图像尽可能自然.实验结果表明,该算法所合成的正面人脸图像可以十分有效地逼近真实正面人脸图像,在人脸识别中也可以有效地保持人脸图像的身份特征不变.     

基于网格变形的从图像重建三维人脸

从图像重建高质量三维人脸一直是计算机视觉和图形学的一个重要研究问题.不同于传统的基于立体匹配的窄基线多视几何和数据驱动的人脸形变方法,提出一种结合网格变形技术和立体视觉原理的、从图像重建高质量三维人脸模型方法.给定从不同视角拍摄的几幅人脸图像,基于健壮图像特征获得可靠的相机外部参数和稀疏三维点;在此基础上,提出一种结合几何细节保持和图像一致性约束的三维人脸变形算法重建三维人脸,通过对人脸模板的网格变形,使得变形人脸在多幅图像中的可见投影具有一致性的图像颜色强度.基于模板的人脸变形可以有效地解决三维模型成像中的遮挡问题,采用健壮估计法消除噪声、离群点和光照对目标函数收敛性的影响,对目标函数的多次非线性优化求解进一步改进了人脸重建的质量.采用合成人脸图像和真实人脸图像重建三维人脸的实验结果表明,文中算法可以从几幅宽基线图像重建高质量的三维人脸模型.     

基于单张图像的三维人脸重建

利用一种基于法线的模型变形方法,从单张图像重建高质量的三维人脸.利用球谐函数和一个初始参考模型计算得到模型上每个顶点的法线,利用法线使参考模型变形.实验结果表明:提出的算法可以从单幅图像重建具有细节的高质量三维人脸.     

基于单幅正面照片的三维人脸重建方法

三维人脸重建算法需要多张照片实现重建且重建效率低下。针对上述问题,提出一种利用单幅正面照片重建三维人脸的方法。采用薄板样条函数对数据库中的三维人脸确立点对点的对应关系,建立平均三维人脸模型,利用LMA算法优化形状系数以恢复其三维形状,人脸颜色纹理信息可通过垂直投影得到。实验结果表明,利用该方法重建得到的三维人脸逼真且时间效率高。     

分段仿射变换下基于泊松融合的正面人脸合成

针对目前正面人脸合成算法运算量大或合成图像失真较大的问题,提出一种基于分段仿射变换和泊松融合的正面人脸图像合成算法,将多幅输入图像用分段仿射变换（Piecewise Affine Warp,PAW）映射到正面人脸模板,并根据映射时产生的非刚性形变求得其对应的权重矩阵,进而获取每幅映射图像对应的变形掩膜,依次以这些映射图像为前景图像,以其对应的变形掩膜为泊松掩膜,并以上一次的融合图像为背景图像进行泊松融合,生成一幅平滑自然的正面人脸图像。实验结果表明,相比现有算法,该算法生成的正面人脸图像更加逼近真实正面人脸图像,而且很好地保留了输入人脸的个体信息。     

基于面部特征图对称的人脸正面化生成对抗网络算法

目前人脸正面化研究主要解决人脸偏转问题,而对监控视频等现实场景中同时受偏转和俯仰变化影响的侧脸的正面化生成关注较少,针对这个问题和多角度侧脸生成的正面人脸图存在身份信息保留不全的问题,提出了一种基于特征图对称模块和眼周特征保留损失的生成对抗网络（GAN）。首先,根据人脸对称性先验,提出特征图对称模块,先使用人脸关键点检测器检测出侧脸鼻尖点位置,再将编码器提取到的特征图依照鼻尖位置进行镜像对称,从而在特征层面上缓解面部信息缺失的问题。其次,借鉴眼周识别思想,在现有的生成图身份保留方法中加入了眼周特征保留损失以训练生成器生成逼真的且保留身份信息的人脸正面图像。实验结果表明,所提算法得到的生成图面部细节保留较好,且在CAS-PEAL-R1数据集的所有俯角下人脸的平均Rank-1识别率为99.03%,可见该算法能够有效解决多角度侧脸的正面化问题。     

Coarse-to-Fine Face Detection

We study visual selection: Detect and roughly localize all instances of a generic object class, such as a face, in a greyscale scene, measuring performance in terms of computation and false alarms. Our approach is sequential testing which is coarse-to-fine in both in the exploration of poses and the representation of objects. All the tests are binary and indicate the presence or absence of loose spatial arrangements of oriented edge fragments. Starting from training examples, we recursively find larger and larger arrangements which are decomposable, which implies the probability of an arrangement appearing on an object decays slowly with its size. Detection means finding a sufficient number of arrangements of each size along a decreasing sequence of pose cells. At the beginning, the tests are simple and universal, accommodating many poses simultaneously, but the false alarm rate is relatively high. Eventually, the tests are more discriminating, but also more complex and dedicated to specific poses. As a result, the spatial distribution of processing is highly skewed and detection is rapid, but at the expense of (isolated) false alarms which, presumably, could be eliminated with localized, more intensive, processing.     

融合多种几何特征的三维人脸识别算法

由于对光照、姿态变化的不敏感, 三维人脸识别算法已经受到人们的极大关注, 其中三维人脸特征的表示、获取以及多种表示特征的有效融合仍然是三维人脸识别的核心问题. 本文提出一种三维人脸识别方法, 该方法针对归一化的三维人脸数据, 选取人脸的曲面特征和描述人脸特征相互关系矩阵的主分量特征作为人脸表示特征, 给出了各特征的提取方法及同类特征的相似性度量, 进而提出了一种对各类特征进行加权融合的方法, 即通过分析不同特征的分类识别能力, 根据Fisher的线性判别准则, 以类内和类间特征相似度的均值差与类内和类间的散度平方和之比的大小作为该类特征权重, 在决策层为不同的特征赋予不同的权重. 最后, 基于公开发布的BJUT-3D三维人脸数据库进行了识别性能实验. 实验结果证明, 本文的特征融合方法比一般的加权策略有更好的识别性能．     

基于子空间分析的人脸识别算法

本文以人脸识别为目标,重点分析基于子空间分析的人脸特征提取技术.首先介绍人脸识别系统的构成,其次分析人脸识别的关键技术,如人脸检测、特征提取和图像预处理等,重点分析人脸识别的各种算法,根据小波在对图像数据矩阵的处理的高效性,以及LDA训练样本维数少的缺陷,PCA不能利用数据的高阶统计特性,本文将这三种算法进行融合,并用MATLAB进行仿真实验,实验证明该方法的有效性.     

单灰度图像中眼睛定位的人脸位置矫正算法

人脸位置的矫正作为人脸检测定位的一个环节，在计算机人脸识别中具有重要的意义。本文提出了一种基于单人脸灰度图像中眼睛定位的人脸位置矫正方法，用居中度使图像小块居中，用匹配度求取适些小图像块中的两块眼睛的小块，再在小范围内对鼻子、嘴巴部分进行水平灰度投影，然后进行扶正。实验结果表明，该方法对于双眼可见单人脸灰度图像能实现快速有效矫正，并能在矫正结果中精确给出双眼瞳孔位置。     

基于三维模型和仿射对应原理的人脸姿态估计方法

该文提出了一种基于人脸三维模型和仿射对应原理从单目视频图像序列中估计人脸空间姿态的方法．其主要思想是利用人脸的三维模型生成特征点正面平行投影,并估算输入帧和该正面平行投影之间的仿射变换参数,然后根据圆一椭圆之间的仿射对应关系得到描述人脸空间姿态的6个参数(3个旋转分量,3个平移分量)的粗略估计值,最后通过基于ICP(Iterative Closest Points：反复最近点)算法的优化迭代过程得到精确值．对石膏像和真实人脸进行的实验结果表明该算法能在较大的姿态变化范围内实现精确的人脸姿态估计．     

基于决策级的多源人脸融合识别

仅依赖于可见光谱进行人脸识别,在实际应用中存在很多问题。目前的研究表明,红外人脸识别也可以作为一种很好的生物鉴定技术。但是,红外图像也有自己的缺陷,其中眼镜的存在对识别的影响很大。文章提出了一种对可见光和红外人脸进行融合识别的方法。首先用PCA提取人脸主分量,计算测试样本与各类的欧氏距离,并通过构造的转换函数获得子决策;然后在决策级用D-S证据理论对子决策进行融合,得到最优决策。实验结果表明,该方法有效地提高了识别率。     

基于语义自适应编码的汉-越伪平行句对抽取方法

伪平行句对抽取是缓解汉-越低资源机器翻译中数据稀缺问题的关键任务,同时也是提升机器翻译性能的重要手段。传统的伪平行句对抽取方法都是基于语义相似性度量,但是传统基于深度学习框架的语义表征方法没有考虑不同词语语义表征的难易程度,因此导致句子语义信息不充分,提取到的句子质量不高,噪声比较大。针对此问题,该文提出了一个双向长短期记忆网络加语义自适应编码的语义表征网络框架,根据句子中单词表征难易的不确定性,引导模型使用更深层次的计算。具体思路为: 首先,对汉语和越南语句子进行编码,基于句子中单词语义表征的难易程度,自适应地进行表征,深度挖掘句子中不同单词的语义信息,实现对汉语和越南语句子的深度表征;然后,在解码端将深度表征的向量映射到统一的公共语义空间中,最大化表示句子之间的语义相似度,从而提取更高质量的汉-越伪平行句子。实验结果表明,相比于基线模型,该文提出的方法在F₁得分上提升5.09%,同时将提取到的句子对用于训练机器翻译模型,实验结果表明翻译性能的显著提升。     

基于正弦变换的人脸姿态校正及识别研究

姿态变化是影响人脸识别率的一个至关重要的因素,也是人脸识别问题中一个待解决的难题。当测试样本具有一定的姿态变化后,识别率会急剧下降。针对此问题,提出了利用正弦变换（Sine Transform,ST）对待识别的姿态图像进行姿态校正,虚拟出对应的正面人脸的方法。使用经典算法进行特征提取、最近邻分类器进行分类识别验证,得到了较好的结果。在FERET人脸库上的实验表明,该方法能够在一定程度上克服姿态变化的影响,平均识别率最高可提高17%。     

混合样本融合边缘信息的单样本人脸识别研究

在进行人脸识别的时候,训练样本数量对识别率的大小影响非常大,由于存储技术和训练样本采集困难等诸多条件的限制,如何利用一幅人脸有用的信息尽可能地生成并包含更多的人脸信息成为了学术界的难点。针对该问题,提出一种按不同权值将原始图像和虚拟样本混合后再融合其人脸不同灰度值的边缘信息,构成新的训练样本。首先将原始样本灰度处理后生成轴对称图像和镜像图像,按不同权值混合。再提取混合后的边缘信息按不同灰度值与混合后的图像融合。使单幅人脸图像包含更多的特征信息。实验结果表明,混合权值之和大于1并且融合其边缘信息后生成的训练样本,相比原始样本信息的人脸识别率能提升2%~12%,表明该方法能有效地提高人脸识别率。