基于单目RGB摄像机的三维人脸表情跟踪算法

利用单目摄像机对人脸表情进行三维跟踪有两个关键问题,一是从单幅图像中重建人脸的三维模型,二是建立不同三维模型之间稠密的对应关系。针对上述问题,提出一种有效的三维人脸表情跟踪算法。对输入的各帧人脸图像进行自动特征点检测,并根据2D特征点,利用Multilinear Model重建不同表情的三维模型。通过将三维模型重投影至图像空间,计算各帧图像间的Optic Flow与Sift Flow对应。根据图像间的对应关系,利用Laplacian网格变形对三维模型进行修正,建立不同表情之间三维的稠密对应。试验表明,该方法可以重建出较为真实的三维人脸表情模型,同时可以精确跟踪连续变化的三维表情序列。     

一种用于三维人脸重建的快速稠密视差图生成方法

口腔数字化是口腔临床发展的重要方向,三维颅颌面部结构数字化重建是其重点环节。为此,文章提出一种用于三维人脸重建的稠密视差快速求解的方法。该方法对校准后的图像进行初始匹配,构建强对应点点集,再对点集内的点进行三角剖分,并分配初始视差,逐步求精生成稠密视差。该方法加入强匹配对应点,减少了匹配二义性的产生,同时有效克服了因使用全局能量函数优化方法而易陷于局部最小值的缺点。实验结果显示,该方法匹配速度快、精度高,能满足三维人脸重建的实际应用需求。     

基于正交图像生成人脸模型的合成分析方法

针对采用现有基于图像的人脸建模方法生成的三维人脸模型存在的人工性缺陷问题,提出了一种基于合成分析方法的个性化三维人脸建模方法.利用合成方法由两幅正交人脸图像生成一个初始三维人脸模型,比较基于颜色直方图方法合成的人脸图像纹理与输入图像纹理的差异,根据纹理差异来指导对人脸网格的局部自适应细分,不断调整合成的三维人脸模型,从而更好地保持了人脸的精细细节特征.实验结果表明,使用该细分反馈算法,可以减少模型的人工性缺陷,在整体上提高了合成人脸模型纹理的真实感.     

基于高斯肤色模型和图像分割的人脸检测

提出了一种基于HSV、YCgCr颜色空间和图像区域分割的人脸检测方法.首先,将规范化的rgb肤色转化到HSV、YCgCr颜色空间,对向量（H,Cg,Cr）T进行统计,得到肤色的三维高斯概率模型.然后,根据该模型计算待检图像的肤色相似概率,采用最大类间方差的方法计算二值化阈值,根据阈值将相似度图像二值化.为了抵消人脸区域亮度变化和阴影的影响,以二值图像为模板,在原待检图像的饱和图中根据3像素×3像素区域的平均R、G值进行图像区域分割.在分割得到的区域中,根据人脸特征检测出图像中的人脸.实验表明,提出的方法能在复杂背景的情况下检测出人脸图像.     

结合年龄监督和人脸先验的语音-人脸图像重建

针对语音-人脸图像重建方法缺乏来自不同维度的监督约束及未利用人脸先验信息,导致生成图像和真实图像相似度不高的问题,提出结合年龄监督和人脸先验信息的语音-人脸图像重建方法. 通过预训练的年龄评估模型为当前数据集扩充年龄数据,弥补来自年龄监督信息的缺乏. 通过语音-人脸图像跨模态身份匹配方法,为给定语音检索接近真实人脸的面部图像,将得到的图像作为人脸先验信息使用. 该方法通过定义结合交叉熵损失和对抗损失的联合损失函数,从年龄感、低频内容和局部纹理等方面均衡提升重建图像质量. 基于数据集Voxceleb 1,通过人脸检索实验的方式进行测试,与当前主流方法进行比较和分析. 结果表明,该方法能有效提升生成图像与真实图像的相似度,所生成的图像具有更好的主客观评价结果.     

非均匀光照图像的自适应阈值分割

针对非均匀光照图像产生的例如高光区域、阴影区域和不规则的边缘区域等问题,提出一种基于非均匀光照图像的自适应阈值分割方法,利用图像的局部区域阈值和动态微调值来实现目标与背景的分离。实验结果验证该方法能够快速有效地将前景和背景分割出来,并提取出有效的目标信息。     

彩色图像中的正面人脸检测的研究

提出了彩色图像中一种人脸检测方法.该方法利用肤色模型分割出彩色图像中的肤色区域,并将同一幅图片用不同的肤色模型分割后的图像进行融合,这样能较好地获取肤色区域.将彩色图像中的肤色区域转换为灰度分布图,用正面人脸的结构规则筛选出肤色区域中的人脸区域.结果表明:该方法能快速地较为准确地定位彩色图像中的正面、小角度偏侧的人脸.     

基于深度三维形变的单张3D人脸重建算法

三维形变模型(3DMM)作为人脸重建的重要方式,在3D建模、图像合成等领域有着广泛的应用.由于受训练数据类型、数量以及主成分等因素影响,3DMM存在过约束的现象,不能提供足够的灵活性来表示高频变形.本文将三维形变模型嵌入到深度神经网络中,为提升3D人脸重建的表示能力提供了新的思路.为了提升网络学习效率,本文构设了一种双通路神经网络,实现了在全局路径和局部路径之间的平衡.通过在学习目标和网络结构两方面改进非线性3DMM,提出了一种比线性或以往的非线性模型更能捕捉到更高层次细节的模型.算法对比与仿真实验表明,本文算法在3D人脸重建上的归一化平均误差更低,所生成的3D人脸模型鲁棒性好、重构准确,实现了较好的3D人脸重建性能.     

一种兼容于MPEG-4的三维人脸动画

为了生成真实感的三维人脸动画,提出了一种新的兼容于MPEG-4的人脸动画方法.采用基于均匀网格重采样和网格简化相结合的方法对齐原型三维人脸,并在三维模型上定位FDP和FAP控制点,建立兼容于MPEG-4的人脸动画模型,根据已知的人脸动画定义表构建适合于该方法提出的三维模型的人脸动画定义表.实验结果表明,该人脸动画方法可根据一幅给定的人脸图像自动重建特定人的三维人脸,并根据FAP参数序列驱动模型,生成真实感较好的人脸动画图像.     

基于肤色模型和重心模板的人脸检测

为了获得具有较高检测率并保持较低误检率的快速人脸检测,提出了一种基于知识的人脸检测方法．在人脸粗检中用肤色模型分割出输入图像中的人脸可能区域,并对这些区域进行重心模板匹配过滤出非人脸区域．利用人脸的生理分布特征设计出一种动态的人脸三分图分布模型,并以不同条件下的大量人脸图像样本作为统计数据建立了一个人脸规则知识库,用来判定过滤后的区域是否为人脸．实验结果表明,该方法具有很好的鲁棒性,能快速检测出不同光照、不同大小和有一定旋转角度的人脸．     

由粗到精的三维人脸稀疏重建方法

针对传统三维人脸重建算法精度不高的问题,提出一种由粗到精的三维人脸稀疏重建方法。根据稀疏形变模型方法对待重建人脸的部分区域显著点进行重建,得到第1步重建结果,并在此基础上进行后续重建。将第1步的重建结果作为新的参考模型,求取待重建人脸与参考模型的特征点的坐标投影距离,从而求取参考模型的形变因子,完成最终三维人脸的重建。由于两步稀疏重建的作用不同,对重建过程中参数的选取也采用不同方式。实验结果表明,该方法能有效提高人脸重建精度,同时保持较快的重建速度。     

由LeNet-5从单张着装图像重建三维人体

提出基于LeNet-5的从单张着装图像恢复人体三维形状的方法,建立着装人体正面轮廓和人体形状空间之间的映射模型,实现了高效、精确的三维人体建模,可以应用于对人体表面形状精度要求较高的场合,如虚拟试衣. 基于PGA在流型空间上对公开的三维人体数据集进行数据扩增,给虚拟人体进行着装,构建着装人体数据库. 从着装人体正面投影图像中提取信息,以人体形状参数及正、侧面轮廓信息为约束,基于LeNet-5完成三维人体重建. 实验证明,对于身穿不同款式服装的人,采用的模型通常都能从单张着装图像中重建得到较高精度的三维人体模型.     

一种基于三维深度数据的脸部特征检测方法

提出了一种表征曲面上某点局部形状的新方法--曲率符号分布形状描述子（CurSignTration）。根据高斯曲率和平均曲率的符号确定曲面上点的形状分类，对某点邻域内所有点的形状按编码进行统计，将统计结果归一化后得到的直方图作为该点的CurSignTration。CurSignTration描述了三维深度图像中某点邻域的形状分布状况，对给定的三维深度数据点建立了一种除坐标之外的特征信息。这种表征方法对平移、旋转及镜像变换具有不变性。结合基于外观的人脸特征检测方法，用CurSignTration可以对人脸的三维深度图像进行姿态不变的脸部特征检测。对15张三维深度人脸图像的特征点检测结果表明了CurSignTration的有效性。     

采用后验信息构建稀疏原子库的超分辨率人脸重建

为了提高监控噪声环境下人脸图像的重建质量,提出基于后验信息的鲁棒性原子库构建方法及基于该原子库的超分辨率的方法,通过事后采集现场图像,训练只对输入图像的清晰内容稀疏而对噪声内容不稀疏的低维原子集和与之相对应的高维原子集,计算低维空间的稀疏系数并映射到高维空间以合成出重建人脸图像,从而提高基于稀疏表示的局部脸超分辨率对于监控噪声的鲁棒性.实验结果表明:对于实际拍摄的监控图像输入,提出的基于后验信息的原子库具有很好的鲁棒性能,重建结果比传统方法有更好的主观效果.     

基于多视点图像的人脸表面光场重构

为了实现任意新视点下三维人脸模型的绘制,针对三维人脸模型数据的特殊性,提出一种借助一般三维人脸模型基于稀疏多视点图像重建特定人脸表面光场的方法,该方法改进了Laplacian网格变形技术,实现了一般人脸三维模型到多视点图像中特定人脸三维模型的变形,避免了直接扫描人脸模型的操作复杂、模型粗糙、数据量大等缺点。最后,通过任意视点下人脸模型绘制验证了基于多视点图像重构获得的人脸表面光场数据的有效性。     

基于纹理映射的医学图像三维重建

提出了一种基于纹理映射的体绘制算法,提高了图像的重建效率,增强了图像的重建效果。算法实现了对二维医学图像序列的三维重建,在目前通用的个人计算机上可以以近似实时的速度重建出高质量的三维图像。针对算法中存在的问题提出了两种不同的改进方法,取得了较好的效果。结合纹理生成的过程和纹理重采样的过程,对重建后的三维图像实现了交互切割的算法。     

Face recognition using SIFT features under 3D meshes

Expression, occlusion, and pose variations are three main challenges for 3D face recognition. A novel method is presented to address 3D face recognition using scale-invariant feature transform(SIFT) features on 3D meshes. After preprocessing, shape index extrema on the 3D facial surface are selected as keypoints in the difference scale space and the unstable keypoints are removed after two screening steps. Then, a local coordinate system for each keypoint is established by principal component analysis(PCA).Next, two local geometric features are extracted around each keypoint through the local coordinate system. Additionally, the features are augmented by the symmetrization according to the approximate left-right symmetry in human face. The proposed method is evaluated on the Bosphorus, BU-3DFE, and Gavab databases, respectively. Good results are achieved on these three datasets. As a result, the proposed method proves robust to facial expression variations, partial external occlusions and large pose changes.