基于三维模型与Gabor小波的人脸特征点跟踪方法

为了实现人脸特征点跟踪系统的鲁棒性和精确性,使用光束平差法模型将基于三维人脸几何模型的跟踪方法与基于Gabor小波的特征点跟踪方法结合起来,提出基于三维模型与Gabor小波的人脸特征点跟踪方法.该方法使用基于Gabor小波的特征跟踪方法来得到每帧的初始特征点,使用基于三维人脸几何模型的整合优化跟踪方法来得到每帧的最终特征点.与3类典型人脸特征点跟踪方法的对比实验结果表明,该方法克服了以往方法基于二维图像信息来寻找特征点的局限性,可以实现鲁棒的、实时的、大角度的人脸特征点跟踪.     

基于递归双对抗网络模型的人脸表情生成

针对目前表情生成网络中存在的人脸表情失真、不同帧间图像明暗差异明显的问题,提出一种基于递归双对抗网络模型的人脸表情生成框架。首先通过提取深度人脸特征并生成表情特征图,将其作为监督信号,生成人脸表情种子图像;然后使用生成的种子图像和原始目标人脸一起作为输入,生成特征保持图像,作为当前帧的输出,同时该特征保持图像也作为下一帧种子图像生成的输入;最后,将种子图像生成网络和特征保持图像生成网络递归进行下一帧图像的生成,多次递归得到与原始输入表情一致的特征保持人脸表情视频序列。在CK+和MMI数据库上的实验结果表明,提出的方法能够生成清晰自然的人脸表情视频帧,且在目标人脸形状和驱动的表情特征图像有较大形状差异时具有鲁棒性。     

基于帧间差分与静态特征相结合的人脸跟踪方法

简述了近年来主要的人脸跟踪方法,提出一种基于帧间差分与静态特征相结合的人脸跟踪算法。算法利用视频图像的运动信息做帧间差分确定人脸搜索的矩形区域,利用肤色模型提取肤色区域,通过积分投影确定人脸的椭圆范围,并对矩形范围内图像做边缘提取、膨胀等处理,通过水平积分投影获得人脸特征曲线,并通过特征曲线验证椭圆范围内是否存在人脸,实现人脸自动跟踪。     

基于主动外观模型的人脸合成技术

针对现有人脸表情合成中真实性欠佳或速度较慢的问题,提出了一种鲁棒的人脸表情合成方法。通过改进的主动外观模型(AAM)方法,对输入图像中人脸上的指定特征点进行自动检测跟踪,并以特征点为基础对人脸进行Delaunay三角分割、对齐和变形,在不同的人脸中建立有效的对应关系。通过图形计算器(GPU),对匹配的输入人脸和目标人脸进行加权渲染,得到新的人脸表情.为了提高人脸表情合成质量,采用色彩调整和边界过渡的操作,降低了不同人脸融合时带来的差异性.实验结果表明,与传统方法相比,该算法在计算速度上有较大的提高,在渲染效果上更加真实.     

基于注册和多尺度表观模型的三维头部跟踪

针对人体大范围运动下的头部姿态跟踪问题,提出一种基于尺度不变特征变换（SIFT）局部描述符注册和多尺度表观模型的三维头部姿态跟踪方法.基于SIFT局部描述符的注册算法通过在两帧灰度图像间进行特征点匹配计算两帧间的头部运动,在两帧人脸图像的尺度有一定变化时仍可得到精确结果.多尺度视角表观模型可以减少大范围跟踪时的误差累积,该模型在线选取具有不同头部姿态的关键帧,并通过多次注册的方法来减少当前帧的误差累积.实验结果表明,该方法不仅跟踪结果准确（均方根（RMS）误差为4 °）,而且在人体前后运动约1 m和头部进出摄像机视角情况下均很鲁棒.     

三维人脸的非均匀重采样对齐算法

为了用尽量少的网格点和面片数表示对齐后的三维人脸,基于分片的网格重采样思想,通过分析每片的曲率高低自动确定各片的网格稠密度,得到非均匀的网格结构,实现了不同三维人脸数据间点到点的一一对齐.实验结果表明:与以往的对齐算法相比,此方法不仅可以大大减少表示人脸的网格点数目,还可以较好地保持人脸的形状和外观特征;使用非均匀重采样做对齐后的三维人脸库建立的人脸模型进行人脸重建,比使用均匀重采样得到的人脸模型在重建速度上有了很大提高.     

表情数据驱动三维人脸模型方法

提出了一种利用面部表情数据驱动三维人脸模型中骨骼特征点运动的方法.首先,利用面部表情捕捉设备对面部特征点进行采集,并使用XML格式对面部表情捕捉数据进行描述;然后将采集到的面部特征点与人脸模型中骨骼特征点进行映射配对;最后,使用面向对象图形渲染引擎演示面部表情,从而实现使用面部表情数据驱动三维人脸模型.方法验证实验的过程和结果表明了提出方法的有效性.     

一种用于三维人脸重建的快速稠密视差图生成方法

口腔数字化是口腔临床发展的重要方向,三维颅颌面部结构数字化重建是其重点环节。为此,文章提出一种用于三维人脸重建的稠密视差快速求解的方法。该方法对校准后的图像进行初始匹配,构建强对应点点集,再对点集内的点进行三角剖分,并分配初始视差,逐步求精生成稠密视差。该方法加入强匹配对应点,减少了匹配二义性的产生,同时有效克服了因使用全局能量函数优化方法而易陷于局部最小值的缺点。实验结果显示,该方法匹配速度快、精度高,能满足三维人脸重建的实际应用需求。     

基于人工智能技术的人脸图像局部细节信息识别研究

为了提高人脸图像局部细节信息识别能力,提出基于人工智能技术的人脸图像局部细节信息识别方法.提取不同表情下的人脸图像,结合多区域融合聚类分析方法进行不同表情下的人脸动态特征提取,建立人脸图像的边缘轮廓特征检测模型;采用相似度特征分析方法进行不同表情下人脸图像的鲁棒性重构;提取不同表情下人脸图像的模糊度辨识特征信息,通过多...     

基于Semi-Supervised LLE的人脸表情识别方法

目的 为提取有效的鉴别特征和降低鉴别向量的维数来识别人脸表情图像.方法 将流行学习(Manifold leaming,ML)和半监督学习(Semi-Supervised leaming,SSL)结合起来,利用人脸表情图像数据本身的非线性流形结构信息和部分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提取低维鉴别特征用于人脸表情识别.结果 该方法 能充分利用数据的结构信息和有限的标签信息,使具有标签信息的同类样本之间的距离最小化,不同类数据之间的距离最大化,进而可以有效地提取数据的低维鉴别子流形,使得分类性能要优于非监督的雏数约简方法 .结论 笔者提出的半监督局部线性嵌入算法能有效地提高人脸表情识别的性能.     

Radial-curve-based facial expression recognition

A fully automatic facial-expression recognition (FER) system on 3D expression mesh models was proposed. The system didn't need human interaction from the feature extraction stage till the facial expression classification stage. The features extracted from a 3D expression mesh model were a bunch of radial facial curves to represent the spatial deformation of the geometry features on human face. Each facial curve was a surface line on the 3D face mesh model, begun from the nose tip and ended at the boundary of the previously trimmed 3D face points cloud. Then Euclid distance was employed to calculate the difference between facial curves extracted from the neutral face and each face with different expressions of one person as feature. By employing support vector machine (SVM) as classifier, the experimental results on the well-known 3D-BUFE dataset indicate that the proposed system could better classify the six prototypical facial expressions than state-of-art algorithms.     

一种边缘二进制码的表情识别方法

针对如何从图像中提取有效的表情特征来提高表情识别率的问题,提出了一种基于边缘二进制码的表情特征提取方法,用于表情识别.该方法首先对图像进行边缘检测,然后对边缘的局部结构进行二进制码描述作为表情特征,最后利用支持向量机进行表情分类.在JAFFE人脸表情数据库上,分别用该方法和传统的方法进行试验,结果表明,该方法可显著提高表情识别率.     

基于数据融合的表情识别

本文为了解决表情识别中单一数据所包含人脸表情信息不全面的问题,融合了图像与标记点数据;针对传统模式识别方法中手动提取特征的复杂性,采用了神经网络框架,从而实现特征的自动提取。本文算法以人脸表情的图像与标记点数据为基础,以神经网络为框架,采用稀疏自动编码器对网络进行预训练,实现了网络的稀疏连接,另外,在网络权值更新过程中结合了结构化正则项（Structured Regularization）,限制了不同数据与隐层神经元的连接。实验表明：图像与标记点数据的融合更全面地表达了人脸表情信息;稀疏自动编码器和结构化正则项的运用能更有效的提取关键特征并使神经网络自动分析不同输入数据在表情识别中所起到的作用强弱。     

3维大脑核磁共振图像隐私信息剔除方法

在神经影像研究中,患者的面部特征有时可以通过三维表面重建技术从影像中复原,这使患者身份隐私信息泄漏存在潜在可能。为了解决这一问题,文中提出一种自动化面部特征剔除算法,从海量多模态大脑核磁共振影像数据中自动剔除患者身份相关的面部特征信息。该方法基于一种新提出的多分辨分层特征向量匹配方法来准确定位三维影像中的解剖学点标记,并通这种匹配方法从多模态磁共振影像中确定患者面部特征相关的解剖结构的空间位置,并以此估计出一个最优三维剔除平面来剔除病人面部特征信息。最后,通过实验验证了该方法的有用性和可靠性。     

基于特征点跟踪的面部表情强度度量

提出了一种基于特征点跟踪的面部表情强度度量方法.该方法在L-K光流算法的基础上,应用修正特征点跟踪提取面部特征信息,通过非线性降维从高维特征点轨迹中抽区一维的表情强度,最后使用SVM建立表情模型和强度模型,对高兴表情进行强度等级的归类.针对高兴表情进行实验,引入表情强度等级作为衡量标准,实验结果证明了该方法的有效性.     

基于LBP层次特征的表情识别算法

提出了一种基于LBP层次特征提取的表情识别算法.将图像分成许多子块,并从子块中提取面部运动单元信息来组成基于面部运动单元的表情成分特征,对人脸图像的眼睛和口部作粗定位.采用局部二值模式(LBP)的层次特征提取法,对图像进行分块操作,求出每个子块的LBP直方图,然后将基于整体特征得到的LBP直方图与基于局部特征得到的LBP直方图连接起来,作为整幅图像的LBP直方图.将层次特征提取法所提取的LBP直方图作为嵌入式隐马尔可夫模型(EHMM)的初始向量,即形成观察序列.对JAFFE人脸库中的7种基本表情进行了测试,结果表明该方法能有效提高表情识别率.     

动画制作中面部关键点的表情捕捉技术

提出了一种在动画制作领域中的面部表情捕捉方法。该方法仅使用普通彩色摄像头进行视频采集,通过图像处理及模式识别等方法对视频的每一帧图像进行处理,识别图像中演员面部关键点(眉毛、眼睛、嘴巴等)及其物理坐标。通过将这些关键点与已做好的动画角色相关联,从而实时获得演员的面部表情并体现在动画角色中。该方法具有设备简单、实时性高等特点,能够显著提高动画制作的效率。