虚拟特定人脸的表情合成技术

通过对一般人脸网格的变形和纹理映射，使得虚拟人脸与真实人脸达到了形似；通过对人脸面部肌肉分布的研究，运用肌肉驱动技术合成了人脸的表情，使得虚拟人脸与真实人脸达到神似；从而合成了具有真实感的形神兼备的虚拟人脸。     

人脸表情的形变线性拟合方法

提出了用于人脸表情合成的形变线性拟合方法. 该方法利用人脸图像形变模型线性组合逼近的基本思想, 确定合成表情图像的形状信息和纹理信息, 其步骤简单, 容易实现. 该方法能有效地从中性表情人脸图像合成出具有表情的图像, 并且得到的人脸表情自然、逼真、具有说服力. 更为重要的是, 该方法能从闭着嘴的中性表情人脸图像合成出具有张开嘴露出牙齿效果的人脸表情图像, 克服了当前大多数人脸表情合成方法不能实现这一效果的不足.     

张量描述下的多姿态多表情人脸合成方法

为了从一幅人脸图像中合成出该人脸其他姿态和表情下的图像,提出了一种基于张量子空间的多姿态人脸表情合成方法。首先,用标记过特征点的人脸图像集构造四维纹理特征张量和形状张量;其次,通过张量分解得到核张量以及各维的投影子空间(人物标识、表情、姿态、特征维);最后应用核张量以及表情、姿态子空间构造新的张量用于姿态、表情的合成,在合成新人脸图像的时候充分利用了影响人脸的各因素间的内在关系。实验结果表明,所提方法可以利用一张已知表情和姿态的人脸图合成出自然合理的其他姿态表情下的该人脸图像。     

基于最小扭曲变换的正面人脸图像合成

二维正面人脸图像在视频监控、人脸识别等领域有重要的实际意义,为此提出一种利用多幅非正面人脸图像自动合成正面人脸图像的算法.从多幅非正面人脸图像中选择扭曲形变最小的像素进行合成,并使用加权平均来平滑合成图像,从而使得合成的正面人脸图像尽可能自然.实验结果表明,该算法所合成的正面人脸图像可以十分有效地逼近真实正面人脸图像,在人脸识别中也可以有效地保持人脸图像的身份特征不变.     

正面人脸图像合成方法综述

随着多视角人脸识别技术需求的不断增长,正面人脸图像合成成了热门的研究课题.然而,从侧面人脸图像准确地合成出正面人脸是一个典型的逆向问题,具有较大的挑战性.对目前正脸图像合成方法进行了系统总结,介绍了几种典型的合成策略,并对这些方法按原理分成了基于图形学的方法和基于统计学习的方法两类分别进行研究.此外,还从算法复杂性、鲁棒性,以及图像合成效果等方面对现有正面人脸图像合成算法进行了对比研究,给出了未来可能的研究方向.     

多表情源的人脸表情合成技术

提出了基于一个局部约束偏移和相对偏移技术的图像变形方法，用于人脸表情合成．该方法可以自动克服目前表情合成方法的非特征区域的形变，并与脸型外观相匹配．在此基础上，提出了基于多表情源的人脸表情合成技术．从人脸图像划分出三个主要表现表情的区域，并对每个区域根据多个表情源的加权平均的相对偏移量进行图像局部变形，最后利用加权平均的表情比图像加强表情．实验结果表明，用该方法得到的人脸表情自然逼真，更为重要的是，通过调节权向量的取值，可以取得不同模式的表情，丰富了表情表现的内涵．     

人脸合成技术综述

人脸合成由于其应用与技术价值,是机器视觉领域的热点之一,而近年来深度学习的突破性进展使该领域吸引了更多关注.将该领域的研究分为四个子类:人脸身份合成、人脸动作合成、人脸属性合成与人脸生成,并系统地总结了这些子类的发展历程、现状,以及现有技术存在的问题.首先针对人脸身份合成,从图形学、数字图像处理与深度学习三个角度总结了各自的合成流程,对关键技术原理进行了详细的解释与分析.其次将人脸动作合成进一步分为利用标签驱动的表情编辑与利用真实人脸驱动的人脸重演,并指出了各自领域中存在的缺陷与难题.然后介绍了基于生成模型,尤其是生成对抗网络在人脸属性合成方面的发展,最终对人脸生成的各类工作进行了简单的阐述.此外,介绍了人脸合成技术的实际应用与当前面临的相关问题,并展望了该领域未来可能的研究方向.     

去除人脸图像中眼镜的方法

人脸图像的校正是人脸识别相关技术的前提性工作之一.眼镜作为一种常见的干扰物对识别结果有着重要的影响.针对该问题,提出了一种去除眼镜的面部图像校正方法.首先对无眼镜的一组人脸样本集进行训练,然后通过主成分分析法对输入的带眼镜的人脸图像进行重构,再按照原始图像的灰度特征对重构出的图像进行处理,最后合成为不带眼镜的人脸图像.实验结果表明,该算法易于实现,合成效果比较自然,有利于后续的处理过程.     

虚拟人合成研究进展

虚拟人是人在计算机生成空间(虚拟环境)中的几何特性与行为特性的表示.虚拟人合成研究的内容主要包括逼真人体模型与逼真人体运动行为.文中介绍了人体建模方法、人体运动行为生成方法的发展过程,给出了基于实例的人体建模与人体运动行为建模的研究进展,以及这些研究成果的应用例子,最后列举了几个前沿研究问题.     

基于语音驱动的三维人脸动画技术综述

随着三维数字虚拟人的发展, 语音驱动三维人脸动画技术已经成为虚拟人交互的重要研究热点之一. 其关键技术在于语音-视觉映射模型的建立以及三维人脸动画的合成. 首先分析了音-视素匹配法和音-视觉参数映射两类方法的特点; 之后阐述了目前三维人脸模型的建立方法, 并依据三维人脸模型的表示方法不同, 分析了不同运动控制方法的优缺点; 然后阐述了语音驱动三维人脸动画的主观评价和客观评价方法; 最后总结了语音驱动三维人脸动画技术的未来发展方向.     

BP4D-Spontaneous: a high-resolution spontaneous 3D dynamic facial expression database

Facial expression is central to human experience. Its efficiency and valid measurement are challenges that automated facial image analysis seeks to address. Most publically available databases are limited to 2D static images or video of posed facial behavior. Because posed and un-posed (aka “spontaneous”) facial expressions differ along several dimensions including complexity and timing, well-annotated video of un-posed facial behavior is needed. Moreover, because the face is a three-dimensional deformable object, 2D video may be insufficient, and therefore 3D video archives are required. We present a newly developed 3D video database of spontaneous facial expressions in a diverse group of young adults. Well-validated emotion inductions were used to elicit expressions of emotion and paralinguistic communication. Frame-level ground-truth for facial actions was obtained using the Facial Action Coding System. Facial features were tracked in both 2D and 3D domains. To the best of our knowledge, this new database is the first of its kind for the public. The work promotes the exploration of 3D spatiotemporal features in subtle facial expression, better understanding of the relation between pose and motion dynamics in facial action units, and deeper understanding of naturally occurring facial action.     

基于VRML的中国手语三维显示

手语合成的目的是由计算机自动生成文本句子对应的手语，是智能人机接口研究的一个极具挑战性的课题。手语显示是手语合成过程中非常关键的一步，其任务是在文本句子转换为手语码后，将手语码逼真地显示成虚拟人手语运动。介绍了研究中国手语合成时提出的一种基于VRML的三维虚拟人姿态显示方法和连续中国聋人手语显示方法。该方法不仅可以显示逼真的虚拟人合成手语，而且具有很好的通用性，为网络环境中实现不同人体模型的手语表达与传输打下了基础。     

面向复杂场景的人物视觉理解技术

面向复杂场景的人物视觉理解技术能够提升社会智能化协作效率,加速社会治理智能化进程,并在服务人类社会的经济活动、建设智慧城市等方面展现出巨大活力,具有重大的社会效益和经济价值。人物视觉理解技术主要包括实时人物识别、个体行为分析与群体交互理解、人机协同学习、表情与语音情感识别和知识引导下视觉理解等,当环境处于复杂场景中,特别是考虑“人物—行为—场景”整体关联的视觉表达与理解,相关问题的研究更具有挑战性。其中,大规模复杂场景实时人物识别主要集中在人脸检测、人物特征理解以及场景分析等,是复杂场景下人物视觉理解技术的重要研究基础;个体行为分析与群体交互理解主要集中在视频行人重识别、视频动作识别、视频问答和视频对话等,是视觉理解的关键行为组成部分;同时,在个体行为分析和群体交互理解中,形成综合利用知识与先验的机器学习模式,包含视觉问答对话、视觉语言导航两个重点研究方向;情感的识别与合成主要集中在人脸表情识别、语音情感识别与合成以及知识引导下视觉分析等方面,是情感交互的核心技术。本文围绕上述核心关键技术,阐述复杂场景下人物视觉理解领域的研究热点与应用场景,总结国内外相关成果与进展,展望该领域的前沿技术与发展趋势。     

拟人Agent面部运动模型研究

提出一种用于人脸生理解剖的拟人Agent面部运动模型。将拟人Agent的面部分解为脸、嘴、眼、下巴、舌和头,根据面部辐射肌和口轮匝肌等肌肉的运动特点,通过肌肉变形,推导出控制面部运动的特征参数和辅助参数,由此提出多维的面部运动形式化描述方法。实验结果表明,该方法能精确控制面部的连续运动,准确描述面部表情。     

基于关键点表示的语音驱动说话人脸视频生成

针对现有语音生成说话人脸视频方法忽略说话人头部运动的问题,提出基于关键点表示的语音驱动说话人脸视频生成方法.分别利用人脸的面部轮廓关键点和唇部关键点表示说话人的头部运动信息和唇部运动信息,通过并行多分支网络将输入语音转换到人脸关键点,通过连续的唇部关键点和头部关键点序列及模板图像最终生成面部人脸视频.定量和定性实验表明,文中方法能合成清晰、自然、带有头部动作的说话人脸视频,性能指标较优.     

基于模型的头部运动估计和面部图像合成

文中讨论一种基于模型的头部运动估计和面部图像合成方法。首先建立了一个基于人脸几何模型的可变形三维面部模型,此模型可根据不同人脸图像特征修正特定人脸模型。为了使特定人脸模型与特定人脸图像相匹配,需根据变形模型修正人脸模型。文中采用自动调整与人机交互相结合的方法实现特定人脸模型匹配。在调整完模型形状之后,应用３个方向的面部图像进行纹理映射生成不同视点方向的面部图像。应用合成面部图像与输入面部图像最佳匹     

基于人脸表情特征的情感交互系统*

设计了一套基于人脸表情特征的情感交互系统(情感虚拟人),关键技术分别为情感识别、情感计算、情感合成与输出三个方面。情感识别部分首先采用特征块的方法对面部静态表情图形进行预处理,然后利用二维主元分析(2DPCA)提取特征,最后利用多级量子神经网络分类器实现七类表情识别分类;在情感计算部分建立了隐马尔可夫情感模型(HMM),并且用改进的遗传算法估计模型中的参数;在情感合成与输出阶段,首先采用NURBS曲面和面片相结合的算法,建立人脸三维网格模型,然后采用关键帧技术,实现了符合人类行为规律的连续表情动画。最后完成了基于人脸表情特征的情感交互系统的设计。     

工效虚拟人研究的最新进展

产品的人机工程设计是考虑到其未来操作者的生理、心理因素,应用工效学的理论与方法去解决如何方便使用、降低操作失误问题,以达到人与机器完美地结合.因此,工效虚拟人是产品人机交互设计与评价仿真中必不町少的技术手段.首先对其目前有关工效虚拟人的建模、运动控制、面部行为合成以及疲劳表达等方面的研究内容进行详细地分析.在此基础上,针对应用需求,论述了工效虚拟人的疲劳判定、动作规划等未来研究方向,最后,认为研究疲劳状态的判定经验方程,可作为工效虚拟人疲劳状态的判据.结合面部特征点的运动规律,实现面部疲劳表情显示.     

一种快速、鲁棒的唇动检测与定位方法

提出了一种利用唇色在彩色空间分布信息和唇在人脸区域的几何分布特性进行快速、鲁棒的唇动检测与定位的方法。在该方法中,首先提出采用有约束的Fisher变换进行嘴唇图像增强;然后利用嘴唇在人脸区域的几何分布特性,来提高唇动定位的速度和准确性,唇动定位主要利用两种几何分布特性：（1）利用唇的区域面积和人脸的区域面积比值变化范围不大这一特性自适应确定区分唇色和肤色的值。（2）利用外唇参数与内唇参数之间有近似线性关系的假设,用外唇参数预测内唇参数,克服内唇定位经常陷于局部最小、定位不准的缺陷。实验证明,该唇动检测与定位系统无论从速度还是从可靠性、准确性都能满足应用的要求。     

文本驱动的唇动合成系统

国内在汉语拼音到口型的变换方面还没有相应的研究，本文根据汉语拼音的构成及发音时唇动变动特点，首先定义了一个基本口型集，其中包括６种基本口型，再根据该基本口型集，衍生一个韵母口型库，使每一个汉字在发音时都对应着相应的口型，文本驱动的唇动系统的功能为对于任意输入文本，系统均可将该输入文本切分析的单独的汉字并对应到三维虚拟人脸的语音变化中去。本系统的实现在聋哑人辅助教学，提高聋哑人与正常人之间日常交流方