基于Kinect的人体姿态估计优化和动画生成

为了生成更准确流畅的虚拟人动画,采用Kinect设备捕获三维人体姿态数据的同时,使用单目人体三维姿态估计算法对Kinect的彩色信息进行骨骼点数据推理,从而实时优化人体姿态估计效果,并驱动虚拟人物模型生成动画。首先,提出了一种时空优化的骨骼点数据处理方法,以提高单目估计人体三维姿态的稳定性;其次,提出了一种Kinect和遮挡鲁棒姿势图（ORPM）算法融合的人体姿态估计方法来解决Kinect的遮挡问题;最后,研制了基于四元数向量插值和逆向运动学约束的虚拟人动画系统,其能够进行运动仿真和实时动画生成。与仅利用Kinect捕获人体运动来生成动画的方法相比,所提方法的人体姿态估计数据鲁棒性更强,具备一定的防遮挡能力,而与基于ORPM算法的动画生成方法相比,所提方法生成的动画在帧率上提高了两倍,效果更真实流畅。     

一种无标记的身体与面部运动同步捕获方法

提供了一个无标记点的身体与面部运动同步捕获的方法.利用经过时间同步和空间标定的长焦彩色相机和Kinect相机来进行同步捕获.利用在环境中加入闪光来进行时间同步,使用张氏标定法进行空间标定,从而组成一组时间同步且空间对齐的混合相机（hybrid camera）.然后利用Kinect fusion扫描用户的人体模型并嵌入骨骼.最后利用时间和空间都对齐好的两个相机来进行同步采集.首先从深度图像中得到人脸的平移参考值,然后在平移参考值的帮助下根据彩色图像的2D特征点重建人脸.随后,把彩色图像中得到的头部姿态传递给身体捕获结果.结果对比实验和用户调研实验均表明所提出的运动捕获的结果要好于单个的运动捕获结果.     

基于加权混合融合变形的虚拟人情感表达

随着相关技术的发展,基于虚拟现实的人机交互技术越来越受到人们的关注。虚拟人作为一种直观的交互对象,在虚拟现实环境中扮演着十分重要的角色。在构建富有亲和力的虚拟人的过程中,制作虚拟人情感表达不可或缺。目前,主流的三维虚拟人情感表达主要依赖设计师手动制作面部表情动画,过程冗长,耗时费力。针对上述问题,该研究提出一种基于加权混合融合变形的虚拟人情感表达生成方法。该方法可以基于任意给定人脸表情图像,估计出三维虚拟人的目标混合形状(blendshape)的系数,进而自动化生成三维人类表情动画。实验结果表明,该方法具有较强的通用性和可迁移性,可有效减轻设计师制作情感表达面部动画时的工作量。     

具有真实感的情绪化虚拟人研究*

针对现有的虚拟说话人面部表情比较单一,表情和动作不能很好的协同问题,提出了一种建立具有真实感的情绪化虚拟人的方法。该方法首先利用三参数产生,保持和消退来对动态面部表情进行仿真,采用融合变形技术合成复杂的表情,然后以人类心理学的统计数据为依据来对眼部和头部动作进行设计,使虚拟人看起来更加逼真,最后分析了外在条件相机位置、光照对增加虚拟人真实感的影响。实验结果表明,该方法建立的虚拟人不仅逼真自然且富有感情,而且语音、动态面部表情、眼动和头动达到了很好的协调同步。     

一种具有逼真效果的虚拟人动画生成方法

针对传统的虚拟人动画逼真度低、动画生成复杂、且动画存在飘移现象的问题,提出了一种基于视频关键帧获取运动数据的虚拟人动画生成方法。首先利用线性混合蒙皮算法建立了新的人体几何模型;其次利用正向运动学方法驱动虚拟人的骨骼模型,并利用平移补偿原则消除虚拟人运动中的飘移现象;最终实现了基于双目正交视觉获取关节运动参数的虚拟人动画。实验结果表明,新方法能逼真地模拟真实人体动作,且方法易于实现、实用性强。     

结合个性化建模和深度数据的三维人体姿态估计

利用深度传感器估计三维人体姿态是计算机视觉领域的一个重要问题,在人机交互、虚拟现实和动画设计等领域有重要的应用价值.针对该问题的主流方法是自底向上的方法,这类方法一般采用分类、回归或检索技术,可以直接从深度数据中估计三维肢体姿态,在人机交互中得到了很广泛的应用.但是这类方法依赖于大规模的姿态数据库,而且结果不够精确.本文提出一种结合个性化人体建模和深度数据的三维姿态估计方法,首先对运动对象建立三维虚拟人模型,然后利用该个性化的虚拟人模型与深度数据之间的点匹配关系构造姿态优化的目标函数,通过迭代优化目标函数,估计出与深度数据相吻合的三维姿态.与传统方法相比,本文方法不需要任何姿态数据库.实验表明,本文方法得到的结果更加精确.     

基于人脸表情特征的情感交互系统*

设计了一套基于人脸表情特征的情感交互系统(情感虚拟人),关键技术分别为情感识别、情感计算、情感合成与输出三个方面。情感识别部分首先采用特征块的方法对面部静态表情图形进行预处理,然后利用二维主元分析(2DPCA)提取特征,最后利用多级量子神经网络分类器实现七类表情识别分类;在情感计算部分建立了隐马尔可夫情感模型(HMM),并且用改进的遗传算法估计模型中的参数;在情感合成与输出阶段,首先采用NURBS曲面和面片相结合的算法,建立人脸三维网格模型,然后采用关键帧技术,实现了符合人类行为规律的连续表情动画。最后完成了基于人脸表情特征的情感交互系统的设计。     

单张照片输入的人脸动画系统

人脸动画不仅包括表情的变化,同时涉及眼睛和头部的动作.为了方便、逼真地生成这些丰富的动画效果,提出一个基于单张照片的人脸动画系统.首先利用梯度场修改的方法将样本表情映射到输入人脸上,为了避免样本人脸上斑点等非表情信息的映射,采取WLS算子对样本表情进行滤波;然后对输入图像的眼睛部分进行纹理合成处理,利用合成的眼球和眼白纹理来生成眼睛的动作;最后借助一个3D人脸模型来实现输入图像头部姿态的改变.实验结果表明,该系统能够实时地生成逼真、自然的动画效果.     

基于单目视频运动跟踪的三维人体动画

针对传统人体动画制作成本高、人体运动受捕获设备限制等缺陷,提出了一种基于单目视频运动跟踪的三维人体动画方法。首先给出了系统实现框架,然后采用比例正交投影模型及人体骨架模型来恢复关节的三维坐标,关节的旋转欧拉角由逆运动学计算得到,最后采用H-anim标准对人体建模,由关节欧拉角驱动虚拟人产生三维人体动画。实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于人体动画制作领域。     

优化LeNet-5网络的多角度头部姿态估计方法

针对在受到部分遮挡或角度过大无法定位面部关键特征点的情况下,传统的头部姿态估计方法的准确率低或无法进行头部姿态估计的问题,提出了优化LeNet-5网络的多角度头部姿态估计方法。首先,通过对卷积神经网络（CNN）的深度、卷积核大小等进行优化来更好地捕捉图像的全局特征;然后,改进池化层,用卷积操作代替池化操作来增强网络的非线性能力;最后,引入AdaBound优化器,并利用Softmax回归模型做姿态分类训练。训练中在自建数据集中增加遮挡头发、做出夸张表情和佩戴眼镜等动作来增强网络的泛化能力。实验结果表明,所提方法不需要定位面部关键特征点,在光照阴影、头发等遮挡情况下也可以实现抬头、低头、偏头等多角度转动下的头部姿态估计,在Pointing04公共数据集和CAS-PEAL-R1公共数据集上准确率达到了98.7%,运行速度平均在每秒22~29帧。     

真实感虚拟人脸的实现和应用

实现了一个交互式人脸建膜和动画的工具，用户可以很容易从一个人的正面和侧面的照片构造出头部的三维模型，并在这个模型上实现特定人脸的表情和动画，同时可以进行口型和声音的同步。基于以上技术，实现了一个虚拟人脸的动画组件，可以应用于WINDOWS应用系统中，给用户提供更加新颖和友好的局面。     

视频序列中基于头肩分割的人体位姿估计算法

当前常用3维重构的方法表示和计算视频中的人体位姿,但由于这些方法通常需要多个摄像头,不仅限制条件多,且计算复杂度高,为此,提出了一种基于头肩分割的人体位姿估计算法。该算法首先对视频中的人体进行头肩定位;然后利用人体头部的平面成像特点计算头部位姿,同时利用人体肩部的轮廓变化特点计算躯干位姿;最后结合头部和躯干的位姿估计运动中的人体位姿。实验结果证明,该算法是有效和优越的。     

从正面侧照片合成三维人脸

实现了一具交互式人脸建模和动画的工具,用户可以从一个人正面和侧面的照片构造了出头部的三维模型,并基于这个模型实现特定表情和简单的动画。详细阐述在系统实现过程中应用到的人脸几何表示,一般人脸变化到特定人脸、弹性网格、肌肉模型、全视角巾图、表情提取等技术。     

张量描述下的多姿态多表情人脸合成方法

为了从一幅人脸图像中合成出该人脸其他姿态和表情下的图像,提出了一种基于张量子空间的多姿态人脸表情合成方法。首先,用标记过特征点的人脸图像集构造四维纹理特征张量和形状张量;其次,通过张量分解得到核张量以及各维的投影子空间(人物标识、表情、姿态、特征维);最后应用核张量以及表情、姿态子空间构造新的张量用于姿态、表情的合成,在合成新人脸图像的时候充分利用了影响人脸的各因素间的内在关系。实验结果表明,所提方法可以利用一张已知表情和姿态的人脸图合成出自然合理的其他姿态表情下的该人脸图像。     

融合时序特征约束与联合优化的 点云3维人体姿态序列估计

目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果 在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision,mAP)比对比方法分别高0.99%、13.18%和17.96%。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03%。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。     

Vision-based short range interaction between a personal service robot and a user

Interaction between a personal service robot and a human user is contingent on being aware of the posture and facial expression of users in the home environment. In this work, we propose algorithms to robustly and efficiently track the head, facial gestures, and the upper body movements of a user. The face processing module consists of 3D head pose estimation, modeling nonrigid facial deformations, and expression recognition. Thus, it can detect and track the face, and classify expressions under various poses, which is the key for human–robot interaction. For body pose tracking, we develop an efficient algorithm based on bottom-up techniques to search in a tree-structured 2D articulated body model, and identify multiple pose candidates to represent the state of current body configuration. We validate these face and body modules in varying experiments with different datasets, and the experimental results are reported. The implementation of both modules can run in real-time, which meets the requirement for real-world human–robot interaction task. These two modules have been ported onto a real robot platform by the Electronics and Telecommunications Research Institute.