人体运动的函数数据分析与合成

在许多虚拟现实的应用中,虚拟人作为人在计算机中的表示,是提高其交互能力和沉浸感的重要因素之一.然而,对于虚拟人建模而言,合成逼真、可控的虚拟人运动仍然是具有挑战性的课题.为此,提出了一种基于函数数据分析的人体运动合成方法.通过对一组样本运动进行函数主成分分析,构建出一个由特征运动构成的低维函数子空间.该低维子空间不仅能够有效地刻画样本序列内在的变化规律,而且也为有目的的运动合成提供了方法.在该空间中,通过控制各特征运动的系数即可合成出逼真、平滑的运动序列.该合成过程没有耗时的计算,因此能够满足各种实时应用     

基于运动捕捉数据的虚拟人建模及运动仿真

虚拟人运动具有深远的理论价值及广阔的应用前景.但是因为运动形式多样导致动特性复杂,计算难度大,现有的虚拟人运动仿真系统很难同时保证仿真的实时性和真实性.根据快速发展的运动捕捉技术,为解决上述问题,采用一个虚拟人运动仿真系统.首先建立既计算简单又显示逼真的虚拟人模型,可根据运动捕捉数据对虚拟人模型进行仿真.实验结果表明,方法可以在保证时间复杂度的基础上逼真地运用运动捕捉数据驱动虚拟的运动.经实验证明,虚拟人运动仿真方法,可以应用于智能人机交互领域中.     

通过语义控制改进运动合成

运动相似性度量是基于运动图的人体运动合成技术的关键.现有方法主要使用运动捕捉数据姿态数值特征进行相似性度量与合成控制,很难处理语义描述上同类型运动数据集中的不同运动实现版本间的时间与空间特征分布变化的问题.提出了引入用户语义控制来改进基于运动图的人体运动合成方法.使用关系特征作为高层语义描述,刻画同类型运动的空间变化特征;通过自学习过程,获得运动类模板,作为同类型运动的空-时特征语义描述;通过将运动类模板数据与人体运动序列文件进行匹配,实现运动类型识别和自动语义信息标注;借助关系特征语义描述及运动序列文件的语义标注信息,实现在基于运动图的运动合成中引入用户直观的高层语义控制.运动合成实验结果显示了该方法的有效性,为获得高质量人体运动合成数据提供途径.     

基于骨骼的三维虚拟人运动合成方法研究

针对虚拟人运动合成中建立的人体模型存在复杂化、合成的虚拟人运动序列逼真度差的问题,提出了一种基于骨骼的虚拟人运动合成方法。在分析人体结构的基础上,通过三维图形软件获取人体骨骼数据,构建虚拟人体的骨骼模型。另外,将关键帧四元数球面插值算法与时间和空间变形方法相结合,生成多样化的虚拟人运动序列。实验结果验证了该方法的有效性。     

基于深度神经网络的语音驱动发音器官的运动合成

实现一种基于深度神经网络的语音驱动发音器官运动合成的方法,并应用于语音驱动虚拟说话人动画合成. 通过深度神经网络(Deep neural networks, DNN)学习声学特征与发音器官位置信息之间的映射关系,系统根据输入的语音数据估计发音器官的运动轨迹,并将其体现在一个三维虚拟人上面. 首先,在一系列参数下对比人工神经网络(Artificial neural network, ANN)和DNN的实验结果,得到最优网络; 其次,设置不同上下文声学特征长度并调整隐层单元数,获取最佳长度; 最后,选取最优网络结构,由DNN 输出的发音器官运动轨迹信息控制发音器官运动合成,实现虚拟人动画. 实验证明,本文所实现的动画合成方法高效逼真.     

虚拟人食指肌肉控制及运动约束研究

基于生理解剖结构,建立了虚拟人食指肌肉控制机制,通过控制多条肌肉收缩,实现了单指多关节灵活运动。同时针对传统模型单指运动控制较为独立,缺乏约束而导致不够真实的情况,研究了运动中双指间促进和制约的关系,提出了运动约束关系图。该图能够同时描述单指及双指的运动空间及其非线性约束关系,并刻画出实际不可到达区域。实验表明,所建立的控制机制能较好地仿真出食指的灵活运动,利用约束关系图能够保证手部仿真运动符合生理特征,具有较好的真实感和自然性。     

虚拟人在队列训练模拟器中的应用

随着仿真和虚拟现实技术的发展,虚拟人技术由理论研究逐渐走向实际应用,在医学、军事、航天、体育、艺术等领域发挥越来越重要的作用.然而,由于人体外形和运动的复杂性,对人类自身完美地模拟还十分困难.以队列训练模拟器为背景,重点研究了系统中虚拟人的几何和运动控制建模.根据军事队列训练的目标和要求,采用分层虚拟人表示方法,建立了具有树形结构的人体几何模型;应用基于视频的运动捕捉技术和运动学方法,控制虚拟人的行为动作;以齐步走为例,给出了仿真结果.仿真和实验结果表明,所建立的人体几何模型逼真可信,基于视频的运动捕捉和运动学结合的运动控制方法有效、逼真地对虚拟人进行了控制.     

基于VRML的中国手语三维显示

手语合成的目的是由计算机自动生成文本句子对应的手语，是智能人机接口研究的一个极具挑战性的课题。手语显示是手语合成过程中非常关键的一步，其任务是在文本句子转换为手语码后，将手语码逼真地显示成虚拟人手语运动。介绍了研究中国手语合成时提出的一种基于VRML的三维虚拟人姿态显示方法和连续中国聋人手语显示方法。该方法不仅可以显示逼真的虚拟人合成手语，而且具有很好的通用性，为网络环境中实现不同人体模型的手语表达与传输打下了基础。     

基于关键姿态分析的运动图自动构建

高结点聚合运动图(snap together motion graph, STM graph)是刻画虚拟角色运动序列关系的一种结构化运动图.其特点是图中每个结点都包含多条与之相连的边,能够实现对虚拟角色的灵活控制.然而现有的高结点聚合运动图构建方法存在手工标注任务繁重、关键姿态提取结果不准确等问题.针对上述问题,提出了一种基于关键姿态分析的运动图自动构建新方法:通过维度约简和非参数密度估计分析样本数据的概率密度,获得一组关键姿态;然后通过分割获得运动片段,最后构建高结点聚合运动图.该方法不仅提高了关键姿态的提取精度,减少了构图过程的主观因素,同时提高了对虚拟角色控制的灵活性.实验结果表明了该方法的有效性.     

虚拟人运动中受扰的平衡保持算法

为了更加真实且实时地模拟运动中虚拟人恢复平衡的反应动作,提出一种针对受到外界作用力扰动的虚拟人平衡保持算法.首先通过虚拟人质心位移和速度来判断平衡性;然后借助生物力学的研究成果设计了具有人体特性的虚拟人运动受扰后的平衡保持方法,并用动力学进行模拟,驱动虚拟人完成平衡恢复.实验结果表明:该算法计算效率高,符合人体的生物力学特性,并且具有良好的交互性与较好的视觉效果,适用于虚拟人动画合成.     

Human Motion Synthesis with Optimization‐based Graphs

Continuous constrained optimization is a powerful tool for synthesizing novel human motion segments that are short. Graph‐based motion synthesis methods such as motion graphs and move trees are popular ways to synthesize long motions by playing back a sequence of existing motion segments. However, motion graphs only support transitions between similar frames, and move trees only support transitions between the end of one motion segment and the start of another. In this paper, we introduce an optimization‐based graph that combines continuous constrained optimization with graph‐based motion synthesis. The constrained optimization is used to create a vast number of complex realistic‐looking transitions in the graph. The graph can then be used to synthesize long motions with non‐trivial transitions that for example allow the character to switch its behavior abruptly while retaining motion naturalness. We also propose to build this graph semi‐autonomously by requiring a user to classify generated transitions as acceptable or not and explicitly minimizing the amount of required classifications. This process guarantees the quality consistency of the optimization‐based graph at the cost of limited user involvement.     

基于可变形运动模型的多角色语义化运动合成

对于一个完整的虚拟环境而言,智能的人群运动会使其更为生动、逼真。针对人群运动数据存在维度高、可控性差的问题,提出一种多角色可变形运动模型,其将人体运动分解为几何与时间变化两部分,并使用PCA算法进行有效降维,构建可变形运动模型的低维语义空间。实验结果表明,提出的方法能根据语义需求调节语义参数,实现多角色的语义化运动分析与合成。     

基于约束物理系统和运动捕捉的人体运动仿真

为了能在基于PC平台的虚拟现实中实现更具真实感的人体运动仿真,该文提出一种改进的约束求解方法,将人体建模为基于约束关节树的骨骼结构。约束模型的求解采用基于线性互补问题的求解方法,同时结合相应的运动捕捉数据。实验结果表明,该方法所获得的运动数据不仅能满足交互式要求的帧速率,而且由于算法基于人体运动捕捉原始数据,使得虚拟人体与环境进行实时交互运动的过程更加真实。仿真结果以每帧的三维图像表示,可以形象地显示每秒60帧的人体运动。     

Motion planning for humanoid robots based on virtual constraints extracted from recorded human movements

In the field of robotics there is a great interest in developing strategies and algorithms to reproduce human-like behavior. In this paper, we consider motion planning for humanoid robots based on the concept of virtual holonomic constraints. At first, recorded kinematic data of particular human motions are analyzed in order to extract consistent geometric relations among various joint angles defining the instantaneous postures. Second, a simplified human body representation leads to dynamics of an underactuated mechanical system with parameters based on anthropometric data. Motion planning for humanoid robots of similar structure can be carried out by considering solutions of reduced dynamics obtained by imposing the virtual holonomic constraints that are found in human movements. The relevance of such a reduced mathematical model in accordance with the real human motions under study is shown. Since the virtual constraints must be imposed on the robot dynamics by feedback control, the design procedure for a suitable controller is briefly discussed.     

Statistics-based Motion Synthesis for Social Conversations

Plausible conversations among characters are required to generate the ambiance of social settings such as a restaurant, hotel lobby, or cocktail party. In this paper, we propose a motion synthesis technique that can rapidly generate animated motion for characters engaged in two-party conversations. Our system synthesizes gestures and other body motions for dyadic conversations that synchronize with novel input audio clips. Human conversations feature many different forms of coordination and synchronization. For example, speakers use hand gestures to emphasize important points, and listeners often nod in agreement or acknowledgment. To achieve the desired degree of realism, our method first constructs a motion graph that preserves the statistics of a database of recorded conversations performed by a pair of actors. This graph is then used to search for a motion sequence that respects three forms of audio-motion coordination in human conversations: coordination to phonemic clause, listener response, and partner's hesitation pause. We assess the quality of the generated animations through a user study that compares them to the originally recorded motion and evaluate the effects of each type of audio-motion coordination via ablation studies.     

基于相对形变模型及正则化技术的人体运动估计

为了使根据人体行走的单目动态图象序列，对人体手臂及腿部的运动及结构参数进行估计的结果更为可信、更具鲁棒性，提出了一种基于相对形变模型及正则化技术的人体运动估计方法，该方法首先在物体中心坐标的运动表示方式下，通过在刚体运动模型中加入形变系数的方法给出了基于相对形变概念的非刚体运动模型；然后，根据这一非刚体运动模型进行正则化运动及结构参数的估计，再以正则化的形式融入人体运动的先验知识，使运动估计的结果更具鲁棒性，实验结果证明，该方法有效地反映了人体的非刚体运动模式，运动模型中所加入的相对形变系数也一定程度反映了人体的运动规律。     

基于单目视频运动跟踪的三维人体动画

针对传统人体动画制作成本高、人体运动受捕获设备限制等缺陷,提出了一种基于单目视频运动跟踪的三维人体动画方法。首先给出了系统实现框架,然后采用比例正交投影模型及人体骨架模型来恢复关节的三维坐标,关节的旋转欧拉角由逆运动学计算得到,最后采用H-anim标准对人体建模,由关节欧拉角驱动虚拟人产生三维人体动画。实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于人体动画制作领域。     

模板化的人体运动合成

为解决现有运动合成方法中控制方式过于复杂的问题,提出一种模板化的运动合成模型,旨在降低运动合成技术的应用门槛.利用稀疏主成分分析(Sparse principal component analysis, SPCA)、Group lasso和Exclusive group lasso对人体运动进行建模,使其对应的每一个低维参数只依赖于少数几个人体关节,构成人体运动的一个内在自由度(Degree of freedom, DOF),并具有直观语义;同时,每个关节被尽量少的低维参数所控制,以减少低维参数对彼此所控制的自由度的交叉影响.实验表明,通过直观地修改低维参数,就能够实时地控制每个参数对应的摆臂幅度、踢腿高度、跳跃距离等运动属性.这种模板学习、模板定制的两步方法,有效地降低了运动合成控制的复杂度,即便非专业人员也可以用其进行艺术创作.     

基于视觉的增强现实运动跟踪算法

增强现实系统不仅具有虚拟现实的特点同时具有虚实结合的新特性，为实现虚拟物体与真实物体间的完善结合，必须实时地动态跟踪摄像与真实物体间的相对位置和方向，建立观测模,墼是而通过动态三维显示技术迅速地将虚拟物体添加到真实物体之上，然而目前大多数增强现实系统的注册对象均匀静物体，运动物体的注册跟踪尚很少有人涉足。该算法通过标志点的光流场估计真实环境中运动物体的运动参数，根据透视投影原理和刚体的运动特性确定摄像机与运动物体间的相对位置和方向，实现增强现实系统的运动目标跟踪注册。该算法构架简单、实时性强，易于实现，扩展了增强现实系统的应用范围。