人体运动捕捉及运动控制的研究

在论述了几种方式的人体运动捕捉的基础上,介绍了光学运动捕捉的关键技术,包括摄像机标定、标记点跟踪和三维重建技术。无标记点的运动捕捉是新兴的技术,它将捕获的图像进行分割并分析,然后用多种约束算法进行三维重建。基于运动捕捉的人体运动控制相关文献很少,文中列举了现有各种应用运动捕捉数据的方式,包括基于关键帧、运动学和物理模型等的应用。论文对运动捕捉及运动控制技术进行了总结,可为此领域的研究提供有用的信息。     

一种光学式运动捕捉系统下的物体运动数据捕捉方法研究

多相机视觉运动捕捉系统能通过捕捉标记点的空间坐标来获得运动物体的运动学参数,文中提出了一种基于多相机运动捕捉系统下的通用物体运动数据捕捉方法;首先根据3个标记点组成固定模型获取物体运动过程中对应标记点的瞬时坐标,然后通过向量法求解出被测物体在运动过程中各采集点对应的物体位姿,然后通过卡尔曼滤波方法消除运动捕捉过程中的系统和环境误差的影响,获得平滑的物体位姿运动轨迹,并根据滤波数据计算出物体在各采集点对应的速度、加速度、角速度、角加速度;最后基于协作机器人进行物体的运动数据捕捉实验,验证了所提出物体运动数据捕捉方法的正确性。     

结合模糊聚类和投影近似点算法的缺失人体运动捕捉数据重构EI北大核心CSCD

针对人体运动捕捉数据缺失问题,提出一种结合模糊聚类和投影近似点算法的缺失数据重构恢复方法.首先对不完整运动序列矩阵的缺失数据位置进行线性插值预处理,粗略补全矩阵以得到较完整的运动序列;然后利用模糊C-均值算法将粗略恢复后的复杂人体运动数据细分为含有多个不同语义运动片段的时序组合;再根据相同运动语义片段数据矩阵存在低秩特性,对细分后相应的各原始运动子片段采取投影近似点算法进行缺失数据恢复,并按照运动片段的时序特性进行组合;最后将原有未缺失数据与其相应位置重构恢复后的数据进行置换,根据人体运动轨迹的局部线性特性进行线性平滑,以保证运动序列的连贯性,从而达到对整体运动捕捉数据重构恢复目的.实验结果表明,该方法能够有效地对缺失运动数据进行恢复,使得重构后的运动序列能够较好地逼近于真实运动轨迹,准确度较高.     

基于惯性测量系统的人体运动捕捉技术

通过对人体运动捕捉技术的研究,引入对偶四元数姿态变换方法,利用惯性姿态测量系统捕捉手臂关节的运动角速度、运动加速度、运动轨迹等信息。结合惯性传感器捕捉的人体肢体段的运动学参数,建立虚拟人体棒状骨架模型,实时驱动虚拟人手臂运动。实验结果表明,对偶四元数变换的方法结合了四元数旋转和对偶数平移的特点,避免了在大角度下欧拉角产生的奇异现象;对比图像捕捉系统,惯性运动捕捉系统能够方便获得运动姿态数据,快速建立虚拟人体结构模型。     

结合模糊聚类和投影近似点算法的缺失人体运动捕捉数据重构

针对人体运动捕捉数据缺失问题,提出一种结合模糊聚类和投影近似点算法的缺失数据重构恢复方法.首先对不完整运动序列矩阵的缺失数据位置进行线性插值预处理,粗略补全矩阵以得到较完整的运动序列;然后利用模糊C-均值算法将粗略恢复后的复杂人体运动数据细分为含有多个不同语义运动片段的时序组合;再根据相同运动语义片段数据矩阵存在低秩特性,对细分后相应的各原始运动子片段采取投影近似点算法进行缺失数据恢复,并按照运动片段的时序特性进行组合;最后将原有未缺失数据与其相应位置重构恢复后的数据进行置换,根据人体运动轨迹的局部线性特性进行线性平滑,以保证运动序列的连贯性,从而达到对整体运动捕捉数据重构恢复目的.实验结果表明,该方法能够有效地对缺失运动数据进行恢复,使得重构后的运动序列能够较好地逼近于真实运动轨迹,准确度较高.     

数据驱动的人体动画合成研究综述

系统地阐述了目前数据驱动的人体动画合成研究现状,介绍了国内外运动数据捕捉技术的发展,着重对现有运动捕捉数据的编辑技术及运动合成方法进行了详细的分析和比较,并阐述各种方法的优缺点,最后展望了数据驱动的人体动画合成技术未来研究的重点和难点.     

融合时空约束的光学动作捕捉标记点实时补全方法

在基于标记点的光学动作捕捉系统中,针对粘贴在用户身上的标记点受遮挡等因素影响丢失跟踪位置后导致人体位姿计算失败的问题,提出一种基于深度学习的标记点序列预测补全方法.该方法中,深度学习网络模型以人体运动的时间反演对称性作为理论依据,使用双向长短期记忆网络作为网络主体架构;在模型训练过程中提出组合损失函数,分别对人体关键运动节点的活动范围、同一段骨骼上标记点之间的刚性结构,以及标记点运动轨迹的时间连续性进行限制,确保补全的标记点序列符合人体运动的时空约束.在HDM05数据集上的实验结果表明,与现有方法相比,在丢失不同数量、不同时间跨度的标记点序列的条件下,所提方法补全标记点位置的平均误差下降超过14%.     

网络化人体运动跟踪系统研究

针对目前基于惯性传感的动作捕捉系统存在的姿态漂移、实时性不强和价格较高的问题,设计了一种低功耗、低成本,能够有效克服姿态数据漂移的人体实时动作捕捉系统。首先通过人体运动学原理,构建分布式关节运动捕捉节点,各捕捉节点采用低功耗模式,当节点采集数据低于预定阈值时,自动进入休眠模式,降低系统功耗;结合惯性导航和Kalman滤波算法对人体运动姿态进行实时的解算,以降低传统的算法存在的数据漂移问题;基于Wi-Fi模块,采用TCP-IP协议对姿态数据进行转发,实现对模型的实时驱动。选取多轴电机测试平台对算法的精度进行了评估,并对比了系统对真实人体的跟踪效果。实验结果表明,改进算法与传统的互补滤波算法相比具有更高的精度,基本能将角度漂移控制在1°以内;且算法的时延相对于互补滤波没有明显的滞后,基本能够实现对人体运动的准确跟踪。     

光学动作捕捉中缺失标记重建方法研究

光学动作捕捉技术是一种常用的动作捕捉方法,目前已经在各个行业内广泛应用.尤其是在体育竞技领域,已经成为了不可或缺的训练辅助手段.在光学动作捕捉中,最常见的问题是缺失标记,可能由外部遮挡、身体自遮挡或信号丢失等原因造成.对于缺失标记问题,在以往的研究中要么需要舍弃缺失的标记,要么需要大量后处理工作来恢复缺失标记.针对这种情况,本文提出一种用于光学动作捕捉中缺失标记的重建方法,该方法使用卡尔曼滤波框架,结合运动数据来预估缺失标记点的位置,实时重建人体运动模型.实验结果证明该方法能够快速有效的恢复缺失标记,重建人体运动.     

人体运动的测量与数据修正

人体是层次化、高度复杂化的形体，对人体运动的研究涉及到机器人、人机工程、仿真等多个学科领域，研究的基础是真实人体的运动数据。本研究采用基于多摄像机跟踪固定在人体上的标记点的光学测量方法，进行人体运动数据的实时跟踪采集。为修正采集系统输出数据件中的错误，采用了可视化技术与方法，生成了人体运动数据的二维、三维检测工具，从而实现了大量数据的快速检测与修正。修正及转换过的运动数据能够很好地驱动三维高逼真度人体仿真模型，并应用于战场环境士兵仿真以及救援操作作业人员的仿真应用，取得良好效果。     

基于视觉的人体运动捕捉技术研究

运动捕捉技术是计算机视觉和人体运动分析领域的研究热点,在计算机动画等领域拥有广泛的应用前景。在总结基于视觉的人体运动捕捉技术进展的基础上,分析运动跟踪、捕捉方法及技术难点,提出一种新的从视频提取人体运动信息,重现人体运动轨迹的方法、流程及系统设计框架。     

Optimization-based posture reconstruction for digital human models

Digital human modeling provides a valuable tool for designers when implemented early in the design process. Motion capture experiments offer a means of validation of the digital human simulation models. However, there is a gap between the motion capture experiments and the simulation models, as the motion capture results are marker positions in Cartesian space and the simulation model is based on joint space. Therefore, it is necessary to map the motion capture data to simulation models by employing a posture reconstruction algorithm. Posture reconstruction is an inherently redundant problem where the collective distance error between experimental joint centers and simulation joint centers is minimized. This paper presents an optimization-based method for determining an accurate and efficient solution to the posture reconstruction problem. The procedure is used to recreate 120 experimental postures. For each posture, the algorithm minimizes the distance between the simulation model joint centers and the corresponding experimental subject joint centers which is called the mean measurement error.     

一种新的光学运动捕捉数据处理方法*

提出一种适用于被动式光学人体运动捕捉散乱数据处理方法。该方法基于光学人体运动捕捉散乱数据的全局信息,提出基于模块分段线性模型的数据处理算法。利用模块分段线性模型归纳出不同模块的变化特征,从而确定各模块数据的匹配优先级及段内拟合函数,有效地对三维运动数据各模块进行全局性分层次预测和跟踪,并对噪声数据进行基于模块的去噪处理;对缺失运动数据提出基于分段Newton插值拟合算法,进行合理的补缺。该方法经优化后在处理过程中无须人工干预,并能满足实时性要求。     

联合LBS和Snake的3D人体外形和运动跟踪方法

为了解决基于多目视频轮廓信息的3D人体外形和运动跟踪问题,提出一种联合线性混合蒙皮和Snake变形模型的算法框架.首先建立人物对象的蒙皮模型,以每一帧多目同步视频的轮廓作为输入,采用一种基于剪影轮廓的可视外壳重建算法,使得作为3D特征的可视外壳保持了局部细节且更加光滑;并使用关节型迭代最近点算法进行匹配以捕获出每一帧骨架子空间下的人物3D外形及运动;再一次使用当前帧的多目轮廓信息,让Snake内外力共同作用于人物网格模型上的顶点,使之自由地趋近于目标对象.使用带ground-truth的合成数据进行对比实验的结果表明,该方法因同时使用3D误差约束和2D误差约束,提高了跟踪精度.     

基于视频的运动捕获

现有的运动捕获方法大都存在运动捕获设备昂贵、演员运动受限等缺点，为此，提出了一种利用视觉技术从视频中提取人体运动的方法，并对其中的特片跟踪和三维运动序列恢复等关键技术进行了深入研究。基于人体模型的特征跟踪算法利用卡尔曼滤波和极线方程，能精确地跟踪比较大的人体运动；采用不共面的非线性定标模型和考虑运动不确定性的三维重建方法，能恢复逼真的三维人体骨架模型，实验结果验证了基于视频的运动捕获方法的可行性和有效性。     

A Survey on Human Performance Capture and Animation

With the rapid development of computing technology, three-dimensional (3D) human body models and their dynamic motions are widely used in the digital entertainment industry. Human performance mainly involves human body shapes and motions. Key research problems in human performance animation include how to capture and analyze static geometric appearance and dynamic movement of human bodies, and how to simulate human body motions with physical effects. In this survey, according to the main research directions of human body performance capture and animation, we summarize recent advances in key research topics, namely human body surface reconstruction, motion capture and synthesis, as well as physics-based motion simulation, and further discuss future research problems and directions. We hope this will be helpful for readers to have a comprehensive understanding of human performance capture and animation.     

Effect of human link length determination on posture reconstruction

Motion capture experiment results are often used as a means of validation for digital human simulations. Motion capture results are marker positions and joint centers in Cartesian space. However, joint angles are more intuitive and easy to understand compared to marker or joint center positions. Posture reconstruction algorithms are used to map Cartesian space to joint space by re-creating experimental postures with simulation models. This allows for direct comparison between the experimental results and digital human simulations. Besides the inherent experimental errors from motion capture system, one source of simulation error is the determination of the link lengths to be used in the simulation model. The link length errors can propagate through all simulation results. Therefore, it is critical to eliminate the link length errors. The objective of this study is to determine the best method of determining link lengths for the simulation model to best match the model to the experiment results containing errors. Specifically, the way that the link lengths are calculated in the posture reconstruction process from motion capture data has a significant effect on the recreated posture for the simulation model. Three link length calculation methods (experimental-average method, trial-specific method, and T-pose method) are developed and compared to a benchmark method (frame-specific method) for calculating link lengths. The results indicate that using the trial-specific method is the most accurate method when referring to calculating frame-specific link lengths.     

Combining 3D flow fields with silhouette-based human motion capture for immersive video

In recent years, the convergence of computer vision and computer graphics has put forth a new field of research that focuses on the reconstruction of real-world scenes from video streams. To make immersive 3D video reality, the whole pipeline spanning from scene acquisition over 3D video reconstruction to real-time rendering needs to be researched. In this paper, we describe latest advancements of our system to record, reconstruct and render free-viewpoint videos of human actors. We apply a silhouette-based non-intrusive motion capture algorithm making use of a 3D human body model to estimate the actor’s parameters of motion from multi-view video streams. A renderer plays back the acquired motion sequence in real-time from any arbitrary perspective. Photo-realistic physical appearance of the moving actor is obtained by generating time-varying multi-view textures from video. This work shows how the motion capture sub-system can be enhanced by incorporating texture information from the input video streams into the tracking process. 3D motion fields are reconstructed from optical flow that are used in combination with silhouette matching to estimate pose parameters. We demonstrate that a high visual quality can be achieved with the proposed approach and validate the enhancements caused by the the motion field step.     

稀疏表达的运动数据压缩

随着运动数据越来越多地被应用于动画制作和科研领域,高效的运动数据压缩技术也逐渐成为一个热门的研究课题.基于稀疏表达提出一种新的运动数据有损压缩方法.首先对输入的运动数据进行分析生成稀疏表达字典;然后基于稀疏表达字典对运动数据中的每一帧进行稀疏线性表达;最后用K-SVD算法对字典和稀疏表示进行迭代优化.实验结果表明,本文方法可以达到较高的压缩比(50倍左右),同时保持原始运动数据的完整性,还原后可控制重建误差在肉眼不易分辨的范围内(平均RMS误差2.0以下),并且本文方法特别适用于对较短运动数据的压缩.