结合模型匹配与特征跟踪的人体上半身三维运动姿态恢复方法

人体姿态空间的高维性及单目视频深度信息丢失,导致从单目视频恢复人体三维运动姿态非常困难,为此,利用特征跟踪的快速性及模型匹配的鲁棒性,提出一种无标记人体上半身三维运动跟踪方法.该方法利用匹配SIFT特征,并根据长度不变性约束建立优化目标函数,再采用迭代优化算法得到全局运动位姿;其他关节的姿态先根据逆运动学计算初始估计值,并通过模型匹配验证其可信度,当初始姿态估计错误时,则使用局部搜索获得关节姿态.实验结果表明,文中方法可以准确地恢复单目视频中人体上半身三维运动姿态.     

基于外观模型的人体下肢关节点定位方法

近年来,人体下肢关节点定位成为了人体运动跟踪与分析中一个重要研究课题。提出了一种下肢关节点自动定位方法,从无关节标记的人体运动图像序列中定位下肢关节点。该方法首先采用背景剪除技术从图像序列中分割人体目标对象,并建立人体下肢骨架模型。然后,利用关节角度预测方法估计膝踝关节点的位置,在基于下肢外观模型的匹配计算基础上获得下肢关节点的真实位置。实验结果表明,该方法简单有效,下肢关节点定位结果令人满意。     

基于单目视频运动跟踪的三维人体动画

针对传统人体动画制作成本高、人体运动受捕获设备限制等缺陷,提出了一种基于单目视频运动跟踪的三维人体动画方法。首先给出了系统实现框架,然后采用比例正交投影模型及人体骨架模型来恢复关节的三维坐标,关节的旋转欧拉角由逆运动学计算得到,最后采用H-anim标准对人体建模,由关节欧拉角驱动虚拟人产生三维人体动画。实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于人体动画制作领域。     

室内人体运动目标的自动跟踪方法

针对人体运动目标的自动实时跟踪,设计一种新的基于P89v51内核的运动摄像头云台控制系统.对人体运动的图像检测与跟踪,提出一种快速的模板匹配方法.用改进Surendra算法自适应地获取背景图像以提取匹配模板,通过摄像头运动前后帧相同的运动区域来缩小匹配区域,进行快速目标匹配,达到实时性要求.该系统已应用在视频教学及会议中,实现自动人体运动目标跟踪与摄像.     

基于轨迹聚类的超市顾客运动跟踪

针对超市等复杂应用环境下的运动目标轨迹跟踪问题,将轨迹聚类运用于目标跟踪中,提出了一种超市顾客运动跟踪方法。该方法对Kanade-Lucas-Tomasi(KLT)算法提取并跟踪得到的特征点轨迹进行预处理,滤除背景和短时特征点以分离出运动目标所在区域的关键特征点;进而采用均值漂移(meanshift)算法进行轨迹聚类,解决了单帧静态特征点聚类时的目标遮挡问题;最后采用运动跟踪匹配算法对前后帧的特征点进行最优匹配,解决了目标出入视频区域以及具有复杂路线时的稳定跟踪问题,得到顾客的完整运动轨迹。实验结果表明,该方法能够在超市入口、生鲜区以及收银台等各种典型超市区域中完成顾客轨迹的运动跟踪,并对顾客部分遮挡、复杂运动轨迹以及异步运动等多种特殊情况具有较高的鲁棒性。     

适用于单目视频的无标记三维人体运动跟踪

在无标记人体运动跟踪过程中,由于被跟踪目标缺乏明显的特征以及背景复杂而使得跟踪到的人体运动姿态与真实值偏差较大,不能进行长序列视频跟踪.针对这一现象,提出一种基于形变外观模板匹配进行单目视频的三维人体运动跟踪算法,其中所用的人体外观模型由三维人体骨骼模型及二维纸板模型组成.首先根据人体骨骼比例约束采用逆运动学计算出关节旋转欧拉角;然后利用正向运动学求得纸板模型中像素在三维空间中的坐标,将这些像素根据摄像机成像模型投影到二维图像中得到形变外观模板;最后采用直方图匹配得到人体运动跟踪结果.实验结果表明,该算法对于一些复杂的长序列人体运动能够得到较为理想的跟踪结果,可应用于人机交互和动画制作等领域.     

基于方向矢量的多特征融合粒子滤波人体跟踪算法研究

针对传统的多特征融合粒子滤波跟踪算法计算量大、不利于实时性、人群拥挤遮挡时容易出现跟踪匹配错误等情况,提出了基于方向矢量的多特征融合粒子滤波跟踪算法.该算法首先将人体颜色特征与轮廓特征进行乘性融合和加性融合后相加并加上两者的不确定性的乘积,以便能够根据两种特征的实际贡献率来调节各自在跟踪过程中所占的权重比例,从而提高了跟踪的准确性;其次结合方向矢量,根据先前的跟踪信息来预测运动物体可能运动的范围从而减少了粒子迭代计算量;最后通过动态调节窗口将合并的人体进行分离处理.实验证明,本方法能够在复杂情况下对人体进行实时准确的跟踪.     

基于sift特征匹配的人体上半身三维运动跟踪

研究人体姿态与视频优化跟踪问题,单目视频缺少深度信息,使得单目视频的人体运动跟踪难以实现三维姿态恢复问题。为解决上述问题,提出了一种利用sift特征尺度不变性的优点进行人体上半身三维运动跟踪的算法。在跟踪过程中先计算初始匹配sift特征点对,然后反复迭代出除误匹配点,消除误差,最后求解由两个匹配sift特征组成的方程组得到胸部关节的位姿,根据人体骨骼模型采用深度遍历依次恢复其它关节的姿态。实验结果表明,系统能够对人体上半身运动进行比较准确的三维运动跟踪。     

基于特征预测与邻域一致性的视频特征快速配准

基于视频图像特征点配准的目标跟踪算法无法兼顾精确性、实时性和鲁棒性,针对该问题,提出一种基于特征位置预测与邻域一致性约束的视频特征快速配准算法。以标注点与目标标记框为模板,通过ORB特征匹配与邻域一致性检验,获得帧间标注点集的对应关系,并计算点集间的尺度变换以确定当前目标框,利用多帧已知标注点位置信息与运动连续性进行多项式回归预测,得到标注点集的位置。在此基础上,对特征点进行局部搜索、提取和描述,根据邻域一致性约束,利用邻域内的支持特征点集实现标注点的稳健匹配。实验结果表明,该算法可对多姿态目标特征点进行配准,与GMS、ORB、SIFT和SURF算法相比,该算法的实时性、准确性和鲁棒性明显提高。     

采用弱预测机制的人体运动跟踪算法

快速运动和自遮挡是人体运动跟踪的难点所在 .为此提出了一种采用弱预测机制的人体运动跟踪算法 .该算法首先通过全局搜索 ,确定候选人体特征集 ;然后建立特征的色彩、运动等属性的时变模型 ,构造贝叶斯分类器 ,实现特征对应 ;最后根据人体特征层次模型 ,检验特征匹配 ,并实现被遮挡特征的定位 .为提高跟踪效率 ,采用了基于图象多分辨率表示的特征搜索算法 ,由低分辨率图象通过全局搜索来获取初始候选特征集 ,然后在高分辨率下 ,不断改善候选特征精度 .实验结果表明 ,该算法能实现对快速人体运动的跟踪并有效解决自遮挡问题 .     

基于运动能量模型的人体运动检索算法

提出一种新的借助于运动中产生的能量对运动进行描述的模型。引入运动协调性的概念,利用支持向量机和索引序列对运动进行粗分类。采用基于Keogh下界的线性索引算法精确地度量输入运动和候选动作之间的相似性。实验结果表明,该检索方法具有较好的速度和准确性。     

Monocular human motion tracking

Human motion tracking from monocular image sequences has been explored widely. However, a framework that addresses the variety of sensing conditions is lacking. In this paper, we present a simple, efficient, and robust method for recovering plausible 3D motion from a video without knowledge of the cameras parameters. Our method transforms the motion capture problem into a convex problem and employs a hierarchical geometrical solver for the minimization. This algorithm was applied to numerous synthetic and real image sequences with very encouraging results. Specifically, our results indicate that it can handle challenges posed by variation of lighting, partial self-occlusion, and rapid motion.Published online: 21 October 2004     

自适应粒子滤波在人体跟踪过程中的应用

人体运动跟踪技术近年来在图像处理与计算机视觉领域引起很多关注,在当前一些重要研究和应用领域有着广泛的需求。在以往跟踪方法的基础上提出了基于决策规则的自适应粒子滤波的无标记运动目标跟踪方法。利用一个带外观模板的人体关节模型,通过学习得到运动模型及基于关节模型的相似性计算,巧妙地利用自适应粒子滤波对运动目标进行实时跟踪,使得在粒子滤波过程中,可以根据实际滤波情况在线调节粒子数。实验表明,提出的算法鲁棒性好,跟踪速度比基于传统粒子滤波的快。     

融合时序特征约束与联合优化的 点云3维人体姿态序列估计

目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果 在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision,mAP)比对比方法分别高0.99%、13.18%和17.96%。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03%。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。     

3维人体运动编辑与合成技术综述

为了使人们对3维人体运动编辑与合成技术有个概略了解,对当前3维人体运动编辑和合成技术的研究现状进行了系统阐述。首先对4大类3维人体运动合成方法进行了分析比较;然后按照运动捕获数据的表示方法、运动编辑技术、运动合成技术3个方面着重分析了运动捕获数据驱动的运动合成方法的发展现状;最后对目前3维人体运动编辑与合成技术研究中的难点问题及未来研究重点进行了展望。     

单目视频中无标记的人体运动跟踪

提出一种人体运动跟踪算法,从无关节标记的单目视频中获取人体运动,利用一个带外观模板的人体关节模型,通过学习得到的运动模型及基于外观模型的相似性计算,巧妙地利用粒子滤波的概率密度传播策略鲁棒地跟踪普通单目视频中的人体运动,当出现跟踪丢失时,能在后续序列中自动恢复正确跟踪,且能较好地处理遮挡和自遮挡问题,实验表明,该算法鲁棒性好,跟踪结果令人满意。     

Learned Models for Estimation of Rigid and Articulated Human Motion from Stationary or Moving Camera

We propose an approach for modeling, measurement and tracking of rigid and articulated motion as viewed from a stationary or moving camera. We first propose an approach for learning temporal-flow models from exemplar image sequences. The temporal-flow models are represented as a set of orthogonal temporal-flow bases that are learned using principal component analysis of instantaneous flow measurements. Spatial constraints on the temporal-flow are then incorporated to model the movement of regions of rigid or articulated objects. These spatio-temporal flow models are subsequently used as the basis for simultaneous measurement and tracking of brightness motion in image sequences. Then we address the problem of estimating composite independent object and camera image motions. We employ the spatio-temporal flow models learned through observing typical movements of the object from a stationary camera to decompose image motion into independent object and camera motions. The performance of the algorithms is demonstrated on several long image sequences of rigid and articulated bodies in motion.     

自动匹配虚拟人模型与运动数据

使用运动数据驱动虚拟人模型运动是人体运动仿真的常用方法.通常,运动数据本身定义了适合该运动数据的骨架结构,这要求被其驱动的虚拟人模型也必须有相匹配的骨架定义.提出了一种推迟到运动数据导入时再为模型生成骨架结构的基于语义分析的懒匹配算法(lazy match based on semantic analysis,简称LMSA),该算法先用一组平行平面切分人体模型以生成备选关节点集,并在导入运动数据后对备选关节点集和运动数据的骨架结构进行语义分析,匹配具有相同语义的备选关节点和骨架结构的各关节,使已有的虚拟人几何模型能够直接应用于具有不同骨架结构的人体运动数据.     

人体运动捕获数据的重用技术综述

人体运动捕获数据作为一种新型的多媒体数据,因其高度的逼真性,已经在多个领域得到了广泛的应用。但运动捕获设备的高昂价格导致运动捕获数据使用的成本过高,所以运动重用技术就成为解决这一问题的有效手段。可是运动捕获数据复杂的结构和特性给运动重用带来了很大的挑战,尽管已经过多年的研究,但仍然有很多尚未解决的问题,需要研究人员更多的关注和研究投入。本文针对运动重用过程中各个环节的重要技术,从研究的意义、问题的难点、现有方法思路及使用的模型等多个角度进行了介绍,并针对一些具有代表性的方法做了较为详细的描述。最后总结了现有运动捕获数据重用技术的研究进展,展望了未来的发展趋势。本文旨在引起人们对该领域的深入思考,并为以后的研究提供有价值的参考。     

数字化三维蹦床运动模拟与仿真系统——VHTramPoline

设计和实现了一个用于辅助蹦床运动科学训练的计算机模拟与仿真软件系统VHTrampoline.其原理是:在人体运动生物力学数据和真实人体运动捕获数据的基础上,通过运动编辑技术实现技术动作的修改和成套技术动作的模拟,并用人体运动方程分析和验证模拟结果;同时,基于虚拟现实方法将模拟结果与真实视频同步对比实现可视化的分析.除了必须的交互操作,文中涉及到的计算都是实时的.与传统训练方法相比,该系统具有直观、量化等优点.