人体运动分析的实例学习方法

目的 面向实时、准确、鲁棒的人体运动分析应用需求,从运动分析的特征提取和运动建模问题出发,本文人体运动分析的实例学习方法。方法 在构建人体姿态实例库基础上,首先,采用运动检测方法得到视频每帧的人体轮廓;其次,基于形状上下文轮廓匹配方法,从实例库中检索得到每帧视频的候选姿态集;最后,通过统计建模和转移概率建模实现人体运动分析。结果 对步行、跑步、跳跃等测试视频进行实验,基于轮廓的形状上下文特征表示和匹配方法具有良好的表达能力;本文方法运动分析结果,关节夹角平均误差在5°左右,与其他算法相比,有效提高了运动分析的精度。结论 本文人体运动分析的实例学习方法,能有效分析单目视频中的人体运动,并克服了映射的深度歧义,对运动的视角变化鲁棒,具有良好的计算效率和精度。     

Combining 3D flow fields with silhouette-based human motion capture for immersive video

In recent years, the convergence of computer vision and computer graphics has put forth a new field of research that focuses on the reconstruction of real-world scenes from video streams. To make immersive 3D video reality, the whole pipeline spanning from scene acquisition over 3D video reconstruction to real-time rendering needs to be researched. In this paper, we describe latest advancements of our system to record, reconstruct and render free-viewpoint videos of human actors. We apply a silhouette-based non-intrusive motion capture algorithm making use of a 3D human body model to estimate the actor’s parameters of motion from multi-view video streams. A renderer plays back the acquired motion sequence in real-time from any arbitrary perspective. Photo-realistic physical appearance of the moving actor is obtained by generating time-varying multi-view textures from video. This work shows how the motion capture sub-system can be enhanced by incorporating texture information from the input video streams into the tracking process. 3D motion fields are reconstructed from optical flow that are used in combination with silhouette matching to estimate pose parameters. We demonstrate that a high visual quality can be achieved with the proposed approach and validate the enhancements caused by the the motion field step.     

基于无标记点运动跟踪的步态参数提取

提出一种无标记点的步态参数提取方法,采用基于模型的人体运动跟踪方法,无须标记点即可从视频图像序列中获取运动步态参数。利用粒子滤波算法跟踪人体目标运动过程,通过基于外观模型的相似度计算及边界匹配误差判断定位腿部关节点。依据曲线拟合方法在跟踪与定位结果上提取运动步态参数。实验结果表明,该方法能精确定位腿部关节点且有效地提取步态参数。     

基于Kinect深度相机的实时三维人体动画

研究了一种基于H Anim标准的实时人体三维动画方法,首先对H Anim中人体肢体层次结构进行研究和分析,给出了进行人体动画的坐标变换方法;其次,基于OpenNI对Kinect获取的数据进行重新处理,采用逆运动学计算非根关节旋转矩阵;最后给出了系统流程及具体实验方法,采用OpenGL由实时获取的关节旋转矩阵驱动虚拟人实现了人体动画。实验结果表明,该算法可以较精确地提取人体三维姿态,实时重构人体运动。     

适用于单目视频的无标记三维人体运动跟踪

在无标记人体运动跟踪过程中,由于被跟踪目标缺乏明显的特征以及背景复杂而使得跟踪到的人体运动姿态与真实值偏差较大,不能进行长序列视频跟踪.针对这一现象,提出一种基于形变外观模板匹配进行单目视频的三维人体运动跟踪算法,其中所用的人体外观模型由三维人体骨骼模型及二维纸板模型组成.首先根据人体骨骼比例约束采用逆运动学计算出关节旋转欧拉角;然后利用正向运动学求得纸板模型中像素在三维空间中的坐标,将这些像素根据摄像机成像模型投影到二维图像中得到形变外观模板;最后采用直方图匹配得到人体运动跟踪结果.实验结果表明,该算法对于一些复杂的长序列人体运动能够得到较为理想的跟踪结果,可应用于人机交互和动画制作等领域.     

分裂合并运动分割的多运动视觉里程计方法

目的 视觉里程计（visual odometry,VO）仅需要普通相机即可实现精度可观的自主定位,已经成为计算机视觉和机器人领域的研究热点,但是当前研究及应用大多基于场景为静态的假设,即场景中只有相机运动这一个运动模型,无法处理多个运动模型,因此本文提出一种基于分裂合并运动分割的多运动视觉里程计方法,获得场景中除相机运动外多个运动目标的运动状态。方法 基于传统的视觉里程计框架,引入多模型拟合的方法分割出动态场景中的多个运动模型,采用RANSAC（random sample consensus）方法估计出多个运动模型的运动参数实例;接着将相机运动信息以及各个运动目标的运动信息转换到统一的坐标系中,获得相机的视觉里程计结果,以及场景中各个运动目标对应各个时刻的位姿信息;最后采用局部窗口光束法平差直接对相机的姿态以及计算出来的相机相对于各个运动目标的姿态进行校正,利用相机运动模型的内点和各个时刻获得的相机相对于运动目标的运动参数,对多个运动模型的轨迹进行优化。结果 本文所构建的连续帧运动分割方法能够达到较好的分割结果,具有较好的鲁棒性,连续帧的分割精度均能达到近100%,充分保证后续估计各个运动模型参数的准确性。本文方法不仅能够有效估计出相机的位姿,还能估计出场景中存在的显著移动目标的位姿,在各个分段路径中相机自定位与移动目标的定位结果位置平均误差均小于6%。结论 本文方法能够同时分割出动态场景中的相机自身运动模型和不同运动的动态物体运动模型,进而同时估计出相机和各个动态物体的绝对运动轨迹,构建出多运动视觉里程计过程。     

Generative tracking of 3D human motion in latent space by sequential clonal selection algorithm

High dimensional pose state space is the main challenge in articulated human pose tracking which makes pose analysis computationally expensive or even infeasible. In this paper, we propose a novel generative approach in the framework of evolutionary computation, by which we try to widen the bottleneck with effective search strategy embedded in the extracted state subspace. Firstly, we use ISOMAP to learn the low-dimensional latent space of pose state in the aim of both reducing dimensionality and extracting the prior knowledge of human motion simultaneously. Then, we propose a manifold reconstruction method to establish smooth mappings between the latent space and original space, which enables us to perform pose analysis in the latent space. In the search strategy, we adopt a new evolutionary approach, clonal selection algorithm (CSA), for pose optimization. We design a CSA based method to estimate human pose from static image, which can be used for initialization of motion tracking. In order to make CSA suitable for motion tracking, we propose a sequential CSA (S-CSA) algorithm by incorporating the temporal continuity information into the traditional CSA. Actually, in a Bayesian inference view, the sequential CSA algorithm is in essence a multilayer importance sampling based particle filter. Our methods are demonstrated in different motion types and different image sequences. Experimental results show that our CSA based pose estimation method can achieve viewpoint invariant 3D pose reconstruction and the S-CSA based motion tracking method can achieve accurate and stable tracking of 3D human motion.     

融合时序特征约束与联合优化的 点云3维人体姿态序列估计

目的 3维人体姿态估计传统方法通常采用单帧点云作为输入,可能会忽略人体运动平滑度的固有先验知识,导致产生抖动伪影。目前,获取2维人体姿态标注的真实图像数据集相对容易,而采集大规模的具有高质量3维人体姿态标注的真实图像数据集进行完全监督训练有一定难度。对此,本文提出了一种新的点云序列3维人体姿态估计方法。方法 首先从深度图像序列估计姿态相关点云,然后利用时序信息构建神经网络,对姿态相关点云序列的时空特征进行编码。选用弱监督深度学习,以利用大量的更容易获得的带2维人体姿态标注的数据集。最后采用多任务网络对人体姿态估计和人体运动预测进行联合训练,提高优化效果。结果 在两个数据集上对本文算法进行评估。在ITOP(invariant-top view dataset)数据集上,本文方法的平均精度均值(mean average precision,mAP)比对比方法分别高0.99%、13.18%和17.96%。在NTU-RGBD数据集上,本文方法的mAP值比最先进的WSM(weakly supervised adversarial learning methods)方法高7.03%。同时,在ITOP数据集上对模型进行消融实验,验证了算法各个不同组成部分的有效性。与单任务模型训练相比,多任务网络联合进行人体姿态估计和运动预测的mAP可以提高2%以上。结论 本文提出的点云序列3维人体姿态估计方法能充分利用人体运动连续性的先验知识,获得更平滑的人体姿态估计结果,在ITOP和NTU-RGBD数据集上都能获得很好的效果。采用多任务网络联合优化策略,人体姿态估计和运动预测两个任务联合优化求解,有互相促进的作用。     

基于sift特征匹配的人体上半身三维运动跟踪

研究人体姿态与视频优化跟踪问题,单目视频缺少深度信息,使得单目视频的人体运动跟踪难以实现三维姿态恢复问题。为解决上述问题,提出了一种利用sift特征尺度不变性的优点进行人体上半身三维运动跟踪的算法。在跟踪过程中先计算初始匹配sift特征点对,然后反复迭代出除误匹配点,消除误差,最后求解由两个匹配sift特征组成的方程组得到胸部关节的位姿,根据人体骨骼模型采用深度遍历依次恢复其它关节的姿态。实验结果表明,系统能够对人体上半身运动进行比较准确的三维运动跟踪。     

基于2—D模型的人体运动跟踪

人体运动跟踪是图像处理和计算机视觉研究的热点问题，它在人机接口、虚拟现实、智能监控、机器人仿真等方面具有广阔应用前景，已引起越来越多学者的关注，为了实现准确的人体运动跟踪，采用了两种基于2－D模型的人体运动跟踪方法：其中，一种方法是以区域面积重合率为区域准则，采用由粗到细的匹配过程，通过建立2－D模型以实现与真实人体运动间的准确匹配；另一种是基于区域特征的2－D模型和人体各个部位的连接关系，通过确定和标记人体的各个部位，最终由2－D模型来重现真实人体的运动过程，同时采用以上两种方法，对实际人体运动进行了跟踪测试，在全身运动的整个过程中能给出较为准确的跟踪结果，表明该方法不仅能抵御噪声和灰度变化的影响，而且能大致估计出被遮挡部位的位置。     

基于外观模型的人体下肢关节点定位方法

近年来,人体下肢关节点定位成为了人体运动跟踪与分析中一个重要研究课题。提出了一种下肢关节点自动定位方法,从无关节标记的人体运动图像序列中定位下肢关节点。该方法首先采用背景剪除技术从图像序列中分割人体目标对象,并建立人体下肢骨架模型。然后,利用关节角度预测方法估计膝踝关节点的位置,在基于下肢外观模型的匹配计算基础上获得下肢关节点的真实位置。实验结果表明,该方法简单有效,下肢关节点定位结果令人满意。     

基于地形高程模型的飞行器位姿估计方法

针对无法依靠景象匹配手段进行导航定位和无法有效利用惯导姿态信息的情况,提出了一种基于地形高程模型的飞行器绝对姿态和位置的估计方法。该方法首先利用机载下视摄像系统获取实时立体图像对及利用传感器获得飞行速度信息,通过修改双像运动模型来重建飞行器下方的地形信息;然后利用三维重建结果的刚体约束给出一种匹配机载地形高程模型数据的方法,用于估计飞行器在世界坐标系中的绝对位姿。仿真结果表明：改进的双像运动模型具有更高的精度,更有利于在世界坐标系下进行位姿估计。     

Smooth Image Sequences for Data‐driven Morphing

Smoothness is a quality that feels aesthetic and pleasing to the human eye. We present an algorithm for finding “as‐smooth‐as‐possible” sequences in image collections. In contrast to previous work, our method does not assume that the images show a common 3D scene, but instead may depict different object instances with varying deformations, and significant variation in lighting, texture, and color appearance. Our algorithm does not rely on a notion of camera pose, view direction, or 3D representation of an underlying scene, but instead directly optimizes the smoothness of the apparent motion of local point matches among the collection images. We increase the smoothness of our sequences by performing a global similarity transform alignment, as well as localized geometric wobble reduction and appearance stabilization. Our technique gives rise to a new kind of image morphing algorithm, in which the in‐between motion is derived in a data‐driven manner from a smooth sequence of real images without any user intervention. This new type of morph can go far beyond the ability of traditional techniques. We also demonstrate that our smooth sequences allow exploring large image collections in a stable manner.     

基于逆运动学的人体步态特征提取

近年来,人体运动分析成为了计算机视觉和图像处理技术中的一个最活跃的研究课题。其研究在虚拟现实、智能监视系统、高级用户接口、运动分析和基于模型的图像编码等方面具有广阔的应用前景。该文提出了一种基于逆运动学的方法来提取人体步态特征的运动分析方法,对于每个图像序列,先采用背景减除算法检测行人的运动轮廓,然后根据人体运动的特点,寻找每帧图像中人体踝关节的位置,通过得到的踝关节位置使用逆运动学的方法来预测其他关节点位置,通过实验发现,这种方法在提取步态特征中取得了很好的效果。     

视图Morphing技术在视图插补中的应用

图像Morphing是图像之间插补变换的一类被广泛使用的技术，这种方法是基于两幅图像之间的像素位置和颜色的内插，但对3D场景或物体，它不能保证所生成图像的直实性，即不满足透视性质，在此介绍一种图像插补变换的新方法：视图Morphing技术，它可以保证生成图像的真实性，且不需要知道图像的3D信息，这避免了图像的3D重建，因而具有极大的应用价值。一般的视图Morphing技术需要知道图像的投影矩阵，可是用目前的技术，从图像直接获得投影矩阵是很困难的。视图Morphing技术事先不需要知道图像的投影矩阵，就可以对摄像机刚体运动所获得的两幅图像进行插补运算，获得中间视点的图像。     

Monocular human motion tracking

Human motion tracking from monocular image sequences has been explored widely. However, a framework that addresses the variety of sensing conditions is lacking. In this paper, we present a simple, efficient, and robust method for recovering plausible 3D motion from a video without knowledge of the cameras parameters. Our method transforms the motion capture problem into a convex problem and employs a hierarchical geometrical solver for the minimization. This algorithm was applied to numerous synthetic and real image sequences with very encouraging results. Specifically, our results indicate that it can handle challenges posed by variation of lighting, partial self-occlusion, and rapid motion.Published online: 21 October 2004     

基于运动模式分析的异常行为检测

提出了一种基于运动模式分析的无监督方法用于对视频中的异常行为进行检测。为了有效描述视频场景中的各种目标信息，对每个前景像素点提取了时空描述符，再结合块区域信息并通过词袋模型生成视觉单词，对视频进行表示。提出了一种稀疏主题模型，用以获取视频中的运动主题。通过该模型可以查找出视频中典型的运动模式，并可以此对各视频文件进行编码。通过分析重构精度和运动模式组成对测试视频文件进行检测，判断其中是否包含异常行为。实验在QMUL数据集上进行，实验结果证明了所提方法的有效性。     

Representing cyclic human motion using functional analysis

We present a robust automatic method for modeling cyclic 3D human motion such as walking using motion-capture data. The pose of the body is represented by a time-series of joint angles which are automatically segmented into a sequence of motion cycles. The mean and the principal components of these cycles are computed using a new algorithm that enforces smooth transitions between the cycles by operating in the Fourier domain. Key to this method is its ability to automatically deal with noise and missing data. A learned walking model is then exploited for Bayesian tracking of 3D human motion.     

利用运动线索的单目深度测量

目的 传统的单目视觉深度测量方法具有设备简单、价格低廉、运算速度快等优点,但需要对相机进行复杂标定,并且只在特定的场景条件下适用。为此,提出基于运动视差线索的物体深度测量方法,从图像中提取特征点,利用特征点与图像深度的关系得到测量结果。方法 对两幅图像进行分割,获取被测量物体所在区域;然后采用本文提出的改进的尺度不变特征变换SIFT（scale-invariant feature transtorm）算法对两幅图像进行匹配,结合图像匹配和图像分割的结果获取被测量物体的匹配结果;用Graham扫描法求得匹配后特征点的凸包,获取凸包上最长线段的长度;最后利用相机成像的基本原理和三角几何知识求出图像深度。结果 实验结果表明,本文方法在测量精度和实时性两方面都有所提升。当图像中的物体不被遮挡时,实际距离与测量距离之间的误差为2.60%,测量距离的时间消耗为1.577 s;当图像中的物体存在部分遮挡时,该方法也获得了较好的测量结果,实际距离与测量距离之间的误差为3.19%,测量距离所需时间为1.689 s。结论 利用两幅图像上的特征点来估计图像深度,对图像中物体存在部分遮挡情况具有良好的鲁棒性,同时避免了复杂的摄像机标定过程,具有实际应用价值。