结合模型匹配与特征跟踪的人体上半身三维运动姿态恢复方法

人体姿态空间的高维性及单目视频深度信息丢失,导致从单目视频恢复人体三维运动姿态非常困难,为此,利用特征跟踪的快速性及模型匹配的鲁棒性,提出一种无标记人体上半身三维运动跟踪方法.该方法利用匹配SIFT特征,并根据长度不变性约束建立优化目标函数,再采用迭代优化算法得到全局运动位姿;其他关节的姿态先根据逆运动学计算初始估计值,并通过模型匹配验证其可信度,当初始姿态估计错误时,则使用局部搜索获得关节姿态.实验结果表明,文中方法可以准确地恢复单目视频中人体上半身三维运动姿态.     

从视频中恢复三维人脸的实时方法

三维人脸恢复是视觉交互的一个难点问题,提出了一种从视频中实时恢复三维人脸的新方法.该方法利用主动形状模型进行人脸特征点提取和跟踪,确保了三维形状恢复和特征跟踪的有效性和一致性;采用非刚体形状和运动估计方法构建三维形变基,有效地适应人脸形状变化的多样性;采用非线性优化算法估算人脸姿态和三维形变基参数,实现了三维人脸形状和姿态的实时恢复.实验结果表明,该方法不仅能从视频中实时恢复三维人脸模型,而且可有效跟踪人脸各种姿态的变化.     

基于sift特征匹配的人体上半身三维运动跟踪

研究人体姿态与视频优化跟踪问题,单目视频缺少深度信息,使得单目视频的人体运动跟踪难以实现三维姿态恢复问题。为解决上述问题,提出了一种利用sift特征尺度不变性的优点进行人体上半身三维运动跟踪的算法。在跟踪过程中先计算初始匹配sift特征点对,然后反复迭代出除误匹配点,消除误差,最后求解由两个匹配sift特征组成的方程组得到胸部关节的位姿,根据人体骨骼模型采用深度遍历依次恢复其它关节的姿态。实验结果表明,系统能够对人体上半身运动进行比较准确的三维运动跟踪。     

基于时空运动特征的运动姿态视频检索方法

提出了一种人体运动姿态视频检索的新方法,整体算法分为典型姿态学习和姿态检索两个阶段。首先提取样本库中人体姿态的时空运动特征点作为姿态运动底层特征,一个姿态对应一个时空特征点集合;计算每个特征点的时空三维邻域中像素的梯度,进而为每个姿态建立一个梯度直方图;其次,采用非监督的聚类方法对姿态样本归类,按照语义要求提取多个典型姿态;最后,用基于EM的高斯混合模型对聚类结果建模,形成典型姿态检索的分类器,完成姿态建模的的学习阶段。运动姿态的视频检索是根据最大概率匹配准则,对输入的测试视频进行姿态匹配,从而实现基于语义的姿态检索。基于Weizmann和KTH标准测试视频库的大量实验结果表明,本文提出的方法能够准确有效地检索人体运动姿态。     

使用多视图L1跟踪器的三维人体运动恢复

近年来从视频中恢复三维人体运动的研究发展很快,其中大部分方法是基于前景轮廓的。提出了一种基于纹理信息的三维人体运动恢复方法,并给出了一个鲁棒、自适应的跟踪器模型。该模型基于L1跟踪器,并将其扩展到多个视图中,使用分层搜索来跟踪人体的各个部位。它可以寻找在模板子空间里重构误差最小的跟踪目标,将每个视图的重构误差作为衡量人体三维姿态与图像拟合的可能性函数。整个算法在退火粒子滤波的框架下进行。为了提高跟踪准度,在纹理模板更新过程中使用了两种方法:用人体的三维模型来检测自遮挡;根据模板系数检测计算错误的跟踪结果。综合这两种检测器,可以防止遮挡后和计算错误的跟踪结果加入到纹理模板中。在HumanEva-Ⅱ测试集上的实验表明,该算法能够得到较好的结果。     

基于退火粒子群优化的单目视频人体姿态分析方法

提出一种基于退火粒子群优化(Simulated annealing particle swarm optimism, SAPSO)的单目视频人体姿态分析方法. 该方法具有以下特点: 首先, 利用运动捕获数据采用主成分分析方法(Principle component analysis, PCA)得到更能反映人体运动本质的姿态紧致空间, 并在此低维空间中进行姿态分析, 提高了姿态分析的准确性和效率; 其次, 将粒子群优化应用到姿态分析中, 并提出退火粒子群优化姿态分析方法, 该方法具有良好的收敛性和全局最优能力; 再次, 基于退火粒子群优化姿态分析方法, 实现了基于单目视频的人体姿态估计和跟踪. 实验结果表明, 本文方法不仅具有良好的计算效率, 同时具有良好的收敛性和全局搜索能力, 能准确分析单目视频中的人体姿态.     

基于姿态时空特征的人体行为识别方法

为了高效、准确地获取视频中的人体行为和运动信息,提出一种基于人体姿态的时空特征的行为识别方法.首先在获取视频中各帧图像的人体关节位置的基础上,提取关节信息描述姿态变化,具体包括在空间维度上提取每帧图像的关节位置关系、时间维度上计算关节空间关系的变化,二者共同构成姿态时空特征描述子;然后利用Fisher向量模型对不同类型的特征描述子分别进行编码,得到固定维度的Fisher向量;最后对不同类型的Fisher向量加权融合后进行分类.实验结果表明,该方法能够有效地识别视频中的人体复杂动作行为,提高行为识别率.     

基于多级动态模型的2维人体姿态估计

提出一种利用多级动态模型来估计单目视频中的人体姿态的方法.首先,构建了一种多级动态人体姿态模型,该模型将人体姿态视为各部位姿态的铰接组合,用部位姿态的最优估计来逼近整体姿态的最优估计,从而解决了整体姿态估计带来的歧义性问题.其次,提出了一种通过构建虚拟姿态来计算视频相邻帧之间姿态一致性的算法,该算法能够有效利用视频中表观特征及运动特征的连续性,从而提高姿态估计精度.此外,使用粒子群优化算法用较小的姿态样本优化出最优部位姿态,并将最优部位姿态重组为最优的人体姿态.通过实验验证了所提方法的有效性,并与几种前沿方法进行了比较.实验结果表明,本文方法有效提高了人体姿态估计的准确度.     

基于SMPL模型的人体姿态估计

针对目前人体形变模型中姿态估计算法容易出现误差、信息缺失等问题,提出一种利用深度相机获取的人体三维信息来优化模型的方法.通过深度相机Kinect获取的三维骨架信息,与SMPL模型进行配准,修正原始的模型姿态,得到一个接近人体真实姿态的模型.实验结果表明,融合人体三维信息后,模型的准确性得到一定程度上的提高.     

基于单视频图像序列的人体三维姿态重建

提出了至少存在一个深度值已知点的约束条件下,基于单视频图像序列重建人体三维姿态的方法.利用已知间距的平面点阵来标定获得摄像机参数,在透视投影模型下,根据单视频图像序列中人体关节点的二维数据,重建其三维信息.并将人体运动序列按照运动突变点划分为若干子序列,有效消除了二义性的干扰,较为精确的实现了人体三维姿态的重建.给出了该方法的实验过程及计算结果,验证了该算法的可行性和精度.     

Shape recovery from turntable sequence using rim reconstruction

This paper makes use of both feature points and silhouettes to deliver fast 3D shape recovery. The algorithm exploits object silhouettes in two views to establish a 3D rim curve, which is defined with respect to the two frontier points arising from two views. The images of this 3D rim curve in the two views are matched using cross-correlation technique. A 3D planar rim curve is then reconstructed using point-based reconstruction method. A set of 3D rim curves enclosing the object can be obtained from an image sequence captured under circular motion. Silhouettes are further utilized to check for mismatched rim points. The proposed method solves the problem of reconstruction of concave object surface, which is usually left unresolved in general silhouette-based reconstruction methods. In addition, the property of the reconstructed 3D rim curves allows fast surface extraction. Experimental results with real data are presented.     

基于两视图的曲面重建方法

提出了一种利用曲面物体的两幅图像进行曲面重建的方法。从物体的正面和侧面拍摄两幅图像,而后利用用户交互获得这两幅图像中的侧影轮廓线。并通过最小化以这些侧影轮廓线作为约束二次目标函数,重建出最光滑的三维曲面。另外,在二次目标函数中增加一个系数,实现了曲面折痕。利用真实图像进行实验,验证了该方法的可行性和正确性。     

联合LBS和Snake的3D人体外形和运动跟踪方法

为了解决基于多目视频轮廓信息的3D人体外形和运动跟踪问题,提出一种联合线性混合蒙皮和Snake变形模型的算法框架.首先建立人物对象的蒙皮模型,以每一帧多目同步视频的轮廓作为输入,采用一种基于剪影轮廓的可视外壳重建算法,使得作为3D特征的可视外壳保持了局部细节且更加光滑;并使用关节型迭代最近点算法进行匹配以捕获出每一帧骨架子空间下的人物3D外形及运动;再一次使用当前帧的多目轮廓信息,让Snake内外力共同作用于人物网格模型上的顶点,使之自由地趋近于目标对象.使用带ground-truth的合成数据进行对比实验的结果表明,该方法因同时使用3D误差约束和2D误差约束,提高了跟踪精度.     

三维模型轮廓线抽取算法

虽然三维模型的轮廓线在图形交流中起着重要的作用,但由于轮廓线是视点依赖的,当物体在空间运动时,用现有算法从复杂的三维模型中抽取轮廓线需耗费大量时间,为了提高抽取轮廓线的速度,提出了两种新的抽取三维模型轮廓线算法,这两种算法是先利用轮廓线的局部极值特性来获得部分轮廓边,然后利用轮廓线的连通性,通过简单的比较运算,即可获得三维模型的外部轮廓线,实验结果表明,该两种算法都可快速获得三维模型的外围轮廓线,最后还将本算法与相关算法进行了详细的比较分析。     

Introducing a new problem: shape-from-silhouette when the relative positions of the viewpoints is unknown

3D shapes can be reconstructed from 2D silhouettes by back-projecting them from the corresponding viewpoints and intersecting the resulting solid cones. However, in many practical cases as observing an aircraft or an asteroid, the positions of the viewpoints with respect to the object are not known. In these cases, the relative position of the solid cones is not known and the intersection cannot be performed. The purpose of this paper is introducing and stating in a theoretical framework the problem of understanding 3D shapes from silhouettes when the relative positions of the viewpoints are unknown. The results presented provide a first insight into the problem. In particular, the case of orthographic viewing directions parallel to the same plane is thoroughly discussed, and sets of inequalities are presented which allow determining objects compatible with the silhouettes.     

Constructing 3D human model from front and side images

Constructing 3D human model from 2D images provides a cost-effective approach to visualize digital human in virtual environment. This paper presents a systematic approach for constructing 3D human model using the front and side images of a person. The silhouettes of human body are first detected and the feature points on the silhouettes are subsequently identified. The feature points are further used to obtain the body dimensions that are necessary for identifying a template 3D human model. The shape of the template human model can be modified by the free-form deformation method. Moreover, the proposed approach has been applied for constructing the 3D human models of 30 subjects. The comparisons between the constructed 3D models and the 3D scanning models of the 30 subjects indicate that the proposed system is very effective and robust.     

Matching three-dimensional objects using silhouettes

A method for matching three-dimensional objects against a library of models from an observed sequence of silhouettes is presented in this correspondence. Based upon the observed silhouettes, the three-dimensional structure of the object is constructed and refined. The principal moments and three primary silhouettes are computed for the constructed three-dimensional objects to represent the aggregate and detailed structure parameters. The adaptive matching technique requires that sufficient silhouettes be added to modify the structure of the unknown object until consistent and steady matching results are obtained. The library for matching is based on three primary silhouettes of the model objects. Experiments conducted show a fast convergence to a consistent result may be achieved provided that a reasonable choice of silhouettes is made.     

彩色图像序列中运动人体轮廓提取

在视频序列的人体运动分析中,实时提取出运动人体轮廓,是很多研究起始的关键步骤.而彩色图像由于具有比灰度图像更多的视觉信息,受到了越来越多的重视.采用了一种新的色彩背景模型;运用改进的背景差分方法在复杂背景下获得运动人体的轮廓.实验结果表明上述算法对噪声抑制和人体图像断裂处填充都是有效的,在目标物是运动物体,且背景绝大多数均为静止时,该算法适用,能够实时提取出运动人体的轮廓.