结合模型匹配与特征跟踪的人体上半身三维运动姿态恢复方法

人体姿态空间的高维性及单目视频深度信息丢失,导致从单目视频恢复人体三维运动姿态非常困难,为此,利用特征跟踪的快速性及模型匹配的鲁棒性,提出一种无标记人体上半身三维运动跟踪方法.该方法利用匹配SIFT特征,并根据长度不变性约束建立优化目标函数,再采用迭代优化算法得到全局运动位姿;其他关节的姿态先根据逆运动学计算初始估计值,并通过模型匹配验证其可信度,当初始姿态估计错误时,则使用局部搜索获得关节姿态.实验结果表明,文中方法可以准确地恢复单目视频中人体上半身三维运动姿态.     

基于sift特征匹配的人体上半身三维运动跟踪

研究人体姿态与视频优化跟踪问题,单目视频缺少深度信息,使得单目视频的人体运动跟踪难以实现三维姿态恢复问题。为解决上述问题,提出了一种利用sift特征尺度不变性的优点进行人体上半身三维运动跟踪的算法。在跟踪过程中先计算初始匹配sift特征点对,然后反复迭代出除误匹配点,消除误差,最后求解由两个匹配sift特征组成的方程组得到胸部关节的位姿,根据人体骨骼模型采用深度遍历依次恢复其它关节的姿态。实验结果表明,系统能够对人体上半身运动进行比较准确的三维运动跟踪。     

基于视频的人体上半身运动跟踪系统

文章介绍了一个可以实时捕捉人体上半身运动的系统。该系统通过结合使用人脸检测、肤色检测和概率跟踪等技术,利用单个普通摄像头在一般的室内环境下跟踪人体的脸部和手臂关节位置。作为一个实时跟踪系统,该系统实现了跟踪的自动初始化以及自动从跟踪错误中恢复,并且在一定程度上处理光照变化、身体自遮挡等问题。该系统可以用于“虚拟现实”、“视频会议”、“基于摄像头的游戏”等一些领域中。     

自适应融合颜色和深度信息的人体轮廓跟踪

采用活动轮廓对人体目标建模,提出一 种新的水平集框架下自适应融合RGB-D图像的颜色和深度信息的人体轮廓跟踪方法. 设计了一种基于超像素的局部自适应权重计算方法,自动确定深度信息在水平集演化中的重要性. 基于深度信息的活动轮廓驱动外力包括由边缘生成的梯度向量流和由目标/背景深度模型生成的置信图,基于颜色信息的驱动外力由目标/背景颜色模型生成的置信图,这三种外力通过局部自适应权重融合,驱动活动轮廓向目标的边界演化.为了得到更加精确的目标轮廓和防止误差漂移,基于本文观察到的人体表面在深度图像中的两个特性,提出两个简单但有效的算法对水平集方法得到的结果进行精化调整. 最后,通过实验验证了本文算法的优越性.     

基于相机模型投影的多目标三维人体跟踪算法

针对基于二维目标检测和卡尔曼滤波的多目标人体跟踪算法在视频拍摄角度不定的情况下,检测算法生成不同角度人体二维检测框的朝向和尺度混淆以及卡尔曼滤波器随机初始化造成的初始跟踪误差逐步放大问题,提出一种基于相机模型投影的多目标三维人体跟踪算法。在人体检测阶段,提出Multi-task RCNN(MTRCNN)网络,使用人体运动趋势指导的三维目标检测替代传统的二维目标检测;通过相机模型在世界坐标系中进行人体检测框的投影。在跟踪阶段,使用目标三维尺度和朝向信息初始化卡尔曼滤波参数,加入三维包围框IOU生成目标匹配分数;通过Kuhn-Munkres(KM)算法进行数据关联。在标注数据集和MOT17数据集上与多种算法相比,该算法具有更稳定的初始跟踪性能,并且有效减少了两种ID Switch错误。     

基于模板模型的实时人体姿态跟踪研究

人体姿态跟踪是分析和识别人类行为的基础,具有广阔的应用范围。针对实时人体姿态跟踪问题,提出一种基于模板模型的人体姿态实时跟踪方法,该方法采用深度摄像头Kinect捕捉测试者的3D数据信息,并使用线性公式联合估计身体的姿态和运动。实验结果表明,该算法实现了实时人体姿态的跟踪,且可根据单个深度图的数据有效地处理明显的遮挡问题。系统设备成本低、结构简单,输出的网格能够准确地适应测试者的运动和身体形态,并随着时间的推移保持相同的拓扑结构。     

一种深度图像中人体的实时跟踪算法

针对深度图像中的人体目标跟踪问题,提出一种基于深度图像的改进Camshift算法。利用人体目标的深度信息计算概率分布,结合人体形态学特征,对深度的概率分布赋予不同的权重,通过Camshift算法进行迭代,从而寻找目标,使用卡尔曼滤波器在三维空间中对运动人体目标的位置实现预测和更新。采集1200帧图像进行测试,结果表明,该算法能实时准确地跟踪深度图像中的运动人体目标,有效克服遮挡等干扰,单人和双人跟踪准确率均在95%以上,高于传统Camshift算法。     

基于Beowulf机群中改进粒子滤波的3D人体运动跟踪

针对标准的粒子滤波算法在视频三维人体运动跟踪中存在的计算量巨大、粒子退化、跟踪失效而无法同时满足跟踪精度和跟踪实时性要求的问题,提出了基于Beowulf机群中改进的粒子滤波新算法。新算法通过三维人体模型参数的自动初始化、粒子数目和模板的调整来实现跟踪失效的自动恢复,基于任务动态分配策略、低开销通信策略设计的Beowulf机群中的迁移式粒子滤波并行算法克服了粒子退化问题和提高了计算速度。实验结果显示：新方法有效地减轻了粒子退化和跟踪失效问题,降低了计算时间,提高了跟踪精度,能够同时满足三维人体运动跟踪精度和实时性的要求。     

双目视觉下人体运动的三维模型描述方法研究

提出一种在双目视觉的条件下,利用光流金字塔跟踪算法跟踪关节点,以解决传统光流不能进行大幅度运动跟踪的问题,并利用极线约束进行三维重建获得深度信息,结合对消失关节点的位置预测求出相应的三维坐标,再利用层次化的描述方法将三维坐标转化为三维模型中各个关节点的旋转角度,实现对人体运动的模型描述。实验结果表明,该算法能有效地对人体的运动进行描述。     

使用多视图L1跟踪器的三维人体运动恢复

近年来从视频中恢复三维人体运动的研究发展很快,其中大部分方法是基于前景轮廓的。提出了一种基于纹理信息的三维人体运动恢复方法,并给出了一个鲁棒、自适应的跟踪器模型。该模型基于L1跟踪器,并将其扩展到多个视图中,使用分层搜索来跟踪人体的各个部位。它可以寻找在模板子空间里重构误差最小的跟踪目标,将每个视图的重构误差作为衡量人体三维姿态与图像拟合的可能性函数。整个算法在退火粒子滤波的框架下进行。为了提高跟踪准度,在纹理模板更新过程中使用了两种方法:用人体的三维模型来检测自遮挡;根据模板系数检测计算错误的跟踪结果。综合这两种检测器,可以防止遮挡后和计算错误的跟踪结果加入到纹理模板中。在HumanEva-Ⅱ测试集上的实验表明,该算法能够得到较好的结果。     

Real-time 3D face tracking based on active appearance model constrained by depth data

Active Appearance Model (AAM) is an algorithm for fitting a generative model of object shape and appearance to an input image. AAM allows accurate, real-time tracking of human faces in 2D and can be extended to track faces in 3D by constraining its fitting with a linear 3D morphable model. Unfortunately, this AAM-based 3D tracking does not provide adequate accuracy and robustness, as we show in this paper. We introduce a new constraint into AAM fitting that uses depth data from a commodity RGBD camera (Kinect). This addition significantly reduces 3D tracking errors. We also describe how to initialize the 3D morphable face model used in our tracking algorithm by computing its face shape parameters of the user from a batch of tracked frames. The described face tracking algorithm is used in Microsoft's Kinect system.     

基于RSA-FCM算法的运动目标跟踪

运动目标跟踪领域的研究常用颜色直方图作为统计特征, 效果良好但也具有易受光照变化影响等缺点, 运用模糊颜色直方图的跟踪方法能解决以上问题. 针对传统模糊聚类方法中的不足之处, 提出了基于RSA-FCM算法的运动目标跟踪算法, 即在模糊聚类过程中使用随机采样策略确定聚类初值, 同时运用自适应模糊聚类模型进行运算, 提高了跟踪的速度和精度. 实验对比表明, 本文提出的算法在运动目标跟踪准确性和实时性较传统算法都有改进.     

Observation-oriented silhouette-aware fast full body tracking with Kinect

We present a novel approach to track full human body mesh with a single depth camera, e.g. Microsoft Kinect, using a template body model. The proposed observation-oriented tracking mainly targets at fitting the body mesh silhouette to the 2D user boundary in video stream by deforming the body. It is fast to be integrated into real-time or interactive applications, which is impossible with traditional iterative optimization based approaches. Our method is a composite of two main stages: user-specific body shape estimation and on-line body tracking. We first develop a novel method to fit a 3D morphable human model to the actual body shape of the user in front of the depth camera. A strategy, making use of two constrains, i.e. point clouds from depth images and correspondence between foreground user mask contour and the boundary of projected body model, is designed. On-line tracking is made possible in successive steps. At each frame, the joint angles of template skeleton are optimized towards the captured Kinect skeleton. Then, the aforementioned contour correspondence is adopted to adjust the projected body model vertices towards the contour points of foreground user mask, using a Laplacian deformation technique. Experimental results show that our method achieves fast and high quality tracking. We also show that the proposed method is benefit to three applications: virtual try-on, full human body scanning and applications in manufacturing systems.     

自适应粒子滤波在人体跟踪过程中的应用

人体运动跟踪技术近年来在图像处理与计算机视觉领域引起很多关注,在当前一些重要研究和应用领域有着广泛的需求。在以往跟踪方法的基础上提出了基于决策规则的自适应粒子滤波的无标记运动目标跟踪方法。利用一个带外观模板的人体关节模型,通过学习得到运动模型及基于关节模型的相似性计算,巧妙地利用自适应粒子滤波对运动目标进行实时跟踪,使得在粒子滤波过程中,可以根据实际滤波情况在线调节粒子数。实验表明,提出的算法鲁棒性好,跟踪速度比基于传统粒子滤波的快。     

视频中多特征融合人体姿态跟踪

目的 目前已有的人体姿态跟踪算法的跟踪精度仍有待提高,特别是对灵活运动的手臂部位的跟踪。为提高人体姿态的跟踪精度,本文首次提出一种将视觉时空信息与深度学习网络相结合的人体姿态跟踪方法。方法 在人体姿态跟踪过程中,利用视频时间信息计算出人体目标区域的运动信息,使用运动信息对人体部位姿态模型在帧间传递;考虑到基于图像空间特征的方法对形态较为固定的人体部位如躯干和头部能够较好地检测,而对手臂的检测效果较差,构造并训练一种轻量级的深度学习网络,用于生成人体手臂部位的附加候选样本;利用深度学习网络生成手臂特征一致性概率图,与视频空间信息结合计算得到最优部位姿态,并将各部位重组为完整人体姿态跟踪结果。结果 使用两个具有挑战性的人体姿态跟踪数据集VideoPose2.0和YouTubePose对本文算法进行验证,得到的手臂关节点平均跟踪精度分别为81.4%和84.5%,与现有方法相比有明显提高;此外,通过在VideoPose2.0数据集上的实验,验证了本文提出的对下臂附加采样的算法和手臂特征一致性计算的算法能够有效提高人体姿态关节点的跟踪精度。结论 提出的结合时空信息与深度学习网络的人体姿态跟踪方法能够有效提高人体姿态跟踪的精度,特别是对灵活运动的人体姿态下臂关节点的跟踪精度有显著提高。     

免锚检测的行人多目标跟踪算法

针对复杂环境下行人目标因检测器漏检和频繁遮挡而导致的数据关联不正确、跟踪实时性差的问题,提出了一种基于免锚检测的多目标跟踪算法。算法采用预测目标中心点热力图的方法实现目标检测定位,改善了因锚点框回归歧义所导致的漏检问题。同时在检测模型中嵌入深度表观特征提取分支,构建联合检测与跟踪的多任务网络用于提升实时性。为解决跟踪阶段行人因遮挡而引起的数据关联错误和轨迹丢失问题,提出加权多特征融合的相似性度量算法,综合多种关键特征评估检测与轨迹的匹配程度,显著提升数据关联正确性;提出基于存活期的跟踪状态更新方法,有效找回丢失轨迹,提升跟踪鲁棒性。在MOT数据集上对跟踪性能进行测试,实验结果表明,算法能够有效应对遮挡,并实现长时间稳定跟踪,兼顾了实时性与准确性。     

Multiple 3D object position estimation and tracking using double filtering on multi-core processor

We present a new algorithm to tracking multiple 3D objects that has robustness, real-time processing ability and fast object registration. Usually, many augmented reality applications want to track 3D object using natural features in real-time, more accuracy and want to register target object immediately in few seconds. Prevalent object tracking algorithm uses FERN for feature extraction that takes long time to register and learning target object for high quality performance. Our method provides not only high accuracy but also fast target object registering time about 0.3 ms in same environment and real-time processing. These features are presented by using SURF, ROI, double robust filtering and optimized multi-core parallelization. Using our methods, tracking multiple 3D objects with fast and high accuracy is available.     

基于局部姿态先验的深度图像3D人体运动捕获方法

提出一种基于局部姿态先验的从深度图像中实时在线捕获3D人体运动的方法.关键思路是根据从捕获的深度图像中自动提取具有语义信息的虚拟稀疏3D标记点,从事先建立的异构3D人体姿态数据库中快速检索K个姿态近邻并构建局部姿态先验模型,通过迭代优化求解最大后验概率,实时地在线重建3D人体姿态序列.实验结果表明,该方法能够实时跟踪重建出稳定、准确的3D人体运动姿态序列,并且只需经过个体化人体参数自动标定过程,可跟踪身材尺寸差异较大的不同表演者;帧率约25fps.因此,所提方法可应用于3D游戏/电影制作、人机交互控制等领域.     

单目视频中无标记的人体运动跟踪

提出一种人体运动跟踪算法,从无关节标记的单目视频中获取人体运动,利用一个带外观模板的人体关节模型,通过学习得到的运动模型及基于外观模型的相似性计算,巧妙地利用粒子滤波的概率密度传播策略鲁棒地跟踪普通单目视频中的人体运动,当出现跟踪丢失时,能在后续序列中自动恢复正确跟踪,且能较好地处理遮挡和自遮挡问题,实验表明,该算法鲁棒性好,跟踪结果令人满意。     

双目视觉下三维人体运动跟踪算法*

由于人体运动的复杂性,人体运动轨迹的快速改变和人体自遮挡现象经常发生,这给人体运动跟踪带来了很大的困难。针对此问题提出了一种基于三维Kalman滤波器和人体约束的人体运动跟踪算法。该算法首先利用外极线约束和灰度互相关法对二维标记点进行立体匹配,计算各个标记点的三维位置,从而构建得到三维标记点;然后利用三维Kalman滤波器对三维标记点进行跟踪;最后利用人体约束检验和修正跟踪结果。实验结果表明,该算法能有效地对复杂人体动作进行跟踪并能从跟踪错误中正确恢复。