双目视觉下人体运动的三维模型描述方法研究

提出一种在双目视觉的条件下,利用光流金字塔跟踪算法跟踪关节点,以解决传统光流不能进行大幅度运动跟踪的问题,并利用极线约束进行三维重建获得深度信息,结合对消失关节点的位置预测求出相应的三维坐标,再利用层次化的描述方法将三维坐标转化为三维模型中各个关节点的旋转角度,实现对人体运动的模型描述。实验结果表明,该算法能有效地对人体的运动进行描述。     

适用于单目视频的无标记三维人体运动跟踪

在无标记人体运动跟踪过程中,由于被跟踪目标缺乏明显的特征以及背景复杂而使得跟踪到的人体运动姿态与真实值偏差较大,不能进行长序列视频跟踪.针对这一现象,提出一种基于形变外观模板匹配进行单目视频的三维人体运动跟踪算法,其中所用的人体外观模型由三维人体骨骼模型及二维纸板模型组成.首先根据人体骨骼比例约束采用逆运动学计算出关节旋转欧拉角;然后利用正向运动学求得纸板模型中像素在三维空间中的坐标,将这些像素根据摄像机成像模型投影到二维图像中得到形变外观模板;最后采用直方图匹配得到人体运动跟踪结果.实验结果表明,该算法对于一些复杂的长序列人体运动能够得到较为理想的跟踪结果,可应用于人机交互和动画制作等领域.     

基于多视角视频的运动重建

为了更逼真地从视频图像序列中实现三维人体骨架动画形式的提取,以便进一步地对人体运动进行分析与研究,提出了一种基于多视角视频的运动重建的方法。该方法充分利用了标记点的信息,其核心步骤有标定摄像机,提取标记点,跟踪标记点和人体运动三维重建四个主要方面。其中,在跟踪标记点时,使用了基于多视觉的目标跟踪算法,该算法由结合了扩展卡尔曼滤波预测与标记点轨迹平滑性约束所构成的双目立体视觉跟踪与多目视觉数据融合两个方面。实验结果证明了所提方法的有效性与可行性。     

人体运动捕捉及运动控制的研究

在论述了几种方式的人体运动捕捉的基础上,介绍了光学运动捕捉的关键技术,包括摄像机标定、标记点跟踪和三维重建技术。无标记点的运动捕捉是新兴的技术,它将捕获的图像进行分割并分析,然后用多种约束算法进行三维重建。基于运动捕捉的人体运动控制相关文献很少,文中列举了现有各种应用运动捕捉数据的方式,包括基于关键帧、运动学和物理模型等的应用。论文对运动捕捉及运动控制技术进行了总结,可为此领域的研究提供有用的信息。     

视频运动捕获系统中多标记点的三维跟踪算法

针对视频运动参数捕获系统中标记点无法被正确匹配及跟踪的问题,提出一种多目标三维立体跟踪算法。该算法通过二维和三维卡尔曼滤波预测来标记点的位置,并利用三维立体匹配方法以及外极限约束关系,解决了多标记点的匹配和跟踪问题。实验结果表明,该算法是有效的。     

双目视觉运动目标跟踪定位系统的设计

针对运动目标在被遮挡时跟踪丢失问题,采用双目视觉对运动目标进行跟踪定位.首先,利用背景差分法实现目标检测;然后,利用Kalman滤波器改进的CamShift算法与FAST角点检测算法相结合,通过缩小角点检测的范围,提高预测的准确性和跟踪速度,同时有效解决了目标跟踪丢失问题;最后,通过双目立体视觉视差原理求出目标的三维坐标,实现对目标的定位.实验结果表明,该系统有效地解决了目标跟踪丢失问题,且算法实时性良好,有利于工业上使用机器人对运动目标的精确抓取.     

全局运动补偿的动态背景下运动轨迹跟踪算法

针对动态背景下,一般跟踪算法存在着被动跟踪的滞后或偏移的问题,提出了一种结合Kalman滤波器的Mean-Shift跟踪算法.对运动矢量进行预处理,得到一个平稳更能反映运动信息的矢量场;利用Mean-Shift搜索算法精确地确定对象位置;此基础上,利用Kalman滤波器算法进行运动估计预测,来确定运动的轨迹.实验表明:与现有的方法相比,该方法可从复杂场景中更准确地对运动对象进行轨迹的跟踪.     

结合模型匹配与特征跟踪的人体上半身三维运动姿态恢复方法

人体姿态空间的高维性及单目视频深度信息丢失,导致从单目视频恢复人体三维运动姿态非常困难,为此,利用特征跟踪的快速性及模型匹配的鲁棒性,提出一种无标记人体上半身三维运动跟踪方法.该方法利用匹配SIFT特征,并根据长度不变性约束建立优化目标函数,再采用迭代优化算法得到全局运动位姿;其他关节的姿态先根据逆运动学计算初始估计值,并通过模型匹配验证其可信度,当初始姿态估计错误时,则使用局部搜索获得关节姿态.实验结果表明,文中方法可以准确地恢复单目视频中人体上半身三维运动姿态.     

基于骨骼约束的人体运动捕捉数据失真恢复

针对人体运动捕捉(Motion?Capture, MOCAP)数据实际采集过程中, 由于光线等因素影响而可能出现的同一帧中相邻标记点在时间域上连续缺失的情形, 利用MOCAP数据中存在的潜在相关性和同一运动序列中人体骨骼长度不变特性, 提出一种新的MOCAP数据失真恢复算法. 该算法首先对MOCAP数据进行预处理, 使变换后的数据表示的是相邻标记点的相对位置的变化, 由此得到人体骨骼长度约束项, 再利用稀疏表示和人体骨骼长度约束项进行字典训练, 最后利用训练得到的字典对缺失的数据进行恢复. 通过实验对比表明该算法在提高缺失点坐标恢复精度的同时, 将骨骼长度恢复精度提高到10^–4 cm, 验证了算法的可行性和有效性.     

基于卡尔曼滤波的运动人体跟踪算法研究

提出一种基于卡尔曼滤波的运动目标快速跟踪算法。利用卡尔曼滤波器的预测功能,预测运动人体目标在下一帧中的位置,在Matlab仿真环境下实现该跟踪算法,实验结果表明：该算法对人体目标的运动趋势能够做出正确的预测估计,跟踪效果和性能较为稳定和可靠。此外,该算法将图像全局搜索问题转换为局部搜索,使运算量减少,满足实时性跟踪要求,实现了对运动目标的快速跟踪。     

基于序列帧的光学运动捕捉系统及实现

首先,给出了系统的结构图。然后,提出了光学运动捕捉系统中关键技术的解决方法。利用卡尔曼滤波算法进行标记点预测和跟踪,提高了跟踪的准确性。在三维重建之前还需要进行摄像机的三维重建,以便准确地得出标记点的空间位置,提出了标定摄像机的实用方法。由于误差的存在,对三维重建理想状态下的方法进行了扩充,使三维重建更易于实现。实验证明,文中提到的方法能得到理想的数据。     

基于视频的运动捕获

现有的运动捕获方法大都存在运动捕获设备昂贵、演员运动受限等缺点，为此，提出了一种利用视觉技术从视频中提取人体运动的方法，并对其中的特片跟踪和三维运动序列恢复等关键技术进行了深入研究。基于人体模型的特征跟踪算法利用卡尔曼滤波和极线方程，能精确地跟踪比较大的人体运动；采用不共面的非线性定标模型和考虑运动不确定性的三维重建方法，能恢复逼真的三维人体骨架模型，实验结果验证了基于视频的运动捕获方法的可行性和有效性。     

基于多摄像机的人体步态跟踪方法

研究步态跟踪的关键技术,提出一种比较鲁棒的多摄像机自校正跟踪方法,该方法结合卡尔曼滤波预测技术、标记点轨迹平滑性和多视角几何关系对标记点的运动轨迹进行跟踪。将该方法应用于三维人体步态重构,并与商业系统Vicon做了对比实验。实验表明,该方法可以获得较精确的步态数据,能够满足人体步态分析的需求。     

基于双眼同步运动特征约束的Kalman瞳孔跟踪算法

针对注视点研究中,红外光照明下双眼瞳孔运动的定位跟踪存在误差的问题,以双眼实时图像为研究对象,提出一种基于双眼同步运动特征约束的瞳孔跟踪算法.根据人类双眼在注视过程中的同步运动特征,把双眼瞳孔间距矢量作为隐式参数进行估计,简化包含左右眼位置、速度和双眼瞳孔间距的模型为统一的双眼同步跟踪模型,运用Kalman滤波器实现了运动特征估计和状态跟踪.实验采用自制的头戴式注视点传感装置进行眼部图像的采集.实验表明,该算法跟踪精度高,抗干扰能力强.相较于传统的以左右瞳孔位置与速度以及左右眼相对位置为状态量的算法,本文算法在位置跟踪和速度跟踪的鲁棒性上有明显改善,算法计算量也明显减少.另外,经过本文算法处理后的注视点位置估计精度大大提高,为注视点在人机交互领域中的进一步应用奠定了基础.     

一种强跟踪滤波器及其在人手跟踪中的应用

通过对状态预报误差的协方差矩阵的各个分量分别进行控制,设计一种强跟踪扩展卡尔曼跟踪滤波器,并在单目相机环境下利用该滤波器对3D人手运动过程中的突变状态进行跟踪;讨论了3D人手生理模型、运动模型等问题;最后通过大量实验证明了该强跟踪滤波器的有效性.与现有的STEKF滤波器相比,文中的强跟踪滤波器具有更强的跟踪能力.     

人体三维运动实时跟踪与建模系统

提出了一种新的人体三维运动实时跟踪与建模系统设计方法,并基于此实现了一套鲁棒的参考应用系统.针对人机交互等对跟踪精度要求不是很高的应用场合,系统在跟踪精确性和简易性与可推广性之间做了很好的折中.系统使用多个摄像头采集图像,实时计算场景深度信息,然后结合使用深度和颜色信息进行人体跟踪.应用一个简易的人体上半身三维模型,并使用基于颜色直方图的粒子滤波算法对头部和手部进行跟踪,从而恢复出模型的各个参数.系统以人脸检测和人手肤色聚类算法为初始化方法.大量实验证明,该系统能在复杂背景下进行人体上半身的跟踪和三维模型恢复,能进行完全自动的初始化,有较强的抗干扰能力和自动错误恢复能力.系统在2.4GHz PC机上能以25帧/秒的速度运行.     

基于混合跟踪模型的室内步行人体3D运动估计

针对步行人体3D运动估计过程中的自遮挡问题, 提出了基于混合跟踪模型的粒子滤波算法. 首先, 利用自遮挡状态检测模型, 将步行人体运动划分为四种自遮挡状态; 其次, 根据混合跟踪模型, 针对不同的自遮挡状态, 算法采用不同的跟踪模型; 最后, 为了估计遮挡状态下的人体运动, 算法提出了基于M-估计的在线训练方法 以训练肢体运动相关系数. 经过实验分析, 算法对处 于自遮挡状态下的人体3D运动估计有着良好的效果, 人体3D运动的估计精度得到了提高.     

基于卡尔曼粒子滤波器的人眼跟踪

提出了一种基于卡尔曼粒子滤波器的人眼跟踪算法，该方法利用一种新的二维可变形模板来提取眼睛的精确特征，采用粒子滤波器跟踪人眼。为了进一步提高普通粒子滤波器跟踪的速度和精度，将卡尔曼滤波器引入粒子滤波器中，利用卡尔曼滤波器算法进行采样预测和校正，减少了人眼跟踪中所需的粒子数目，从而达到快速而准确的跟踪目的。最后，用上述方法进行了实验，验证了该方法的实用性和有效性。     

基于相机模型投影的多目标三维人体跟踪算法

针对基于二维目标检测和卡尔曼滤波的多目标人体跟踪算法在视频拍摄角度不定的情况下,检测算法生成不同角度人体二维检测框的朝向和尺度混淆以及卡尔曼滤波器随机初始化造成的初始跟踪误差逐步放大问题,提出一种基于相机模型投影的多目标三维人体跟踪算法.在人体检测阶段,提出Multi-task RCNN(MTRC-NN)网络,使用人体...