基于无标记点运动跟踪的步态参数提取*

〖提出一种无标记点的步态参数提取方法,采用基于模型的人体运动跟踪方法,无须标记点即可从视频图像序列中获取运动步态参数。利用粒子滤波算法跟踪人体目标运动过程,通过基于外观模型的相似度计算及边界匹配误差判断定位腿部关节点。依据曲线拟合方法在跟踪与定位结果上提取运动步态参数。实验结果表明,该方法能精确定位腿部关节点且有效地提取步态参数。     

基于无标记点运动跟踪的步态参数提取

提出一种无标记点的步态参数提取方法,采用基于模型的人体运动跟踪方法,无须标记点即可从视频图像序列中获取运动步态参数。利用粒子滤波算法跟踪人体目标运动过程,通过基于外观模型的相似度计算及边界匹配误差判断定位腿部关节点。依据曲线拟合方法在跟踪与定位结果上提取运动步态参数。实验结果表明,该方法能精确定位腿部关节点且有效地提取步态参数。     

基于改进粒子滤波算法的人体运动跟踪

在复杂环境中对人体进行有效性和鲁棒性的跟踪是计算机视觉领域一个非常富有挑战性的课题,提出了一种基于改进粒子滤波算法实现的人体运动跟踪。利用改进的粒子滤波算法跟踪视频序列中的人体运动,不但解决了传统粒子滤波算法计算量大、误码多的缺点,而且能较好地处理遮挡和自遮挡问题。实验结果表明,该改进算法能更准确、更有效地跟踪运动人体。     

单目视频中无标记的人体运动跟踪

提出一种人体运动跟踪算法,从无关节标记的单目视频中获取人体运动,利用一个带外观模板的人体关节模型,通过学习得到的运动模型及基于外观模型的相似性计算,巧妙地利用粒子滤波的概率密度传播策略鲁棒地跟踪普通单目视频中的人体运动,当出现跟踪丢失时,能在后续序列中自动恢复正确跟踪,且能较好地处理遮挡和自遮挡问题,实验表明,该算法鲁棒性好,跟踪结果令人满意。     

基于视频的运动捕获

现有的运动捕获方法大都存在运动捕获设备昂贵、演员运动受限等缺点，为此，提出了一种利用视觉技术从视频中提取人体运动的方法，并对其中的特片跟踪和三维运动序列恢复等关键技术进行了深入研究。基于人体模型的特征跟踪算法利用卡尔曼滤波和极线方程，能精确地跟踪比较大的人体运动；采用不共面的非线性定标模型和考虑运动不确定性的三维重建方法，能恢复逼真的三维人体骨架模型，实验结果验证了基于视频的运动捕获方法的可行性和有效性。     

双目视觉下三维人体运动跟踪算法*

由于人体运动的复杂性,人体运动轨迹的快速改变和人体自遮挡现象经常发生,这给人体运动跟踪带来了很大的困难。针对此问题提出了一种基于三维Kalman滤波器和人体约束的人体运动跟踪算法。该算法首先利用外极线约束和灰度互相关法对二维标记点进行立体匹配,计算各个标记点的三维位置,从而构建得到三维标记点;然后利用三维Kalman滤波器对三维标记点进行跟踪;最后利用人体约束检验和修正跟踪结果。实验结果表明,该算法能有效地对复杂人体动作进行跟踪并能从跟踪错误中正确恢复。     

视频运动捕获系统中多标记点的三维跟踪算法

针对视频运动参数捕获系统中标记点无法被正确匹配及跟踪的问题,提出一种多目标三维立体跟踪算法。该算法通过二维和三维卡尔曼滤波预测来标记点的位置,并利用三维立体匹配方法以及外极限约束关系,解决了多标记点的匹配和跟踪问题。实验结果表明,该算法是有效的。     

基于视觉注意机制的目标跟踪方法

提出一种基于视觉注意机制的运动目标跟踪方法。该方法借鉴人类的视觉注意机制的研究成果,建立视觉注意机制的计算模型,计算视频中各部分内容的视觉显著性。结合视觉显著性计算结果,提取视频图像中的显著性目标。利用颜色分布模型作为目标的特征表示模型,与视频中各显著目标进行特征匹配,实现目标的跟踪。在多个视频序列中进行实验,并给出相应的实验结果及分析。实验结果表明,提出的目标检测与跟踪算法是正确有效的。     

基于视频的实时自动人体高度测量

怎样从视频出发准确实时地测量场景中运动人体的高度? 针对此问题, 本文提出了一种自动实时的人体高度测量方法. 该方法首先在视频序列中的每帧图像上提取一种新的头部特征点以及一种新的脚部特征点, 然后根据这些特征点建立约束方程求出近似的人体高度, 并同时在视频序列中跟踪双脚. 最后基于获得的双脚跟踪结果, 引入一条关于特征点所对应空间点的几何约束以进一步优化测量结果. 与过去的许多测量方法相比, 本文方法有效地利用了视频序列中包含的运动信息, 有较强的鲁棒性和较高的测量精度, 既能有效地处理透视镜头下的视频又能处理鱼眼镜头下的视频, 而且计算量很低, 可以实现实时测量. 实验结果验证了本文算法的有效性和实时性.     

基于多特征融合的分块采样粒子滤波算法在人体姿态跟踪中的应用

针对单目视频中无标记点的人体姿态跟踪问题,在分块采样粒子滤波算法框架下使用颜色(color)、边缘(edge)和运动(motion)特征相融合构造粒子权值度量函数,并根据肢体间的遮挡情况自适应地选择不同模板和图像特征来进行计算,增加了跟踪过程的鲁棒性,而且成功解决了人体运动中发生的多种形式的自遮挡问题.另外,该方法还提出了一种带约束的2维人体模型,并在此模型基础上使用一种改进的BP算法进行权值的传播,使得在一个关节点上能够同时应用多个人体约束.实验中所用测试视频(室内和室外拍摄)包含复杂背景和运动,实验结果表明该方法具有较强的鲁棒性和较高的跟踪精度.     

Self-adaptive morphable model based collaborative multi-view 3d face reconstruction in visual sensor network

3D face reconstruction is an efficient method for pedestrian recognition in non-cooperative environment because of its outstanding performance in robust face recognition for uncontrolled pose and illumination changes. Visual sensor network is widely used in target surveillance as powerful unattended distributed measurement systems. This paper proposes a collaborative multi-view non-cooperative 3D face reconstruction method in visual sensor network. A peer-to-peer paradigm-based visual sensor network is employed for distributed pedestrian tracking and optimal face image acquisition. Gaussian probability distribution-based multi-view data fusion is used for target localization, and kalman filter is applied for target tracking. A lightweight face image quality evaluation method is presented to search optimal face images. A self-adaptive morphable model is designed for multiview 3D face reconstruction. To adjust the self-adaptive morphable model, the optimal face images and their poses estimation are used. Cooperative chaotic particle swarm optimization is employed for parameters optimization of the self-adaptive morphable model. Experimental results on real data show that the proposed method can acquire optimal face images and achieve non-cooperative 3D reconstruction efficiently.     

小场景交互式稠密三维重建系统

近年来,随着 GPU 技术的深入发展和并行算法的日益成熟,使得实时三维重建成 为可能。文中实现了一种针对小场景的交互式稠密三维重建系统,此系统借助先进的移动跟踪 技术,可以准确地估计相机的即时位置。提出了一种改进的多视深度生成算法,在 GPU 加速下 能够实时计算场景的深度。改进算法中的亚像素级的半全局匹配代价累积提高了多视立体匹配 的精度,并结合全局优化的方法计算出了准确的场景深度信息。深度图被转换为距离场,使用 全局优化的直方图压缩融合算法和并行的原始对偶算法实现了深度的实时融合。实验结果证明 了重建系统的可行性和重建算法的正确性。     

联合LBS和Snake的3D人体外形和运动跟踪方法

为了解决基于多目视频轮廓信息的3D人体外形和运动跟踪问题,提出一种联合线性混合蒙皮和Snake变形模型的算法框架.首先建立人物对象的蒙皮模型,以每一帧多目同步视频的轮廓作为输入,采用一种基于剪影轮廓的可视外壳重建算法,使得作为3D特征的可视外壳保持了局部细节且更加光滑;并使用关节型迭代最近点算法进行匹配以捕获出每一帧骨架子空间下的人物3D外形及运动;再一次使用当前帧的多目轮廓信息,让Snake内外力共同作用于人物网格模型上的顶点,使之自由地趋近于目标对象.使用带ground-truth的合成数据进行对比实验的结果表明,该方法因同时使用3D误差约束和2D误差约束,提高了跟踪精度.     

Combining 3D flow fields with silhouette-based human motion capture for immersive video

In recent years, the convergence of computer vision and computer graphics has put forth a new field of research that focuses on the reconstruction of real-world scenes from video streams. To make immersive 3D video reality, the whole pipeline spanning from scene acquisition over 3D video reconstruction to real-time rendering needs to be researched. In this paper, we describe latest advancements of our system to record, reconstruct and render free-viewpoint videos of human actors. We apply a silhouette-based non-intrusive motion capture algorithm making use of a 3D human body model to estimate the actor’s parameters of motion from multi-view video streams. A renderer plays back the acquired motion sequence in real-time from any arbitrary perspective. Photo-realistic physical appearance of the moving actor is obtained by generating time-varying multi-view textures from video. This work shows how the motion capture sub-system can be enhanced by incorporating texture information from the input video streams into the tracking process. 3D motion fields are reconstructed from optical flow that are used in combination with silhouette matching to estimate pose parameters. We demonstrate that a high visual quality can be achieved with the proposed approach and validate the enhancements caused by the the motion field step.     

RGB-Fusion: Monocular 3D reconstruction with learned depth prediction

Generating large-scale and high-quality 3D scene reconstruction from monocular images is an essential technical foundation in augmented reality and robotics. However, the apparent shortcomings (e.g., scale ambiguity, dense depth estimation in texture-less areas) make applying monocular 3D reconstruction to real-world practice challenging. In this work, we combine the advantage of deep learning and multi-view geometry to propose RGB-Fusion, which effectively solves the inherent limitations of traditional monocular reconstruction. To eliminate the confinements of tracking accuracy imposed by the prediction deficiency of neural networks, we propose integrating the PnP (Perspective-n-Point) algorithm into the tracking module. We employ 3D ICP (Iterative Closest Point) matching and 2D feature matching to construct separate error terms and jointly optimize them, reducing the dependence on the accuracy of depth prediction and improving pose estimation accuracy. The approximate pose predicted by the neural network is employed as the initial optimization value to avoid the trapping of local minimums. We formulate a depth map refinement strategy based on the uncertainty of the depth value, which can naturally lead to a refined depth map. Through our method, low-uncertainty elements can significantly update the current depth value while avoiding high-uncertainty elements from adversely affecting depth estimation accuracy. Numerical qualitative and quantitative evaluation results of tracking, depth prediction, and 3D reconstruction show that RGB-Fusion exceeds most monocular 3D reconstruction systems.     

基于多角度光学投影表面重建的三维自发荧光光源定位算法

在自发荧光断层成像（Bioluminescent tomography imaging,BLT）中,双模态融合（光学模态与结构模态）可充分利用结构模态提供的高精度3D几何结构,重建三维表面荧光光通量分布,进而实现小动物内部荧光光源定位.然而,与纯光学模态相比,双模态融合存在采集系统复杂、成本高、数据处理繁琐及存在电离辐射（如CT）等问题.因此,研究基于纯光学3D几何结构的自发荧光光源定位方法对BLT具有重要意义. 本文在搭建纯光学自发荧光断层系统（All-optical bioluminescence tomography system,AOBTS）的基础上,提出一种基于多角度光学投影表面重建的三维自发荧光光源定位方法. 本方法由基于多角度光学投影的3D表面重建、多角度荧光无缝融合、荧光光通量的量化校正以及自发荧光内部光源重建4部分组成. 通过真实小鼠内部植入荧光光源实验表明,与传统纯光学方法相比,本文提出方法不仅改进了3D表面重建方法,而且增加了多角度荧光无缝融合,可实现真实小鼠的三维自发荧光光源定位,初步实验证明具有小动物预临床实验潜力.     

基于多视图三维重建方法在实验室系统中的应用研究

针对愈渐复杂的实验室系统,采用基于多视图的三维重建方法,实现对实验室系统中设备的结构重建.通过尺度不变特征变换(SIFT)匹配算法进行特征提取和匹配,并利用随机抽样一致性算法(RANSAC)和交叉过滤法降低误匹配率;通过多视图聚簇/基于面片的三维多视角立体视觉算法(CM-VS/PMVS)获取稠密点云;利用PCL泊松曲面...     

一种基于三维骨架化的人体姿势估计方法

提出了一种基于三维2 步子迭代混合细化算法和启发式搜索的无标记三维人体姿势估计方法.其主要思想是首先通过一种新的2 步子迭代混合细化算法,对由Shape-from-Silhouette(SFS)算法从多幅二维图像中重建出的人体三维模型进行骨架化,然后通过一种启发式的方法进行模型匹配.实验结果表明,该方法不仅思想简单,而且具有较好的鲁棒性,能够很好的去除各种噪声的影响.     

基于图割及动态片结构的3维人脸多视图体重建

针对3维人脸重建问题提出了一种新颖的多视图体重建方法,以解决目前3维人脸重建方法只适用于小样本集合,大范围推广时精度难以保证的弱点。该方法创新之处在于将基于特征点匹配的重建方法与立体重建方法结合引入到图割优化框架,并应用于3维人脸重建。本文两个重要改进工作是设计动态片结构描述来进行颜色一致性估计以及设计新的动态图结构以去除半个体素尺寸的重建误差。实验中分别采用8张、16张和30张存在亮度变化的人脸多视角图像验证算法。实验结果逼真,同时避免了传统重建方法结果受限于样本集分布的问题。     

基于骨架跟踪的动作捕捉重建方法研究

在光学动作捕捉中最常见的问题是因遮挡而产生的标记点丢失,这需要大量后处理工作来恢复缺失标记,甚至直接导致后期重建失败.针对这一问题,本文提出一种基于骨架跟踪的动作还原方法.该方法在三维重建和跟踪过程中,通过校准、三维标记重建、骨架初始化和全局拟合等步骤来预判标记的位置,并使用人体骨架模型来协助完成三维重建.实验结果证明...