基于多特征自适应融合的核跟踪方法

提出了一种基于多特征自适应融合的核跟踪框架. 利用目标特征的子模型集合构造了目标的多特征描述, 通过线性加权方法将目标的多个特征集成在核跟踪方法中. 根据各个特征子模型与当前目标及背景的相似性, 提出了一种基于 Fisher 可分性度量的权值自适应更新机制; 同时为了克服模型更新过程中的漂移, 基于子模型的可分性提出了一种选择性更新策略, 实现了在变化场景下的鲁棒跟踪. 基于本文所提多特征跟踪框架, 利用目标的颜色特征与 LBP (Local binary pattern) 纹理特征具体实现了多特征自适应融合的核跟踪方法, 实验验证了本文方法的有效性.     

分块多特征自适应融合的多目标视觉跟踪

为提高多目标视觉跟踪算法的实时性和稳定性,提出了分块多特征融合的目标跟踪算法.该算法融合底层颜色、纹理和边缘特征信息,以降低单一目标特征算法容易受复杂环境和目标形变的影响.建立分块目标多特征融合直方图模型,引入目标和背景区分度抑制背景分量,并且结合Kalman滤波器进行预测,在发生遮挡时根据置信度最大子块位置获取遮挡目标位置,实现目标稳定可靠的跟踪.实验结果表明:该算法对每帧图像的平均处理时间为36.2 ms,达到实时性的目的,且算法鲁棒性较强.     

基于多特征的退火粒子滤波视觉目标跟踪算法

提出了一种新的融合多特征的基于改进模拟退火粒子滤波跟踪算法。首先,针对重要性采样粒子滤波算法中重要性抽样密度函数未考虑最近观测值,不能有效逼近真实后验密度函数的问题,通过采用改进的模拟退火(SA)方法优化重要抽样密度函数,并利用不同温度下扰动函数和Metropolis准则克服粒子匮乏缺陷;同时,针对SA方法在粒子滤波视觉跟踪应用上效率不高的缺陷,对经典模拟退火算法进行改进,降低了参数选择的敏感性,保持了原算法全局寻优的优点,提高了算法的速度。     

自适应跟踪与多特征融合的目标跟踪算法

Staple算法采用固定权重与学习率的方式,导致其在物体模糊等场景下跟踪精度低.为此,提出一种自适应跟踪与多特征融合的目标跟踪算法(adp-Staple).特征融合与跟踪过程中引入两种不同置信因子提升跟踪精度,特征提取过程引入主成分分析降维技术提升跟踪速度.在OTB-50与OTB-100数据集上进行对比实验,其结果表明,adp-Staple算法较传统Staple算法有更好的跟踪效果,在运动模糊等场景中有更强的鲁棒性.     

尺度方向自适应视觉目标跟踪方法综述

视觉目标跟踪过程中出现的目标尺度和方向变化问题一直是目标跟踪中的难点,如何有效处理目标尺度方向变化是保证目标跟踪算法鲁棒性的一项重要因素。介绍了视频目标跟踪发展状况,并对现有的目标尺度和方向跟踪算法进行了分类：增量式搜索、Meanshift迭代、角点匹配、区域二阶矩、粒子滤波、相关滤波器和深度学习跟踪算法。阐述了各种算法的基本思想及其尺度和方向处理方法,重点分析了利用深度学习技术处理目标尺度和方向变化的策略,分析了各种算法的优缺点,并指出了它们的适用场合。对目标尺度和方向跟踪未来发展趋势进行了展望,提出了主要挑战和难题,对相关人员的研究工作起到参考和借鉴作用。     

基于目标分块多特征核稀疏表示的视觉跟踪

大多数现有的基于稀疏表示的跟踪器仅采用单个目标特征来描述感兴趣的目标,因而在处理各种复杂视频时不可避免会出现跟踪不稳定的情况。针对这个问题,提出一种基于多特征联合稀疏表示的粒子滤波跟踪算法。该算法的主要思想是对随时间不断更新的字典模板和抽样粒子的局部块依据其位置进行分类,用字典中所有类别块对抽样粒子的局部块进行稀疏表示,而仅用与字典中具有相同类别的局部块及表示系数进行重构,根据重构误差构建似然函数以确定最佳粒子（候选目标）,实现对目标的精确跟踪。该方法不仅实现了局部块的结构稀疏性,而且充分考虑了粒子之间的依赖关系,提高了跟踪精度。将算法进一步推广到采用基于核的多种特征描述,经混合范数约束并利用 KAPG （kernelizable accelerated proximal gradient ）方法求解联合特征的稀疏系数。定性和定量的实验结果均表明该算法在目标发生遮挡、旋转、尺度变化、快速运动、光照变化等各种复杂情况下,依然可以准确地跟踪目标。     

基于自适应背景的多特征融合目标跟踪

针对基于单一特征的目标跟踪算法,在复杂情形下,很难准确跟踪目标的问题,提出一种基于自适应背景的多特征融合目标跟踪算法。该算法利用颜色和基于灰度共生矩阵纹理特征表征目标,在粒子滤波的框中,通过分析在不同特征下,粒子空间分布、权值分布,以及特征对背景的区分性,提出一种有效的融合系数计算方法; 根据在跟踪过程中目标外观的变化情况,自适应更新目标模板。在不同场景下的实验结果表明:该算法在不降低实时性的前提下,抗背景干扰能力大幅度提高; 在各种场景下,均具有良好的稳定性和鲁棒性。     

利用多特征混沌粒子滤波的视觉目标跟踪方法

随着摄像终端的增多以及自动视频分析需求量的增大,针对视频序列中存在突然运动、遮挡、运动模糊等干扰因素时传统视觉目标跟踪方法很难获得鲁棒性高、精确稳定的目标跟踪的问题,提出了利用多特征混沌粒子滤波的视觉目标跟踪方法。首先,基于非线性动力学预测进行混沌建模,利用混沌映射的梯度优化函数来搜索状态空间以找到参考轨迹;然后设计了一种用于视觉跟踪的混沌粒子滤波器,并改进运动表观模型,引入颜色、纹理和深度的特征完善滤波器的性能;最后,将多特征混沌粒子滤波器与其他视觉目标跟踪方法应用于VOT17和TB 数据集进行对比分析,以论证该方法的准确性。结果表明,提出的多特征混沌粒子滤波方法显著减少了粒子数量、搜索空间和滤波器发散,其精度高出其他方法约10%,在突然运动、遮挡和运动模糊等情况下整体性能优于其他几种对比方法。     

基于视觉注意机制的目标跟踪方法

提出一种基于视觉注意机制的运动目标跟踪方法。该方法借鉴人类的视觉注意机制的研究成果,建立视觉注意机制的计算模型,计算视频中各部分内容的视觉显著性。结合视觉显著性计算结果,提取视频图像中的显著性目标。利用颜色分布模型作为目标的特征表示模型,与视频中各显著目标进行特征匹配,实现目标的跟踪。在多个视频序列中进行实验,并给出相应的实验结果及分析。实验结果表明,提出的目标检测与跟踪算法是正确有效的。     

多线索融合和区域划分的粒子滤波跟踪算法

提出一种多线索动态融合和目标区域划分的粒子滤波视觉跟踪算法。在粒子滤波框架基础上,选取颜色、纹理、边缘线索于目标模型中,采用带权重的乘性融合策略自适应计算粒子权重,并实时更新目标模型。为增强在遮挡时的跟踪能力,采用局部目标而非整个运动目标作为粒子目标模型。实验结果表明,改进后的算法比简单的线索融合、传统的粒子滤波模型选取方法更能鲁棒并实时地跟踪目标。     

基于多线索的目标跟踪

通过对人眼跟踪机制的研究,提出了一种新的基于多线索的目标跟踪方法。该方法采用串行结构处理多个视觉线索,首先按近邻原则产生若干候选目标,然后使用不同线索按优先级顺序逐次对候选目标进行筛选,得到的唯一候选目标再经过校正以获得更为准确的跟踪结果。该方法最大的特点是跟踪系统对环境和场景的变化有很强的自组织和自适应能力,系统内多个线索在跟踪过程中的竞争与协同使得跟踪具有强大的适应力和生命力。实验结果表明,该方法显著地提高了跟踪的鲁棒性和准确性。     

基于视频的三维人体运动跟踪系统的设计与实现

在优化粒子滤波跟踪框架下,设计并实现了一个结合多种图像特征、在多摄像机环境下跟踪人体运动的三维人体运动跟踪系统.通过定义三维人体模型、摄像机模型以及观测似然模型,得到跟踪所需目标函数,并使用优化粒子滤波算法进行求解.实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于体育运动分析和动画制作等领域.     

Learning the Statistics of People in Images and Video

This paper address the problems of modeling the appearance of humans and distinguishing human appearance from the appearance of general scenes. We seek a model of appearance and motion that is generic in that it accounts for the ways in which people's appearance varies and, at the same time, is specific enough to be useful for tracking people in natural scenes. Given a 3D model of the person projected into an image we model the likelihood of observing various image cues conditioned on the predicted locations and orientations of the limbs. These cues are taken to be steered filter responses corresponding to edges, ridges, and motion-compensated temporal differences. Motivated by work on the statistics of natural scenes, the statistics of these filter responses for human limbs are learned from training images containing hand-labeled limb regions. Similarly, the statistics of the filter responses in general scenes are learned to define a background distribution. The likelihood of observing a scene given a predicted pose of a person is computed, for each limb, using the likelihood ratio between the learned foreground (person) and background distributions. Adopting a Bayesian formulation allows cues to be combined in a principled way. Furthermore, the use of learned distributions obviates the need for hand-tuned image noise models and thresholds. The paper provides a detailed analysis of the statistics of how people appear in scenes and provides a connection between work on natural image statistics and the Bayesian tracking of people.     

基于多特征融合的分块采样粒子滤波算法在人体姿态跟踪中的应用

针对单目视频中无标记点的人体姿态跟踪问题,在分块采样粒子滤波算法框架下使用颜色(color)、边缘(edge)和运动(motion)特征相融合构造粒子权值度量函数,并根据肢体间的遮挡情况自适应地选择不同模板和图像特征来进行计算,增加了跟踪过程的鲁棒性,而且成功解决了人体运动中发生的多种形式的自遮挡问题.另外,该方法还提出了一种带约束的2维人体模型,并在此模型基础上使用一种改进的BP算法进行权值的传播,使得在一个关节点上能够同时应用多个人体约束.实验中所用测试视频(室内和室外拍摄)包含复杂背景和运动,实验结果表明该方法具有较强的鲁棒性和较高的跟踪精度.     

Multi-cue Pedestrian Detection and Tracking from a Moving Vehicle

This paper presents a multi-cue vision system for the real-time detection and tracking of pedestrians from a moving vehicle. The detection component involves a cascade of modules, each utilizing complementary visual criteria to successively narrow down the image search space, balancing robustness and efficiency considerations. Novel is the tight integration of the consecutive modules: (sparse) stereo-based ROI generation, shape-based detection, texture-based classification and (dense) stereo-based verification. For example, shape-based detection activates a weighted combination of texture-based classifiers, each attuned to a particular body pose. Performance of individual modules and their interaction is analyzed by means of Receiver Operator Characteristics (ROCs). A sequential optimization technique allows the successive combination of individual ROCs, providing optimized system parameter settings in a systematic fashion, avoiding ad-hoc parameter tuning. Application-dependent processing constraints can be incorporated in the optimization procedure. Results from extensive field tests in difficult urban traffic conditions suggest system performance is at the leading edge.     

Markerless tracking of complex human motions from multiple views

We present a method for markerless tracking of complex human motions from multiple camera views. In the absence of markers, the task of recovering the pose of a person during such motions is challenging and requires strong image features and robust tracking. We propose a solution which integrates multiple image cues such as edges, color information and volumetric reconstruction. We show that a combination of multiple image cues helps the tracker to overcome ambiguous situations such as limbs touching or strong occlusions of body parts. Following a model-based approach, we match an articulated body model built from superellipsoids against these image cues. Stochastic Meta Descent (SMD) optimization is used to find the pose which best matches the images. Stochastic sampling makes SMD robust against local minima and lowers the computational costs as a small set of predicted image features is sufficient for optimization. The power of SMD is demonstrated by comparing it to the commonly used Levenberg–Marquardt method. Results are shown for several challenging sequences showing complex motions and full articulation, with tracking of 24 degrees of freedom in ≈1 frame per second.     

Australian sign language recognition

This paper presents an automatic Australian sign language (Auslan) recognition system, which tracks multiple target objects (the face and hands) throughout an image sequence and extracts features for the recognition of sign phrases. Tracking is performed using correspondences of simple geometrical features between the target objects within the current and the previous frames. In signing, the face and a hand of a signer often overlap, thus the system needs to segment these for the purpose of feature extraction. Our system deals with the occlusion of the face and a hand by detecting the contour of the foreground moving object using a combination of motion cues and the snake algorithm. To represent signs, features that are invariant to scaling, 2D rotations and signing speed are used for recognition. The features represent the relative geometrical positioning and shapes of the target objects, as well as their directions of motion. These are used to recognise Auslan phrases using Hidden Markov Models. Experiments were conducted using 163 test sign phrases with varying grammatical formations. Using a known grammar, the system achieved over 97% recognition rate on a sentence level and 99% success rate at a word level.     

随机场中运动一致性的多线索目标跟踪

目的 通过建立各线索间的关联,提高多线索目标跟踪方法的鲁棒性,利用简单而有效的模型使多线索目标跟踪方法的表达和实现变得容易.方法 在不同线索描述下的目标对象间引入运动一致性约束,利用链状结构随机场模型表达不同线索描述下的目标对象及其约束关系,将多线索目标跟踪问题转化为随机场目标函数的简单优化求解.实验中结合亮度直方图、方向梯度直方图和局部二进制模式描述目标对象.结果 15组公测视频序列上的实验结果表明,所提方法相对于多种优秀的目标跟踪方法,在目标受到遮挡、运动模糊、光照变化、背景杂乱等因素干扰时,获得了较低中心位置误差和较高的精度值,反映了所提方法的有效性.结论 运动一致性约束能够较好地增强各线索间的关联,通过链状结构的随机场模型表达该约束关系和各线索描述下的目标对象,在提高跟踪鲁棒性的同时,使跟踪方法的实现变得简单.