基于多任务最小软阈值回归方法的目标跟踪*

在视频跟踪中,模型表示是直接影响跟踪效率的核心问题之一.在随时间和空间变化的复杂数据中学习目标外观模型表示所需的有效模板,从而适应内在或外在因素所引起的目标状态变化是非常重要的.文中详细描述较为鲁棒的目标外观模型表示策略,并提出一种新的多任务最小软阈值回归跟踪算法(MLST).该算法框架将候选目标的观测模型假设为多任务线性回归问题,利用目标模板和独立同分布的高斯-拉普拉斯重构误差线性表示候选目标不同状态下的外观模型,从而跟踪器能够很好地适应各种复杂场景并准确预测每一时刻的真实目标状态.大量实验证明,文中在线学习策略能够充分挖掘目标在不同时刻的特殊状态信息以提高模型表示精度,使得跟踪器保持最佳的状态,从而在一定程度上提高跟踪性能.实验结果显示,本文算法体现较好的鲁棒性并优于一些目前较先进的跟踪算法.     

基于增量子空间自适应决策的目标跟踪

基于增量子空间的目标跟踪算法多数不加选择地将检测到的目标作为模板训练的样本, 并以固定频率更新模板, 这种无反馈闭环机制使得算法在目标外观模型发生变化、 光照变化等复杂条件下难以鲁棒跟踪目标, 一旦跟踪失败很难从错误中恢复. 为此, 我们提出一种反馈闭环跟踪算法, 在增量子空间粒子滤波跟踪框架下, 引入跟踪状态判决作为后续模板更新依据. 通过判决反馈信息选择合适的样本适时更新模板, 有效克服目标外观模型的变化, 持续跟踪目标. 实验结果表明, 由于引入跟踪状态判决, 在目标外观变化、光照变化等情况下, 本算法能够以与环境相适应的频率及时更新模板, 提高跟踪精度, 实验结果验证了本文算法的鲁棒性和有效性.     

基于鲁棒子空间学习的粒子滤波跟踪算法*

线性子空间模型能够有效地描述目标表面受到光照和姿势变化的情况,然而大多数基于子空间表面模型的目标跟踪算法是在跟踪之前通过训练不同光照和姿势下目标的观测图像,得到一组特征基,并用这组特征基表示不同时刻目标表面变化,一旦训练完成之后,特征基就保持不变,不能在线更新。采用增量子空间学习的方法来构建目标表面的特征基,该特征基能够在线适应目标表面的变化。另一方面,传统的子空间学习方法是基于最小二乘重构误差,该方法容易受到异常测量数据的影响,为此采用鲁棒的子空间学习方法来降低异常测量数据对特征空间更新的影响。最后将鲁     

基于判别性局部联合稀疏模型的多任务跟踪

目标表观建模是基于稀疏表示的跟踪方法的研究重点, 针对这一问题, 提出一种基于判别性局部联合稀疏表示的目标表观模型, 并在粒子滤波框架下提出一种基于该模型的多任务跟踪方法(Discriminative local joint sparse appearance model based multitask tracking method, DLJSM).该模型为目标区域内的局部图像分别构建具有判别性的字典, 从而将判别信息引入到局部稀疏模型中, 并对所有局部图像进行联合稀疏编码以增强结构性.在跟踪过程中, 首先对目标表观建立上述模型; 其次根据目标表观变化的连续性对采样粒子进行初始筛选以提高算法的效率; 然后求解剩余候选目标状态的联合稀疏编码, 并定义相似性函数衡量候选状态与目标模型之间的相似性; 最后根据最大后验概率估计目标当前的状态.此外, 为了避免模型频繁更新而引入累积误差, 本文采用每5帧判断一次的方法, 并在更新时保留首帧信息以减少模型漂移.实验测试结果表明DLJSM方法在目标表观发生巨大变化的情况下仍然能够稳定准确地跟踪目标, 与当前最流行的13种跟踪方法的对比结果验证了DLJSM方法的高效性.     

基于字典学习的粒子滤波鲁棒跟踪算法

字典学习广泛应用于图像去噪、图像分类等领域,但是将离线字典训练如何应用于视频目标跟踪的研究较少。本文采用一种字典编码方法提取目标的局部区域描述符,通过训练分类器将跟踪问题转化为背景和前景二值分类问题,并通过粒子滤波对物体位置进行估计实现跟踪。不同图像序列的实验结果表明,与现有的方法相比本文的算法具有较好的鲁棒性。     

基于子空间自适应学习的粒子滤波跟踪算法

为了提高目标外观迅速变化时视觉跟踪算法的鲁棒性,提出了一种基于自适应子空间学习的粒子滤波跟踪算法。在粒子滤波构架下,建立状态判决机制,根据判决结果并结合主成分分析(PCA)子空间与正交子空间的特点,选择合适的学习方法。这样既能准确、稳定地学习到目标的低维子空间,又能迅速地学习到目标外观变化的趋势。同时,加入鲁棒估计技术处理遮挡问题,避免了对目标状态估计的影响。实验结果表明,该算法在光照变化、姿态变化、遮挡的情况下,均具有较强的鲁棒性。     

雾天视频图像增强与运动目标跟踪模型及方法

关于视频图像多目标检测优化问题,针对雾天视频图像目标特征和背景不断地变化,雾天图像的退化程度跟场景深度成非线性关系的问题,提出用于准确完成雾天运动目标检测的实时背景建模框架的图像清晰化方法,并创建一种新的具有增量集成学习能力的目标跟踪计算模型和相应的方法,以适应跟踪过程中目标特征和背景的不断变化,构建一种具有增量学习能力的稳健的目标跟踪算法,改进方法有效地解决了雾天条件下运动目标跟踪的稳健性.     

在线复合模板模型表示的视觉目标跟踪

目的 视觉目标跟踪中,目标往往受到自身或场景中各种复杂干扰因素的影响,这对正确捕捉所感兴趣的目标信息带来极大的挑战。特别是,跟踪器所用的模板数据主要是在线学习获得,数据的可靠性直接影响到候选样本外观模型表示的精度。针对视觉目标跟踪中目标模板学习和候选样本外观模型表示等问题,采用一种较为有效的模板组织策略以及更为精确的模型表示技术,提出一种新颖的视觉目标跟踪算法。方法 跟踪框架中,将候选样本外观模型表示假设为由一组复合模板和最小重构误差组成的线性回归问题,首先利用经典的增量主成分分析法从在线高维数据中学习出一组低维子空间基向量(模板正样本),并根据前一时刻跟踪结果在线实时采样一些特殊的负样本加以扩充目标模板数据,再利用新组织的模板基向量和独立同分布的高斯—拉普拉斯混合噪声来线性拟合候选目标外观模型,最后估计出候选样本和真实目标之间的最大似然度,从而使跟踪器能够准确捕捉每一时刻的真实目标状态信息。结果 在一些公认测试视频序列上的实验结果表明,本文算法在目标模板学习和候选样本外观模型表示等方面比同类方法更能准确有效地反映出视频场景中目标状态的各种复杂变化,能够较好地解决各种不确定干扰因素下的模型退化和跟踪漂移问题,和一些优秀的同类算法相比,可以达到相同甚至更高的跟踪精度。结论 本文算法能够在线学习较为精准的目标模板并定期更新,使得跟踪器良好地适应内在或外在因素(姿态、光照、遮挡、尺度、背景扰乱及运动模糊等)所引起的视觉信息变化,始终保持其最佳的状态,使得候选样本外观模型的表示更加可靠准确,从而展现出更为鲁棒的性能。     

基于在线增量学习的实时人脸跟踪算法

提出基于在线增量式极端随机森林分类器的实时人脸跟踪算法。算法用在线极端随机森林分类器实现基于检测的跟踪,并结合动态目标框架和P-N学习矫正检测的错误。实验结果表明,该算法能够在不确定背景下对任意人脸实现较长时间段内的稳定快速的实时跟踪,并能有效排除背景等的干扰,效果较好。     

基于多任务学习的视频和图像显著目标检测方法

显著目标检测(Salient Object Detection, SOD)能够模拟人类的注意力机制,在复杂的场景中快速发现高价值的显著目标,为进一步的视觉理解任务奠定了基础。当前主流的图像显著目标检测方法通常基于DUTS-TR数据集进行训练,而视频显著目标检测方法(Video Salient Object Detection, VSOD)基于DAVIS,DAVSOD以及DUTS-TR数据集进行训练。图像和视频显著目标检测任务既有共性又有特性,因此需要部署独立的模型进行单独训练,这大大增加了运算资源和训练时间的开销。当前研究大多针对单个任务提出独立的解决方案,而缺少统一的图像和视频显著目标检测方法。针对上述问题,提出了一种基于多任务学习的图像和视频显著目标检测方法,旨在构建一种通用的模型框架,通过一次训练同时适配两种任务,并进一步弥合图像和视频显著目标检测方法之间的性能差异。12个数据集上的定性和定量实验结果表明,所提方法不仅能够同时适配两种任务,而且取得了比单任务模型更好的检测结果。     

特征融合与视觉目标跟踪 *

针对跟踪过程中各类图像特征分离背景和目标能力的变化 ,提出一种基于增量判别分析的特征融合算法。该算法首先计算各特征图像的似然图 ,然后通过增量判别分析计算各特征分类性能 ,得到相应权重 ,并在此基础上求取融合似然图 ,通过粒子滤波算法确定待跟踪目标状态。通过对可见光及红外成像视频序列的仿真表明,该算法对环境光照变化、视角变化以及局部遮挡等均具有一定的鲁棒性。     

Discriminative subspace learning with sparse representation view-based model for robust visual tracking

In this paper, we propose a robust tracking algorithm to handle drifting problem. This algorithm consists of two parts: the first part is the G&D part that combines Generative model and Discriminative model for tracking, and the second part is the View-Based model for target appearance that corrects the result of the G&D part if necessary. In G&D part, we use the Maximum Margin Projection (MMP) to construct a graph model to preserve both local geometrical and discriminant structures of the data manifold in low dimensions. Therefore, such discriminative subspace combined with traditional generative subspace can benefit from both models. In addition, we address the problem of learning maximum margin projection under the Spectral Regression (SR) which results in significant savings in computational time. To further solve the drift, an online learned sparsely represented view-based model of the target is complementary to the G&D part. When the result of G&D part is unreliable, the view-based model can rectify the result in order to avoid drifting. Experimental results on several challenging video sequences demonstrate the effectiveness and robustness of our approach.     

视觉目标跟踪方法研究综述

目的 随着军事侦察任务设备的发展,红外与可见光侦察技术成为军事装备中的主要侦察手段。研究视觉目标跟踪技术对提高任务设备的全天候目标侦察、目标跟踪、目标定位等战场情报获取能力具有重要意义。目前,对视觉目标跟踪技术的研究越来越深入,目标跟踪的方法和种类也越来越丰富。本文对目前应用较为广泛的4种视觉目标跟踪方法进行研究综述,为后续国内外研究者对目标跟踪相关理论及发展研究工作提供基础。方法 通过对视觉目标跟踪技术难点问题进行分析,根据目标跟踪方法建模方式的不同,将视觉目标跟踪方法分为生成式模型方法与判别式模型方法。分别对生成式模型跟踪算法中的均值漂移目标跟踪方法和粒子滤波目标跟踪方法,判别式模型跟踪算法中的相关滤波目标跟踪方法和深度学习目标跟踪方法进行研究。首先分别对4种跟踪算法的基本原理进行介绍,然后针对4种跟踪算法基本原理的不足和对应目标跟踪中的难点问题进行分析,最后针对目标跟踪的难点问题,给出对应算法的主流改进方案。结果 针对视觉目标跟踪相关技术研究进展,结合无人机侦察任务需求,对跟踪算法实际应用中存在的重点解决问题与相关目标跟踪的难点问题进行分析,给出目前的解决方案与不足,探讨研究未来无人机目标侦察跟踪技术的发展方向。结论 视觉目标跟踪技术已经取得了显著的进展,在侦察任务中的应用越来越广泛。但目标跟踪技术仍然是非常具有挑战性的问题,目标跟踪中的相关理论有待进一步完善和改进,由于实际应用中的场景复杂,目标跟踪的难点问题的挑战性更大,因此容易导致跟踪效果不佳。针对不同的应用环境,结合具体不同军事装备的特点,研究相对精确和鲁棒并且满足实时性要求的视觉目标跟踪算法,对提升装备的全天候侦察目标信息获取能力具有重要意义。     

改进型稀疏分类鲁棒目标跟踪算法

针对当前基于稀疏分类的目标跟踪算法跟踪精度较低等问题,结合判别分析思想,提出改进型稀疏跟踪算法。采用基于在线学习的标准对冲算法估算目标的位置以及面积,并详细介绍了标准对冲算法原理。对于在跟踪过程中目标外形改变的问题,提出了基于时序循环的模板更新方法。对目标暂时消失或被完全遮挡时会产生跟踪失败的问题,创造性地提出了基于稀疏分类器网格SCG的合作跟踪框架。进行了两类实验,第一类实验验证了该算法的有效性。第二类实验在大量公共图像序列的基础上对该算法及其他图像跟踪算法进行测试比较。实验结果证明,该算法适用于复杂背景下的跟踪任务,在跟踪失败后能自动恢复跟踪,在目标被部分遮挡、长期遮挡或目标与背景有相似特征模式的情况下都能保持较高的跟踪精度。     

一种基于模板匹配的运动目标跟踪方法

为了提高运动目标跟踪算法在复杂场景下的稳定性,提出了一种将小波变换与模扳匹配相融合的跟踪方法。它首先对图像序列采用滤波器组实现运动目标分割,再通过对图像序列小波变换以确定目标匹配子图像,最终使用模板匹配求取最佳匹配点来实现实时跟踪。采用MATLAB仿真实验,对标准视频序列coastguard_cif实验测试结果表明,提出的方法具有良好的跟踪性能。     

结合双模板融合与孪生网络的鲁棒视觉目标跟踪

目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类。前者虽然精度较高但运行速度较慢,无法满足实时要求。后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形。针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fusion,Siam-DTF)。方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合。融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性。结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6%和1.3%;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamRPN++提高了1.6%,比性能第2的SiamMask_E算法提高了1.1%;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位。本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求。结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用。     

基于深度学习的视觉单目标跟踪综述

单目标跟踪是一种在视频中利用目标外观和上下文信息对单个目标分析运动状态、提供定位的技术,在智能监控、智能交互、导航制导等方面具有应用前景,但遮挡、背景干扰、目标变化等问题导致实际应用的进展缓慢.随着近年来深度学习的快速发展,研究使用深度学习技术优化单目标跟踪算法已成为计算机视觉领域的热点之一.围绕基于深度学习的单目标跟踪算法,在分析了单目标跟踪的基本原理基础上,从相关滤波、孪生网络、元学习、注意力、循环神经网络和生成对抗网络六个方面,根据核心算法的不同分别进行了概述和分析;此外,对研究现状进行了总结,提出了算法的发展趋势和优化思路.     

Multi-task non-negative matrix factorization for visual object tracking

Pattern Analysis and Applications - This paper proposes an online object tracking algorithm in which the object tracking is achieved by using multi-task sparse learning and non-negative matrix...