张量核范数回归的目标跟踪

目的 视觉目标跟踪中,不同时刻的目标状态是利用在线学习的模板数据线性组合近似表示。由于跟踪中目标受到自身或场景中各种复杂干扰因素的影响,跟踪器的建模能力很大程度地依赖模板数据的概括性及其误差的估计精度。很多现有算法以向量形式表示样本信号,而改变其原始数据结构,使得样本数据各元素之间原有的自然关系受到严重破坏;此外,这种数据表述机制会提高数据的维度,而带来一定的计算复杂度和资源浪费。本文以多线性分析的角度更进一步深入研究视频跟踪中的数据表示及其建模机制,为其提供更加紧凑有效的解决方法。方法 本文跟踪框架中,候选样本及其重构信号以张量形式表示,从而保证其数据的原始结构。跟踪器输出候选样本外观状态时,以张量良好的多线性特性来组织跟踪系统的建模任务,利用张量核范数及L₁范数正则化其目标函数的相关成分,在多任务状态学习假设下充分挖掘各候选样本外观表示任务的独立性及相互依赖关系。结果 用结构化张量表示的数据原型及其多任务观测模型能够较为有效地解决跟踪系统的数据表示及计算复杂度难题。同时,为候选样本外观模型的多任务联合学习提供更加简便有效的解决途径。这样,当跟踪器遇到破坏性较强的噪声干扰时,其张量核范数约束的误差估计机制在多任务联合学习框架下更加充分挖掘目标全面信息,使其更好地适应内在或外在因素所引起的视觉信息变化。在一些公认测试视频上的实验结果表明,本文算法在候选样本外观模型表示方面表现出更为鲁棒的性能。因而和一些优秀的同类算法相比,本文算法在各测试序列中跟踪到的目标图像块平均中心位置误差和平均重叠率分别达到4.2和0.82,体现出更好的跟踪精度。结论 大量实验验证本文算法的张量核范数回归模型及其误差估计机制能够构造出目标每一时刻状态更接近的最佳样本信号,在多任务学习框架下严格探测每一个候选样本的真实状态信息,从而较好地解决模型退化和跟踪漂移问题。     

基于多任务混合噪声分布模型表示的视频跟踪

视觉跟踪中,目标信息是不确定的非线性变化过程。随时间和空间而变化的复杂动态数据中学习出较为精确的目标模板并用它来线性表示候选样本外观模型,从而使跟踪器较好地适应跟踪作业中内在或外在因素所引起的目标外观变化是视觉目标跟踪研究的重点。提出一种新颖的多任务混合噪声分布模型表示的视频跟踪算法,将候选样本外观模型假设为由一组目标模板和最小重构误差组成的多任务线性回归问题。利用经典的增量主成分分析法从高维数据中学习出一组低维子空间基向量（模板正样本）,并在线实时采样一些特殊的负样本加以扩充目标模板,再利用扩充后的新模板和独立同分布的高斯-拉普拉斯混合噪声来线性拟合当前时刻的候选目标外观模型,最后计算候选样本和真实目标之间的最大似然度,从而准确捕捉当前时刻的真实目标。在一些公认测试视频上的实验结果表明,该算法将能够在线学习较为精准的目标模板并定期更新目标在不同状态时的特殊信息,使得跟踪器始终保持最佳的状态,从而良好地适应不断发生变化的视觉信息（姿态、光照、遮挡、尺度、背景扰乱及运动模糊等）,表现出更好的鲁棒性能。     

基于多任务最小软阈值回归方法的目标跟踪*

在视频跟踪中,模型表示是直接影响跟踪效率的核心问题之一.在随时间和空间变化的复杂数据中学习目标外观模型表示所需的有效模板,从而适应内在或外在因素所引起的目标状态变化是非常重要的.文中详细描述较为鲁棒的目标外观模型表示策略,并提出一种新的多任务最小软阈值回归跟踪算法(MLST).该算法框架将候选目标的观测模型假设为多任务线性回归问题,利用目标模板和独立同分布的高斯-拉普拉斯重构误差线性表示候选目标不同状态下的外观模型,从而跟踪器能够很好地适应各种复杂场景并准确预测每一时刻的真实目标状态.大量实验证明,文中在线学习策略能够充分挖掘目标在不同时刻的特殊状态信息以提高模型表示精度,使得跟踪器保持最佳的状态,从而在一定程度上提高跟踪性能.实验结果显示,本文算法体现较好的鲁棒性并优于一些目前较先进的跟踪算法.     

加权间隔结构化支持向量机目标跟踪算法

目的 目标在跟踪过程中,各种因素的干扰使得跟踪结果存在不确定性。因此,将跟踪过程中所提取样本的可靠性融入跟踪模型中,有助于克服低可靠性样本对跟踪算法的影响。为此,基于最近的结构化支持向量机（SSVM）跟踪算法,提出一种包含样本置信度的加权间隔结构化支持向量机跟踪模型（WMSSVM）,以增强SSVM跟踪算法性能。方法 首先,基于打分和位置重合率估计样本可靠性;其次,建立WMSSVM模型处理具有不同置信度的跟踪样本训练问题,并采用对偶坐标下降优化算法求解跟踪模型。结果 在包含100个视频的OTB100跟踪数据集上进行测试,提出的WMSSVM跟踪器与基准跟踪器Scale-DLSSVM相比,在精准度和成功率两个指标上分别提高了1%和2%。与最近的跟踪算法相比,提出的方法也表现出更好的性能。结论 本文首次将样本的可靠性融入结构化支持向量机跟踪模型,并提出一种基于加权间隔的结构化支持向量机跟踪模型及其优化求解方法,在包含100个视频序列的跟踪数据集上验证了提出方法的有效性,本文提出的算法能够适应复杂场景下的跟踪任务,并在背景混杂、目标形变、遮挡、运动模糊、目标出界、快速位移等类别的视频中表现出优异的性能。     

增强二阶网络调制的目标跟踪

目的 表观模型对视觉目标跟踪的性能起着决定性的作用。基于网络调制的跟踪算法通过构建高效的子网络学习参考帧目标的表观信息,以用于测试帧目标的鲁棒匹配,在多个目标跟踪数据集上表现优异。但是,这类跟踪算法忽视了高阶信息对鲁棒建模物体表观的重要作用,致使在物体表观发生大尺度变化时易产生跟踪漂移。为此本文提出全局上下文信息增强的二阶池化调制子网络,以学习高阶特征提升跟踪器的性能。方法 首先,利用卷积神经网络（convolutional neural networks,CNN）提取参考帧和测试帧的特征;然后,对提取的特征采用不同方向的长短时记忆网络（long shot-term memory networks,LSTM）捕获每个像素的全局上下文信息,再经过二阶池化网络提取高阶信息;最后,通过调制机制引导测试帧学习最优交并比预测。同时,为提升跟踪器的稳定性,在线跟踪通过指数加权平均自适应更新物体表观特征。结果 实验结果表明,在OTB100（object tracking benchmark）数据集上,本文方法的成功率为67.9%,超越跟踪器ATOM （accurate tracking by overlap maximization）1.5%;在VOT （visual object tracking）2018数据集上平均期望重叠率（expected average overlap,EAO）为0.44,超越ATOM 4%。结论 本文通过构建全局上下文信息增强的二阶池化调制子网络来学习高效的表观模型,使跟踪器达到目前领先的性能。     

结合双模板融合与孪生网络的鲁棒视觉目标跟踪

目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类。前者虽然精度较高但运行速度较慢,无法满足实时要求。后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形。针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fusion,Siam-DTF)。方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合。融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性。结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6%和1.3%;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamRPN++提高了1.6%,比性能第2的SiamMask_E算法提高了1.1%;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位。本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求。结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用。     

判别特征回归的鲁棒目标跟踪

目的 近年来,目标跟踪领域取得了很大进步,但是由于尺度变化,运动,形状畸变或者遮挡等造成的外观变化,仍然是目标跟踪中的一大挑战,因而有效的图像表达方法是提高目标跟踪鲁棒性的一个关键因素。方法 从中层视觉角度出发,首先对训练图像进行超像素分割,将得到特征向量集以及对应的置信值作为输入值,通过特征回归的方法建立目标跟踪中的判别外观模型,将跟踪图像的特征向量输入该模型,得到候选区域的置信值,从而高效地分离前景和背景,确定目标区域。结果 在公开数据集上进行跟踪实验。本文算法能较好地处理目标尺度变化、姿态变化、光照变化、形状畸变、遮挡等外观变化;和主流跟踪算法进行对比,本文算法在跟踪误差方面表现出色,在carScale、subway、tiger1视频中能取得最好结果,平均误差为12像素,3像素和21像素;和同类型的方法相比,本文算法在算法效率上表现出色,所有视频的跟踪效率均高于同类型算法,在carScale视频中的效率,是同类算法效率的32倍。结论 实验结果表明,本文目标跟踪算法具有高效性和鲁棒性,适用于目标发生外观变化时的目标跟踪问题。目前跟踪中只用了单一特征,未来考虑融合多特征来提升算法鲁棒性和准确度。     

遮挡判定下多层次重定位跟踪算法

目的 目标遮挡一直是限制跟踪算法精确度和稳定性的问题之一,针对该问题,提出一种抗遮挡的多层次重定位目标跟踪算法。方法 通过平均峰值相关能量动态分配特征权重,将梯度特征与颜色直方图特征动态地结合起来进行目标跟踪。利用多峰值检测和峰值波动情况进行目标状态判定,若目标状态不理想,则停止模板更新,避免逐帧更新导致目标漂移,继续跟踪目标;若判定目标遮挡,则提取对应特征点,使用最邻近距离比进行特征匹配和筛选,丢弃负样本的最邻近样本作为二次筛选,利用广义霍夫变换进行第3次筛选并重定位目标,对目标继续跟踪。结果 在标准数据集OTB（object tracking benchmark）100和LaSOT（large-scale single object tracking）上的实验结果显示,本文算法的精确率分别为0.885和0.301,相较于Staple算法分别提升了13.5%和30.3%。结论 在目标发生遮挡的场景中,本文方法能够重定位目标并且继续跟踪,优化后的模板更新策略提高了算法速度。目标状态的判定有效估计了目标遮挡问题,可以及时采取应对策略,提高算法在复杂环境下的稳定性。     

变分调整约束下的反向低秩稀疏学习目标跟踪

目的 低秩稀疏学习目标跟踪算法在目标快速运动和严重遮挡等情况下容易出现跟踪漂移现象,为此提出一种变分调整约束下的反向低秩稀疏学习目标跟踪算法。方法 采用核范数凸近似低秩约束描述候选粒子间的时域相关性,去除不相关粒子,适应目标外观变化。通过反向稀疏表示描述目标表观,用候选粒子稀疏表示目标模板,减少在线跟踪中L₁优化问题的数目,提高跟踪效率。在有界变差空间利用变分调整对稀疏系数差分建模,约束目标表观在相邻帧间具有较小变化,但允许连续帧间差异存在跳跃不连续性,以适应目标快速运动。结果 实验利用OTB（object tracking benchmark）数据集中的4组涵盖了严重遮挡、快速运动、光照和尺度变化等挑战因素的标准视频序列进行测试,定性和定量对比了本文算法与5种热点算法的跟踪效果。定性分析基于视频序列的主要挑战因素进行比较,定量分析通过中心点位置误差（central pixel error,CPE）比较跟踪算法的精度。与CNT（convolutional networks training）、SCM（sparse collaborative model）、IST（inverse sparse tracker）、DDL（discriminative dictionary learning）和LLR（locally low-rank representation）算法相比,平均CPE值分别提高了2.80、4.16、13.37、35.94和41.59。实验结果表明,本文算法达到了较高的跟踪精度,对上述挑战因素更具鲁棒性。结论 本文提出的跟踪算法,综合了低秩稀疏学习和变分优化调整的优势,在复杂场景下具有较高的跟踪精度,特别是对严重遮挡和快速运动情况的有效跟踪更具鲁棒性。     

基于代价敏感Adaboost目标跟踪

目的 当前,目标跟踪问题常常会通过在线学习、检测的方法来解决。针对在线学习过程中,分类器训练需要花费大量时间以提高其识别准确率的问题,提出使用Adaboost算法级联弱分类器,在训练一定帧数后仅进行检测的方法来达到实时和准确的折中。方法 首先针对跟踪问题简化了haar特征,以降低特征计算量。同时考虑到经典的Adaboost算法可能并不适合跟踪过程中存在的正负样本不均衡问题,提出在样本权重更新公式中引入一个新的调整因子项并且结合代价敏感学习来提高目标识别率的方法。最终给出使用简化的haar特征作为描述子,改进的代价敏感Adaboost作为分类器的目标跟踪算法。结果 对20组视频进行跟踪实验,本文算法的平均代表准确率高于压缩跟踪算法约26%,高于原始代价敏感算法约11%;本文算法的视频处理平均帧率高于压缩跟踪算法约38%。结论 本文提出的新代价敏感Adaboost算法对目标的识别、跟踪具有较高的准确率及较快的处理速度,并具有一定的抗干扰能力。特别对人等非刚性目标能够进行较好跟踪。     

Robust visual tracking using information theoretical learning

This paper presents a novel online object tracking algorithm with sparse representation for learning effective appearance models under a particle filtering framework. Compared with the state-of-the-art ? ₁ sparse tracker, which simply assumes that the image pixels are corrupted by independent Gaussian noise, our proposed method is based on information theoretical Learning and is much less sensitive to corruptions; it achieves this by assigning small weights to occluded pixels and outliers. The most appealing aspect of this approach is that it can yield robust estimations without using the trivial templates adopted by the previous sparse tracker. By using a weighted linear least squares with non-negativity constraints at each iteration, a sparse representation of the target candidate is learned; to further improve the tracking performance, target templates are dynamically updated to capture appearance changes. In our template update mechanism, the similarity between the templates and the target candidates is measured by the earth movers’ distance(EMD). Using the largest open benchmark for visual tracking, we empirically compare two ensemble methods constructed from six state-of-the-art trackers, against the individual trackers. The proposed tracking algorithm runs in real-time, and using challenging sequences performs favorably in terms of efficiency, accuracy and robustness against state-of-the-art algorithms.     

矩阵低秩表示的目标跟踪算法

目的 目标跟踪中,遮挡、强烈光照及运动模糊等干扰对跟踪精度的影响较大,其为目标外观的观测建模精度带来一定的困难。此外,很多现有算法在观测建模中都以向量形式表示样本数据,使得样本数据原有结构及其各像素的潜在关系被有意改变,从而导致观测模型数据维度及计算复杂度的提高。方法 本文通过深入研究跟踪框架的观测建模问题,提出一种新颖的基于矩阵低秩表示的观测建模方法及其相应的似然度测度函数,使得跟踪算法能够充分挖掘样本数据的潜在特征结构,从而更加精确探测目标在遮挡或强烈光照等各种复杂干扰下的外观变化。同时,以矩阵形式表述样本信号的数据格式,使得其视觉特征的空间分布保留完好,并有效降低数据维度和计算复杂度。结果 本文跟踪算法在富有挑战性干扰因素的跟踪环境中体现出更为鲁棒的跟踪性能,能够较好地解决跟踪中遮挡或强烈光照所引起的模型退化和漂移等问题。在10个经典测试视频中,本文跟踪算法的平均中心点误差为5.29像素,平均跟踪重叠率为78%,平均跟踪成功率为98.28%,均优于其他同类算法。结论 本文以2维矩阵数据原型为载体,提出了一种新的多任务观测建模框架和最大似然度估计模型。实验数据的定性与定量分析结果表明,本文算法与一些优秀的同类算法相比,其跟踪建模精度达到相同甚至更高的水平。     

利用时空特征编码的单目标跟踪网络

目的 随着深度神经网络的出现,视觉跟踪快速发展,视觉跟踪任务中的视频时空特性,尤其是时序外观一致性(temporal appearance consistency)具有巨大探索空间。本文提出一种新颖简单实用的跟踪算法——时间感知网络(temporal-aware network, TAN),从视频角度出发,对序列的时间特征和空间特征同时编码。方法 TAN内部嵌入了一个新的时间聚合模块(temporal aggregation module, TAM)用来交换和融合多个历史帧的信息,无需任何模型更新策略也能适应目标的外观变化,如形变、旋转等。为了构建简单实用的跟踪算法框架,设计了一种目标估计策略,通过检测目标的4个角点,由对角构成两组候选框,结合目标框选择策略确定最终目标位置,能够有效应对遮挡等困难。通过离线训练,在没有任何模型更新的情况下,本文提出的跟踪器TAN通过完全前向推理(fully feed-forward)实现跟踪。结果 在OTB(online object tracking:a benchmark)50、OTB100、TrackingNet、LaSOT(a high-qua...     

基于特征选择与时间一致性稀疏外观模型的目标追踪算法

为了更有效利用追踪目标的判别特征信息,提高目标追踪的精度和鲁棒性,在粒子滤波追踪框架下提出基于特征选择与时间一致性稀疏外观模型的目标追踪算法.首先,采集目标的正负模板和候选目标,根据特征选择模型对正负模板和候选目标进行特征选择,去除多余的干扰信息,得到关键的特征信息.然后,利用正负模板和候选目标的特征建立多任务稀疏表示模型,引入时间一致性正则项,促进更多的候选目标与先前帧的追踪结果具有稀疏表示的相似性.最后,求解多任务稀疏表示模型,得到判别稀疏相似图,获取每个候选目标的判别分,根据目标追踪结果更新正负模板.实验表明,即使在复杂的环境下,文中算法仍然比其它一些追踪算法具有更高的准确性.     

正例投票下的L1目标跟踪算法

目的 传统的L1稀疏表示目标跟踪,是将所有候选目标表示为字典模板的线性组合,只考虑了字典模板的整体信息,没有分析目标的局部结构。针对该方法在背景杂乱时容易出现跟踪漂移的问题,提出一种基于正例投票的目标跟踪算法。方法 本文将目标表示成图像块粒子的组合,考虑目标的局部结构。在粒子滤波框架内,构建图像块粒子置信函数和相似性函数,提取正例图像块。最终通过正例权重投票估计跟踪目标的最佳位置。结果 在14组公测视频序列上进行跟踪实验,与多种优秀的目标跟踪算法相比,本文跟踪算法在目标受到背景杂乱、遮挡、光照变化等复杂环境干扰下最为稳定,重叠率达到了0.7,且取得了最低的平均跟踪误差5.90,反映了本文算法的可靠性和有效性。结论 本文正例投票下的L1目标跟踪算法,与经典方法相比,能够解决遮挡、光照变化和快速运动等问题的同时,稳定可靠地实现背景杂乱序列的鲁棒跟踪。