多特征融合的自适应相关滤波跟踪算法

针对图像目标跟踪问题,为提高跟踪精度,提出了一种多特征融合的自适应相关滤波跟踪算法。算法首先选取HOG和CN两种互补特征,分别训练两个相关滤波跟踪器跟踪图像目标,然后利用提出的响应图置信度计算公式计算两个跟踪器的响应图权重并进行自适应融合做出决策。滤波器更新阶段,算法结合两个特征的响应图置信度与两帧之间的变化率动态调整滤波器学习速率。仿真实验采用跟踪基准数据库（OTB-2013）中的36组彩色视频序列进行实验,对比了流行的相关滤波跟踪算法,结果表明,该算法在平均跟踪精度上优于其他算法,具有一定的应用价值。     

结合双模板融合与孪生网络的鲁棒视觉目标跟踪

目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类。前者虽然精度较高但运行速度较慢,无法满足实时要求。后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形。针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fusion,Siam-DTF)。方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合。融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性。结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6%和1.3%;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamRPN++提高了1.6%,比性能第2的SiamMask_E算法提高了1.1%;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位。本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求。结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用。     

多空间分辨率自适应特征融合的相关滤波目标跟踪算法

相关滤波算法因无法充分利用深度特征和浅层特征的互补特性而限制跟踪性能.针对该问题,文中提出多空间分辨率自适应特征融合的相关滤波目标跟踪算法.首先,使用更深的ResNet-50网络提取深度特征,提高特征表示在跟踪过程中的鲁棒性和鉴别性.再针对不同特征具有不同空间分辨率的特点,从视频帧中分割不同尺度的图像块作为搜索区域,更好地平衡边界效应和样本数目.最后,引入自适应特征融合方法,以自适应的权重融合两类特征的响应图,充分利用其互补特性.在多个标准数据集上的实验证实文中算法的有效性和鲁棒性.     

自适应卷积特征选择的实时跟踪算法

目的 针对深度卷积特征相关滤波跟踪算法因特征维度多造成的跟踪速度慢及其在目标发生形变、遮挡等情况时存在跟踪失败的问题,提出了一种自适应卷积特征选择的实时跟踪算法。方法 该算法先分析结合深度卷积特征的相关滤波跟踪算法定位目标的特性,然后提出使用目标区域和搜索区域的特征均值比来评估卷积操作,选取满足均值比大于阈值的特征通道数最多的卷积层,减少卷积特征的层数及维度,并提取该卷积层的有效卷积特征来训练相关滤波分类器,最后采用稀疏的模型更新策略提高跟踪速度。结果 在OTB-100标准数据集上进行算法测试,本文算法的平均距离精度值达86.4%,平均跟踪速度达29.9帧/s,比分层卷积相关滤波跟踪算法平均距离精度值提高了2.7个百分点,速度快将近3倍。实验结果表明,本文自适应特征选择的方式在保证跟踪精度的同时有效地提升了跟踪的速度,且优于当前使用主成分分析降维的方式;与现有前沿跟踪算法对比,本文算法的整体性能优于实验中对比的9种算法。结论 该算法采用自适应卷积通道和卷积层选择的方式有效地减少了卷积层数和特征维度,降低了模型的复杂度,提升了跟踪速度,利用稀疏模型更新策略进一步提升了跟踪的速度,减少了模型漂移现象,当目标发生快速运动、遇到遮挡、光照变化等复杂场景时,仍可实时跟踪到目标,具有较强的鲁棒性和适应性。     

Robust feature learning for online discriminative tracking without large-scale pre-training

Owing to the inherent lack of training data in visual tracking, recent work in deep learning-based trackers has focused on learning a generic representation offline from large-scale training data and transferring the pre-trained feature representation to a tracking task. Offline pre-training is time-consuming, and the learned generic representation may be either less discriminative for tracking specific objects or overfitted to typical tracking datasets. In this paper, we propose an online discriminative tracking method based on robust feature learning without large-scale pre-training. Specifically, we first design a PCA filter bank-based convolutional neural network (CNN) architecture to learn robust features online with a few positive and negative samples in the high-dimensional feature space. Then, we use a simple soft-thresholding method to produce sparse features that are more robust to target appearance variations. Moreover, we increase the reliability of our tracker using edge information generated from edge box proposals during the process of visual tracking. Finally, effective visual tracking results are achieved by systematically combining the tracking information and edge box-based scores in a particle filtering framework. Extensive results on the widely used online tracking benchmark (OTB-50) with 50 videos validate the robustness and effectiveness of the proposed tracker without large-scale pre-training.     

基于LCT+的自适应抗遮挡目标跟踪算法

在目标跟踪过程中,目标遮挡往往会造成跟踪器的性能下降,从而导致目标丢失。针对这一问题,提出一种基于LCT+核相关滤波的自适应抗遮挡目标跟踪算法。该算法在LCT+核相关滤波算法的基础上进行改进,利用双跟踪器自适应对目标进行跟踪,即根据两个跟踪器的输出响应值大小选择最优跟踪器跟踪目标;利用支持向量机自适应重新检测目标,即根据目标丢失帧的数量自适应调整检测框范围的大小;最后采用颜色直方图匹配的方法进一步验证预测的目标。相比原算法,所提算法采取双跟踪器自适应跟踪机制和支持向量机自适应重检测机制,有效避免了目标跟丢。在OTB50和OTB100两个大型基准数据集上对算法进行验证,结果表明该算法在距离精度和成功率的评估指标上都优于一些主流算法,并且在抗遮挡方面具有较高的精度和较强的鲁棒性。     

类孪生网络目标跟踪算法综述

目前,在视觉目标跟踪任务中的主流方法是基于模版匹配的跟踪器,这些方法在目标的分类和边界框的回归上具有很强的鲁棒性,主要可以分为判别相关滤波跟踪器和孪生网络跟踪器,这两种方法都有一个类孪生网络的框架。以孪生网络跟踪器为例,该方法通过模版和搜索区域之间的相关操作确定目标的位置,取得了顶尖的性能表现。近年来,Transformer在计算机视觉领域的发展十分迅速,结合了Transformer的类孪生网络跟踪器在速度和精度方面都远超传统的跟踪方法。文章简要概括了判别相关滤波跟踪器、孪生网络跟踪器的发展,以及Transformer在目标跟踪任务中的应用。     

快速深度学习的鲁棒视觉跟踪

目的 基于深度学习的视觉跟踪算法具有跟踪精度高、适应性强的特点,但是,由于其模型参数多、调参复杂,使得算法的时间复杂度过高。为了提升算法的效率,通过构建新的网络结构、降低模型冗余,提出一种快速深度学习的算法。方法 鲁棒特征的提取是视觉跟踪成功的关键。基于深度学习理论,利用海量数据离线训练深度神经网络,分层提取描述图像的特征;针对网络训练时间复杂度高的问题,通过缩小网络规模得以大幅缓解,实现了在GPU驱动下的快速深度学习;在粒子滤波框架下,结合基于支持向量机的打分器的设计,完成对目标的在线跟踪。结果 该方法精简了特征提取网络的结构,降低了模型复杂度,与其他基于深度学习的算法相比,具有较高的时效性。系统的跟踪帧率总体保持在22帧/s左右。结论 实验结果表明,在目标发生平移、旋转和尺度变化,或存在光照、遮挡和复杂背景干扰时,本文算法能够实现比较稳定和相对快速的目标跟踪。但是,对目标的快速移动和运动模糊的鲁棒性不够高,容易受到相似物体的干扰。     

加权多特征外观表示的实时目标追踪

目的 目标跟踪是计算机视觉领域重点研究方向之一,在智能交通、人机交互等方面有着广泛应用。尽管目前基于相关滤波的方法由于其高效、鲁棒在该领域取得了显著进展,但特征的选择和表示一直是追踪过程中建立目标外观时的首要考虑因素。为了提高外观模型的鲁棒性,越来越多的跟踪器中引入梯度特征、颜色特征或其他组合特征代替原始灰度单一特征,但是该类方法没有结合特征本身考虑不同特征在模型中所占的比重。方法 本文重点研究特征的选取以及融合方式,通过引入权重向量对特征进行融合,设计了基于加权多特征外观模型的追踪器。根据特征的计算方式,构造了一项二元一次方程,将权重向量的求解转化为确定特征的比例系数,结合特征本身的维度信息,得到方程的有限组整数解集,最后通过实验确定最终的比例系数,并将其归一化得到权重向量,进而构建一种新的加权混合特征模型对目标外观建模。结果 采用OTB-100中的100个视频序列,将本文算法与其他7种主流算法,包括5种相关滤波类方法,以精确度、平均中心误差、实时性为评价指标进行了对比实验分析。在保证实时性的同时,本文算法在Basketball、DragonBaby、Panda、Lemming等多个数据集上均表现出了更好的追踪结果。在100个视频集上的平均结果与基于多特征融合的尺度自适应跟踪器相比,精确度提高了1.2%。结论 本文基于相关滤波的追踪框架在进行目标的外观描述时引入权重向量,进而提出了加权多特征融合追踪器,使得在复杂动态场景下追踪长度更长,提高了算法的鲁棒性。     

融合颜色特征的尺度自适应相关跟踪

对于彩色视频的目标跟踪,传统基于相关滤波的跟踪方法没有利用视频帧的颜色信息,针对该问题本文在相关跟踪框架下提出了一种融合颜色特征的尺度自适应目标跟踪方法。该方法首先将HSV三个通道归一化后作为目标的颜色特征,并与灰度特征以及HOG特征进行融合,然后利用核相关滤波定位目标的中心位置,最后再利用尺度金字塔模型对目标尺度进行估计。在公开的彩色视频数据集上对所提方法进行测试,并和多种跟踪方法进行对比。实验结果表明,该方法的平均跟踪性能优于其它方法,验证了方法的有效性。     

Environmental Perception with Spatial Regularization Correlation Filter for Visual Tracking

With the introduction of correlation filtering (CF), the performance of visual object tracking is significantly improved. Circular shifts collecting samples is a key component of the CF tracker, and it also causes negative boundary effects. Most trackers add spatial regularization to alleviate boundary effects well. However, these trackers ignore the effect of environmental changes on tracking performance, and the filter discriminates poorly in the background interference. Here, to break these limitations, we propose a new correlation filter model, namely Environmental Perception with Spatial Regularization Correlation Filter for Visual Tracking. Specifically, we use the Average Peak to Correlation Energy (APCE) and the response value error between the two frames together to perceive environmental changes, which adjusts the learning rate to make the template more adaptable to environmental changes. To enhance the discriminatory capability of the filter, we use real background information as negative samples to train the filter model. In addition, the introduction of the regular term destroys the closed solution of CF, and this problem can be effectively solved by the use of the alternating direction method of multipliers (ADMM). Extensive experimental evaluations on three large tracking benchmarks are performed, which demonstrate the good performance of the proposed method over some of the state-of-the-art trackers.     

自适应特征融合的相关滤波跟踪算法

为提高复杂背景下目标跟踪的鲁棒性,提出一种基于相关滤波的自适应特征融合目标跟踪算法。在HOG特征基础上,增加HSV颜色概率直方图,以此获得准确的位置预测。然后分别训练颜色名和HOG特征,并根据两个响应图的峰值自适应地分配融合系数,进而基于尺度池方法,采用多通道特征实现目标的尺度估计。模型的高置信度更新由两个响应图的平均峰值相关能量（APCE）实现。与五种主流相关滤波跟踪算法在两个基准数据集上进行对比实验,实验结果表明在快速运动、复杂背景、光照变化、尺度变化等复杂跟踪场景下,该算法表现出较好的准确性和稳健性。     

基于时空上下文的视觉跟踪自适应超特征融合

论文提出了一种基于上下文感知相关滤波框架的鲁棒跟踪算法。为了提高特征表示的丰富性并充分利用多个不同特征的强度,论文线性加权融合了各种手工制作的特征(如HOG、颜色直方图)和分层深度卷积特征(如VGGNet)。论文将获得的特征定义为超特征,并通过输出约束变换方法优化最终输出响应图,以控制响应图遵循高斯分布,从而获得对目标外观变化的鲁棒性。此外,在模型更新方面,论文提出了一种有效的自适应模型更新方法,在一定程度上缓解了模型噪声。在主流数据集上的大量实验结果表明,所提出的算法在成功率、准确性和鲁棒性方面优于最先进的方法。     

Efficient scalable spatiotemporal visual tracking based on recurrent neural networks

Robust and accurate visual tracking is challenging as targets undergo significant changes in appearance by scale variance, occlusion and fast motion. We propose a novel tracking framework, called scalable spatiotemporal visual tracking algorithm (SSVT). First, we construct the Direction Prediction Model (DPM) to predict the spatiotemporal correlation of the target in the next frame. That will efficiently narrow down the search area and improve the accuracy of spatial location. Then, Occlusion Detection algorithm (ODA) is presented to overcome the wrong updates stemming from the region of interest (ROI) based on the estimated direction and Kalman filter. Finally, the multi-scale pyramid kernelized correlation filter (MSPKCF) is presented in tracking to realize the adaptive adjustment of the varying scales of the targets and the ROI size. Extensive experiments on OTB100 and VOT2016 datasets demonstrate that our tracker performs favorably against state-of-the-art trackers, which can effectively reduce computation redundancy and improve tracking accuracy.

     

一种自适应模板更新的判别式KCF跟踪方法

为了解决单目标跟踪算法中存在的目标旋转、遮挡和快速运动等挑战,提出了一种基于自适应更新策略的判别式核相关滤波器（kernelized correlation filter,KCF）目标跟踪新框架。构建了外观判别式模型,实现跟踪质量有效性的评估。构造了新的自适应模板更新策略,能够有效区分目标跟踪异常时当前目标是否发生了旋转。提出了一种结合目标检测的跟踪新构架,能够进一步有效判别快速运动和遮挡状态。同时,针对上述3种挑战,分别采用模板更新、目标运动位移最小化以及目标检测算法实现目标跟踪框的恢复,保证了跟踪的有效性和长期性。实验分别采用2种传统手动特征HOG和CN（color names）验证提出的框架鲁棒性,结果证明了提出的目标跟踪新方法在速度和精度方面的优越性能。     

A real-time visual object tracking system based on Kalman filter and MB-LBP feature matching

Visual tracking has very important applications in practice. Many proposed visual trackers are not suitable for real-time applications because of their huge computational loads or sensitivities against changing environments such as illumination variation. In this paper, we propose a new tracker which uses modified Multi-scale Block Local Binary Patterns (MB-LBP) like feature to characterize the tracked object. Such feature has low computational load and robustness against illumination variation. An updated appearance model is build based on the modified MB-LBP feature. The model is updated in every frame by replacing the appearance model with the features extracted from the most current detected image patch of target. Moreover, we use the predicted information about the target to constructed a smaller searching area for target in new frame. It greatly reduces computational load for target searching. Numerical experiments show that the drift effect of tracker is greatly avoided and the tracker has very effective and robust performance on various test videos.     

基于粒子滤波的双模图像融合自适应跟踪

针对视频跟踪中仅利用目标的单特征容易导致跟踪失败的问题,提出一种基于粒子滤波的可见光与红外序列图像相融合的自适应目标跟踪算法;该算法在粒子滤波跟踪算法框架下,根据单一信源运动目标序列图像的品质因子,利用自适应加权融合策略重构双模序列图像的特征选择机制,建立了基于自适应融合算法的系统观测概率模型和状态空间层次采样多特征融合跟踪算法,实现了对双模序列图像的融合以及对运动目标的稳健跟踪;跟踪试验结果表明,该算法可以有效实现对运动目标的稳健、准确跟踪。     

判别稀疏表示鲁棒快速视觉跟踪

目的 L1跟踪对局部遮挡具有良好的鲁棒性,但存在易产生模型漂移和计算速度慢的问题。针对这两个问题,该文提出了一种基于判别稀疏表示的视觉跟踪方法。方法 考虑到背景和遮挡信息的干扰,提出了一种判别稀疏表示模型,并基于块坐标优化原理,采用学习迭代收缩阈值算法和软阈值操作设计出了表示模型的快速求解算法。结果 在8组图像序列中,该文方法与现有的4种经典跟踪方法分别在鲁棒性和稀疏表示的计算时间方面进行了比较。在鲁棒性的定性和定量比较实验中,该文方法不仅表现出了对跟踪过程中的多种干扰因素具有良好的适应能力,而且在位置误差阈值从0~50像素的变化过程中,其精度曲线均优于实验中的其他方法;在稀疏表示的计算时间方面,在采用大小为16×16和32×32的模板进行跟踪时,该文算法的时间消耗分别为0.152 s和0.257 s,其时效性明显优于实验中的其他方法。结论 与经典的跟踪方法相比,该文方法能够在克服遮挡、背景干扰和外观改变等诸多不良因素的同时,实现快速目标跟踪。由于该文方法不仅具有较优的稀疏表示计算速度,而且能够克服多种影响跟踪鲁棒性的干扰因素,因此可以将其应用于视频监控和体育竞技等实际场合。     

多相关滤波自适应融合的鲁棒目标跟踪

目的 由于目标在复杂场景中可能会发生姿态变化、物体遮挡、背景干扰等情况,目标跟踪仍然是一个具有挑战性的课题。目前判别性相关滤波方法在目标跟踪问题上获得了成功而又广泛的应用。标准的相关滤波方法基于循环偏移得到大量训练样本,并利用快速傅里叶变换加速求解滤波器,使其具有很好的实时性和鲁棒性,但边界偏移带来的消极的训练样本降低了跟踪效果。空间正则化的相关滤波跟踪方法引入空间权重函数,增强目标区域的滤波器作用,在增大了目标搜索区域的同时,也增加了计算时间,而且对于目标形变不规则,背景相似的情景也会增强背景滤波器,从而导致跟踪失败。为此,基于以上问题,提出一种自适应融合多种相关滤波器的方法。方法 利用交替方向乘子法将无约束的相关滤波问题转化为有约束问题的两个子问题,在子问题中分别采用不同的相关滤波方法进行求解。首先用标准的相关滤波方法进行目标粗定位,进而用空间正则化的相关滤波跟踪方法进行再定位,实现了目标位置和滤波模板的微调,提高了跟踪效果。结果 本文算法和目前主流的一些跟踪方法在OTB-2015数据集中100个视频上,以中心坐标误差和目标框的重叠率为评判标准进行了对比实验,本文算法能较好地处理多尺度变化、姿态变化、背景干扰等问题,在CarScale、Freeman4、Girl等视频上都表现出了最好的跟踪结果;本文算法在100个视频上的平均中心坐标误差为28.55像素,平均目标框重叠率为61%,和使用人工特征的方法相比,均高于其他算法,与使用深度特征的相关滤波方法相比,平均中心坐标误差高了6像素,但平均目标框的重叠率高了4%。结论 大量的实验结果表明,在目标发生姿态变化、尺度变化等外观变化时,本文算法均具有较好的准确性和鲁棒性。     

Object tracking via collaborative multi-task learning and appearance model updating

In this paper, we propose a novel visual tracking algorithm using the collaboration of generative and discriminative trackers under the particle filter framework. Each particle denotes a single task, and we encode all the tasks simultaneously in a structured multi-task learning manner. Then, we implement generative and discriminative trackers, respectively. The discriminative tracker considers the overall information of object to represent the object appearance; while the generative tracker takes the local information of object into account for handling partial occlusions. Therefore, two models are complementary during the tracking. Furthermore, we design an effective dictionary updating mechanism. The dictionary is composed of fixed and variational parts. The variational parts are progressively updated using Metropolis–Hastings strategy. Experiments on different challenging video sequences demonstrate that the proposed tracker performs favorably against several state-of-the-art trackers.