基于多层特征增强的实时视觉跟踪

为了解决全卷积孪生视觉跟踪网络（SiamFC）出现相似语义信息干扰物使得跟踪目标发生漂移,导致跟踪失败的问题,设计出一种基于多层特征增强的实时视觉跟踪网络（MFESiam）,分别去增强高层和浅层的特征表示能力,从而提升算法的鲁棒性。首先,对于浅层特征,利用一个轻量并且有效的特征融合策略,通过一种数据增强技术模拟一些在复杂场景中的变化,例如遮挡、相似物干扰、快速运动等来增强浅层特征的纹理特性;其次,对于高层特征,提出一个像素感知的全局上下文注意力机制模块（PCAM）来提高目标的长时定位能力;最后,在三个具有挑战性的跟踪基准库OTB2015、GOT-10K和2018年视觉目标跟踪库（VOT2018）上进行大量实验。实验结果表明,所提算法在OTB2015和GOT-10K上的成功率指标比基准SiamFC分别高出6.3个百分点和4.1个百分点,并且以每秒45帧的速度运行达到实时跟踪。在VOT2018实时挑战上,所提算法的平均期望重叠率指标超过2018年的冠军,即高性能的候选区域孪生视觉跟踪器（SiamRPN）,验证了所提算法的有效性。     

基于多层特征增强的实时视觉跟踪

为了解决全卷积孪生视觉跟踪网络（SiamFC）出现相似语义信息干扰物使得跟踪目标发生漂移，导致跟踪失败的问题，设计出一种基于多层特征增强的实时视觉跟踪网络（MFESiam），分别去增强高层和浅层的特征表示能力，从而提升算法的鲁棒性。首先，对于浅层特征，利用一个轻量并且有效的特征融合策略，通过一种数据增强技术模拟一些在复杂场景中的变化，例如遮挡、相似物干扰、快速运动等来增强浅层特征的纹理特性；其次，对于高层特征，提出一个像素感知的全局上下文注意力机制模块（PCAM）来提高目标的长时定位能力；最后，在三个具有挑战性的跟踪基准库OTB2015、GOT-10K和2018年视觉目标跟踪库（VOT2018）上进行大量实验。实验结果表明，所提算法在OTB2015和GOT-10K上的成功率指标比基准SiamFC分别高出6.3个百分点和4.1个百分点，并且以每秒45帧的速度运行达到实时跟踪。在VOT2018实时挑战上，所提算法的平均期望重叠率指标超过2018年的冠军，即高性能的候选区域孪生视觉跟踪器（SiamRPN），验证了所提算法的有效性。     

增强二阶网络调制的目标跟踪

目的 表观模型对视觉目标跟踪的性能起着决定性的作用。基于网络调制的跟踪算法通过构建高效的子网络学习参考帧目标的表观信息,以用于测试帧目标的鲁棒匹配,在多个目标跟踪数据集上表现优异。但是,这类跟踪算法忽视了高阶信息对鲁棒建模物体表观的重要作用,致使在物体表观发生大尺度变化时易产生跟踪漂移。为此本文提出全局上下文信息增强的二阶池化调制子网络,以学习高阶特征提升跟踪器的性能。方法 首先,利用卷积神经网络（convolutional neural networks,CNN）提取参考帧和测试帧的特征;然后,对提取的特征采用不同方向的长短时记忆网络（long shot-term memory networks,LSTM）捕获每个像素的全局上下文信息,再经过二阶池化网络提取高阶信息;最后,通过调制机制引导测试帧学习最优交并比预测。同时,为提升跟踪器的稳定性,在线跟踪通过指数加权平均自适应更新物体表观特征。结果 实验结果表明,在OTB100（object tracking benchmark）数据集上,本文方法的成功率为67.9%,超越跟踪器ATOM （accurate tracking by overlap maximization）1.5%;在VOT （visual object tracking）2018数据集上平均期望重叠率（expected average overlap,EAO）为0.44,超越ATOM 4%。结论 本文通过构建全局上下文信息增强的二阶池化调制子网络来学习高效的表观模型,使跟踪器达到目前领先的性能。     

基于实例分割与毕达哥拉斯模糊决策的目标跟踪

为了解决目标跟踪中的尺度变化、相似性干扰、遮挡等问题，提出一种基于实例分割与毕达哥拉斯模糊决策的目标跟踪算法。在实例分割网络YOLACT++(improved You Only Look At CoefficienTs)的基础上，融合3种不同的匹配方式针对不同场景预测跟踪结果；同时提出一种基于毕达哥拉斯模糊决策的模板更新机制，即根据预测结果的质量作出是否更新目标模板和更换匹配方式的决定。实验结果表明，所提算法能够更准确地跟踪存在尺度变化、相似性干扰、遮挡等问题的视频序列。相较于SiamMask算法，所提算法在DAVIS 2016、DAVIS 2017数据集上的区域相似度分别提高了12.3、15.3个百分点，在VOT2016、VOT2018数据集上的预期平均重叠率（EAO）分别提高了4.2、4.1个百分点，且所提算法的平均跟踪速度为每秒32.00帧，满足实时性要求。     

自适应尺度特征融合与模型更新的跟踪算法

在核相关滤波器跟踪算法中,为了减少背景相似物等杂波对跟踪器的干扰,以及解决不同跟踪结果置信度下的模型更新问题,提出了自适应尺度特征融合与模型更新的跟踪算法。通过多特征融合和尺度变化策略改进了多特征的尺度核相关滤波器,使用多峰检测对响应图的整体振荡程度进行判断,再对峰值进行跟踪结果置信度评估;在遮挡、形变等跟踪结果置信度低的情况下及时停止模型更新,在高置信度模型更新时,引入初始模型进行对齐操作,减少模型的更新误差,抑制模型漂移。比较核相关滤波器算法,本算法准确度较高,且在目标尺度变化、遮挡和形变时稳定性更好。在OTB-50数据集上的实验结果表明,该算法在精度和成功率上都比核相关滤波器算法表现更优。     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络（SiamFC）跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题，提出了一种双重注意力机制孪生网络（DASiam）去调整网络模型并且不需要在线更新。首先，主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络；然后，在网络的中间层加入一个新的双重注意力机制去动态地提取特征，这种机制由通道注意机制和空间注意机制组成，分别对特征图的通道维度和空间维度进行变换得到双重注意特征图；最后，通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库（VOT2017）实时挑战上进行实验，实验结果表明，以40 frame/s的速度运行时，所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点，并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC，验证了所提出算法的有效性。     

基于条件对抗网和层次特征融合的目标跟踪

为了解决目标跟踪过程中因运动模糊和低分辨率导致跟踪效果变差的问题,提出一种基于条件对抗网和层次特征融合的目标跟踪算法。使用条件对抗生成网络模型（DeblurGAN-v2）,对输入的低分辨率视频帧去模糊;使用改进型VGG-19网络提取目标候选区域的Conv2、Conv4、Conv6三层特征,将孪生网络提取到的低层结构特征、中层特征与高层语义特征进行融合,以提高特征的表征能力。在目标跟踪评估数据集OTB2015与VOT2018上的实验结果表明,与SiamFC、SiamDW等其他算法相比,该算法具有更高的准确性,能够适应目标遮挡运动模糊、外观变化及背景干扰等复杂情况。相比于SiamFC,改进算法在OTB2015数据集上成功率提升5.5个百分点,在VOT2018数据集上EAO提升16.4个百分点。     

结合帧差法的尺度自适应核相关滤波跟踪

为处理复杂应用场景下核相关滤波器跟踪效果不理想的问题,提出了一种结合帧差法的尺度自适应核相关滤波跟踪算法。在训练得到相关滤波器后,借助帧差法来处理下一帧图像,获得目标的预测位置,扩充算法的检测区域;然后通过尺度池构建多尺度待检测图像块集,通过相关滤波器来求得最大响应,估计出目标的最佳位置和最佳尺度;最后利用平均峰值相关能量(average peak-to correlation energy,APCE)作为跟踪置信度指标,引入高置信度更新机制,在目标被遮挡时,停止更新模型,防止误差被积累,提高正确率。在OTB100数据集上与若干视觉跟踪算法进行了对比实验,改进算法的成功率和距离精度均表现最优,比KCF算法高出21.7个百分点和12.0个百分点。该算法在目标快速运动、尺度变化、遮挡等复杂场景下,均具有较强的精确性和鲁棒性。     

基于尺度自适应均值偏移优化的TLD跟踪算法

为解决目标在形变、遮挡和快速运动时所导致的跟踪失败,在经典TLD算法的框架下,使用尺度自适应均值偏移算法重新设计跟踪器,提出了MS-TLD算法.通过引入颜色直方图特征和尺度自适应,跟踪器能准确跟踪形变和快速运动的目标.设计跟踪-检测反馈机制,通过跟踪器和检测器相互校正,使新算法在目标被遮挡时具有很好的跟踪鲁棒性.采用TB-50标准测试集进行了实验验证与评测,结果表明所提出算法有效克服了由于目标形变、遮挡和快速运动以及背景干扰所导致的跟踪失败,比TLD等4种经典算法具有更好的跟踪准确性和鲁棒性.     

动态的加权孪生网络跟踪算法

为提升快速在线目标跟踪与分割算法的跟踪精度,提出了一种动态的加权孪生网络跟踪算法。首先,对初始帧提取的模板特征与每帧提取的模板特征进行学习融合,提高跟踪器的泛化能力;其次,在掩膜分支产生目标掩膜的过程中用加权的方式融合特征,减少冗余特征带来的干扰,提高跟踪的精度。在数据集VOT2016和VOT2018上进行测试,所提算法的预期平均重叠率分别为0.450和0.390,精确性分别为0.649和0.618,鲁棒性分别为0.205和0.267,均高于基准算法,跟踪速度为34帧/s,达到了实时跟踪的要求。所提算法有效地提高了跟踪的准确性,能在复杂的跟踪环境下较好地完成跟踪任务。     

通道稳定性加权补充学习的实时视觉跟踪算法

为解决补充学习（Staple）跟踪算法在平面内旋转、部分遮挡时存在的跟踪失败问题,提出了一种通过通道稳定性加权的补充学习（CSStaple）跟踪算法。首先,使用标准相关滤波分类器检测出每层通道的响应值;然后,计算获得每层通道的稳定性权重,并乘到每层权重上,获得相关滤波响应;最后,通过融合颜色补充学习器的响应,得到最终的响应结果,响应中的最大值的位置即为跟踪结果。将所提算法与层和空间可靠性判别相关滤波（CSR-DCF）跟踪、对冲深度跟踪（HDT）、核化相关滤波（KCF）跟踪和Staple等跟踪算法进行了对比实验。实验结果表明,所提算法在成功率上表现最优,在OTB50和OTB100上比Staple分别高出2.5个百分点和0.9个百分点,验证了所提算法对目标在平面内旋转和部分遮挡时的有效性。     

Particle filter re-detection for visual tracking via correlation filters

Most of the correlation filter based tracking algorithms can achieve good performance and maintain fast computational speed. However, in some complicated tracking scenes, there is a fatal defect that causes the object to be located inaccurately, which is the trackers excessively dependent on the maximum response value to determine the object location. In order to address this problem, we propose a particle filter redetection based tracking approach for accurate object localization. During the tracking process, the kernelized correlation filter (KCF) based tracker can locate the object by relying on the maximum response value of the response map; when the response map becomes ambiguous, the tracking result becomes unreliable correspondingly. Our redetection model can provide abundant object candidates by particle resampling strategy to detect the object accordingly. Additionally, for the target scale variation problem, we give a new object scale evaluation mechanism, which merely considers the differences between the maximum response values in consecutive frames to determine the scale change of the object target. Extensive experiments on OTB2013 and OTB2015 datasets demonstrate that the proposed tracker performs favorably in relation to the state-of-the-art methods.

     

带旋转与尺度估计的全卷积孪生网络目标跟踪算法

针对目标跟踪任务中,全卷积孪生网络（SiamFC）跟踪算法存在因目标的旋转、尺度变化而造成跟踪错误或跟踪结果不准确的问题,提出一种带旋转与尺度估计的SiamFC跟踪算法。该算法由定位模块与旋转、尺度估计模块两部分组成。首先在定位模块中,利用SiamFC算法获得跟踪位置,并结合旋转与尺度信息对该位置进行调整;其次在旋转、尺度估计模块中,鉴于图像的旋转和尺度变化在对数极坐标系下变成了平移运动,将目标搜索区域从笛卡儿坐标系变换到对数极坐标系下,由此便可利用相关滤波技术估计待跟踪目标的尺度和旋转角度;最终实现了一个能同步估计目标位置、旋转角度以及尺度变化的目标跟踪模型。在对比实验中,该算法在OTB2015数据集上的成功率与准确率分别达到57.7%和81.4%;在包含目标旋转和尺度变化的POT数据集上的成功率与准确率分别达到51.8%和53.3%。与SiamFC算法相比,所提算法的成功率和准确率分别提高了13.5个百分点和13.4个百分点。实验结果表明,所提算法能有效应对目标旋转与尺度变化带来的跟踪挑战。     

基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能。针对无人机（UAV）指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+。首先,采用改进的深度残差网络ResNet-50作为特征提取器来提取特征;接着,使用通道注意力机制模块筛选残差网络提取出的不同通道特征图的语义属性,并重新为不同通道特征分配相应权值;然后,两个区域候选网络（RPN）进行分层融合,而RPN模块包括特征图的逐通道深度互相关、正负样本分类和边界框回归;最后框选出目标位置。在VOT2018平台上进行测试,所提算法的准确率和预期平均重叠率（EAO）分别为59.4%和39.5%;在OTB2015平台上采用一次通过评估模式进行实验,该算法的成功率和精度分别为68.7%和89.4%。实验结果表明所提算法的评估结果优于近年优秀的三种相关滤波跟踪算法和孪生网络跟踪算法,且该算法应用于UAV指定目标的跟踪上时具有良好的鲁棒性和实时处理速度。     

基于负样本挖掘与特征融合的高速跟踪算法

随着目标跟踪技术在多种视觉任务中的广泛应用,跟踪算法的实时性变得越来越重要.全卷积孪生网络跟踪算法(SiamFC)虽然在跟踪速度方面较为理想,但在复杂的跟踪环境下很容易出现跟踪漂移.为了能在提高算法精度的同时保证实时性,提出一种基于负样本挖掘与特征融合的高速跟踪算法.首先,为了学到更深层次特征,又不过多增加额外参数运算,使用增加了剪裁层的轻量级网络ShuffleNetV2进行特征提取,提升跟踪速度;其次,在离线训练阶段引入不同种类的负样本对,加强对语义信息的学习,从而提升模型的特征判别能力;最后,为了得到更高质量的响应图,提出一种多尺度特征融合策略,充分利用浅层与深层特征,提高跟踪精度.在OTB100和VOT2018两个数据集上与其他跟踪算法进行对比实验,结果表明:所提出算法较基准算法SiamFC在各项指标上有大幅度提升,在两个数据集下分别收获8.3%和7.9%的增益;同时在NIVIDA GTX l070下的速度可达114FPS.     

Contour tracking with automatic motion model switching

In this paper we present an efficient contour-tracking algorithm which can track 2D silhouette of objects in extended image sequences. We demonstrate the ability of the tracker by tracking highly deformable contours (such as walking people) captured by a static camera. We represent contours (silhouette) of moving objects by using a cubic B-spline. The tracking algorithm is based on tracking a lower dimensional shape space (as opposed to tracking in spline space). Tracking the lower dimensional space has proved to be fast and efficient. The tracker is also coupled with an automatic motion-model switching algorithm, which makes the tracker robust and reliable when the object of interest is moving with multiple motion. The model-based tracking technique provided is capable of tracking rigid and non-rigid object contours with good tracking accuracy.     

GRM: Gaussian response module for visual tracking

Online Discriminative Correlation Filters have excellent performance in visual object tracking. It always divides the tracking network as a classification network and a regression network, which makes the regression network lack classification information and makes it hard to leverage its advantages. To address this problem, we propose the ATOM_GRM tracker to append the classification information to the network. Specifically, we design static and dynamic Gaussian response modules to encode the raw target position from classifier to regression network by multistage. In Particular, the parameters and fusion method of two Gaussian response modules is designed in different ways according to their location in the network. Moreover, we propose the ratio of height and width of the bounding box instead of intersection of union as the predictor, and two auxiliary training heads are used in the regression network. It makes the regression network better distinguish bounding boxes. Extensive experiments conducted on four public benchmarks, i.e., OTB100, GOT10k, LaSOT, Trackingnet, demonstrate the effectiveness of the proposed method. The proposed ATOM_GRM achieves 0.556 → 0.596 AO compared with the baseline ATOM on GOT10k.     

基于时空注意力机制的目标跟踪算法

目标跟踪技术在智能监控、人机交互、无人驾驶等诸多领域得到了广泛的应用。近年来,学者们提出了许多高效的算法。然而,随着跟踪环境越来越复杂,目标跟踪算法在遮挡、光照变化、背景干扰等复杂环境下仍然面临着巨大的挑战,从而导致目标跟踪失败。针对上述问题,提出了一种基于时空注意力机制的目标跟踪算法。首先,采用孪生网络架构来提高对特征的判别能力;然后,引入改进的通道注意力机制和空间注意力机制,对不同通道和空间位置的特征施加不同的权重,并着重关注空间位置和通道位置上对目标跟踪有利的特征。此外,还提出了一种高效的目标模板在线更新机制,将第一帧图像特征与后续跟踪图像帧中置信度较高的图像特征进行融合,以降低发生目标漂移的风险。最后,在OTB2013和OTB2015数据集上对所提跟踪算法进行了测试。实验结果表明,所提算法的性能相比当前主流的跟踪算法提高了6.3%。     

通道加权和自适应模型更新的实时目标跟踪

针对单一特征不能有效建模目标及特征通道直接叠加影响跟踪质量的问题,基于判别式尺度空间跟踪（DSST）提出了自适应模型更新与响应加权的实时相关滤波跟踪算法。首先,融合多维特征,并对每一响应通道自适应加权;其次,在尺度估计中融入多项式拟合策略;最后,根据响应图峰值波动情况进行样本可靠性判定,并提出模型更新策略。在OTB50和OTB100上进行实验,所提算法相较基准跟踪器,成功率分别提升6.4%和6.7%。与最近的跟踪器相比,其展现了优秀的性能,每一模块都对结果产生了有效的提升,且速度高达85 fps,是基准跟踪器DSST的三倍,超过大部分实时性跟踪算法。     

具有尺度和旋转适应性的长时间目标跟踪

目标发生尺度和旋转变化会给长时间目标跟踪带来很大的挑战,针对该问题,本文提出了具有尺度和旋转适应性的鲁棒目标跟踪算法.首先针对跟踪过程中目标存在的尺度变化和旋转运动,提出一种基于傅里叶-梅林变换和核相关滤波的目标尺度和旋转参数估计方法.该方法能够实现连续空间的目标尺度和旋转参数估计,采用核相关滤波提高了估计的鲁棒性和准确性.然后针对长时间目标跟踪过程中,有时不可避免地会出现跟踪失败的情况（例如由于长时间半遮挡或全遮挡等）,提出一种基于直方图和方差加权的目标搜索方法.当目标丢失时,通过提出的搜索方法能够快速从图像中确定目标可能存在的区域,使得跟踪算法具有从失败中恢复的能力.本文还训练了两个核相关滤波器用于估计跟踪结果的置信度和目标平移,通过专门的核相关滤波器能够使得估计的跟踪结果置信度更加准确和鲁棒,置信度的估计结果可用于激活基于直方图和方差加权的目标搜索模块,并判断搜索窗口中是否包含目标.本文在目标跟踪标准数据集（Online object tracking benchmark,OTB）上对提出的算法和目前主流的目标跟踪算法进行对比实验,验证了本文提出算法的有效性和优越性.