基于视觉Transformer的双流目标跟踪算法

目前基于Transformer的目标跟踪算法主要利用Transformer来融合深度卷积特征,忽略了Transformer在特征提取和解码预测方面的能力。针对上述问题,提出一种基于视觉Transformer的双流目标跟踪算法。引入基于注意力机制的Swin Transformer进行特征提取,通过移位窗口进行全局信息建模。使用Transformer编码器对目标特征和搜索区域特征进行充分融合,使用解码器学习目标查询中的位置信息。分别对编解码器中的双流信息进行目标预测。在决策层面上进一步地加权融合得到最终跟踪结果,并使用多监督策略。该算法在LaSOT、TrackingNet、UAV123和NFS四个具有挑战性的大规模跟踪数据集上取得了先进的结果,分别达到67.4%、80.9%、68.6%和66.0%的成功率曲线下面积,展示了其强大的潜力。此外,由于避免了复杂的后处理步骤,能够端到端进行目标跟踪,跟踪速度可达42?FPS。     

基于孪生网络和Transformer的小目标跟踪算法SiamTrans

针对现有小目标跟踪算法的鲁棒性差、精度及成功率低的问题,提出一种基于孪生网络和Transformer的小目标跟踪算法SiamTrans。首先,基于Transformer机制设计一种相似度响应图计算模块。该模块叠加若干层特征编码-解码结构,并利用多头自注意力机制和多头跨注意力机制在不同层次的搜索区域特征图中查询模板特征图信息,从而避免陷入局部最优解,并获得一个高质量的相似度响应图;其次,在预测子网中设计一个基于Transformer机制的预测模块（PM）,并利用自注意力机制处理预测分支特征图中的冗余特征信息,以提高不同预测分支的预测精度。在Small90数据集上,相较于TransT(Transformer Tracking)算法,所提算法的跟踪精度和跟踪成功率分别高8.0和9.5个百分点。可见,所提出的算法具有更优异的小目标跟踪性能。     

基于时空注意力机制的目标跟踪算法

目标跟踪技术在智能监控、人机交互、无人驾驶等诸多领域得到了广泛的应用.近年来,学者们提出了许多高效的算法.然而,随着跟踪环境越来越复杂,目标跟踪算法在遮挡、光照变化、背景干扰等复杂环境下仍然面临着巨大的挑战,从而导致目标跟踪失败.针对上述问题,提出了一种基于时空注意力机制的目标跟踪算法.首先,采用孪生网络架构来提高对特...     

基于混合注意力机制的目标跟踪算法

针对全卷积孪生网络目标跟踪算法(SiamFC)在目标形变、遮挡和快速运动等复杂场景中易导致跟踪失败的问题,提出一种利用混合注意力机制增强网络识别能力的算法(SiamMA)。首先,在训练阶段提出堆叠裁剪法构建自对抗训练样本对,以模拟实际跟踪时的复杂场景,使训练的网络模型具有更强的泛化性。其次提出混合注意力机制,在网络不同分支融合使用空间注意力和通道注意力网络模块,有效抑制了特征图中的背景干扰,提升算法的鲁棒性。采用GOT-10k、UAV123等4种数据集进行算法性能评测实验,结果表明本文算法的跟踪成功率、精度等主要性能指标较SiamFC和KCF等6种经典算法均有提升,平均速度达到60 fps。     

引入轻量级Transformer的无人机视觉跟踪

随着无人机在军事和民用领域的广泛运用,对于高精度、低功耗智能无人机跟踪系统的需求日益增加。针对目标跟踪算法在无人机跟踪场景下很难平衡跟踪精度和跟踪速度的问题,提出一种引入轻量级Transformer的孪生网络无人机目标跟踪算法SiamLT。使用Transformer对AlexNet网络进行改进,在增加最小计算量的情况下捕获全局特征信息。在目标模板与搜索区域匹配方面,联合Transformer和深度互相关运算提出一种二元相关模块,同时捕获目标模板与搜索区域之间的局部相关性和全局依赖关系。在分类回归网络中引入距离交并比,并采用多监督策略训练网络,以获取更准确的目标位置。在UAV123和UAV20L跟踪基准上的实验结果表明,SiamLT算法优于主流的目标跟踪算法,更有效地平衡了跟踪精度和跟踪速度。     

基于深度学习的单目标跟踪算法综述

单目标跟踪是计算机视觉领域中的研究热点.传统算法如相关滤波的跟踪速度较快,但由于提取到的颜色、灰度等手工特征较为粗糙,跟踪精度往往不高.近年来随着深度学习理论的发展,使用深度特征的跟踪方法能够在跟踪的精度和速度方面达到很好的平衡.本文首先介绍单目标跟踪的相关背景,接着从相关滤波单目标跟踪、深度学习单目标跟踪两个阶段对单...     

融合位置信息注意力的孪生弱目标跟踪算法

经典孪生网络弱特征目标跟踪存在鲁棒性差的问题。为此,设计了一种融合目标二维位置信息注意力机制的孪生网络算法。该算法以区域候选孪生网络（siamese region proposal network,SiamRPN）为基础,包括特征提取网络部分和相似度计量部分。在特征提取网络部分,引入了位置信息注意力模块来提取目标特征二维位置信息以提升网络对弱目标的特征提取能力。采用了轻量深度特征提取网络MobileNetV2来减少特征提取网络部分模型参数和计算量;在相似度计量部分,基于多层特征融合的相似度计量方法深入挖掘特征提取网络浅层特征的定位信息和深层特征的语义信息,加强了算法的跟踪准确性和定位精度。实验结果表明,所提出的算法在UAV123数据集上成功率相较于SiamRPN基础算法提升了12.6%,跟踪精度提升了8.4%,且跟踪速度每秒74帧,在提升成功率的同时满足了实时性的要求。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合注意力特征的无锚框视觉目标跟踪方法

目标跟踪作为计算机视觉领域的一个重要分支,在智能视频监控、人机交互和自动驾驶等诸多领域具有很高的研究价值。尽管目标跟踪近年来已取得较好的发展,但在复杂跟踪环境下,遮挡、目标形变、光照变化等因素仍会导致跟踪精度下降,跟踪性能不稳定。因此,提出了一种融合注意力特征的无锚框视觉目标跟踪方法(Anchor-Free object Tracking Method, AFTM)。首先,在分类和回归过程中构建自适应生成的注意力权重因子组,实现了一种高效的自适应响应图融合策略,提高了目标定位和边界框尺度计算的准确性;其次,针对数据集中样本类别不均衡的现象,使用可动态缩放的交叉熵损失作为目标定位网络的损失函数,修正模型的优化方向,使跟踪性能更加稳定可靠;最后,设计相应的学习率调整策略,对一定数量的模型进行随机权重平均,增强模型的泛化能力。公开数据集上的实验结果表明,在复杂跟踪环境下,AFTM具有更高的精度和更稳定的跟踪效果。     

基于相关滤波器的长时视觉目标跟踪方法

为解决相关滤波器（CF）在跟踪快速运动目标时存在跟踪失败的问题,提出一种结合了核相关滤波（KCF）跟踪器和基于光流法的检测器的长时核相关滤波（LKCF）跟踪算法。首先,使用跟踪器跟踪目标,并计算所得跟踪目标的峰值响应强度（PSR）;然后,通过比较峰值响应强度（PSR）与经验阈值大小判断目标是否跟踪丢失,当目标跟踪丢失时,在上一帧所得目标附近运用光流法检测运动目标,得到目标在当前帧中的粗略位置;最后,在此粗略位置处再次运用跟踪器得到精确位置。与核相关滤波（KCF）、跟踪-学习-检测（TLD）、压缩跟踪（CT）、时空上下文（STC）等4种跟踪算法进行对比实验,实验结果表明,所提算法在距离精确度和成功率上都表现最优,且分别比核相关滤波（KCF）跟踪算法高6.2个百分点和5.1个百分点,表明所提算法对跟踪快速运动目标有很强的适应能力。     

基于视觉感知的运动目标跟踪算法

针对运动目标跟踪问题, 为解决跟踪过程中因遮挡、目标尺度变化等易造成跟踪失败的现象, 提出一种基于视觉感知的跟踪算法。该算法以神经元响应为视觉特征, 首先从自然图像中学习初级视皮层细胞感受野; 然后计算背景图像和视频序列图像的神经元响应并得出差值, 与动态阈值比较, 识别出运动目标, 通过迭代实现目标跟踪。多类别实验结果表明, 该算法实现了运动目标稳定跟踪, 目标跟踪准确率达93. 5%且鲁棒性增强, 与典型算法Camshift和SIFT相比, 提高了跟踪算法的准确性和鲁棒性。     

A visual attention model for robot object tracking

Inspired by human behaviors, a robot object tracking model is proposed on the basis of visual attention mechanism, which is fit for the theory of topological perception. The model integrates the image-driven, bottom-up attention and the object-driven, top-down attention, whereas the previous attention model has mostly focused on either the bottom-up or top-down attention. By the bottom-up component, the whole scene is segmented into the ground region and the salient regions. Guided by top-down strategy which is achieved by a topological graph, the object regions are separated from the salient regions. The salient regions except the object regions are the barrier regions. In order to estimate the model, a mobile robot platform is developed, on which some experiments are implemented. The experimental results indicate that processing an image with a resolution of 752*480 pixels takes less than 200ms and the object regions are unabridged. The analysis obtained by comparing the proposed model with the existing model demonstrates that the proposed model has some advantages in robot object tracking in terms of speed and efficiency.     

基于视觉注意机制的目标跟踪方法

提出一种基于视觉注意机制的运动目标跟踪方法。该方法借鉴人类的视觉注意机制的研究成果,建立视觉注意机制的计算模型,计算视频中各部分内容的视觉显著性。结合视觉显著性计算结果,提取视频图像中的显著性目标。利用颜色分布模型作为目标的特征表示模型,与视频中各显著目标进行特征匹配,实现目标的跟踪。在多个视频序列中进行实验,并给出相应的实验结果及分析。实验结果表明,提出的目标检测与跟踪算法是正确有效的。     

基于注意机制的投影跟踪算法

针对直角坐标系中跟踪算法无法跟踪存在旋转和尺度变化目标图像的问题,在分析对数极坐标变换的基础上,提出了一种对数极坐标域的投影跟踪算法。该算法可以对存在旋转和尺度变化的运动目标实施跟踪,通过实验证明了这种方法在处理运动图像变化时是有效的。因而,这种采用对数极坐标域的跟踪算法具有很好的实用价值。     

一种基于空间直方图的多特征目标跟踪算法

为提高跟踪算法对光照或背景的大幅度变化和车辆大范围运动的鲁棒性,提出了一种基于空间直方图的多特征目标跟踪算法。算法以自适应权值多特征乘性融合框架为基础,分别建立目标的颜色、边缘和纹理空间直方图,使用Mean Shift迭代,利用各特征空间概率分布图中目标与背景的BH系数,调整特征权值。该算法使跟踪不再过分依赖某一单一特征,实现了复杂背景下目标的准确跟踪。     

基于TLD框架的快速目标跟踪方法

现实中目标在被长期跟踪时容易发生形变、遮挡、光照干扰以及其它问题,现有跟踪算法虽能解决该系列问题但算法计算量巨大导致跟踪系统实时性能较差,很难应用于实际场合。因此准确快速跟踪目标成为近年来非常有挑战的热点课题。以国外学者Zdenek Kalal等人提出的TLD(Tracking-Learning-Detection)框架为基础,提出了三点改进方法。一根据目标所占整幅图像的面积大小动态调整被处理图像的分辨率,从总体上减少样本数量;二在目标邻近区域扫描生成样本,缩小检测器的检测范围;三更换检测部分中分类器模板匹配方法,实现快速匹配,提高算法运行速度。针对与不同的场景,实验表明上述问题在改进后的算法中得到了较大的改善,算法的计算量有效降低,系统运行速度得到提高。且对于实时摄像头监控,改进后算法在保证目标跟踪准确率的同时拥有较好的实时性。     

一种基于Hausdorff距离的运动物体跟踪算法

针对视频处理中运动物体的检测和跟踪问题,提出了一种基于Hausdorff距离的目标跟踪算法。新算法提出首先采用多尺度分水岭变换获取运动物体模型,消除了传统基于分水岭变换算法存在的缺陷;然后使用部分Hausdorff距离实现后续帧中运动物体模型的匹配;最后再次使用多尺度分水岭算法完成运动物体模型的更新。实验表明,该算法可以有效地跟踪多个刚体或非刚体目标。     

基于多任务混合噪声分布模型表示的视频跟踪

视觉跟踪中,目标信息是不确定的非线性变化过程。随时间和空间而变化的复杂动态数据中学习出较为精确的目标模板并用它来线性表示候选样本外观模型,从而使跟踪器较好地适应跟踪作业中内在或外在因素所引起的目标外观变化是视觉目标跟踪研究的重点。提出一种新颖的多任务混合噪声分布模型表示的视频跟踪算法,将候选样本外观模型假设为由一组目标模板和最小重构误差组成的多任务线性回归问题。利用经典的增量主成分分析法从高维数据中学习出一组低维子空间基向量（模板正样本）,并在线实时采样一些特殊的负样本加以扩充目标模板,再利用扩充后的新模板和独立同分布的高斯-拉普拉斯混合噪声来线性拟合当前时刻的候选目标外观模型,最后计算候选样本和真实目标之间的最大似然度,从而准确捕捉当前时刻的真实目标。在一些公认测试视频上的实验结果表明,该算法将能够在线学习较为精准的目标模板并定期更新目标在不同状态时的特殊信息,使得跟踪器始终保持最佳的状态,从而良好地适应不断发生变化的视觉信息（姿态、光照、遮挡、尺度、背景扰乱及运动模糊等）,表现出更好的鲁棒性能。