融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合位置信息注意力的孪生弱目标跟踪算法

经典孪生网络弱特征目标跟踪存在鲁棒性差的问题。为此，设计了一种融合目标二维位置信息注意力机制的孪生网络算法。该算法以区域候选孪生网络（siamese region proposal network,SiamRPN）为基础，包括特征提取网络部分和相似度计量部分。在特征提取网络部分，引入了位置信息注意力模块来提取目标特征二维位置信息以提升网络对弱目标的特征提取能力。采用了轻量深度特征提取网络MobileNetV2来减少特征提取网络部分模型参数和计算量；在相似度计量部分，基于多层特征融合的相似度计量方法深入挖掘特征提取网络浅层特征的定位信息和深层特征的语义信息，加强了算法的跟踪准确性和定位精度。实验结果表明，所提出的算法在UAV123数据集上成功率相较于SiamRPN基础算法提升了12.6%，跟踪精度提升了8.4%，且跟踪速度每秒74帧，在提升成功率的同时满足了实时性的要求。     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

基于多模态数据的目标跟踪算法

为解决目标跟踪中目标遮挡、背景复杂等问题,提出一种基于多模态数据的目标跟踪算法。首先对各个模态数据进行像素级融合,以减少单模态数据中信息不足对跟踪结果的影响。然后对融合后的图像提取不同的特征进行滤波,接着将滤波得到的响应图进行决策级融合,以解决因单个模型漂移导致的模型跟踪失败问题。最后根据融合后的响应图的峰值得到跟踪结果。此外,在跟踪过程中加入遮挡检测模块,进一步增强模型鲁棒性。在普林斯顿跟踪基准上对算法进行评估,结果表明,与其他主流算法相比,基于多模态数据的目标跟踪算法在目标遮挡类视频上跟踪精度提升了8.4%,重合成功率提升了3.3%,具有较好的抗遮挡效果。     

融合坐标信息与模板更新的孪生网络目标跟踪

应对孪生网络单目标跟踪算法在跟踪中遇到背景杂乱、相似物影响、遮挡等复杂场景的问题导致跟踪系统精度和成功率下降的问题,提出一种融合坐标注意力机制和模板更新的跟踪算法MCUSiamRPN (MobileNet coordinate attention and updating of template SiamRPN).在SiamRPN算法基础上,采用改进的MobileNetV3为特征提取网络,多层特征信息分别送入坐标注意力模块,进行特征融合,丰富语义信息;设计了一种自适应模板更新模块,结合初始模板和当前帧的模板用于估计下一帧的最佳模板更新模板信息.在OTB100和UAV123两个数据集上进行测试,结果显示:相比于基准算法Siam RPN,精度分别提升了5.3%和3.7%;成功率分别提升了3.7%和5.2%,验证了该算法的有效性.     

动态模态交互和特征自适应融合的RGBT跟踪

目的 可见光和热红外模态数据具有很强的互补性,RGBT(RGB-thermal)跟踪受到越来越多的关注。传统RGBT目标跟踪方法只是将两个模态的特征进行简单融合,跟踪的性能受到一定程度的限制。本文提出了一种基于动态交互和融合的方法,协作学习面向RGBT跟踪的模态特定和互补表示。方法 首先,不同模态的特征进行交互生成多模态特征,在每个模态的特定特征学习中使用注意力机制来提升判别性。其次,通过融合不同层次的多模态特征来获得丰富的空间和语义信息,并通过设计一个互补特征学习模块来进行不同模态互补特征的学习。最后,提出一个动态权重损失函数,根据对两个模态特定分支预测结果的一致性和不确定性进行约束以自适应优化整个网络中的参数。结果 在两个基准RGBT目标跟踪数据集上进行实验,数据表明,在RGBT234数据集上,本文方法的精确率(precision rate,PR)为79.2%,成功率(success rate,SR)为55.8%;在GTOT(grayscale-thermal object tracking)数据集上,本文方法的精确率为86.1%,成功率为70.9%。同时也在RGBT234和GTO...     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

融合轻量级注意力机制的单目标跟踪算法研究

本文针对复杂跟踪场景设计了一种融合轻量级注意力机制的单目标跟踪算法(IAMTransT),经过大量的实验表明,IAMTransT能够显著地提升跟踪器的性能,在OTB100数据集上,成功率达到了67.2%,精确度上达到了88.7%,比基准算法TransT提升了1%的成功率和0.7%的跟踪精度,在UAV123数据集上,成功率达到了63.0%,精确度上达到了83.0%,比基准算法TransT提升了0.6%的成功率和0.7%的跟踪精度。通过在多个目标跟踪数据集上与近几年的视觉跟踪算法进行比较,本文算法在成功率和精度上具备一定优势,所设计的算法取得了更优的目标跟踪性能。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

引入短时记忆的Siamese网络目标跟踪算法

为提升目标跟踪算法在复杂场景下的鲁棒性,使算法适应长时跟踪场景,提出结合多层特征融合和短时记忆机制的跟踪方法,提升目标跟踪的鲁棒性。融合卷积神经网络多层特征,提升网络的特征提取能力。在跟踪阶段,引入了短时记忆模块,搜索区域特征分别与初始的基准模板特征和短时记忆的动态特征进行匹配,对得到的响应图进行融合,提升目标跟踪的鲁棒性,通过视频局部信息增强算法对跟踪目标的判别性。在OTB2015和GOT-10K目标跟踪标准数据集上进行了实验,在OTB2015上的精确度和成功率分别达到了0.808和0.593。实验结果表明,所提算法的测试效果与几种主流跟踪算法相比有了显著的提升,并且达到了27 帧/s的实时跟踪速度,证明了所提方法的有效性。     

基于Anchor-free的孪生网络目标跟踪算法

基于anchor-free的目标预测方法相较于anchor-based方法速度更快，故设计一种基于anchor-free的孪生网络目标跟踪算法(AFSN)。通过对特征图、预测结果进行双重融合来提升跟踪效果，由深至浅对特征图进行堆叠融合，利用多层特征图进行目标预测，融合多个预测结果来稳定跟踪效果。采用anchor-free的目标预测方法，直接在像素点上进行目标类别的预测和边界框回归，避免了需设计大量锚点包围盒的问题。在GOT-10K数据集上，该算法的平均重叠率(AO)和成功率(SR_0.75)相较于SiamRPN++算法提高了4.9和9.9百分点，算法处理速度可达每秒37帧。     

旋转自适应的多特征融合多模板学习视觉跟踪算法

目标发生旋转及遇到外界干扰时会给目标跟踪带来巨大挑战,针对该问题,文中提出旋转自适应的多特征融合多模板学习跟踪算法.首先,构建具有互补特性的多模板学习模型,全局滤波器模板用于跟踪目标,当判定滤波器模板确定全局滤波器模板被污染时,使用修正滤波器模板对全局滤波器模板进行修正.然后,将颜色直方图作为视觉补充信息和VGGNet-19特征图进行自适应融合,提升全局滤波器模板对目标外观的判别能力.最后,提出旋转自适应策略,采用改进的跟踪置信度,估计跟踪框最佳旋转角度,减轻目标旋转带来的全局滤波器模板性能衰退.在OTB-2013、OTB-2015数据集上的实验表明,文中算法的成功率和精确率较高.     

SiamBM:实现更佳匹配的Siamese目标跟踪网络

基于孪生网络的目标跟踪算法通常采用简单的互相关匹配方式，然而这种简单的匹配方式会引入大量无关信息，弱化目标区域的响应。基于无锚框的孪生跟踪网络虽然避免了锚框参数的调整，但由于失去了先验性信息，并不能很好地适应目标物的尺度变化。因此，针对上述所存在的问题，本文提出了一种基于孪生网络的目标跟踪匹配增强算法SiamBM。通过将目标的边界框坐标信息进行编码，为跟踪模型提供有效的指导信息；采用深度可分离互相关级联像素匹配互相关的方式，进一步提高跟踪模型的判别能力；采用多尺度互相关的方式，增强跟踪模型的尺度适应能力。在OTB100数据集上，SiamBM的成功率和精确率分别达到了0.684和0.906，相比基准模型分别提高了5.2%和4.2%。实验结果表明，与目前主流的跟踪器相比，SiamBM取得了相当有竞争力的结果，在各项数据集指标上取得了优越的性能。     

基于难样本挖掘的孪生网络目标跟踪

为了解决全卷积孪生网络目标跟踪算法(SiamFC)在复杂环境下容易出现跟踪漂移甚至跟踪失败的问题,提出了一种基于难样本挖掘的孪生网络目标跟踪方法。该方法在SiamFC算法的基础上,首先利用特征融合模块进行特征融合,以提高特征表征的鲁棒性,然后引入一个新的损失函数,加强网络对难样本的学习能力并缓解正负样本不平衡的问题。为验证该方法的有效性,在OTB2015和GOT10k数据集上对算法进行测试实验。实验结果表明,在OTB2015数据集上该方法比SiamFC算法在成功率上提高2.6%,精度上提高2%;在GOT10k数据集上该方法的mAO为0.429,相比SiamFC算法提高了3.7%,在光照变化、目标形变、相似背景干扰情况下具有更好的表现。     

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

针对无人机（UAV）跟踪过程中垂直跟踪框在处理尺度变化、相似物体和纵横比变化时限制了跟踪精度提升的问题,提出一种基于像素分类的多尺度UAV航拍目标旋转跟踪算法。首先,设计MS-ResNet以提取目标多尺度特征;然后,在具有正交特性的多通道响应图上设计像素二分类模块,从而进一步精确细化分类和回归分支的结果;同时,为了提高像素分类精度,使用并行通道空间注意力（scSE）模块在空间域和通道域上筛选目标特征;最后,在像素分类基础上生成贴合目标实际大小的旋转跟踪框,从而避免正样本受到污染。实验结果表明：所提算法在无人机跟踪数据集UAV123上的成功率和准确率分别为60.7%和79.5%、与孪生区域建议跟踪网络（SiamRPN）相比,成功率与准确率分别提升了5个百分点、2.7个百分点,同时速度为67.5 FPS,满足实时要求。所提算法具有良好的尺度适应能力、辨别能力和鲁棒性,能有效应对UAV跟踪任务。     

基于互相关-Transformer双层特征融合的目标跟踪算法

当前算法主要使用互相关操作和Transformer中的一种方法来设计特征融合网络,这种策略忽视了二者之间的优势互补,容易丢失语义信息,陷入局部最优。针对上述问题,设计了一种基于互相关-Transformer双层特征融合的目标跟踪算法,使用改进的互相关操作和Transformer方法分别对模板和搜索区域特征进行融合,实现两种融合方式的优势互补,使模板和搜索区域特征充分交互,实现特征的有效增强和充分融合,并在互相关操作中引入相似矩阵来增强模板和搜索区域中与当前帧中的目标有关联的特征,使互相关操作的匹配过程更加准确。该目标跟踪算法包括一个基于Swin-Transformer的主干网络,一个互相关和Transformer双层融合模块,一个预测分支。提出的算法在TrackingNet、LaSOT、NFS、UAV123和OTB2015五个数据集上取得了鲁棒的效果,分别达到81.8%、65.7%、66.2%、69.4%和69.8%的成功率,平均跟踪速度达到40帧/秒。     

Kalman滤波与模板更新结合的SiamRPN目标跟踪

针对SiamRPN跟踪算法在目标快速运动时跟踪目标易丢失以及模板不更新影响跟踪效果问题，提出一种Kalman滤波与模板更新相结合的SiamRPN目标跟踪方法。利用训练好的SiamRPN跟踪算法对目标进行跟踪，并将上一帧目标物体的中心点位置及速度输入卡尔曼滤波器，当RPN网络得到的跟踪框响应得分较低时，利用卡尔曼滤波器重新预测目标位置，搜索得到新的跟踪框。并根据上一帧目标的速度，自适应扩大搜索区域。重新设计并训练了模板更新网络，并在其中添加了通道注意力机制，在跟踪过程中对目标模板迭代更新。实验结果表明，该算法在OTB2015的成功率和精确率分别为67.2%和89.1%，在VOT2016的EAO提升24.3%，与其他算法相比在解决目标形变和运动模糊问题具有显著优势。     

基于孪生网络的串联互相关目标跟踪

针对现有孪生网络目标跟踪技术只对模板特征和搜索特征进行一次融合操作, 使得融合特征图上的目标特征相对粗糙, 不利于跟踪器精确跟踪定位的问题, 本文设计了一个串联互相关模块, 旨在利用现有的互相关方法, 对模板特征和搜索特征做多次的互相关操作增强融合特征图上的目标特征, 提升后续分类和回归结果的准确性, 以更少的参数实现速度和精度之间的平衡. 实验结果表明, 所提出的方法在4个主流跟踪数据集上都取得了很好的结果.     

融合多模板注意力深度网的自适应目标框跟踪算法

现有深度网络跟踪算法应对相似物体干扰、尺度变化、形变模糊、遮挡等问题存在挑战,为此提出一种融合多模板注意力机制的鲁棒深度网络算法.在SiamFc深度网络分支中构建通道和空间多模板注意力机制,以加强网络对目标特征的提取能力;融合浅层和深层卷积特征实现跟踪目标的精确聚焦,以克服相似物干扰问题;采用自适应回归网络学习目标采样点与目标边界之间的距离,实现目标区域的动态预测,有效应对目标尺度变化问题.另外,通过计算分类特征的APCE均值和最大值建立模板在线更新策略,实现网络自适应目标形变模糊与遮挡等问题.对OTB 100和VOT 2016等公开数据集的测试结果表明,与目前先进的SiamFc及改进方法相比,所提出算法在动态目标跟踪的准确率和成功率上均得到有效提升,具有强鲁棒性能.