基于孪生网络的跟踪算法综述

目标跟踪算法共分为两大类,一类是基于相关滤波的跟踪算法,另一类是基于深度学习的跟踪算法。基于相关滤波的跟踪算法的特点是跟踪速度快,跟踪的精度较低。基于深度学习的跟踪算法的特点是精度较高,但跟踪速度较低。随着研究的深入,深度学习中基于孪生网络的跟踪算法很好地平衡了跟踪速度和精度,既保持了基于深度学习的跟踪算法的优点,又大幅度提高了跟踪速度。首先介绍了基于孪生网络的跟踪算法的工作原理,然后根据基于孪生网络的跟踪算法的发展顺序,分别阐述了不同孪生网路跟踪算法的方法,最后对基于孪生网络的跟踪算法做了总结与展望。     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

基于双重注意力孪生网络的实时视觉跟踪

为了解决全卷积孪生网络（SiamFC）跟踪算法在跟踪目标经历剧烈的外观变化时容易发生模型漂移从而导致跟踪失败的问题，提出了一种双重注意力机制孪生网络（DASiam）去调整网络模型并且不需要在线更新。首先，主干网络使用修改后表达能力更强的并适用于目标跟踪任务的VGG网络；然后，在网络的中间层加入一个新的双重注意力机制去动态地提取特征，这种机制由通道注意机制和空间注意机制组成，分别对特征图的通道维度和空间维度进行变换得到双重注意特征图；最后，通过融合两个注意机制的特征图进一步提升模型的表征能力。在三个具有挑战性的跟踪基准库即OTB2013、OTB100和2017年视觉目标跟踪库（VOT2017）实时挑战上进行实验，实验结果表明，以40 frame/s的速度运行时，所提算法在OTB2013和OTB100上的成功率指标比基准SiamFC分别高出3.5个百分点和3个百分点，并且在VOT2017实时挑战上面超过了2017年的冠军SiamFC，验证了所提出算法的有效性。     

基于双分支孪生网络的目标跟踪

基于孪生网络的目标跟踪算法将跟踪问题建模为目标特征和搜索区特征之间的匹配问题。匹配程度通常是根据二者特征之间的相关响应来衡量。目前该衡量方式仍存在以下局限：一方面,对目标的不同区域使用的是相同的特征提取器,没有考虑到目标内部和轮廓处的区别;另一方面,在特征之间相关性的求解过程中,模板空间结构是固定的,无法很好地应对目标形变时的情况,鲁棒性较差。为解决上述问题,提出了一种双分支孪生网络目标跟踪算法SiamDAH（Double Adjust Head Siamese Network for Object Tracking）,其中双分支结构旨在考虑目标内部区域和轮廓处的表征需求差异。此外,提出了一种改进的逐像素相关模块,有效降低了传统相关操作时模板结构固定带来的问题。在GOT-10k数据集上的实验结果表明,提出的算法在AO、SR0.5、SR0.75指标上较基准算法分别实现了3.4%、7.0%、2.3%的提升。在NVIDIA RTX 2080Ti上速度可达90 frame/s。     

基于条件对抗生成孪生网络的目标跟踪

为解决被跟踪目标在快速剧烈运动时,因运动模糊和低分辨率使模型发生漂移,导致跟踪器跟踪效果变差甚至跟踪失败的问题,对全卷积孪生网络跟踪算法(SiamFC)进行改进,提出一种基于条件对抗生成孪生网络的目标跟踪算法(CGANSiamFC).首先,在SiamFC框架的基础上嵌入条件对抗生成网络模块,对输入的低分辨率模糊视频帧去...     

基于自适应模板更新的改进孪生卷积网络目标跟踪算法

现有的孪生网络目标跟踪算法采用边界框模板进行跟踪,在目标形变、遮挡等干扰下很容易导致跟踪漂移.在轮廓检测网络和孪生卷积网络(Siamese)跟踪网络的基础上,提出一种基于深度轮廓模板更新的改进孪生卷积网络目标跟踪算法.利用轮廓检测网络获取目标边缘轮廓,降低背景杂波干扰;利用改进的Siamese网络获得轮廓模板和搜索区域...     

孪生网络目标跟踪算法

在计算机视觉领域中,卷积神经网络发挥着越来越重要的作用.在海量数据的驱动下,深度学习表现出了比传统方法更为优越的特征表达能力.基于孪生网络的目标跟踪算法由于准确性和实时性等优点,相关研究受到越来越多的重视.本文首先阐述了计算机视觉的研究意义,着重介绍了几种基于孪生网络的目标跟踪算法,最后总结了这些算法的优点以及未来的研...     

动态的加权孪生网络跟踪算法

为提升快速在线目标跟踪与分割算法的跟踪精度,提出了一种动态的加权孪生网络跟踪算法。首先,对初始帧提取的模板特征与每帧提取的模板特征进行学习融合,提高跟踪器的泛化能力;其次,在掩膜分支产生目标掩膜的过程中用加权的方式融合特征,减少冗余特征带来的干扰,提高跟踪的精度。在数据集VOT2016和VOT2018上进行测试,所提算法的预期平均重叠率分别为0.450和0.390,精确性分别为0.649和0.618,鲁棒性分别为0.205和0.267,均高于基准算法,跟踪速度为34帧/s,达到了实时跟踪的要求。所提算法有效地提高了跟踪的准确性,能在复杂的跟踪环境下较好地完成跟踪任务。     

基于Anchor-free的孪生网络目标跟踪算法

基于anchor-free的目标预测方法相较于anchor-based方法速度更快,故设计一种基于anchor-free的孪生网络目标跟踪算法(AFSN)。通过对特征图、预测结果进行双重融合来提升跟踪效果,由深至浅对特征图进行堆叠融合,利用多层特征图进行目标预测,融合多个预测结果来稳定跟踪效果。采用anchor-free的目标预测方法,直接在像素点上进行目标类别的预测和边界框回归,避免了需设计大量锚点包围盒的问题。在GOT-10K数据集上,该算法的平均重叠率(AO)和成功率(SR_0.75)相较于SiamRPN++算法提高了4.9和9.9百分点,算法处理速度可达每秒37帧。     

基于孪生网络的目标跟踪算法综述

孪生网络是由2个或多个人工神经网络建立的耦合框架,因其将回归问题转换为相似度匹配问题,备受计算机视觉领域的研究人员关注。随着深度学习理论的快速发展,目标跟踪技术在生活中得到了广泛的应用。基于孪生网络的目标跟踪算法以其相对优越的准确率和实时性逐渐代替了传统的目标跟踪算法,成为目标跟踪的主流算法。首先,介绍了目标跟踪任务面对的挑战和传统方法;然后,介绍了孪生网络的基础结构及其发展,汇总了近年来基于孪生网络的目标跟踪算法与相应设计原理;另外,介绍多个用于目标跟踪测试的主流数据集,并基于这些数据集对比了基于孪生网络的目标跟踪算法的性能;最后,提出基于孪生网络目标跟踪算法目前存在的问题及对未来的展望。     

区域损失函数的孪生网络目标跟踪

针对预训练卷积神经网络提取的深度特征空间分辨率低,快速运动造成运动目标空间细节信息丢失等问题,提出用区域损失函数构建孪生网络的目标跟踪,进一步降低深度特征通道之间的冗余性,并减少高层信息丢失。利用线下预训练的VGG-16卷积神经网络提取深度特征,构成初始深度特征空间。通过区域损失函数构建特征和尺度选择网络,根据反向传播的梯度大小进行特征选择。对筛选后的特征进行拼接,融入到孪生网络中匹配跟踪。在OTB-2013、OTB-2015、VOT2016、TempleColor数据集上与其他算法对比。实验结果表明,该算法在快速运动、低分辨率等场景中表现出较好的跟踪精度和鲁棒性。     

基于IMPSiamCAR孪生网络无人机目标跟踪算法

针对无人机进行目标跟踪时,目标存在尺度变化大、易受遮挡、相似物干扰等问题,在SiamCAR的基础上提出IMPSiamCAR算法。该算法使用改进的ResNet50网络提取目标特征,引入通道注意力机制使模型学习不同通道的语义信息,按特征的重要程度为通道分配不同的权重,使算法能更加关注存在跟踪目标的区域;再将融合后的目标特征送入区域回归网络进行正负样本分类、中心度计算及边界框回归;最后得到每一帧中目标的位置。在UAV123数据集与OTB100数据集上测试的实验结果表明,提出的算法与对比算法相比,有更高的跟踪精度与成功率,能较好地应对遮挡、相似物干扰、尺度变化等挑战;并且在VOT2018和UAV123数据集上进行实时性测试的结果表明,所提算法可以满足无人机实时性的要求。     

基于特征融合与双模板嵌套更新的孪生网络跟踪算法

为提高全卷积孪生网络SiamFC在复杂场景下的识别和定位能力,提出一种基于多响应图融合与双模板嵌套更新的实时目标跟踪算法.使用深度ResNet-22替换AlexNet作为骨干网络以提升网络特征提取性能,建立强识别能力的骨干语义分支.在ResNet-22的浅层使用高分辨率特征,构造强定位能力的浅层位置分支,计算并融合两个...     

基于孪生网络的串联互相关目标跟踪

针对现有孪生网络目标跟踪技术只对模板特征和搜索特征进行一次融合操作, 使得融合特征图上的目标特征相对粗糙, 不利于跟踪器精确跟踪定位的问题, 本文设计了一个串联互相关模块, 旨在利用现有的互相关方法, 对模板特征和搜索特征做多次的互相关操作增强融合特征图上的目标特征, 提升后续分类和回归结果的准确性, 以更少的参数实现速度和精度之间的平衡. 实验结果表明, 所提出的方法在4个主流跟踪数据集上都取得了很好的结果.     

SiamCross:孪生交叉的目标跟踪对象感知网络

近来,基于孪生架构的方法因其能在保持良好速度的同时取得较显著的性能,引起了视觉跟踪领域的广泛关注.然而,孪生网络分支通常是独立的,缺乏信息交互,这限制了模型性能的进一步提升.为了增强孪生网络分支的协作能力,本文提出基于孪生架构的交叉感知网络模型——SiamCross(Siamese Cross Object-Aware Network).孪生网络双分支特征提取是提升模型性能的首要核心操作,区分目标和语义背景在很大程度上依赖模型挖掘的特征鲁棒性.在SiamCross中,我们首先基于孪生网络分支的互监督,设计了全新的孪生交叉感知子网络(Siamese Cross-Aware Net work,SCAN)用来提取鲁棒特征.SCAN允许孪生分支彼此全方位高效协同工作,使模板分支可充分利用特征丰富的上下文语义信息,对目标产生更具有区分性的表示;搜索分支结合模板特征,也主动学习到了目标的本质信息.另一方面,无锚框算法将跟踪任务直接映射为对每个像素的分类和回归,网络分支特征可各自聚焦于目标的局部与全局空间信息.以上两种特征具有很好的潜在局部-全局互补性.具体而言,回归特征学习到了更多的目标全局尺寸信...     

基于孪生网络结构的目标跟踪算法综述

近年来相关滤波和深度学习理论快速发展,在目标跟踪中得到广泛应用,但在精度或者速度方面存在问题,基于孪生网络结构的方法能够在精度和速度之间取得平衡,逐渐成为了目标跟踪的主流方法。介绍了目标跟踪技术的基本概念,分析相关滤波等传统方法的发展及其存在的不足。着重阐述孪生网络的结构和基于孪生网络结构的跟踪算法的设计原理及其最新进展,并对比相关方法的性能。针对现有基于孪生网络结构的跟踪方法的不足,展望未来的发展趋势。     

基于注意力机制和孪生网络的跟踪算法研究

提出融合卷积通道注意力机制、堆叠通道注意力机制和空间注意力机制的孪生网络跟踪器（ThrAtt-Siam）来提升跟踪性能。ThrAtt-Siam跟踪器以SiameseFC为基础,通过在低卷积层融合卷积通道注意力机制、两个特征图与两个卷积块,加强目标物体特征提取,提高跟踪器对背景特征抗干扰能力和辨别能力;在目标图像分支融合堆叠通道注意力机制与空间注意力机制,其中堆叠通道注意力机制可有效区分有用特征与无用特征,同时针对不同通道的有用特征进行提取,空间注意力机制可有效地补充目标物体特征在通道空间中的信息,能够更好地对目标进行定位。在OTB2015和VOT2017数据集上的实验结果表明,ThrAtt-Siam跟踪器对目标物体形变、低分辨率和遮挡问题都取得了较好的跟踪准确率和成功率。     

基于多支路的孪生网络目标跟踪

为有效解决目标跟踪在面对大尺度形变、完全遮挡、背景干扰等复杂场景时出现漂移或者跟踪丢失的问题, 本文提出了一种基于多支路的孪生网络目标跟踪算法(SiamMB). 首先, 通过增加邻近帧支路的网络鲁棒性增强方法以提高对搜索帧中目标特征的判别能力, 增强模型的鲁棒性. 其次, 融合空间注意力网络, 对不同空间位置的特征施加不同的权重, 并着重关注空间位置上对目标跟踪有利的特征, 提升模型的辨别力. 最后, 在OTB2015和VOT2018数据集上的进行评估, SiamMB跟踪精度和成功率分别达到了91.8%和71.8%, 相比当前主流的跟踪算法取得了良好的竞争力.     

基于自适应共生矩阵选择的目标跟踪方法

针对单一固定特征无法适应目标及其背景变化的情况,提出了一种基于HSV颜色空间的共生矩阵的自适应特征选择的方法。首先将图像转换为HSV颜色空间,在每个颜色通道内对目标及其背景区域计算不同参数的共生矩阵,选择其中差异最大的前4个共生矩阵作为目标特征模型,通过比率对数矩阵计算的反向投影图,采样均值平移算法跟踪目标。仿真实验验证了该算法的有效性。