基于孪生网络结构的目标跟踪算法综述

近年来相关滤波和深度学习理论快速发展,在目标跟踪中得到广泛应用,但在精度或者速度方面存在问题,基于孪生网络结构的方法能够在精度和速度之间取得平衡,逐渐成为了目标跟踪的主流方法。介绍了目标跟踪技术的基本概念,分析相关滤波等传统方法的发展及其存在的不足。着重阐述孪生网络的结构和基于孪生网络结构的跟踪算法的设计原理及其最新进展,并对比相关方法的性能。针对现有基于孪生网络结构的跟踪方法的不足,展望未来的发展趋势。     

基于孪生网络的跟踪算法综述

目标跟踪算法共分为两大类,一类是基于相关滤波的跟踪算法,另一类是基于深度学习的跟踪算法。基于相关滤波的跟踪算法的特点是跟踪速度快,跟踪的精度较低。基于深度学习的跟踪算法的特点是精度较高,但跟踪速度较低。随着研究的深入,深度学习中基于孪生网络的跟踪算法很好地平衡了跟踪速度和精度,既保持了基于深度学习的跟踪算法的优点,又大幅度提高了跟踪速度。首先介绍了基于孪生网络的跟踪算法的工作原理,然后根据基于孪生网络的跟踪算法的发展顺序,分别阐述了不同孪生网路跟踪算法的方法,最后对基于孪生网络的跟踪算法做了总结与展望。     

基于孪生区域建议网络的无人机目标跟踪算法

在无人机跟踪过程中,遮挡、光照变化、背景干扰等影响会导致跟踪目标丢失。基于SiamRPN算法提出一种无人机目标跟踪算法。通过在网络中加入空间条带池和全局上下文模块建立远程上下文关系,以适应不同的跟踪场景。同时利用改进交并比的计算方法提取目标特征,并回归精准的预测框。在UAV123数据集上的实验结果表明,相比SiamRPN、SiamFC、SAMF等算法,该算法的跟踪性能较优且具有较强的鲁棒性,尤其在背景干扰环境下,其精确率和成功率较SiamRPN算法分别提升了6.54%和11.63%。     

基于孪生网络的串联互相关目标跟踪

针对现有孪生网络目标跟踪技术只对模板特征和搜索特征进行一次融合操作, 使得融合特征图上的目标特征相对粗糙, 不利于跟踪器精确跟踪定位的问题, 本文设计了一个串联互相关模块, 旨在利用现有的互相关方法, 对模板特征和搜索特征做多次的互相关操作增强融合特征图上的目标特征, 提升后续分类和回归结果的准确性, 以更少的参数实现速度和精度之间的平衡. 实验结果表明, 所提出的方法在4个主流跟踪数据集上都取得了很好的结果.     

融合位置信息注意力的孪生弱目标跟踪算法

经典孪生网络弱特征目标跟踪存在鲁棒性差的问题。为此,设计了一种融合目标二维位置信息注意力机制的孪生网络算法。该算法以区域候选孪生网络（siamese region proposal network,SiamRPN）为基础,包括特征提取网络部分和相似度计量部分。在特征提取网络部分,引入了位置信息注意力模块来提取目标特征二维位置信息以提升网络对弱目标的特征提取能力。采用了轻量深度特征提取网络MobileNetV2来减少特征提取网络部分模型参数和计算量;在相似度计量部分,基于多层特征融合的相似度计量方法深入挖掘特征提取网络浅层特征的定位信息和深层特征的语义信息,加强了算法的跟踪准确性和定位精度。实验结果表明,所提出的算法在UAV123数据集上成功率相较于SiamRPN基础算法提升了12.6%,跟踪精度提升了8.4%,且跟踪速度每秒74帧,在提升成功率的同时满足了实时性的要求。     

基于Anchor-free的孪生网络目标跟踪算法

基于anchor-free的目标预测方法相较于anchor-based方法速度更快,故设计一种基于anchor-free的孪生网络目标跟踪算法(AFSN)。通过对特征图、预测结果进行双重融合来提升跟踪效果,由深至浅对特征图进行堆叠融合,利用多层特征图进行目标预测,融合多个预测结果来稳定跟踪效果。采用anchor-free的目标预测方法,直接在像素点上进行目标类别的预测和边界框回归,避免了需设计大量锚点包围盒的问题。在GOT-10K数据集上,该算法的平均重叠率(AO)和成功率(SR_0.75)相较于SiamRPN++算法提高了4.9和9.9百分点,算法处理速度可达每秒37帧。     

基于孪生区域候选网络的目标跟踪模型

为了解决被跟踪目标因尺度、形状变化导致的跟踪效果变差的问题,本文提出一种基于孪生区域候选网络的目标跟踪模型,对孪生区域候选网络(SiamRPN)优化,升级特征提取基准网络,采取多层特征融合模式,引入注意力机制模块增强位置特性和通道特性,并应用检测领域提出的GA-RPN替换原有的RPN(区域候选网络).OTB2015和VOT2018数据集的实验结果显示,本文模型对OTB2015数据集成功率为0.678,准确率为0.882,与SiamRPN相比分别提高了3.7%,6.2%;对VOT2018数据集检测帧率为31FPS,平均重叠期望为0.402,与SiamRPN相比提高了4.9%,测试结果表明本文模型具备较高的跟踪精度和较强的抗干扰性,满足实时性需求.     

基于孪生网络的目标跟踪算法综述

孪生网络是由2个或多个人工神经网络建立的耦合框架,因其将回归问题转换为相似度匹配问题,备受计算机视觉领域的研究人员关注。随着深度学习理论的快速发展,目标跟踪技术在生活中得到了广泛的应用。基于孪生网络的目标跟踪算法以其相对优越的准确率和实时性逐渐代替了传统的目标跟踪算法,成为目标跟踪的主流算法。首先,介绍了目标跟踪任务面对的挑战和传统方法;然后,介绍了孪生网络的基础结构及其发展,汇总了近年来基于孪生网络的目标跟踪算法与相应设计原理;另外,介绍多个用于目标跟踪测试的主流数据集,并基于这些数据集对比了基于孪生网络的目标跟踪算法的性能;最后,提出基于孪生网络目标跟踪算法目前存在的问题及对未来的展望。     

基于IMPSiamCAR孪生网络无人机目标跟踪算法

针对无人机进行目标跟踪时,目标存在尺度变化大、易受遮挡、相似物干扰等问题,在SiamCAR的基础上提出IMPSiamCAR算法。该算法使用改进的ResNet50网络提取目标特征,引入通道注意力机制使模型学习不同通道的语义信息,按特征的重要程度为通道分配不同的权重,使算法能更加关注存在跟踪目标的区域;再将融合后的目标特征送入区域回归网络进行正负样本分类、中心度计算及边界框回归;最后得到每一帧中目标的位置。在UAV123数据集与OTB100数据集上测试的实验结果表明,提出的算法与对比算法相比,有更高的跟踪精度与成功率,能较好地应对遮挡、相似物干扰、尺度变化等挑战;并且在VOT2018和UAV123数据集上进行实时性测试的结果表明,所提算法可以满足无人机实时性的要求。     

基于多支路的孪生网络目标跟踪

为有效解决目标跟踪在面对大尺度形变、完全遮挡、背景干扰等复杂场景时出现漂移或者跟踪丢失的问题, 本文提出了一种基于多支路的孪生网络目标跟踪算法(SiamMB). 首先, 通过增加邻近帧支路的网络鲁棒性增强方法以提高对搜索帧中目标特征的判别能力, 增强模型的鲁棒性. 其次, 融合空间注意力网络, 对不同空间位置的特征施加不同的权重, 并着重关注空间位置上对目标跟踪有利的特征, 提升模型的辨别力. 最后, 在OTB2015和VOT2018数据集上的进行评估, SiamMB跟踪精度和成功率分别达到了91.8%和71.8%, 相比当前主流的跟踪算法取得了良好的竞争力.     

结合掩膜与孪生网络的目标跟踪方法研究

针对在舰船目标跟踪过程中由于视场角变化导致的跟踪精度下降的问题,基于全连接孪生神经网络的目标跟踪方法,融合了目标分割策略,提出了基于SiamMask的实时目标跟踪算法。该算法将二元掩模运算作为孪生网络的一个分支,以实现对目标的分割,在获取目标位置信息的同时,获取目标的外观信息,使得该网络的损失函数得到显著增强。由传统的轴对称目标跟踪框,改进为可根据目标形状、外观而自适应调整的可旋转矩形框。将该算法与传统基于孪生网络的跟踪算法SiameseNet,以及基于相关滤波的KCF跟踪算法进行实验仿真测评对比,通过计算各算法的中心误差,结果表明该算法的跟踪精度较两者分别提升了19.5%和24.5%,且运行速度可达30 fps,满足了舰船目标跟踪对于准确性和实时性的要求。     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法.设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小.使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情...     

引入轻量注意力的孪生神经网络目标跟踪算法

针对目标跟踪算法在各种场景下很难做到准确率和实时性平衡的问题,提出了一种引入轻量注意力的孪生神经网络（siamese neural network）目标跟踪算法,称为SiamNL。SiamNL算法使用基于深度级卷积（depth-wise convolution）的交叉相关运算,降低了网络的参数量和运算量,提升了算法的实时性。同时,SiamNL使用Non-Local注意力网络编码模板图特征和搜索图特征,对特征进行了自注意力和互注意力的运算,有效提升了算法的准确率。在VOT2016、VOT2018、OTB100等公开数据集上的测试结果表明,SiamNL算法优于主流的目标跟踪算法,更有效地平衡了准确率和实时性。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法(SiamFC)的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法.在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适...