基于孪生网络结构的目标跟踪算法综述

近年来相关滤波和深度学习理论快速发展,在目标跟踪中得到广泛应用,但在精度或者速度方面存在问题,基于孪生网络结构的方法能够在精度和速度之间取得平衡,逐渐成为了目标跟踪的主流方法。介绍了目标跟踪技术的基本概念,分析相关滤波等传统方法的发展及其存在的不足。着重阐述孪生网络的结构和基于孪生网络结构的跟踪算法的设计原理及其最新进展,并对比相关方法的性能。针对现有基于孪生网络结构的跟踪方法的不足,展望未来的发展趋势。     

基于孪生网络的单目标跟踪算法综述

单目标跟踪是计算机视觉领域的一个重要研究方向，在视频监控、自动驾驶等领域应用广泛。对于单目标跟踪算法，尽管已有大量总结研究，但大多基于相关滤波或深度学习。近年来，基于孪生网络的跟踪算法因在精度和速度之间取得的平衡受到研究者们的广泛关注，然而目前对该类型算法的总结分析相对较少，并且对这些算法的架构层面缺少系统分析。为深入了解基于孪生网络的单目标跟踪算法，对大量相关文献进行了总结与分析。首先阐述孪生网络的结构和应用，并根据孪生跟踪算法架构组成的分类介绍了各跟踪算法；然后列举单目标跟踪领域常用的数据集和评价指标，对25个主流跟踪算法在OTB2015数据集上分别进行整体和各属性的性能比较与分析，并列出23个孪生跟踪算法在LaSOT和GOT-10K测试集上的性能以及推理时的速度；最后对基于孪生网络的目标跟踪算法的研究进行总结，并对未来的发展方向进行展望。     

近年目标跟踪算法短评——相关滤波与深度学习

目的 目标跟踪是计算机视觉领域的重要组成部分。近年来,基于相关滤波和深度学习的目标跟踪算法层出不穷,本文拟对经典的若干目标跟踪算法进行阐述与分析。方法 首先,对基于相关滤波跟踪算法的基础理论进行介绍,针对相关滤波算法在特征改进类、尺度改进类、消除边界效应类、图像分块类与目标响应自适应类方面进行总结;接下来,从3个方面对基于深度学习的目标跟踪算法进行阐述与分析：目标分类、结构化回归、孪生网络,并对有代表性的跟踪算法的优势与缺陷进行较深层次的解读。结果 通过列举跟踪算法在相关滤波阶段、深度学习阶段针对不同的改进机制的改进算法,总结各阶段算法的优缺点。对目标跟踪算法的最新进展进行阐述,最终对目标跟踪算法的未来发展方向进行总结。结论 基于相关滤波的目标算法在实时性方面表现优秀,但对于复杂背景干扰、相似物遮挡等情况仍然需要优化。深层的卷积特征对于目标有强大的表示力,通过使相关滤波算法与深度学习结合,大幅度提升了算法表现力。基于深度学习的跟踪算法则更侧重于跟踪的性能,大多无法满足实时性。孪生神经网络的使用对于基于深度学习类目标跟踪算法产生了很大的推动,兼顾了算法的性能和实时性。     

融合卷积神经网络的核相关滤波视觉目标跟随算法研究

近几年,目标跟随技术逐渐成为研究的热点。核相关滤波跟踪算法通过循环矩阵构造训练样本,将时域的卷积转换到频域的点乘完成滤波器的训练,降低计算复杂度,跟踪速度较快。卷积神经网络模型深度特征表征能力较强,可以充分利用图像信息,跟踪精度较高。将两种算法优势互补,构造一种卷积神经网络与核相关滤波算法融合型改进算法。即在线下阶段训练模型,分层提取孪生网络的深度特征,然后通过相关滤波器快速计算出最大响应图,预测目标所在位置。因此,改进后的算法在保持核相关滤波跟踪算法实时性的同时,可以大幅提高跟踪精度。     

结合掩膜与孪生网络的目标跟踪方法研究

针对在舰船目标跟踪过程中由于视场角变化导致的跟踪精度下降的问题,基于全连接孪生神经网络的目标跟踪方法,融合了目标分割策略,提出了基于SiamMask的实时目标跟踪算法。该算法将二元掩模运算作为孪生网络的一个分支,以实现对目标的分割,在获取目标位置信息的同时,获取目标的外观信息,使得该网络的损失函数得到显著增强。由传统的轴对称目标跟踪框,改进为可根据目标形状、外观而自适应调整的可旋转矩形框。将该算法与传统基于孪生网络的跟踪算法SiameseNet,以及基于相关滤波的KCF跟踪算法进行实验仿真测评对比,通过计算各算法的中心误差,结果表明该算法的跟踪精度较两者分别提升了19.5%和24.5%,且运行速度可达30 fps,满足了舰船目标跟踪对于准确性和实时性的要求。     

基于孪生区域候选网络的无人机指定目标跟踪

基于孪生网络的目标跟踪目前取得了阶段性进展,即克服了孪生网络的空间不变性在深度网络中的限制,然而其仍存在外观变化、尺度变化、遮挡等因素影响跟踪性能。针对无人机（UAV）指定目标跟踪中的目标尺度变化大、目标运动模糊及目标尺度小等问题,提出了基于孪生区域候选注意力机制网络的跟踪算法Attention-SiamRPN+。首先,采用改进的深度残差网络ResNet-50作为特征提取器来提取特征;接着,使用通道注意力机制模块筛选残差网络提取出的不同通道特征图的语义属性,并重新为不同通道特征分配相应权值;然后,两个区域候选网络（RPN）进行分层融合,而RPN模块包括特征图的逐通道深度互相关、正负样本分类和边界框回归;最后框选出目标位置。在VOT2018平台上进行测试,所提算法的准确率和预期平均重叠率（EAO）分别为59.4%和39.5%;在OTB2015平台上采用一次通过评估模式进行实验,该算法的成功率和精度分别为68.7%和89.4%。实验结果表明所提算法的评估结果优于近年优秀的三种相关滤波跟踪算法和孪生网络跟踪算法,且该算法应用于UAV指定目标的跟踪上时具有良好的鲁棒性和实时处理速度。     

类孪生网络目标跟踪算法综述

目前,在视觉目标跟踪任务中的主流方法是基于模版匹配的跟踪器,这些方法在目标的分类和边界框的回归上具有很强的鲁棒性,主要可以分为判别相关滤波跟踪器和孪生网络跟踪器,这两种方法都有一个类孪生网络的框架。以孪生网络跟踪器为例,该方法通过模版和搜索区域之间的相关操作确定目标的位置,取得了顶尖的性能表现。近年来,Transformer在计算机视觉领域的发展十分迅速,结合了Transformer的类孪生网络跟踪器在速度和精度方面都远超传统的跟踪方法。文章简要概括了判别相关滤波跟踪器、孪生网络跟踪器的发展,以及Transformer在目标跟踪任务中的应用。     

目标跟踪算法综述

目标跟踪一直以来都是计算机视觉领域的关键问题,最近随着人工智能技术的飞速发展,运动目标跟踪问题得到了越来越多的关注.本文对主流目标跟踪算法进行了综述,首先,介绍了目标跟踪中常见的问题,并由时间顺序对目标跟踪算法进行了分类:早期的经典跟踪算法、基于核相关滤波的跟踪算法以及基于深度学习的跟踪算法.接下来,对每一类中经典的跟踪算法的原始版本和各种改进版本做了介绍、分析以及比较.最后,使用OTB-2013数据集对目标跟踪算法进行测试,并对结果进行分析,得出了以下结论:1）相比于光流法、Kalman、Meanshift等传统算法,相关滤波类算法跟踪速度更快,深度学习类方法精度高.2）具有多特征融合以及深度特征的追踪器在跟踪精度方面的效果更好.3）使用强大的分类器是实现良好跟踪的基础.4）尺度的自适应以及模型的更新机制也影响着跟踪的精度.     

基于深度学习的单目标跟踪算法综述

单目标跟踪是计算机视觉领域中的研究热点.传统算法如相关滤波的跟踪速度较快,但由于提取到的颜色、灰度等手工特征较为粗糙,跟踪精度往往不高.近年来随着深度学习理论的发展,使用深度特征的跟踪方法能够在跟踪的精度和速度方面达到很好的平衡.本文首先介绍单目标跟踪的相关背景,接着从相关滤波单目标跟踪、深度学习单目标跟踪两个阶段对单...     

视觉单目标跟踪算法综述

目标跟踪技术根据视频上下文信息，建立一个跟踪模型对目标的运动状态进行预测，被广泛用于智能视频监控、自动驾驶、机器人导航、人机交互等多个计算机视觉领域。随着深度学习在语音识别，图像分类以及目标检测等领域的巨大成功，越来越多的研究将深度学习框架应用于目标跟踪任务中。介绍了当前单目标跟踪任务的难点和传统的方法,重点分析了当前基于深度学习的单目标跟踪算法的发展现状，从预训练网络＋相关滤波算法、基于孪生网络的方法、基于卷积神经网络的方法、基于生成对抗网络的方法以及其他深度学习方法几个方面，分别对当前流行的深度学习目标跟踪算法进行了概述。此外，总结了用于评测单目标跟踪算法性能的代表性数据集，列举了最新的研究成果在不同数据集上的实验结果并分析了当前单目标跟踪领域的问题和趋势。     

双特征模型核相关滤波目标跟踪算法

目的 基于深度学习的目标跟踪算法,利用卷积深层作为特征,虽然精度高但无法做到实时跟踪;基于相关滤波的跟踪算法,利用HOG（histogram of oriented gridients）、CN（color name）和颜色直方图作为特征,速度快但精度较差。为兼顾目标跟踪算法的实时性与准确性,提出了一种基于双模型核相关滤波算法。方法 提出了自适应的双特征模型选择机制,主特征模型采用浅层纹理特征HOG,辅助特征模型采用包含深层语意信息的CNN（convolutional neural networks）特征,二者协同作用,产生更加稳定的相关滤波器。为了提高算法的速度,采用主成分分析（PCA）技术对高维的CNN特征进行降维,并通过尺度优化、最优解求解方式优化等方法提高跟踪算法的准确性。结果 在公开数据集OTB-2013上,本文算法与目前先进且速度能达到实时的SiamFC（fully-convolutional Siamese networks）、MEEM（multiple experts using entropy minimization）、SAMF（scale adaptive multiple features）、DSST（discriminative scale space tracking）等跟踪算法进行比较,一次成功率（OPE）结果显示,本文算法在距离精准度指标中综合排名第一,与KCF（kernel correlation filter）算法相比,本文算法的距离精准度提高了25.2%,重叠成功率提高了25.6%,平均速度达到38帧/s。结论 本文提出的双模型自适应机制,针对主特征模型的置信响应自适应调用最优模型策略,并且实时更新模型,在综合考虑跟踪准确性和跟踪实时性的情况下,本文提出的目标跟踪算法的性能优于目前的跟踪算法。     

深浅特征融合的实时单目标行人跟踪

单目标行人跟踪是计算机视觉目标跟踪领域最基础、也是研究最广泛的任务之一,而目前大多数使用的相关滤波类算法和深度学习类算法则分别在跟踪精度和跟踪实时性上存在不足.针对上述问题,本文提出一种将目标图像的深浅特征融合的实时单目标行人跟踪方法.算法利用卡尔曼滤波器预测目标位置,通过计算四分颜色直方图提取目标的浅层颜色特征,并获得预测相似性以判定预测的可靠性.使用YOLOv4模型作为检测器,提取目标深度特征并分别计算运动信息和外观信息的距离度量,同时提取浅层颜色特征计算得到相似距离度量,通过特征距离度量的加权融合对检测目标进行匹配与更新.最后,利用提出的轨迹更新策略协调预测和检测的调用关系,达到准确性与实时性的平衡.算法在OTB100和LaSOT数据集上进行了测试实验,结果表明:所提算法的跟踪准确率分别达到0.581和0.453,在GPU上分别能达到33.64 FPS和35.32 FPS的跟踪速度,满足实时跟踪的要求.     

基于卷积特征深度融合的海上目标跟踪算法

针对海上复杂环境下深度学习方法跟踪速度慢和尺度变化问题,以及现有跟踪算法仅使用单层深度特征或手动融合多层特征的问题,提出一种基于卷积神经网络特征深度融合的多尺度相关滤波海上目标跟踪算法。以VGG-NET-16深度模型为基础,加入多层特征融合结构,实现深度卷积融合网络,用于特征提取,通过相关滤波算法构建定位滤波器,确定目标的中心位置,通过多尺度采样构建尺度滤波器,实现对目标的判断。实验结果表明,该算法可对海上移动目标实现多尺度的有效跟踪。     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法。设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小。使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情况下提取表达性更强的深度特征,从而完成目标跟踪任务并提高模型的跟踪精度。在GOT-10K、OTB100和VOT2016基准上对算法性能进行测试,结果表明,该算法能够将模型大小降为3.8×10⁶,且速度与精度均优于SiamFC、KCF和DAT等跟踪算法。     

基于深度学习的视觉单目标跟踪综述

单目标跟踪是一种在视频中利用目标外观和上下文信息对单个目标分析运动状态、提供定位的技术,在智能监控、智能交互、导航制导等方面具有应用前景,但遮挡、背景干扰、目标变化等问题导致实际应用的进展缓慢.随着近年来深度学习的快速发展,研究使用深度学习技术优化单目标跟踪算法已成为计算机视觉领域的热点之一.围绕基于深度学习的单目标跟踪算法,在分析了单目标跟踪的基本原理基础上,从相关滤波、孪生网络、元学习、注意力、循环神经网络和生成对抗网络六个方面,根据核心算法的不同分别进行了概述和分析;此外,对研究现状进行了总结,提出了算法的发展趋势和优化思路.     

结合孪生网络重检的长期目标跟踪算法

针对传统长期相关滤波器使用特征单一、跟踪失败后无法再次捕捉到目标的缺点,提出一种结合深度学习的多特征融合长期目标跟踪算法.本算法在长期相关跟踪算法(long-term correlation tracking,LCT))的基础上,采用多特征融合的方式,将局部二值模式特征、改进的方向梯度直方图特征以及颜色特征相融合,来提...