基于孪生网络的单目标跟踪算法综述

单目标跟踪是计算机视觉领域的一个重要研究方向，在视频监控、自动驾驶等领域应用广泛。对于单目标跟踪算法，尽管已有大量总结研究，但大多基于相关滤波或深度学习。近年来，基于孪生网络的跟踪算法因在精度和速度之间取得的平衡受到研究者们的广泛关注，然而目前对该类型算法的总结分析相对较少，并且对这些算法的架构层面缺少系统分析。为深入了解基于孪生网络的单目标跟踪算法，对大量相关文献进行了总结与分析。首先阐述孪生网络的结构和应用，并根据孪生跟踪算法架构组成的分类介绍了各跟踪算法；然后列举单目标跟踪领域常用的数据集和评价指标，对25个主流跟踪算法在OTB2015数据集上分别进行整体和各属性的性能比较与分析，并列出23个孪生跟踪算法在LaSOT和GOT-10K测试集上的性能以及推理时的速度；最后对基于孪生网络的目标跟踪算法的研究进行总结，并对未来的发展方向进行展望。     

高质量模板在线更新的孪生网络目标跟踪算法

为降低孪生网络跟踪器中预定义锚框对模板更新和跟踪精度的影响，提出一种采用高质量模板在线更新的孪生网络目标跟踪算法。在孪生网络跟踪框架的基础上引入一个基于区域建议网络的重检测模块，获得质量更高的回归边界框，利用初始帧、累计帧和当前帧的特征模板训练一个更新网络实现更高质量的模板更新。在OTB100和GOT-10k数据集上的对比实验结果表明，提出算法具有更好的成功率和精度，在具有各种复杂属性的场景中表现出更优秀的性能。     

特征融合与训练加速的高效目标跟踪

基于孪生网络的目标跟踪,存在特征信息欠丰富,跟踪效率有待提高,大型数据集上训练时间长等问题。针对上述问题,提出特征融合与训练加速的高效目标跟踪。增加主干网络参考特征层级,减小下采样,融合多层级参考特征图,提取目标更深度、丰富的语义信息。深度互相关操作得到候选窗口响应（Response of Candidate Windows,RoWs）,在其中构建区域建议网络（Region Proposal Network,RPN）,通过权衡正负锚点的数量比,使孪生网络性能更加高效、稳定。大型数据集训练孪生网络时,使用均匀滑动漂移采样,代替随机漂移采样算法,在抑制中心偏置现象的同时,显著加快了孪生网络的训练速度。跟踪基准VOT2018上的评估实验结果表明,与所有参考的主流目标跟踪算法相比,所提算法具有最佳的跟踪性能。     

基于互相关-Transformer双层特征融合的目标跟踪算法

当前算法主要使用互相关操作和Transformer中的一种方法来设计特征融合网络,这种策略忽视了二者之间的优势互补,容易丢失语义信息,陷入局部最优。针对上述问题,设计了一种基于互相关-Transformer双层特征融合的目标跟踪算法,使用改进的互相关操作和Transformer方法分别对模板和搜索区域特征进行融合,实现两种融合方式的优势互补,使模板和搜索区域特征充分交互,实现特征的有效增强和充分融合,并在互相关操作中引入相似矩阵来增强模板和搜索区域中与当前帧中的目标有关联的特征,使互相关操作的匹配过程更加准确。该目标跟踪算法包括一个基于Swin-Transformer的主干网络,一个互相关和Transformer双层融合模块,一个预测分支。提出的算法在TrackingNet、LaSOT、NFS、UAV123和OTB2015五个数据集上取得了鲁棒的效果,分别达到81.8%、65.7%、66.2%、69.4%和69.8%的成功率,平均跟踪速度达到40帧/秒。     

孪生导向锚框RPN网络实时目标跟踪

目的 区域推荐网络（region proposal network,RPN）与孪生网络（Siamese）相结合进行视频目标跟踪,显示了较高的准确性。然而,孪生RPN网络（Siamese region proposal network, SiamRPN）目标跟踪器依赖于密集的锚框策略,会产生大量冗余的锚框并影响跟踪的精度和速度。为了解决该问题,本文提出了孪生导向锚框RPN网络（Siamese-guided anchor RPN,Siamese GA-RPN）。方法 Siamese GA-RPN的主要思想是利用语义特征来指导锚框生成。其中导向锚框网络包括位置预测模块和形状预测模块,这两个模块分别利用孪生网络中CNN（convolutional neural network）产生的语义特征预测锚框的位置和长宽尺寸,减少了冗余锚框的产生。然后,进一步设计了特征自适应模块,利用每个锚框的形状信息,通过可变卷积层来修正跟踪目标的原始特征图,降低目标特征与锚框信息的不一致性,提高了目标跟踪的准确性。结果 在3个具有挑战性的视频跟踪基准数据集VOT（video object tracking）2015、VOT2016和VOT2017上进行了跟踪实验,测试了算法在目标快速移动、遮挡和光照等复杂场景下的跟踪性能,并与多种优秀算法在准确性和鲁棒性两个评价指标上进行定量比较。在VOT2015数据集上,本文算法与孪生RPN网络相比,准确性提高了1.72%,鲁棒性提高了5.17%;在VOT2016数据集上,本文算法与孪生RPN网络相比,准确性提高了3.6%,鲁棒性提高了6.6%;在VOT2017数据集上进行实时实验,本文算法表现出了较好的实时跟踪效果。结论 通过孪生导向锚框RPN网络提高了锚框生成的有效性,确保了特征与锚框的一致性,实现了对目标的精确定位,较好地解决了锚框尺寸对目标跟踪精度的影响。在目标尺度发生变化、遮挡、光照条件变化和目标快速运动等复杂场景下仍然表现出了较强的鲁棒性和适应性。     

基于注意力机制和不对称卷积的目标跟踪算法

一般孪生网络跟踪算法中目标模板不会更新，模板分支与搜索分支在计算时相互独立，无法进行鲁棒跟踪，使用深度互相关来融合两分支的特征有着容易被干扰物欺骗、激活通道数少、对目标边界的分辨能力较弱，且不能充分受益于大规模的离线训练，为此提出一种基于注意力机制和不对称卷积的目标跟踪算法。设计增强注意力网络增强和传递分支信息。采用不对称卷积来代替深度互相关，使用有效的参数学习如何更好地互相关。所提算法在OTB100、LaSOT、VOT2019上做了对比实验，实验结果表明，所提算法表现较好，性能优于现有的多个先进跟踪器。     

基于孪生网络的目标跟踪算法综述

孪生网络是由2个或多个人工神经网络建立的耦合框架，因其将回归问题转换为相似度匹配问题，备受计算机视觉领域的研究人员关注。随着深度学习理论的快速发展，目标跟踪技术在生活中得到了广泛的应用。基于孪生网络的目标跟踪算法以其相对优越的准确率和实时性逐渐代替了传统的目标跟踪算法，成为目标跟踪的主流算法。首先，介绍了目标跟踪任务面对的挑战和传统方法；然后，介绍了孪生网络的基础结构及其发展，汇总了近年来基于孪生网络的目标跟踪算法与相应设计原理；另外，介绍多个用于目标跟踪测试的主流数据集，并基于这些数据集对比了基于孪生网络的目标跟踪算法的性能；最后，提出基于孪生网络目标跟踪算法目前存在的问题及对未来的展望。     

基于改进Tracktor的行人多目标跟踪算法

在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。     

一种用于单目标跟踪的锚框掩码孪生RPN模型

针对孪生区域候选网络(RPN)易受干扰且目标丢失后无法跟踪的问题,引入锚框掩码网络机制,设计一种新型孪生RPN模型。设置多尺度模板图片,并将其与目标图片进行卷积操作,实现全图检测以避免目标丢失。通过对前三帧图片的IOU热度图进行学习,预测连续帧目标锚框掩码,简化计算并排除其他目标干扰。在VOT2016和OTB100数据集中的实验结果显示,该模型对VOT2016数据集检测帧率达到24.6 frame/s,预期平均覆盖率为0.344 5,对OTB100数据集的检测准确率和成功率分别为0.862和0.642。基于摄像头采集数据的目标丢失及干扰测试表明,该模型具有良好的抗干扰性与实时性。     

结合特征金字塔和区域候选网络的视觉目标跟踪

基于区域候选网络(RPN)与孪生网络的框架可以快速的回归位置、形状信息,展现出了良好的跟踪速度和准确性.然而,采用的单阶段SiamRPN跟踪器不能有效地处理相似性干扰和大尺度变化等复杂情况.针对上述问题,本文提出了一个基于特征金字塔(FPN)的级联RPN网络(简记为CF-RPN)的多阶段的跟踪框架.该框架的基础网络由一对孪生的FPN构成,其深高层到浅低层特征分别输送到级联的RPN模块中.相对于传统RPN网络,级联RPN网络具有多个锚点框,其锚点受前一级RPN的影响.与现有的算法相比,其一,多尺度特征的提取使得目标的高层语义信息以及底层空间信息都能充分利用;其二,级联RPN网络能够对难负样本(hard negative samples)进行采样,保证训练样本更加均衡;其三,级联的RPN可实现锚点框逐级更新,从而细化每一个RPN中目标的位置和形状,提高定位的准确性,使得跟踪更加精确.通过测试,本文提出的CF-RPN算法在OTB50,OTB100上能达到62.36%和66.18%的准确率,相对于SiamMask算法,其精度分别提高了2.14%和1.9%;在VOT2016,VOT2018,VO...     

互相关技术中基于零阶保持器的离散冲激响应模型

利用互相关技术能有效估计线性系统的冲激响应。然而,对于基于数值计算的互相关技术,D/A和A/D转换器的使用必然会带来原理性的误差。该文利用零阶保持器（ZOH）模型从理论上分析了离散时间系统的冲激响应,即它与连续系统冲激响应之间的关系,并给出了时域解析表达式。通过该公式可以直观地把握冲激响应估计的逼真度。     

一种新型料位测量系统

本文提出了一种新的料位测量方法和高速相关算法,据此,借助于微电子技术,研制成了 一种新型的料位测量系统.该系统具有宽广的应用前景.     

频率域基于梯度预处理的互相关图像配准方法

传统的频率域图像配准方法有两种：基于互相关的图像配准方法和基于相位相关的图像配准方法。这两种方法都是通过确定逆傅立叶变换域最大峰值位置来获得配准信息。互相关图像配准方法与相位相关图像配准方法相比,主要存在两个缺点：一是峰值的跨度过大,二是有时存在多个峰值。本文对传统方法进行了改进,提出了频率域基于梯度预处理互相关的图像配准方法,该方法首先对待配准图像进行梯度预处理,然后对预处理后的图像用传统的互相关方法进行配准。实验表明,该方法很好地克服了上述传统方法的不足,并能获得精确的配准结果。     

互相关干扰下微弱GPS信号检测方法

互相关干扰由C/A码相关特性造成,是GPS系统不可避免的问题,已成为制约接收机灵敏度的因素之一。文中提出了一种新的互相关干扰下自相关检测方法——多组数据比较法(Multi-groups data comparison,MDC)。该方法比较多组数据下捕获结果的多普勒频率和码相位,确定自相关峰的多普勒频率与码相位。对比基于均方比(Mean square ratio,MSR)和峰值相差(Peak difference,PD)检测两种方法,该方法在互相关干扰下有效提高弱信号发现概率。仿真结果表明,强信号为-124 dBm时,该方法对-145 dBm弱信号的检测概率为83%。该方法对GPS接收机弱信号捕获研究有实际意义。     

基于交叉相关法的卫星云图中云团移动的短时预测

在卫星云图应用研究中引入交叉相关法的思想进行云团移动的短时预测。选取连续两个时次的GMS-5卫星云图,将云图区域划分为32×32像素的图像子集,采用交叉相关法计算获取两幅云图的最佳匹配区域,根据前后云图匹配区域的位置和时间间隔,确定出每个图像子集的移动矢量(速度和方向),并对图像子集的移动矢量进行客观分析,其后,基于检验后的云图移动矢量集,利用后向轨迹方法对云图作短时外推预测。试验结果表明,该方法对卫星云图上较为平稳的云团移动的短时预测效果较好,具有直观、定量、快捷的优点。     

基于互相关技术的跨台区电力通信信号检测

跨台区电力通信是一种新型的基于配电网络的通信技术，其调制信号的波形是确定的，将该波形与接收信号波形作互相关运算，提高了系统信号噪声比，这种信号检测方法可靠性大大优于先前采用的基于时间测量的信号检测方法，现场应用效果良好。文中分别介绍了跨台区电力通信基本原理、互相关信号检测原理及其在跨台区通信中的应用。     

一种与声码器结合的互相关双端通话检测器

出了一种基于归一化互相关原理的双端通话检测器。它与目前广泛应用的基于线性预测原理的声码器相结合,直接从解码过程中提取短时激励信号作为去相关的参考信号以及线性预测系数用于对误差信号进行去相关。利用去相关后的参考信号和误差信号来构建归一化互相关检测变量,从而使计算复杂度从O（N^2）降低至O（N）。仿真结果表明,该算法在双端通话和回声路径改变时检测准确,与去相关前的算法相比,在误报概率和漏报概率方面也有明显改善。     

基于频域时域联合分析的语音端点检测

通过计算语音频谱上谐波基频能量,在频域上检测浊音信号。因谐波频谱是乐音的基本特征,所以这种算法可以有效地消除各种非乐音噪音信号的影响,具有较高灵敏度和准确性。根据检测到的浊音位置和基频值,利用语音信号时域短时平稳特性,在时域上应用互相关系数确定相邻基音节,进而精确检测浊音信号的起始和终止端点。根据清音频率较高的特点,先对语音信号通过二阶微分提升高频能量。应用Teager能量算子可以同时分析能量和频率变化的特点检测纯净语音信号中清音的起始和终止端点。实验研究结果表明语音端点检测算法具有较高的可靠性和精确性。     

基于相关算法的电磁流量计抗噪性能研究

针对电磁流量计在低速测量时,信号被噪声淹没不能准确测量的问题,引入了相关检测算法.本文介绍了相关检测算法进行流量测量的基本原理,通过在电磁流量计测量中引入相关检测算法,滤掉了噪声干扰,提高了信号的信噪比,使电磁流量计在低速或者在低信噪比的情况下测量时,性能有较大改善,精度可达0.5%左右.在低流速时能够稳定的显示数据.     

高效的图模型点模式匹配算法

点模式匹配的概率图模型具有很好的匹配精度,但是计算复杂度较高,当隔离子中包含异常点（outlier）时匹配精度会受到较大的影响。为了提高匹配的速度和精度,提出了一种由粗到精的图模型点模式匹配算法。利用包含特征点的窗口,用标准化互相关方法对特征点进行粗匹配,以减少异常点的数量,提高后续匹配方法的速度和精度。提出了一种新的点模式匹配的概率图模型,这种图模型能综合利用特征点的位置信息和包含特征点的邻域的灰度信息。利用提出的概率图匹配方法对粗匹配所得到的点对进行分段匹配,得到精确的匹配结果。对光学图像和遥感图像的匹配实验显示该方法能显著减少点模式匹配时间,提高匹配的精度。