基于双解码器的Transformer多目标跟踪方法

多目标跟踪（MOT）任务需要同时跟踪多个目标并保证目标身份的连续性。针对当前MOT过程中存在目标遮挡、目标ID切换（IDSW）和目标丢失等问题，对基于Transformer的MOT模型进行改进，提出了一种基于双解码器的Transformer多目标跟踪方法。首先，在第一帧中通过模型初始化生成一组轨迹，并在此后的每一帧中用注意力建立帧与帧之间的关联；其次，利用双解码器修正跟踪目标信息，一个解码器用于检测目标，一个解码器用于跟踪目标；然后，完成跟踪后利用直方图模板匹配找回丢失的目标；最后，用卡尔曼滤波跟踪预测遮挡目标，并将遮挡结果与新检测出的目标关联，从而保证跟踪结果的连续性。此外，在TrackFormer的基础上添加表观统计特性和运动特征建模，以实现不同结构之间的融合。在MOT17数据集上的实验结果表明，相较于TrackFomer模型，所提模型的身份F1得分（IDF1）提升了0.87个百分点，多对象跟踪准确性（MOTA）提升了0.41个百分点，IDSW数量减少了16.3%。所提方法在MOT16和MOT20数据集上也取得了不错的成绩。可见所提方法能够有效应对物体遮挡问题，维持目标身份信息，减...     

基于注意力机制与图网络的多目标跟踪

在基于检测的多目标跟踪算法中,为了获取更具鉴别性的特征以及解决复杂场景下目标的频繁带来的目标丢失以及身份切换问题,提出了一种基于注意力机制与图网络的多目标跟踪算法。算法利用Resnet-34-CBAM网络作为外观特征提取网络,分别将相邻帧的外观特征、位置信息利用特征融合网络进行融合,将获得的融合特征与运动特征分别使用不同更新策略的图网络进行更新,分别获得融合特征与运动特征相似度,使用超参数将两种相似度结合,进而获得相邻帧目标之间的相似度。最终使用匈牙利算法完成关联实现跟踪任务。最后在MOT17数据集进行实验,相较MOTDT算法,MOTA指标提升2.7%,MOTP指标提升6.4%,IDF1指标提升5.9%。实验结果证明,提出的基于图网络与注意力机制的多目标跟踪算法可以有效提高多目标跟踪的整体性能,并有效降低身份切换。     

基于状态预测和运动结构的在线多目标跟踪

基于检测的跟踪是近年来多目标跟踪领域的研究热点,针对目前在线跟踪算法通常只考虑相邻2帧间的数据关联,对误检的鲁棒性不高,易造成轨迹碎片的问题,提出一种基于状态预测和运动结构的在线多目标跟踪算法.该算法将多目标跟踪分为逐帧跟踪和轨迹恢复2个阶段.在逐帧跟踪阶段,利用运动结构实现目标空间位置对齐,采用多特征融合进行相似度计算,以提升相邻2帧之间的数据关联精度,运动结构的使用还将提升追踪过程对摄像头移动的鲁棒性;在轨迹恢复阶段,记录未关联目标,并对其进行状态预测,然后和检测结果进行相似度匹配,以完成轨迹恢复,从而解决轨迹碎片问题.在MOTChallenge 2015上的实验结果证明,文中算法的多目标跟踪准确率有明显提高,轨迹碎片减少,同时对于摄像头移动等环境问题具有很好的鲁棒性.     

基于注意力机制和卡尔曼滤波的多目标跟踪

为了解决目前多目标跟踪算法在行人遮挡后无法再次准确跟踪的问题,提出了一种融入注意力机制和改进卡尔曼滤波的多目标跟踪算法,选用联合检测和重识别框架提取特征,同时完成目标检测和重识别任务.设计了并行支路注意力机制,包括空间注意力和通道注意力两个部分,每个部分都采用并行支路的方式完成池化和卷积操作.在跟踪阶段,本文提出了速度先验卡尔曼滤波,实现对行人运动状态更精确的预测.采用CUHK-SYSU数据集对算法进行训练,并在MOT16数据集上做算法的验证和测试.本算法的多目标跟踪准确度(MOTA)达到了65.1％,多目标跟踪精确度(MOTP)达到了78.8％,识别F1值(IDF1)达到62.3％.实验表明,提出的跟踪算法可以有效地提高跟踪的整体性能,实现对目标的持续跟踪.     

基于改进Tracktor的行人多目标跟踪算法

在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。     

时空嵌入感知与多任务协同优化的多目标跟踪

为解决多目标跟踪中遮挡频繁、场景拥挤以及目标尺度多变带来的跟踪挑战,提出时空嵌入感知与多任务协同优化的多目标跟踪方法。提出空间相关性模块以提取空间上带有目标上下文感知的判别力嵌入;提出时序相关性模块聚合来自空间相关性模块提取的嵌入,用于生成时序注意力以引导空间相关性模块在遮挡频繁和拥挤场景下提取更具判别力的嵌入。由此,判别力的嵌入在增强关联鲁棒性的同时可预测更加精确的检测框以克服尺度多变问题,而精确的检测框则促进两个模块提取更加高质量的嵌入,从而实现嵌入提取、位置预测和数据关联多任务间的协同优化。在亲和力矩阵中引入检测框间的GIoU距离以进一步提升遮挡和拥挤场景中关联的鲁棒性。在MOT16、MOT17和MOT20数据集上的实验结果表明,提出的方法表现出比先进方法更优异的跟踪性能。     

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络（CNN）中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块（two-way braidge module,TBM）对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到...     

基于注意力自相关机制的跟踪外观特征

为了解决多目标跟踪（MOT）算法中由于模糊行人特征造成的身份切换（IDS）等跟踪问题，并验证行人外观在跟踪过程中的重要性，提出了一种基于中心点检测模型的注意力自相关网络（ASCN）。首先，对原图进行通道和空间注意力网络的学习以获得两种不同的特征图，并对深度信息完成解耦；然后，通过特征图之间的自相关性学习，获得更加准确的行人外观特征和行人方位信息，并将这些信息用于关联过程的跟踪；此外，制作了低帧率条件下视频的跟踪数据集，以验证改进算法的性能。在视频帧率条件不理想时，改进算法利用ASCN获取了行人外观信息，相较于仅利用方位信息的跟踪算法具有更好的准确率和鲁棒性。最后，将改进算法在MOT Challenge的MOT17数据集上进行测试。实验结果表明，与不加入ASCN的FairMOT(Fairness in MOT)相比，改进算法的跟踪平均准确率（MOTA）和识别F值（IDF1）指标分别提高了0.5和1.1个百分点，IDS数减少了32.2%，且在单卡NVIDIA Tesla V100上的运行速度达到了每秒21.2帧，这验证了改进算法不仅减少了跟踪过程中的错误，也提升了整体跟踪效果，且能够满足实...     

基于关键点检测和关联的多目标跟踪

针对多目标跟踪领域中由目标信息关联性低引起的目标身份关联性差的问题，提出了一种基于关键点检测和关联的多目标跟踪算法。对目标的中心关键点建模，利用CenterNet对该点进行检测定位；将目标的深度特征与关键点尺度特征相结合，基于二者观测的显隐性关系构建一个联合特征提取器；将该联合特征作为目标的状态，通过隐马尔可夫模型估计下一帧的目标状态；利用目标的运动信息和关键点尺度信息提出“二级关联”的匹配机制，实现对该估计状态与检测目标的关联，得到最优的关联匹配结果。在公开的MOT17数据集上进行了仿真实验，并与一些主流算法进行了对比，结果表明，该算法在跟踪准确度指标表现较优，并对身份互换问题有较好的鲁棒性。     

结合时空一致性的FairMOT跟踪算法优化

目的 视频多目标跟踪(multiple object tracking,MOT)是计算机视觉中的一项重要任务,现有研究分别针对目标检测和目标关联部分进行改进,均忽视了多目标跟踪中的不一致问题。不一致问题主要包括3方面,即目标检测框中心与身份特征中心不一致、帧间目标响应不一致以及训练测试过程中相似度度量方式不一致。为了解决上述不一致问题,本文提出一种基于时空一致性的多目标跟踪方法,以提升跟踪的准确度。方法 从空间、时间以及特征维度对上述不一致性进行修正。对于目标检测框中心与身份特征中心不一致,针对每个目标检测框中心到特征中心之间的空间差异,在偏移后的位置上提取目标的ReID(re-identification)特征;对帧间响应不一致,使用空间相关计算相邻帧之间的运动偏移信息,基于该偏移信息对前一帧的目标响应进行变换后得到帧间一致性响应信息,然后对目标响应进行增强;对训练和测试过程中的相似度度量不一致,提出特征正交损失函数,在训练时考虑目标两两之间的相似关系。结果 在3个数据集上与现有方法进行比较。在MOT17、MOT20和Hieve数据集中,MOTA(multiple object tracking accuracy)值分别为71.2%、60.2%和36.1%,相比改进前的FairMOT算法分别提高了1.6%、3.2%和1.1%。与大多数其他现有方法对比,本文方法的MT(mostly tracked)比例更高,ML(mostly lost)比例更低,跟踪的整体性能更好。同时,在MOT17数据集中进行对比实验验证融合算法的有效性,结果表明提出的方法显著改善了多目标跟踪中的不一致问题。结论 本文提出的一致性跟踪方法,使特征在时间、空间以及训练测试中达成了更好的一致性,使多目标跟踪结果更加准确。     

多特征融合的端到端链式行人多目标跟踪网络

目标检测、特征提取与数据关联作为多目标跟踪网络中重要的组件,独立或部分联合地发挥作用,这种组件分离的方法虽取得了良好的跟踪效果,但增加了跟踪网络的复杂性,影响了跟踪速度。为提升行人多目标跟踪速度及维持跟踪精度,提出一种端到端链式行人多目标跟踪网络。将目标检测、特征提取与数据关联集成到一个统一的框架中,将连续2帧图片组成一个节点作为输入,直接回归出节点之间相同目标的成对边界框,利用相邻节点之间公共帧的强相似性,仅使用交并比匹配进行数据关联,以提高跟踪速度。使用多特征融合的双向特征金字塔,并在金字塔网络中引用改进可变形卷积,提高模型对目标形变的适应性。为解决正负样本不平衡及梯度贡献的差异,将focal loss与BalancedL1 Loss组成多任务学习损失函数以促进网络的均衡学习。在MOT17数据集上的实验结果表明,与DeepSORT、TubeTK、CenterTrack等网络相比,该网络可有效实现跟踪速度与精度的平衡,多目标跟踪精度为69.6,跟踪速度保持为21.6 frame/s。     

利用深度卷积特征的无人机视觉跟踪

由于无人机视觉跟踪视角范围广且环境复杂,常遇到无人机飞行震动、目标遮挡、相似目标等问题,导致无人机跟踪目标发生漂移.因此,对具有回归计算的全卷积孪生网络跟踪算法(SiamRPN)进行改进,提出一种加强深度特征相关性的无人机视觉跟踪算法(SiamDFT).首先,将全卷积神经网络后三层卷积的网络宽度提升一倍,充分利用目标的外观信息,完成对模板帧和检测帧的特征提取;其次,在检测帧和模板帧分别提出注意力信息融合模块和特征深度卷积模块,两个深度的特征相关性计算方法能够有效抑制背景信息,增强像素对之间的关联性,高效完成分类和回归任务;然后,采用深度互相关运算完成相似性计算,并引入距离交并比的计算方法完成对目标的定位.实验结果表明, SiamDFT在无人机短时跟踪场景下精确率和成功率分别达到79.8%和58.3%,在无人机长时跟踪场景下精确率和成功率分别达到73.4%和55.2%,实景测试结果充分验证了所提出算法的有效性.     

在线多目标视频跟踪算法综述

视频多目标跟踪是计算机视觉领域重要的研究课题之一,不论是在军用还是民用都有广泛应用。目前对单目标的跟踪算法研究已经相当成熟,但对于多目标跟踪的研究还处于发展阶段。重点研究了多目标跟踪过程中的四个重要阶段：特征提取、检测器、数据关联、跟踪器。特征提取阶段详细介绍了目前主流的特征提取方法以及各个方法之间的优缺点;检测器阶段首先详细介绍了目标外观模型在具体应用场景中的跟踪效果,接着对基于检测跟踪的多目标跟踪算法和基于深度学习的多跟踪算法进行了分析;跟踪器阶段分别介绍了目标运动模型的建立和利用不同跟踪器混合的多目标跟踪算法;数据关联阶段分别介绍了基于能量最小化的多目标跟踪以及常用的数据关联算法。接着,介绍了目前主流的数据集以及评测方法;最后对多目标跟踪未来的发展进行了思考和展望。     

协同运动状态估计的多目标跟踪算法

多目标跟踪在视频分析场景中有着广泛的应用,如人机交互、虚拟现实、自动驾驶、视频监控和机器人导航等。多目标跟踪问题可以表示为在已有的检测数据上进行目标轨迹关联,检测算法的准确性对跟踪性能起着关键性的作用。在基于检测的目标跟踪框架中,提出了一种协同运动状态估计的跟踪算法,该算法主要关注相邻帧之间的数据关联,从目标检测、目标运动状态估计和数据关联这3个方面来直接解决多目标跟踪面临的挑战。首先,对于目标检测,采用Multi Scale Convolutional Neural Network(MS-CNN)算法作为检测器,这是因为深度学习在检测的效益上优于传统的机器学习方法;其次,为了更好地预测目标的运动状态和处理目标间的遮挡,针对不同状态的目标采取不同的运动估计方法: 采用核相关滤波来评估处于跟踪状态的目标的运动状态,当目标处于遮挡状态时,采用卡尔曼滤波做运动估计;最后,采用Kuhn-Munkres算法对检测目标和跟踪轨迹做数据关联。通过大量的实验证实了算法的有效性,且实验结果表明算法的准确性很高。     

改进YOLOv7与DeepSORT的佩戴口罩行人跟踪

针对视频序列中因脸部遮挡、漏检而造成的无法正确判断行人是否佩戴口罩的问题,提出一种基于改进YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将口罩检测、行人检测与跟踪相结合,通过在YOLOv7的主干网络中添加注意力机制,增加浅层特征图,加强网络对小目标的感知能力,提高口罩检测与行人检测精度;帧内关系模块利用匈牙利算法进行帧内目标关联,对行人进行口罩佩戴标记;将方向差因素加入到DeepSORT算法的关联代价中,消除跟踪轨迹的历史预测方向和新检测速度方向不一致问题;使用改进的DeepSORT算法对行人进行跟踪,并对每条轨迹进行口罩佩戴标记更新,实现对佩戴口罩与未佩戴口罩行人的跟踪。实验结果表明,改进的YOLOv7网络平均检测精度mAP50相比原始算法提升了3.83个百分点;在MOT16数据集上,该算法的跟踪准确性MOTA相较DeepSORT算法提高了17.1个百分点,跟踪精度MOTP提高了2.6个百分点。与检测算法相比,提出的算法能够跟踪到更多的行人是否佩戴了口罩,具有更好的效果。     

融合GNN和记忆力机制的行人多目标跟踪

近年来,随着基于深度学习的目标检测模型的成熟,基于检测的跟踪(TBD)成为行人多目标跟踪(MOT)研究的主要方向,MOT研究重心逐渐向数据关联偏移.目前大部分MOT算法对于少量的丢失检测非常敏感,造成大量的身份互换和轨迹断裂,严重影响跟踪效果.而且算法需要对匈牙利算法选取不确定的阈值进行最大匹配,实际应用中难以做到.本文提出了一种基于图神经网络(GNN)的多目标跟踪(MOT)算法,算法构建了保存历史轨迹特征的记忆力机制,避免因目标检测丢失或失真导致的性能影响.同时通过GNN直接获取历史轨迹和当前检测的关联结果,克服了匈牙利算法预选阈值的问题.在MOT17和20挑战数据集的实验表明,与同类算法相比,本方法在MOT17的核心指标达到最优水平.     

基于检测的多目标跟踪算法综述

多目标跟踪是计算机视觉领域重要的研究课题,在交通监控、自动驾驶以及虚拟现实等领域应用广泛。近年来,随着深度学习的快速发展和目标检测算法精度的不断提升,基于检测的多目标跟踪算法已超越传统跟踪方法,成为当前多目标跟踪算法的主流。文中首先回顾了传统多目标跟踪算法的发展过程,然后介绍了基于检测的两类多目标跟踪算法,即在线多目标跟踪算法及离线多目标跟踪算法,之后将算法在MOT16数据集上的运行结果进行对比分析,并依据两类跟踪算法的优缺点对基于检测的多目标跟踪做出总结与展望。     

基于帧内关系建模和自注意力融合的多目标跟踪方法

多目标跟踪在视频监控领域有重要的应用价值.随着卷积神经网络(convolutional neural networks,CNN),尤其是图神经网络(graph neural networks,GNN)的发展,多目标跟踪的研究现阶段取得了很大突破.其中,图神经网络由于引入目标-轨迹间的关系建模,显示出更稳定的跟踪性能.然而,已有的基于GNN的多目标跟踪方法都仅在连续两帧之间建立全局关系模型,忽视了帧内目标与周围其他目标的交互,没有考虑在帧内建立合适的局部关系模型.为了解决该问题,提出基于帧内关系建模和自注意力融合模型(INAF-GNN)的多目标跟踪方法.在帧内,INAF-GNN建立目标与邻居目标的关系图模型以获取局部跟踪特征;在帧间,INAF-GNN建立目标与轨迹关系图模型以获得全局跟踪特征,并利用注意力机制设计一个特征融合模块整合局部和全局跟踪特征.在MotChallenge行人标准数据集上进行大量的实验,与多个基于图神经网络的多目标跟踪方法相比较,结果显示,MOTA指标提高1.9%,IDF1指标提高3.6%.同时,在UA-DETRAC车辆数据集上的验证测试表明了所提出方法的有效性和泛化能力.     

自适应在线判别外观学习的分层关联多目标跟踪

目的 复杂场景下目标频繁且长时间的遮挡、跟踪目标外观相似引起身份转换等问题给多目标跟踪带来许多挑战。针对多目标跟踪在复杂场景中因长时间遮挡引起身份转换和轨迹分段的问题,提出一种基于自适应在线判别外观学习的分层关联多目标跟踪算法。方法 利用轨迹置信度将多目标跟踪分为局部关联和全局关联两个层次。在局部关联中,置信度高的可靠轨迹利用外观、位置-大小相似度与当前帧检测点进行关联;在全局关联中,置信度低的不可靠轨迹引入运动模型和有效关联范围进一步关联分段的轨迹。在提取目标外观特征时引入增量线性可判别分析方法以解决身份转换问题,依据新增样本与目标样本均值的外观特征差异自适应地更新目标外观模型。结果 在公开数据集2D MOT2015中的PETS09-S2L1、TUD-Stadmitte、Town-Center 3个数据集中与当前10种多目标跟踪算法进行比较,该方法对各个数据集身份转换和轨迹分段都有减少,其中在Town-Center数据集中,身份转换减少了60个,轨迹分段减少了84个,跟踪准确度提高了5.2%以上。结论 本文多目标跟踪方法,能够在复杂场景中稳定有效地实现多目标跟踪,减少轨迹分段现象,其中引入的在线线性可判别外观学习对遮挡产生的身份转换具有良好的解决效果。     

面向多目标跟踪系统的专用循环目标检测器

多目标跟踪技术在视频分析、信号处理等领域有着广泛的应用。在现代多目标跟踪系统通常遵循的“按检测跟踪”模式中,目标检测器的性能决定了多目标跟踪任务的跟踪精度和速度。为提高多目标跟踪系统跟踪性能,提出了面向多目标跟踪系统的专用循环目标检测器,它利用视频帧序列间高度相似性的特点,依据先前帧的目标位置信息和当前帧相对于先前帧的变化得分图来选取候选框,解决了传统二阶段目标检测器中使用候选框推荐网络带来的参数量和计算量大的问题,同时融合了目标外观特征提取分支,进一步减少了多目标跟踪系统整体运行时间。实验表明,专用循环目标检测器及其他最先进的检测器分别应用于多目标跟踪系统,采用专用循环目标检测器时能够在保证多目标跟踪系统跟踪精度的情况下提升跟踪速度。