基于深度学习的多目标跟踪关联模型设计

近年来, 深度学习在计算机视觉领域的应用取得了突破性进展, 但基于深度学习的视频多目标跟踪(Multiple object tracking, MOT)研究却相对甚少, 而鲁棒的关联模型设计是基于检测的多目标跟踪方法的核心.本文提出一种基于深度神经网络和度量学习的关联模型:采用行人再识别(Person re-identification, Re-ID)领域中广泛使用的度量学习技术和卷积神经网络(Convolutional neural networks, CNNs)设计目标外观模型, 即利用三元组损失函数设计一个三通道卷积神经网络, 提取更具判别性的外观特征构建目标外观相似度; 再结合运动模型计算轨迹片间的关联概率.在关联策略上, 采用匈牙利算法, 首先以逐帧关联方式得到短小可靠的轨迹片集合, 再通过自适应时间滑动窗机制多级关联, 输出各目标最终轨迹.在2DMOT2015、MOT16公开数据集上的实验结果证明了所提方法的有效性, 与当前一些主流算法相比较, 本文方法取得了相当或者领先的跟踪效果.     

融合GNN和记忆力机制的行人多目标跟踪

近年来,随着基于深度学习的目标检测模型的成熟,基于检测的跟踪(TBD)成为行人多目标跟踪(MOT)研究的主要方向,MOT研究重心逐渐向数据关联偏移.目前大部分MOT算法对于少量的丢失检测非常敏感,造成大量的身份互换和轨迹断裂,严重影响跟踪效果.而且算法需要对匈牙利算法选取不确定的阈值进行最大匹配,实际应用中难以做到.本文提出了一种基于图神经网络(GNN)的多目标跟踪(MOT)算法,算法构建了保存历史轨迹特征的记忆力机制,避免因目标检测丢失或失真导致的性能影响.同时通过GNN直接获取历史轨迹和当前检测的关联结果,克服了匈牙利算法预选阈值的问题.在MOT17和20挑战数据集的实验表明,与同类算法相比,本方法在MOT17的核心指标达到最优水平.     

基于混合注意力的Transformer视觉目标跟踪算法

基于Transformer的视觉目标跟踪算法能够很好地捕获目标的全局信息,但是,在对目标特征的表述上还有进一步提升的空间.为了更好地提升对目标特征的表达能力,提出一种基于混合注意力的Transformer视觉目标跟踪算法.首先,引入混合注意力模块捕捉目标在空间和通道维度中的特征,实现对目标特征上下文依赖关系的建模;然后,通过多个不同空洞率的平行空洞卷积对特征图进行采样,以获得图像的多尺度特征,增强局部特征表达能力;最后,在Transformer编码器中加入所构建的卷积位置编码层,为跟踪器提供精确且长度自适应的位置编码,提升跟踪定位的精度.在OTB100、VOT2018和LaSOT等数据集上进行大量实验,实验结果表明,通过基于混合注意力的Transformer网络学习特征间的关系,能够更好地表示目标特征.与其他主流目标跟踪算法相比,所提出算法具有更好的跟踪性能,且能够达到26帧/s的实时跟踪速度.     

基于复合卷积和自注意力的会话推荐

最近,基于卷积神经网络（convolutional neural networks,CNN）的方法显示了在会话数据建模中的潜力,尤其是在提取用户复杂的局部行为交互方面。递归神经网络（recurrent neural networks,RNN）很难从远距离学习项目依赖,而自注意力（self-attention,SA）结构具有对会话事件的顺序进行建模并捕获远距离项目之间交互关系的能力,对于会话数据来说是一种优越的选择。因此提出了一种复合卷积自注意力架构（compound convolutional and self-attention network,CCNN-SA）。该架构利用了两个卷积模块提取的复杂局部特征,同时使用了多头自注意力结构从会话事件中学习长期交互关系,这种灵活而统一的网络体系结构有利于对会话序列的各种重要特征进行综合建模。在两个来自电子商务的基准数据集上对所提出的模型进行了验证,在表征命中率和预测结果排名的评估指标Recall@20和MRR@20上,对于YOOCHOOSE数据集分别提升了2.79%和5.87%,在DIGINETIC数据集上分别提升了2.17%和6.43%,验...     

增强二阶网络调制的目标跟踪

目的 表观模型对视觉目标跟踪的性能起着决定性的作用。基于网络调制的跟踪算法通过构建高效的子网络学习参考帧目标的表观信息,以用于测试帧目标的鲁棒匹配,在多个目标跟踪数据集上表现优异。但是,这类跟踪算法忽视了高阶信息对鲁棒建模物体表观的重要作用,致使在物体表观发生大尺度变化时易产生跟踪漂移。为此本文提出全局上下文信息增强的二阶池化调制子网络,以学习高阶特征提升跟踪器的性能。方法 首先,利用卷积神经网络（convolutional neural networks,CNN）提取参考帧和测试帧的特征;然后,对提取的特征采用不同方向的长短时记忆网络（long shot-term memory networks,LSTM）捕获每个像素的全局上下文信息,再经过二阶池化网络提取高阶信息;最后,通过调制机制引导测试帧学习最优交并比预测。同时,为提升跟踪器的稳定性,在线跟踪通过指数加权平均自适应更新物体表观特征。结果 实验结果表明,在OTB100（object tracking benchmark）数据集上,本文方法的成功率为67.9%,超越跟踪器ATOM （accurate tracking by overlap maximization）1.5%;在VOT （visual object tracking）2018数据集上平均期望重叠率（expected average overlap,EAO）为0.44,超越ATOM 4%。结论 本文通过构建全局上下文信息增强的二阶池化调制子网络来学习高效的表观模型,使跟踪器达到目前领先的性能。     

自适应在线判别外观学习的分层关联多目标跟踪

目的 复杂场景下目标频繁且长时间的遮挡、跟踪目标外观相似引起身份转换等问题给多目标跟踪带来许多挑战。针对多目标跟踪在复杂场景中因长时间遮挡引起身份转换和轨迹分段的问题,提出一种基于自适应在线判别外观学习的分层关联多目标跟踪算法。方法 利用轨迹置信度将多目标跟踪分为局部关联和全局关联两个层次。在局部关联中,置信度高的可靠轨迹利用外观、位置-大小相似度与当前帧检测点进行关联;在全局关联中,置信度低的不可靠轨迹引入运动模型和有效关联范围进一步关联分段的轨迹。在提取目标外观特征时引入增量线性可判别分析方法以解决身份转换问题,依据新增样本与目标样本均值的外观特征差异自适应地更新目标外观模型。结果 在公开数据集2D MOT2015中的PETS09-S2L1、TUD-Stadmitte、Town-Center 3个数据集中与当前10种多目标跟踪算法进行比较,该方法对各个数据集身份转换和轨迹分段都有减少,其中在Town-Center数据集中,身份转换减少了60个,轨迹分段减少了84个,跟踪准确度提高了5.2%以上。结论 本文多目标跟踪方法,能够在复杂场景中稳定有效地实现多目标跟踪,减少轨迹分段现象,其中引入的在线线性可判别外观学习对遮挡产生的身份转换具有良好的解决效果。     

基于注意力机制与图网络的多目标跟踪

在基于检测的多目标跟踪算法中,为了获取更具鉴别性的特征以及解决复杂场景下目标的频繁带来的目标丢失以及身份切换问题,提出了一种基于注意力机制与图网络的多目标跟踪算法。算法利用Resnet-34-CBAM网络作为外观特征提取网络,分别将相邻帧的外观特征、位置信息利用特征融合网络进行融合,将获得的融合特征与运动特征分别使用不同更新策略的图网络进行更新,分别获得融合特征与运动特征相似度,使用超参数将两种相似度结合,进而获得相邻帧目标之间的相似度。最终使用匈牙利算法完成关联实现跟踪任务。最后在MOT17数据集进行实验,相较MOTDT算法,MOTA指标提升2.7%,MOTP指标提升6.4%,IDF1指标提升5.9%。实验结果证明,提出的基于图网络与注意力机制的多目标跟踪算法可以有效提高多目标跟踪的整体性能,并有效降低身份切换。     

基于双解码器的Transformer多目标跟踪方法

多目标跟踪（MOT）任务需要同时跟踪多个目标并保证目标身份的连续性。针对当前MOT过程中存在目标遮挡、目标ID切换（IDSW）和目标丢失等问题，对基于Transformer的MOT模型进行改进，提出了一种基于双解码器的Transformer多目标跟踪方法。首先，在第一帧中通过模型初始化生成一组轨迹，并在此后的每一帧中用注意力建立帧与帧之间的关联；其次，利用双解码器修正跟踪目标信息，一个解码器用于检测目标，一个解码器用于跟踪目标；然后，完成跟踪后利用直方图模板匹配找回丢失的目标；最后，用卡尔曼滤波跟踪预测遮挡目标，并将遮挡结果与新检测出的目标关联，从而保证跟踪结果的连续性。此外，在TrackFormer的基础上添加表观统计特性和运动特征建模，以实现不同结构之间的融合。在MOT17数据集上的实验结果表明，相较于TrackFomer模型，所提模型的身份F1得分（IDF1）提升了0.87个百分点，多对象跟踪准确性（MOTA）提升了0.41个百分点，IDSW数量减少了16.3%。所提方法在MOT16和MOT20数据集上也取得了不错的成绩。可见所提方法能够有效应对物体遮挡问题，维持目标身份信息，减...     

基于图模型和注意力模型的会话推荐方法

为解决基于循环神经网络（RNN）会话推荐方法的兴趣偏好表示不全面、不准确问题,提出基于图模型和注意力模型的会话推荐（SR?GM?AM）方法。首先,图模型利用全局图和会话图分别获取邻域信息和会话信息,并且利用图神经网络（GNN）提取项目图特征,项目图特征经过全局项目表示层和会话项目表示层得到全局级嵌入和会话级嵌入,两种级别嵌入结合生成图嵌入;然后,注意力模型使用软注意力进行图嵌入和反向位置嵌入融合,目标注意力激活目标项目相关性,注意力模型通过线性转换生成会话嵌入;最后,SR?GM?AM经过预测层,输出下次点击的N项推荐列表。在两个真实的公共电子商务数据集Yoochoose和Diginetica上对比了SR?GM?AM方法与基于无损边缘保留聚合和快捷图注意力的推荐（LESSR）方法,结果显示,SR?GM?AM方法的P@20最高达到了72.41%,MRR@20最高达到了35.34%,验证了SR?GM?AM的有效性。     

基于广义关联聚类图的分层关联多目标跟踪

检测跟踪是近期多目标跟踪研究的热点方向之一.目前大部分方法都是基于相邻帧之间的双向匹配,对检测点进行数据融合.本文提出的方法是,给定一个滑动时间窗口,在窗口内对某个目标每帧出现的检测点进行一次性数据融合.我们把多目标跟踪看作图的分割问题,利用广义关联聚类（Generalized correlation clustering problem,GCCP）图优化文中提出的数据融合.吸取分层数据关联的思想,把多目标跟踪分成两个阶段.首先,在时间窗口内遵循检测点,利用广义关联聚类,得到自适应长度的轨迹片段,轨迹片段长度不受窗口宽度的限制.然后,基于轨迹片段进一步数据关联,得到目标的长轨迹.在公共数据集上的实验测试表明,本文方法能够有效地实现多目标跟踪,对于遮挡处理、身份转换处理以及轨迹的生成具有很好的鲁棒性,多目标跟踪准确率（Multiple object tracking accuracy,MOTA）超过当前水平.     

CGTracker: Center Graph Network for One-Stage Multi-Pedestrian-Object Detection and Tracking

Most current online multi-object tracking (MOT) methods include two steps: object detection and data association, where the data association step relies on both object feature extraction and affinity computation. This often leads to additional computation cost, and degrades the efficiency of MOT methods. In this paper, we combine the object detection and data association module in a unified framework, while getting rid of the extra feature extraction process, to achieve a better speed-accuracy trade-off for MOT. Considering that a pedestrian is the most common object category in real-world scenes and has particularity characteristics in objects relationship and motion pattern, we present a novel yet efficient one-stage pedestrian detection and tracking method, named CGTracker. In particular, CGTracker detects the pedestrian target as the center point of the object, and directly extracts the object features from the feature representation of the object center point, which is used to predict the axis-aligned bounding box. Meanwhile, the detected pedestrians are constructed as an object graph to facilitate the multi-object association process, where the semantic features, displacement information and relative position relationship of the targets between two adjacent frames are used to perform the reliable online tracking. CGTracker achieves the multiple object tracking accuracy (MOTA) of 69.3% and 65.3% at 9 FPS on MOT17 and MOT20, respectively. Extensive experimental results under widely-used evaluation metrics demonstrate that our method is one of the best techniques on the leader board for the MOT17 and MOT20 challenges at the time of submission of this work.     

基于B 样条Snake模型的人体运动跟踪方法研究*

提出了一种基于B-样条曲线Snake模型的新的人体运动跟踪方法.Snake算法是通过最小能量来逼近物体的轮廓.采用改进的B-样条曲线Snake模型,每一帧图像中的目标轮廓用三次样条曲线准确地表示,使Snake模型更加稳定和具有较快的收敛速度.计算相邻帧之间的差分图像,通过利用一种基于统计关系双阈值分割方法,有效地检测出图像中运动人体,初步确定目标在每帧图像中的粗略位置.把从上一帧图像中得到的目标轮廓置于该位置,作为B-样条曲线Snake算法中轮廓提取的初始值,经运算后可得到对人体目标的准确分割与跟踪.     

Online multiple objects tracking with detection reliability prior constraint

Multi-object tracking (MOT) is one popular topic in computer vision. It remains a challenging problem in complex scenes, especially of objects with similar appearance. In this case, many existing data association strategies, which link detections among consecutive frames according appearance and motion cues, may fail to track due to unreliable detections or confused appearance and motion. To solve this problem, this paper proposed a novel online multi-object tracking method with detection reliability prior constraint. Our method integrates the trajectory estimation and detection-prediction association into a unified framework. The detection reliability prior constraint is built with the Hankel matrix from object motion model. When we build the Hankel matrix, we adaptively select a set of previous frames to predict object states and calculate the associated weights between detections and candidate objects. Data association in MOT then is estimated by maximum a posteriori (MAP) in a Bayesian framework, accompanied with both previous trajectory and the current detection reliability. Experimental results using synthetic dataset and four public challenging datasets demonstrate that, the proposed method has a good tracking performance compared with the state-of-the-art multi-object trackers.     

Coupled object detection and tracking from static cameras and moving vehicles

We present a novel approach for multi-object tracking which considers object detection and spacetime trajectory estimation as a coupled optimization problem. Our approach is formulated in an MDL hypothesis selection framework, which allows it to recover from mismatches and temporarily lost tracks. Building upon a multi-view/multi-category object detector, it localizes cars and pedestrians in the input images. The 2D object detections are converted to 3D observations, which are accumulated in a world coordinate frame. Trajectory analysis in a spacetime window yields physically plausible trajectory candidates. Tracking is achieved by performing model selection after every frame. At each time instant, our approach searches for the globally optimal set of spacetime trajectories which provides the best explanation for the current image and all evidence collected so far, while satisfying the constraints that no two objects may occupy the same physical space, nor explain the same image pixels at any time. Successful trajectory hypotheses are then fed back to guide object detection in future frames. The resulting approach can initialize automatically and track a large and varying number of objects from both static and moving cameras. We evaluate our approach on several challenging video sequences with both a surveillance-type scenario and a scenario where the input videos are taken from a moving vehicle.     

利用时空特征编码的单目标跟踪网络

目的 随着深度神经网络的出现,视觉跟踪快速发展,视觉跟踪任务中的视频时空特性,尤其是时序外观一致性(temporal appearance consistency)具有巨大探索空间。本文提出一种新颖简单实用的跟踪算法——时间感知网络(temporal-aware network, TAN),从视频角度出发,对序列的时间特征和空间特征同时编码。方法 TAN内部嵌入了一个新的时间聚合模块(temporal aggregation module, TAM)用来交换和融合多个历史帧的信息,无需任何模型更新策略也能适应目标的外观变化,如形变、旋转等。为了构建简单实用的跟踪算法框架,设计了一种目标估计策略,通过检测目标的4个角点,由对角构成两组候选框,结合目标框选择策略确定最终目标位置,能够有效应对遮挡等困难。通过离线训练,在没有任何模型更新的情况下,本文提出的跟踪器TAN通过完全前向推理(fully feed-forward)实现跟踪。结果 在OTB(online object tracking: a benchmark)50、OTB100、TrackingNet、LaSOT(a high-quality benchmark for large-scale single object tracking)和UAV(a benchmark and simulator for UAV tracking)123公开数据集上的效果达到了小网络模型的领先水平,并且同时保持高速处理速度(70帧/s)。与多个目前先进的跟踪器对比,TAN在性能和速度上达到了很好的平衡,即使部分跟踪器使用了复杂的模板更新策略或在线更新机制,TAN仍表现出优越的性能。消融实验进一步验证了提出的各个模块的有效性。结论 本文提出的跟踪器完全离线训练,前向推理不需任何在线模型更新策略,能够适应目标的外观变化,相比其他轻量级的跟踪器,具有更优的性能。     

全局多极团的分层关联多目标跟踪

目的 由于背景的复杂性,光照的多变性以及目标的相关性等因素的影响,使得多目标跟踪算法的鲁棒性相对较差。目前,在多目标跟踪问题中面临的主要挑战包括：遮挡、误检、目标运动的复杂性以及由于目标具有相似的外观特征所引起的模糊性。针对以上问题,提出一种基于全局多极团的分层关联多目标跟踪算法。方法 该方法以数据关联中的全局关联为依托,基于分层和网络流思想,跟踪采用两层框架,每一层中均利用较短的轨迹片段形成更长的轨迹,根据网络流思想,首先构建网络的无向图,其中无向图的结点是由几个轨迹片段构成的,无向图权值的确定是利用目标的运动模型和外观模型的线性组合得到,然后借助聚合虚拟结点处理目标之间的遮挡问题,接着重点加入空间约束以解决身份转换的问题。最后利用最大二值整数规划在叠加片段上求解无向图,同时得到多个极大团。结果 实验在公共数据集上进行,通过在TUD-Stadmitte、TUD-Crossing、PETS2009、Parking Lot 1、Parking Lot 2、Town Center这6个数据集上验证,该方法对各个数据集跟踪准确度均有提高,其中针对数据集TUD-Stadmitte提高了5%以上,针对数据集Town Center处理的身份转换数量减少了12个。结论 本文依据数据关联思想,提出一种全局多极团的分层关联多目标跟踪算法,其中重点加入的空间约束能有效地处理多目标跟踪问题,尤其涉及遮挡问题,效果更佳。在智能视频监控领域中该方法具有实际应用价值。     

A probabilistic object tracking model based on condensation algorithm

Object tracking, which has many application in our daily life, is an important topic in electronics engineering area. It basically deals with estimation and location of an object in given video frames. In this paper, a novel object tracking algorithm based on particle filtering associate with population balances is proposed. The developed algorithm was used to track objects in synthetic frames and natural video frames. According to results, it has high accuracy level for single and multi-object tracking.     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。