免锚检测的行人多目标跟踪算法

针对复杂环境下行人目标因检测器漏检和频繁遮挡而导致的数据关联不正确、跟踪实时性差的问题,提出了一种基于免锚检测的多目标跟踪算法.算法采用预测目标中心点热力图的方法实现目标检测定位,改善了因锚点框回归歧义所导致的漏检问题.同时在检测模型中嵌入深度表观特征提取分支,构建联合检测与跟踪的多任务网络用于提升实时性.为解决跟踪阶...     

改进YOLOv7与DeepSORT的佩戴口罩行人跟踪

针对视频序列中因脸部遮挡、漏检而造成的无法正确判断行人是否佩戴口罩的问题,提出一种基于改进YOLOv7与DeepSORT的佩戴口罩行人跟踪算法。该算法将口罩检测、行人检测与跟踪相结合,通过在YOLOv7的主干网络中添加注意力机制,增加浅层特征图,加强网络对小目标的感知能力,提高口罩检测与行人检测精度;帧内关系模块利用匈牙利算法进行帧内目标关联,对行人进行口罩佩戴标记;将方向差因素加入到DeepSORT算法的关联代价中,消除跟踪轨迹的历史预测方向和新检测速度方向不一致问题;使用改进的DeepSORT算法对行人进行跟踪,并对每条轨迹进行口罩佩戴标记更新,实现对佩戴口罩与未佩戴口罩行人的跟踪。实验结果表明,改进的YOLOv7网络平均检测精度mAP50相比原始算法提升了3.83个百分点;在MOT16数据集上,该算法的跟踪准确性MOTA相较DeepSORT算法提高了17.1个百分点,跟踪精度MOTP提高了2.6个百分点。与检测算法相比,提出的算法能够跟踪到更多的行人是否佩戴了口罩,具有更好的效果。     

基于稀疏帧检测的交通目标跟踪

为了获取高速公路交通视频中目标车辆的行驶轨迹,提出一种基于视频的多目标车辆跟踪及实时轨迹分布算法,为交通管理系统和交通决策提供目标车辆交通信息.首先,使用YOLOv4算法检测目标车辆位置及置信度.其次,在不同场景条件下,使用提出的基于稀疏帧检测的跟踪方法,结合KCF跟踪算法,将车辆数据进行关联获取完整轨迹.最后,用车辆分布图和交通场景俯视图显示轨迹,便于交通管理与分析.实验结果表明,提出的跟踪方法在车辆跟踪中有较高的跟踪正确率,同时基于稀疏帧检测的跟踪方法处理速度也较快,实时轨迹分布正确反映了真实场景的车道信息以及目标车辆运动信息.     

Lie群下利用改进JPDA滤波器的智能车立体视觉多目标跟踪方法

提出基于改进联合概率数据关联滤波器的智能车立体视觉多目标跟踪方法。利用立体视觉摄像头采集车辆及行人图像、视频;在Lie群下对传感器的不确定性进行建模,并采用欧几里德群算法对预处理的图像进行状态滤波;在可能存在车辆的区域内利用双目视觉去除误检,并获得车辆的位置信息;通过卡尔曼滤波器对测量的不确定度和预测目标运动的轨迹进行确认;运用改进的联合概率数据关联滤波器对车辆及行人的跟踪结果进行优化修正。实验结果表明,提出的方法可以有效解决智能车多目标跟踪问题,大幅度提升驾驶系统的自动化和智能化水平。相比其他较新的目标跟踪方法,提出的方法在跟踪精度和速度上具有明显的优势,且在跟踪车辆时不会产生明显的偏移、不会遗漏对行人的跟踪。     

基于多重信息融合与轨迹关联修正的多目标跟踪方法

一阶段多目标跟踪框架由于可以有效提升算法跟踪效率而备受关注,然而该框架在提升效率的同时忽略了检测与关联任务间信息的交互,且目标遮挡的频发会导致轨迹碎片的增加,从而影响跟踪效果.针对这些问题,提出基于多重信息融合与轨迹关联修正的多目标跟踪方法.通过无锚一阶段主干网络,在检测器上另外建立跟踪分支预测跟踪偏移量和嵌入特征信息;设计中和匹配关联模块优化跨帧特征匹配方式,协调检测与关联任务,提升两任务间信息交互能力;采用多重信息融合模块,对时空多层次特征进行融合以获得更加丰富的特征信息;提出轨迹关联修正网络处理因遮挡造成的轨迹碎片,通过改进数据关联方式评估碎片与检测低分目标关系,尝试找回遮挡目标轨迹;将提出的算法在MOT16和MOT17数据集上进行评估,并与其他优异的算法定量比较.通过分析实验结果可以发现,所提出的方法能有效缓解关键性问题,提升算法整体性能.     

基于稀疏性理论与子问题耦合的多目标跟踪方法

针对多数目标跟踪方法在非受控环境中稳定性不高以及检测-跟踪模块分离的缺点,提出一种稀疏性检测器与网络数据关联技术相结合的多目标跟踪方法。离散化目标的移动空间,对于3D的每个可能位置,将目标投影到图像平面,形成码字并构建字典。扩展模型至多类别跟踪情况,并根据耦合公式分配给子问题和协调局部解以实现解的最优化。使用网络单纯形算法解决最小成本流数据关联问题。在BU-Marathon,PETS2009等公开数据集上的实验结果表明,与能处理遮挡的多目标跟踪方法相比,该方法具有较高的跟踪精度,误检率和漏检率更低。     

鉴别性特征学习模型实现跨摄像头下行人即时对齐

为解决由于采用延后的关联算法而造成目标错误匹配和子序列漏匹配的问题,提出一种使用鉴别性特征学习模型实现跨摄像头下行人即时对齐的方法.首先基于孪生网络模型整合行人分类和行人身份鉴别模型,仅通过目标行人的单帧信息就可习得具有良好鉴别性的行人外观特征,完成行人相似性值计算;其次提出跨摄像头行人即时对齐模型,根据行人外观、时序和空间3个方面的关联适配度实时建立最小费用流图并求解.实验结果表明,在行人重识别数据集Market-1501和CUHK03上,行人分类和身份鉴别模型的融合能显著提升特征提取的有效性且泛化能力良好,性能全面优于Gate-SCNN与S-LSTM方法;进一步地,在非重叠区域的跨摄像头行人跟踪的基准数据集NLPR_MCT上,该方法的行人即时关联精度比2014年ECCV跨摄像头行人跟踪冠军的延后关联算法高出了3.3%,仅次于当前最高精度算法6.6%,应用于跨摄像头跟踪时,跟踪精度亦超过当前的大部分算法.     

基于双视线特征感知编组的多目标跟踪方法

为实现精准的图像多目标捕获与跟踪,提出基于双视线特征感知编组的多目标跟踪方法.利用自由形状线特征涵盖的丰富信息,使用双视线特征感知编组方法将线特征匹配结果当作计算条件,推算已匹配的每对线特征左右视差均值,将方位相近、左右视差均值接近的线特征视作一组,明确各组线特征作用窗口,代人时差收敛均值,实现多目标特征匹配;代入联合概率数据关联算法,构建改进粒子滤波模型,让粒子权值呈现出测量值与目标轨迹的关联概率,确保各目标跟踪轨迹持续性,并完善轨迹初始点与终点,增强跟踪时效性.仿真结果表明,所提方法能很好地处理车辆交叉引发的错误匹配问题,在交叉或遮挡等复杂情况下,依旧可以快速准确地同时对多个目标车辆进行跟踪.     

分层关联的多目标跟踪算法研究

检测跟踪(Tracking by detection)是近年来多目标跟踪领域的一个主要研究方向。遵循检测跟踪框架,提出一种基于分层关联的全局性的数据关联算法。首先利用目标检测器在整个视频上检测目标,得到检测响应;然后利用广义最小团图在视频片段中对检测响应进行数据关联,得到轨迹片段;最后再在整个视频中对轨迹片段进行分层关联,得到最终的轨迹。在公共数据集上的测试结果表明,该算法能够有效地对多个目标进行数据关联,具有较强的处理遮挡能力。     

改进YOLOv3网络结构的遮挡行人检测算法

针对YOLOv3算法在监控视频行人检测中对遮挡目标漏检率较高的问题,文中提出改进YOLOv3网络结构的遮挡行人检测算法.首先在网络全连接层引入空间金字塔池化网络,增强网络的多尺度特征融合能力.然后采用网络剪枝的方式,精简网络冗余结构,避免网络层数加深导致的退化和过拟合问题,同时减少参数量.在走廊行人数据集上进行多尺度训练,获得最优的权重模型.实验表明,文中方法在平均准确率和检测速度上都有所提升.     

基于高速公路场景的车辆目标跟踪

车辆目标检测与跟踪是高速公路视频监控系统实时监控获取交通参数的关键步骤.本文提出了一种面向高速公路场景的目标轨迹时序信息结合核相关滤波KCF算法的车辆目标跟踪方法,实现了车辆目标的高精度持续跟踪.该方法首先采用基于深度学习的单目标检测SSD算法,通过建立车辆数据集,实现了适用于高速公路场景的车辆目标的分类与检测.然后,基于目标轨迹时序信息实现目标车辆与轨迹的匹配,并且采用KCF跟踪算法对丢失目标进行预测重定位,从而实现车辆目标轨迹的持续跟踪.实验表明,该跟踪方法精度高,且适应多种不同场景,具有较高的应用价值.     

基于激光雷达的无人驾驶3D多目标跟踪

无人驾驶汽车行驶是连续时空的三维运动, 汽车周围的目标不可能突然消失或者出现, 因此, 对于感知层而言, 稳定可靠的多目标跟踪(Multi-object tracking, MOT)意义重大. 针对传统的目标关联和固定生存周期(Birth and death memory, BDM)管理的不足, 提出基于边界交并比(Border intersection over union, BIoU)度量的目标关联和自适应生存周期管理策略. BIoU综合了欧氏距离和交并比(Intersection over union, IoU)的优点, 提高了目标关联的精度. 自适应生存周期管理将目标轨迹置信度与生存周期相联系, 显著减少了目标丢失和误检. 在KITTI多目标跟踪数据集上的实验验证了该方法的有效性.     

交通监控场景中的车辆检测与跟踪算法研究

考虑多目标跟踪过程中存在的实时性和身份跳变问题,提出一种基于检测的多车辆跟踪算法。首先利用Mobilenetv2替换YOLOv3检测算法的主干网络,构建目标检测模块YOLOv3-Mobilenetv2,减少检测算法模型参数,提高检测模块的运行速度;在Mobilenetv2中引入Bottom-up连接,增强多尺度特征图间的信息融合;然后构建基于LSTM的运动模型,解决卡尔曼滤波在非线性系统中产生的预测误差,基于Deepsort跟踪算法,引入LSTM运动模型,形成L-Deepsort跟踪算法;改进L-Deepsort跟踪算法外观匹配策略,提升目标间的关联性;最后融合轻量级目标检测算法YOLOv3-Mobilenetv2与多目标跟踪算法L-Deepsort,形成MYL-Deepsort多车辆跟踪算法,实现多车辆的实时准确跟踪。实验结果表明,该方法在跟踪性能提升的情况下,速度较YOLOv3-Deepsort提高21 frame/s,在TX2平台达到13 frame/s。     

融合人群密度的自适应深度多目标跟踪算法

多目标跟踪技术不能较好地解决目标严重遮挡场景下的多目标跟踪问题,因此文中提出融合人群密度的自适应深度多目标跟踪算法.首先,融合人群密度图和目标检测结果,利用人群密度图的位置和计数信息修正检测器结果,消除漏检、误检.然后,使用自适应三元组损失改进行人重识别模型的损失函数,提高对重识别特征的辨别能力.最后,使用外观和运动信...     

基于运动信息和再匹配的多目标追踪

随着目标检测模型的日趋成熟,基于检测的追踪成为多目标追踪研究的主要方向.借助几乎完美的目标检测结果,在数据关联时可以采用只使用IoU信息的方法.但是在实际使用中,少量丢失的检测会造成大量的身份互换和轨迹断裂,进而严重影响追踪效果.针对这一问题,该算法引入图像信息,使用IoU模型进行初步追踪,结合行人特征向量对初步追踪的...     

CGTracker: Center Graph Network for One-Stage Multi-Pedestrian-Object Detection and Tracking

Most current online multi-object tracking (MOT) methods include two steps: object detection and data association, where the data association step relies on both object feature extraction and affinity computation. This often leads to additional computation cost, and degrades the efficiency of MOT methods. In this paper, we combine the object detection and data association module in a unified framework, while getting rid of the extra feature extraction process, to achieve a better speed-accuracy trade-off for MOT. Considering that a pedestrian is the most common object category in real-world scenes and has particularity characteristics in objects relationship and motion pattern, we present a novel yet efficient one-stage pedestrian detection and tracking method, named CGTracker. In particular, CGTracker detects the pedestrian target as the center point of the object, and directly extracts the object features from the feature representation of the object center point, which is used to predict the axis-aligned bounding box. Meanwhile, the detected pedestrians are constructed as an object graph to facilitate the multi-object association process, where the semantic features, displacement information and relative position relationship of the targets between two adjacent frames are used to perform the reliable online tracking. CGTracker achieves the multiple object tracking accuracy (MOTA) of 69.3% and 65.3% at 9 FPS on MOT17 and MOT20, respectively. Extensive experimental results under widely-used evaluation metrics demonstrate that our method is one of the best techniques on the leader board for the MOT17 and MOT20 challenges at the time of submission of this work.     

全局多极团的分层关联多目标跟踪

目的 由于背景的复杂性,光照的多变性以及目标的相关性等因素的影响,使得多目标跟踪算法的鲁棒性相对较差。目前,在多目标跟踪问题中面临的主要挑战包括：遮挡、误检、目标运动的复杂性以及由于目标具有相似的外观特征所引起的模糊性。针对以上问题,提出一种基于全局多极团的分层关联多目标跟踪算法。方法 该方法以数据关联中的全局关联为依托,基于分层和网络流思想,跟踪采用两层框架,每一层中均利用较短的轨迹片段形成更长的轨迹,根据网络流思想,首先构建网络的无向图,其中无向图的结点是由几个轨迹片段构成的,无向图权值的确定是利用目标的运动模型和外观模型的线性组合得到,然后借助聚合虚拟结点处理目标之间的遮挡问题,接着重点加入空间约束以解决身份转换的问题。最后利用最大二值整数规划在叠加片段上求解无向图,同时得到多个极大团。结果 实验在公共数据集上进行,通过在TUD-Stadmitte、TUD-Crossing、PETS2009、Parking Lot 1、Parking Lot 2、Town Center这6个数据集上验证,该方法对各个数据集跟踪准确度均有提高,其中针对数据集TUD-Stadmitte提高了5%以上,针对数据集Town Center处理的身份转换数量减少了12个。结论 本文依据数据关联思想,提出一种全局多极团的分层关联多目标跟踪算法,其中重点加入的空间约束能有效地处理多目标跟踪问题,尤其涉及遮挡问题,效果更佳。在智能视频监控领域中该方法具有实际应用价值。     

结合尺度估计MST和粒子滤波的视频目标跟踪

在视频序列的实时目标跟踪中,针对经典均值漂移跟踪（MST）方法不能应对遮挡、尺度变化等问题,提出一种结合MST、自学习尺度探测器和粒子滤波的跟踪方法。采用MST算法在视频帧中跟踪目标,当目标收敛到局部最小值时重新初始化目标。提出一种基于在线学习的探测器,用来自适应更新MST的目标模型,使其能够自动调整目标尺度。另外,当出现完全遮挡时,启动粒子滤波器,通过概率计算来估计目标位置,使MST能够在目标离开遮挡时恢复跟踪。在通用数据集PETS视频序列上的实验结果表明,相比其他几种较新的MST方法,提出的方法具有更高的跟踪准确性,可以应用于实时检测和目标跟踪等应用中。     

Multiple human tracking based on distributed collaborative cameras

Due to the horizon limitation of single camera, it is difficult for single camera based multi-object tracking system to track multiple objects accurately. In addition, the possible object occlusion and ambiguous appearances often degrade the performance of single camera based tracking system. In this paper, we propose a new method of multi-object tracking by using multi-camera network. This method can handle many problems in the existing tracking systems, such as partial and total occlusion, ambiguity among objects, time consuming and etc. Experimental results of the prototype of our system on three pedestrian tracking benchmarks demonstrate the effectiveness and practical utility of the proposed method.