基于多重信息融合与轨迹关联修正的多目标跟踪方法

一阶段多目标跟踪框架由于可以有效提升算法跟踪效率而备受关注,然而该框架在提升效率的同时忽略了检测与关联任务间信息的交互,且目标遮挡的频发会导致轨迹碎片的增加,从而影响跟踪效果.针对这些问题,提出基于多重信息融合与轨迹关联修正的多目标跟踪方法.通过无锚一阶段主干网络,在检测器上另外建立跟踪分支预测跟踪偏移量和嵌入特征信息;设计中和匹配关联模块优化跨帧特征匹配方式,协调检测与关联任务,提升两任务间信息交互能力;采用多重信息融合模块,对时空多层次特征进行融合以获得更加丰富的特征信息;提出轨迹关联修正网络处理因遮挡造成的轨迹碎片,通过改进数据关联方式评估碎片与检测低分目标关系,尝试找回遮挡目标轨迹;将提出的算法在MOT16和MOT17数据集上进行评估,并与其他优异的算法定量比较.通过分析实验结果可以发现,所提出的方法能有效缓解关键性问题,提升算法整体性能.     

融合YOLO检测的多目标跟踪算法

针对目前视频多目标跟踪过程中的遮挡问题,提出了一种融合YOLO v3的多目标检测和跟踪算法,选定基于检测跟踪的框架作为跟踪的整体框架,使用YOLO v3来实现对目标信息的检测工作,在选定某一检测类别的基础上,使用本文提出的跟踪算法,通过数据关联完成对此类别的多目标跟踪,并针对跟踪过程中的目标遮挡问题以及因目标遮挡而引起的轨迹跟踪异常的问题,提出了修正算法。测试视频中被遮挡的大部分目标都能准确地跟踪,但在背景移动时也会发生一部分目标身份互换的情况。所提出的算法在解决多目标跟踪中的遮挡问题时具有一定的准确性和实时性。     

基于状态预测和运动结构的在线多目标跟踪

基于检测的跟踪是近年来多目标跟踪领域的研究热点,针对目前在线跟踪算法通常只考虑相邻2帧间的数据关联,对误检的鲁棒性不高,易造成轨迹碎片的问题,提出一种基于状态预测和运动结构的在线多目标跟踪算法.该算法将多目标跟踪分为逐帧跟踪和轨迹恢复2个阶段.在逐帧跟踪阶段,利用运动结构实现目标空间位置对齐,采用多特征融合进行相似度计算,以提升相邻2帧之间的数据关联精度,运动结构的使用还将提升追踪过程对摄像头移动的鲁棒性;在轨迹恢复阶段,记录未关联目标,并对其进行状态预测,然后和检测结果进行相似度匹配,以完成轨迹恢复,从而解决轨迹碎片问题.在MOTChallenge 2015上的实验结果证明,文中算法的多目标跟踪准确率有明显提高,轨迹碎片减少,同时对于摄像头移动等环境问题具有很好的鲁棒性.     

自适应在线判别外观学习的分层关联多目标跟踪

目的 复杂场景下目标频繁且长时间的遮挡、跟踪目标外观相似引起身份转换等问题给多目标跟踪带来许多挑战。针对多目标跟踪在复杂场景中因长时间遮挡引起身份转换和轨迹分段的问题,提出一种基于自适应在线判别外观学习的分层关联多目标跟踪算法。方法 利用轨迹置信度将多目标跟踪分为局部关联和全局关联两个层次。在局部关联中,置信度高的可靠轨迹利用外观、位置-大小相似度与当前帧检测点进行关联;在全局关联中,置信度低的不可靠轨迹引入运动模型和有效关联范围进一步关联分段的轨迹。在提取目标外观特征时引入增量线性可判别分析方法以解决身份转换问题,依据新增样本与目标样本均值的外观特征差异自适应地更新目标外观模型。结果 在公开数据集2D MOT2015中的PETS09-S2L1、TUD-Stadmitte、Town-Center 3个数据集中与当前10种多目标跟踪算法进行比较,该方法对各个数据集身份转换和轨迹分段都有减少,其中在Town-Center数据集中,身份转换减少了60个,轨迹分段减少了84个,跟踪准确度提高了5.2%以上。结论 本文多目标跟踪方法,能够在复杂场景中稳定有效地实现多目标跟踪,减少轨迹分段现象,其中引入的在线线性可判别外观学习对遮挡产生的身份转换具有良好的解决效果。     

基于双视线特征感知编组的多目标跟踪方法

为实现精准的图像多目标捕获与跟踪,提出基于双视线特征感知编组的多目标跟踪方法.利用自由形状线特征涵盖的丰富信息,使用双视线特征感知编组方法将线特征匹配结果当作计算条件,推算已匹配的每对线特征左右视差均值,将方位相近、左右视差均值接近的线特征视作一组,明确各组线特征作用窗口,代人时差收敛均值,实现多目标特征匹配;代入联合概率数据关联算法,构建改进粒子滤波模型,让粒子权值呈现出测量值与目标轨迹的关联概率,确保各目标跟踪轨迹持续性,并完善轨迹初始点与终点,增强跟踪时效性.仿真结果表明,所提方法能很好地处理车辆交叉引发的错误匹配问题,在交叉或遮挡等复杂情况下,依旧可以快速准确地同时对多个目标车辆进行跟踪.     

基于局部特征匹配的多目标跟踪算法

为解决多目标跟踪过程中因遮挡导致跟踪失败的问题,提出一种基于局部特征匹配的跟踪算法。在卡尔曼滤波跟踪框架下,根据目标数据关联的结果判断目标的状态并进行针对性处理。当目标处于相互遮挡的状态时,利用目标的局部模板在当前帧进行匹配获取目标候选区域,利用改进的距离加权彩色直方图计算候选区域与局部模板的相似度,结合直方图的相似度和卡尔曼预测确定目标的位置。实验结果表明,在满足实时性的要求下,该方法能够有效地处理目标的遮挡问题。     

基于概率图模型的视频多目标跟踪

针对常见的颗粒滤波器处理视频多目标跟踪的局限性,将概率图模型引入视频多目标跟踪的分析,研究目标被遮挡跟踪中的目标不确定性。在数据关联方法的基础上,采用多目标建模和分析颗粒过滤器框架的目标关系的概率图模型,即联合数据关联算法,对闭塞视频中不确定的多目标的变化进行处理,增强数据边缘,提取目标特征。     

基于CKF的特征辅助数据关联多目标跟踪

针对密集杂波环境下的多目标近距跟踪问题,提出了一种基于容积卡尔曼滤波(CKF)和特征辅助数据关联的多目标跟踪算法(FADA-CKF).通过特征信息来对传统量测进行扩维,利用扩维后的量测对关联概率进行修正,将特征信息辅助技术融入到联合概率数据关联中,再利用容积卡尔曼滤波(CKF)处理非线性观测量,对目标状态进行估计.将FADA-CKF算法用于近距多目标跟踪场景中,仿真结果表明,改进算法在跟踪精度和误跟率方面要优于传统的JPDA跟踪算法.     

基于时空渐进特征模型的抗遮挡多目标跟踪

针对多目标跟踪过程中存在目标相互遮挡的问题,提出一种基于时空渐进特征模型的抗遮挡多目标跟踪方法.该方法根据目标的关联状态、重叠情况、深度顺序构建遮挡推理模型,在线识别被遮挡目标, 并对其进行基于时空渐进特征模型的目标再检测.首先,利用目标特征模型中的空间位置参数确定搜索区域;然后,计算目标模型与检测响应之间的表观特征相似度,引入一种自适应阈值,并选择相近程度较高的检测响应为候选量测;最后,采用时间特征匹配的方式获得目标真实检测响应,完成多目标跟踪的任务.通过MOT15和MOT17数据集中的实验结果表明,所提出方法能够有效地识别被遮挡目标,可在多种复杂场景下实现相互遮挡目标的鲁棒性跟踪,相对于现有方法具有较高的准确性、精度和轨迹完整性.     

一种基于改进粒子滤波的多目标跟踪算法

针对复杂背景环境下的多目标跟踪问题,论述了主要的数据关联技术,将目标检测算法与粒子滤波相结合,利用颜色直方图作为观测模型,并利用全领域(GNN)算法进行数据关联.提出一种改进的基于粒子滤波的多目标跟踪算法,实现了视频场景中的多个目标跟踪.该算法对于目标在场景中的频繁出现和消失、相似外表、交叉运动和短暂遮挡等均有较好的处理效果.     

Multi-Target Tracking by Online Learning a CRF Model of Appearance and Motion Patterns

We introduce an online learning approach for multi-target tracking. Detection responses are gradually associated into tracklets in multiple levels to produce final tracks. Unlike most previous approaches which only focus on producing discriminative motion and appearance models for all targets, we further consider discriminative features for distinguishing difficult pairs of targets. The tracking problem is formulated using an online learned CRF model, and is transformed into an energy minimization problem. The energy functions include a set of unary functions that are based on motion and appearance models for discriminating all targets, as well as a set of pairwise functions that are based on models for differentiating corresponding pairs of tracklets. The online CRF approach is more powerful at distinguishing spatially close targets with similar appearances, as well as in tracking targets in presence of camera motions. An efficient algorithm is introduced for finding an association with low energy cost. We present results on four public data sets, and show significant improvements compared with several state-of-art methods.     

机动多目标跟踪中的传感器控制策略的研究

针对机动多目标跟踪中的传感器控制问题, 本文提出一种基于信息论的多模型多伯努利滤波器的控制方案. 首先, 基于随机有限集(Random finite set, RFS)方法给出信息论下的传感器控制的一般方法; 其次, 本文给出多模型势均衡多目标多伯努利滤波器的序贯蒙特卡罗实现形式. 此外, 提出一种目标导向的多伯努利概率密度的粒子采样方法, 并借助该方法近似多目标概率密度, 继而利用Bhattacharyya 距离求解最终的控制方案. 典型机动多目标跟踪问题的仿真应用验证了本文传感器控制方法的有效性.     

一种新的行人多目标跟踪算法

基于TBD(track by detection)框架,使用YOLO网络训练并优化得到了较好的行人检测器,提出一种匹配网络进行多目标的匹配,得到一个准确率较高的行人多目标跟踪框架。为解决行人多目标跟踪中误匹配、目标丢失等问题,提出对于跟踪轨迹模板更新的策略以及对于计算的优化。在MOT数据集上的实验证明,该算法在行人多目标跟踪中取得了较高的准确率,其他多项指标也都达到了较高的水平。     

短时记忆与CenterTrack的车辆多目标跟踪

目的 车辆多目标跟踪是智能交通领域关键技术,其性能对车辆轨迹分析和异常行为鉴别有显著影响。然而,车辆多目标跟踪常受外部光照、道路环境因素影响,车辆远近尺度变化以及相互遮挡等干扰,导致远处车辆漏检或车辆身份切换（ID switch,IDs）问题。本文提出短时记忆与CenterTrack的车辆多目标跟踪,提升车辆多目标跟踪准确度（multiple object tracking accuracy,MOTA）,改善算法的适应性。方法 利用小样本扩增增加远处小目标车辆训练样本数;通过增加的样本重新训练CenterTrack确定车辆位置及车辆在相邻帧之间的中心位移量;当待关联轨迹与检测目标匹配失败时通过轨迹运动信息预测将来的位置;利用短时记忆将待关联轨迹按丢失时间长短分级与待匹配检测关联以减少跟踪车辆IDs。结果 在交通监控车辆多目标跟踪数据集UA-DETRAC （University at Albany detection and tracking）构建的5个测试序列数据中,本文方法在维持CenterTrack优势的同时,对其表现不佳的场景获得近30%的提升,与YOLOv4-DeepSort（you only look once—simple online and realtime tracking with deep association metric）相比,4种场景均获得近10%的提升,效果显著。Sherbrooke数据集的测试结果,本文方法同样获得了性能提升。结论 本文扩增了远处小目标车辆训练样本,缓解了远处小目标与近处大目标存在的样本不均衡,提高了算法对远处小目标车辆的检测能力,同时短时记忆维持关联失败的轨迹运动信息并分级匹配检测目标,降低了算法对跟踪车辆的IDs,综合提高了MOTA。     

Online multiple objects tracking with detection reliability prior constraint

Multi-object tracking (MOT) is one popular topic in computer vision. It remains a challenging problem in complex scenes, especially of objects with similar appearance. In this case, many existing data association strategies, which link detections among consecutive frames according appearance and motion cues, may fail to track due to unreliable detections or confused appearance and motion. To solve this problem, this paper proposed a novel online multi-object tracking method with detection reliability prior constraint. Our method integrates the trajectory estimation and detection-prediction association into a unified framework. The detection reliability prior constraint is built with the Hankel matrix from object motion model. When we build the Hankel matrix, we adaptively select a set of previous frames to predict object states and calculate the associated weights between detections and candidate objects. Data association in MOT then is estimated by maximum a posteriori (MAP) in a Bayesian framework, accompanied with both previous trajectory and the current detection reliability. Experimental results using synthetic dataset and four public challenging datasets demonstrate that, the proposed method has a good tracking performance compared with the state-of-the-art multi-object trackers.     

Multi-target tracking by learning local-to-global trajectory models

The multi-target tracking problem is challenging when there exist occlusions, tracking failures of the detector and severe interferences between detections. In this paper, we propose a novel detection based tracking method that links detections into tracklets and further forms long trajectories. Unlike many previous hierarchical frameworks which split the data association into two separate optimization problems (linking detections locally and linking tracklets globally), we introduce a unified algorithm that can automatically relearn the trajectory models from the local and global information for finding the joint optimal assignment. In each temporal window, the trajectory models are initialized by the local information to link those easy-to-connect detections into a set of tracklets. Then the trajectory models are updated by the reliable tracklets and reused to link separated tracklets into long trajectories. We iteratively update the trajectory models by more information from more frames until the result converges. The iterative process gradually improves the accuracy of the trajectory models, which in turn improves the target ID inferences for all detections by the MRF model. Experiment results revealed that our proposed method achieved state-of-the-art multi-target tracking performance.     

改进SSD算法的多目标检测

目标检测作为计算机视觉的核心,在人脸识别、人脸跟踪、大规模场景识别等方面具有广泛应用,其中One-stage领域的SSD算法检测速度和检测性能较为突出,但在环境较为复杂的多目标检测情况下仍会出现误检和漏检。针对这一问题,提出一种改进SSD算法的多目标检测方法,通过优化SSD内部网络和提高样本适用性的方式改善检测性能;其中,采用修改网络输出和添加抗旋转层ARConv来统一网络结构,降低模型训练时间,减少漏检;并提出P-NMS算法和限制函数优化训练样本,减少误检;在测试阶段,提出单张图片批量测试方法,有效提高模型召回率。实验结果表明,改进后算法具有更强的鲁棒性,并且能有效降低误检、漏检率提升网络性能。     

基于DenseNet的无人机在线多目标跟踪算法

多目标跟踪任务的目的,是对图像序列中不同的目标设置不同的编号(ID),最终得到不同目标的运动轨迹。本文针对跟踪过程中目标ID极易变化的现象,提出了一种新的在线多目标跟踪算法。算法主要包含三个步骤:输入预处理、特征提取和数据关联。其中预处理步骤使用NMS算法对输入的检测结果进行筛选;特征提取步骤使用密集连接的特征提取网络对目标进行外观特征的提取,输出特征向量矩阵;数据关联步骤则使用级联匹配的方式,依据目标的位置信息和外观特征信息为其分配各自的ID。此外,该文还整理了一个具有挑战性的无人机场景下的多目标跟踪测试集。实验结果表明,该方法有效地减少了错误的目标ID变化,提高了多目标跟踪算法面对复杂场景时的精度,并保持较快的运行速度。