融合YOLO检测的多目标跟踪算法

针对目前视频多目标跟踪过程中的遮挡问题,提出了一种融合YOLO v3的多目标检测和跟踪算法,选定基于检测跟踪的框架作为跟踪的整体框架,使用YOLO v3来实现对目标信息的检测工作,在选定某一检测类别的基础上,使用本文提出的跟踪算法,通过数据关联完成对此类别的多目标跟踪,并针对跟踪过程中的目标遮挡问题以及因目标遮挡而引起的轨迹跟踪异常的问题,提出了修正算法。测试视频中被遮挡的大部分目标都能准确地跟踪,但在背景移动时也会发生一部分目标身份互换的情况。所提出的算法在解决多目标跟踪中的遮挡问题时具有一定的准确性和实时性。     

一种基于贪心搜索的实时多目标遮挡处理算法

提出了一种固定摄像机遮挡条件下的多目标跟踪算法,包括基于区域相关的运动前景分割、基于合并--分裂检测的数据关联和基于贪心搜索的遮挡目标定位三部分. 该算法的主要特点表现在: 1)将遮挡条件下的目标跟踪问题转化为一个已知目标数量和特征的图像分类问题; 2)用贪心搜索和积分图算法快速定位遮挡中的目标,保证了算法的实时性; 3)对目标数量无约束,能够处理多目标相互遮挡下的跟踪问题(发生遮挡的目标数量大于等于2), 且对目标的遮挡程度和目标运动模式无约束,具有良好的可扩展性. 采用手工标定的IBM多人遮挡数据库的测试结果证明了算法的有效性.     

基于网络流的分层关联多目标跟踪

为解决在有遮挡、光照变化等复杂环境下的多目标跟踪问题,提出一种基于最小费用流的多目标跟踪算法.该算法吸取分层数据关联的思想,将多目标跟踪分成2个阶段.首先利用双阈值法对检测器输出的响应进行初级关联,形成可靠轨迹片;然后根据轨迹片形成的有向无环图,利用最小费用流法求解进行进一步的数据关联,得到长轨迹.为处理遮挡问题,关联过程中对目标采用分块处理的方式.在公共数据集上的实验结果表明,文中算法能够在复杂场景中有效地实现多目标跟踪,平均跟踪准确度和精度达到85.9%和83.7%,并对遮挡、轨迹分段等问题具有良好的解决效果.     

一种基于改进粒子滤波的多目标跟踪算法

针对复杂背景环境下的多目标跟踪问题,论述了主要的数据关联技术,将目标检测算法与粒子滤波相结合,利用颜色直方图作为观测模型,并利用全领域(GNN)算法进行数据关联.提出一种改进的基于粒子滤波的多目标跟踪算法,实现了视频场景中的多个目标跟踪.该算法对于目标在场景中的频繁出现和消失、相似外表、交叉运动和短暂遮挡等均有较好的处理效果.     

面向智慧生物实验室的弱外观多目标轻量级跟踪网络

基于监控视频的弱外观多目标跟踪是建设智慧生物实验室的一个重要内容.但是,由于遮挡、目标外观差别细微等因素的影响,容易出现漏检、误检等问题,导致跟踪失败.此外,基于深度学习的相关算法需要大量的计算量,在嵌入式平台上难以达到实时性.因此,本文提出了一种新的轻量级多目标跟踪算法,以YOLOv3作为基础目标检测网络,提出基于归...     

基于卡尔曼滤波的多目标跟踪方法

针对视频多目标跟踪中由于目标间的遮挡、交错或目标漂移而导致跟踪失败的情况,提出一种基于卡尔曼滤波以及空间颜色直方图的遮挡预测跟踪算法。利用空间颜色直方图对目标进行建模,可以对不同目标进行区分进而在目标之间出现交错或目标漂移时仍能跟踪到目标。通过卡尔曼滤波算法可以 预测 目标的状态,对预测位置之间存在交错的目标进行遮挡标记,以便在下一帧中仍然可以跟踪到被遮挡的目标。采用2D MOT 2015数据集进行实验,跟踪的平均精度达到了34.1%。实验结果表明,所提方法对多目标跟踪的效果有所提高。     

基于活动状态预测与分类的多目标跟踪

固定单摄像机多目标跟踪的难点在于对多目标互相遮挡情况的处理。针对此问题,本文提出一种基于活动状态预测与分类的多目标跟踪算法,并通过对数字视频中多人的跟踪对算法进行测试。通过对实际情况的分析总结将目标活动状态分为六类,利用卡尔曼滤波对遮挡的预测信息,结合区域匹配信息对目标的活动状态进行归类。最后,通过采用
用不同的目标定位及模板更新策略处理不同活动状态的目标,达到跟踪的目的。实验证明,对目标的分类处理使算法对多目标跟踪具有较好的适应性和准确性。     

基于深度学习的视觉多目标跟踪算法综述

视觉多目标跟踪是计算机视觉领域的热点问题,然而,场景中目标数量的不确定、目标之间的相互遮挡、目标特征区分度不高等多种难题导致了视觉多目标跟踪现实应用进展缓慢。近年来,随着视觉智能处理研究的不断深入,涌现出多种多样的深度学习类视觉多目标跟踪算法。在分析了视觉多目标跟踪面临的挑战和难点基础上,将算法分为基于检测跟踪（Detection-Based-Tracking,DBT）、联合检测跟踪（Joint-Detection-Tracking,JDT）两大类及六个子类,研究不同类别算法的优缺点。分析表明,DBT类算法结构简单,但算法各子环节的关联度不高,JDT类算法融合多模块联合学习,在多项跟踪评价指标中占优。DBT类算法中特征提取模块是解决目标遮挡问题的关键,但损失了算法速度,JDT类算法对检测模块更为依赖。目前,多目标跟踪跟踪总体是从DBT类算法向JDT发展,分阶段实现算法准确度与速度的均衡;提出多目标跟踪算法未来在数据集、各子模块、具体场景应用等方面的发展方向。     

精子多目标跟踪的抗遮挡算法的研究与实现

为解决计算机辅助精液分析(CASA)系统中原版精子多目标跟踪算法在精子被白细胞或其它精子遮挡时,会产生检测失败和跟踪错误等问题,提出一种改进的抗遮挡算法。根据精子目标的面积和形态特征,判定遮挡的类型和发生期间,利用Kalman滤波对白细胞遮挡的精子进行虚拟定位跟踪,对精子互相遮挡的目标保持特征信息跟踪,在遮挡结束时重新匹配找回目标。实验结果表明,改进的算法能够成功跟踪到遮挡情况下的精子目标运动轨迹,提高了精子多目标跟踪算法的准确性和鲁棒性。     

基于时空渐进特征模型的抗遮挡多目标跟踪

针对多目标跟踪过程中存在目标相互遮挡的问题,提出一种基于时空渐进特征模型的抗遮挡多目标跟踪方法.该方法根据目标的关联状态、重叠情况、深度顺序构建遮挡推理模型,在线识别被遮挡目标, 并对其进行基于时空渐进特征模型的目标再检测.首先,利用目标特征模型中的空间位置参数确定搜索区域;然后,计算目标模型与检测响应之间的表观特征相似度,引入一种自适应阈值,并选择相近程度较高的检测响应为候选量测;最后,采用时间特征匹配的方式获得目标真实检测响应,完成多目标跟踪的任务.通过MOT15和MOT17数据集中的实验结果表明,所提出方法能够有效地识别被遮挡目标,可在多种复杂场景下实现相互遮挡目标的鲁棒性跟踪,相对于现有方法具有较高的准确性、精度和轨迹完整性.     

Spatio-temporal object detection by deep learning: Video-interlacing to improve multi-object tracking

Tracking-by-detection have become a hot topic of great interest to some computer vision applications in the recent years. Generally, the existing tracking-by-detection frameworks have difficulties with congestion, occlusion, and inaccurate detection in crowded scenes. In this paper, we propose a new framework for Multi-Object Tracking-by-Detection (MOT-bD) based on a spatio-temporal interlaced encoding video model and a specialized Deep Convolutional Neural Network (DCNN) detector. The spatio-temporal variation of objects between images are encoded into “interlaced images”. A specialized “interlaced object” convolutional deep detector is trained to detect objects in interlaced images and a classical association algorithm to perform the association between detected objects, since interlaced objects are built to increase overlap during the association step which leads to improve the MOT performance over the same detector/association algorithm applied on non-interlaced images.The effectiveness and robustness of this contribution is demonstrated by experiments on popular tracking-by-detection datasets and benchmarks such as the PETS, TUD and the MOT17 benchmark. Experimental results demonstrate that interlacing video idea has many advantages to improve the tracking performances in terms of both precision and accuracy of tracking and illustrate that the “power of video-interlacing” outperforms several state-of-the-art tracking frameworks in multiple object tracking.     

基于多重信息融合与轨迹关联修正的多目标跟踪方法

一阶段多目标跟踪框架由于可以有效提升算法跟踪效率而备受关注,然而该框架在提升效率的同时忽略了检测与关联任务间信息的交互,且目标遮挡的频发会导致轨迹碎片的增加,从而影响跟踪效果.针对这些问题,提出基于多重信息融合与轨迹关联修正的多目标跟踪方法.通过无锚一阶段主干网络,在检测器上另外建立跟踪分支预测跟踪偏移量和嵌入特征信息;设计中和匹配关联模块优化跨帧特征匹配方式,协调检测与关联任务,提升两任务间信息交互能力;采用多重信息融合模块,对时空多层次特征进行融合以获得更加丰富的特征信息;提出轨迹关联修正网络处理因遮挡造成的轨迹碎片,通过改进数据关联方式评估碎片与检测低分目标关系,尝试找回遮挡目标轨迹;将提出的算法在MOT16和MOT17数据集上进行评估,并与其他优异的算法定量比较.通过分析实验结果可以发现,所提出的方法能有效缓解关键性问题,提升算法整体性能.     

基于非对称沙漏网络结构的目标检测算法

基于无锚框深度学习的目标检测是一种主流的单阶段目标检测算法。融合多层监督信息的沙漏网络结构能够显著提升无锚框目标检测算法的精度，然而其速度却远低于同层次的普通网络的速度，并且不同尺度目标间的特征会互相干扰。针对上述问题，提出了一种非对称沙漏网络结构的目标检测算法。该算法在融合不同网络层的特征时不受形状大小的约束，能够快速高效抽象出网络的语义信息，使模型更容易学习到各种尺度之间的差异。针对不同尺度目标检测问题，设计了一种多尺度输出的沙漏网络结构用来解决不同尺度目标间特征互相干扰的问题，并精细化输出的检测结果。另外，针对多尺度输出使用了一种特殊的非极大值抑制算法以提高检测算法的召回率。实验结果表明，所提算法在COCO数据集上的AP50指标达到61.3%，相较于无锚框网络CenterNet提升了4.2个百分点。所提算法在精度与时间的平衡上超越了原始算法，尤其适用于对工业场景的目标进行实时检测。     

基于非对称沙漏网络结构的目标检测算法

基于无锚框深度学习的目标检测是一种主流的单阶段目标检测算法。融合多层监督信息的沙漏网络结构能够显著提升无锚框目标检测算法的精度,然而其速度却远低于同层次的普通网络的速度,并且不同尺度目标间的特征会互相干扰。针对上述问题,提出了一种非对称沙漏网络结构的目标检测算法。该算法在融合不同网络层的特征时不受形状大小的约束,能够快速高效抽象出网络的语义信息,使模型更容易学习到各种尺度之间的差异。针对不同尺度目标检测问题,设计了一种多尺度输出的沙漏网络结构用来解决不同尺度目标间特征互相干扰的问题,并精细化输出的检测结果。另外,针对多尺度输出使用了一种特殊的非极大值抑制算法以提高检测算法的召回率。实验结果表明,所提算法在COCO数据集上的AP50指标达到61.3%,相较于无锚框网络CenterNet提升了4.2个百分点。所提算法在精度与时间的平衡上超越了原始算法,尤其适用于对工业场景的目标进行实时检测。     

基于改进SSD算法的遥感图像目标检测

在遥感图像目标检测领域,多数目标检测算法针对小目标检测时效果不佳,为此,提出一种多尺度特征融合的遥感图像目标检测算法。利用SSD算法的基础网络进行特征提取,形成特征图金字塔。设计特征图融合模块,融合浅层特征图的位置信息和深层特征图的语义信息,从而保留丰富的上下文信息。设计冗余信息去除模块,通过卷积操作进一步提取特征图中的特征,并对特征信息进行筛选,以减少特征图融合时带来的混叠效应。在遥感图像数据集NWPU VHR-10上的实验结果表明,该算法的平均检测精度高达93.9%,其针对遥感图像小目标的检测性能优于Faster R-CNN和SSD等算法。     

Contextual Mixture Tracking

Multiple Object Tracking (MOT) poses three challenges to conventional well-studied Single Object Tracking (SOT) algorithms: 1) Multiple targets lead the configuration space to be exponential to the number of targets; 2) Multiple motion conditions due to multiple targets' entering, exiting and intersection make the prediction process degrade in precision; 3) Visual ambiguities among nearby targets make the trackers error prone. In this paper, we address the MOT problem by embedding contextual proposal distributions and contextual observation models into a mixture tracker which is implemented in a Particle Filter framework. The proposal distributions are adaptively selected by motion conditions of targets which are determined by context information, and the multiple features are combined according to their discriminative power between ambiguity prone objects. The induction of contextual proposal distribution and observation model can help to surmount the incapability of conventional mixture tracker in handling object occlusions, meanwhile retain its merits of flexibility and high efficiency. The final experiments show significant improvement in variable number objects tracking scenarios compared with other methods.      

协同运动状态估计的多目标跟踪算法

多目标跟踪在视频分析场景中有着广泛的应用,如人机交互、虚拟现实、自动驾驶、视频监控和机器人导航等。多目标跟踪问题可以表示为在已有的检测数据上进行目标轨迹关联,检测算法的准确性对跟踪性能起着关键性的作用。在基于检测的目标跟踪框架中,提出了一种协同运动状态估计的跟踪算法,该算法主要关注相邻帧之间的数据关联,从目标检测、目标运动状态估计和数据关联这3个方面来直接解决多目标跟踪面临的挑战。首先,对于目标检测,采用Multi Scale Convolutional Neural Network(MS-CNN)算法作为检测器,这是因为深度学习在检测的效益上优于传统的机器学习方法;其次,为了更好地预测目标的运动状态和处理目标间的遮挡,针对不同状态的目标采取不同的运动估计方法: 采用核相关滤波来评估处于跟踪状态的目标的运动状态,当目标处于遮挡状态时,采用卡尔曼滤波做运动估计;最后,采用Kuhn-Munkres算法对检测目标和跟踪轨迹做数据关联。通过大量的实验证实了算法的有效性,且实验结果表明算法的准确性很高。     

结合时空一致性的FairMOT跟踪算法优化

目的 视频多目标跟踪(multiple object tracking, MOT)是计算机视觉中的一项重要任务,现有研究分别针对目标检测和目标关联部分进行改进,均忽视了多目标跟踪中的不一致问题。不一致问题主要包括3方面,即目标检测框中心与身份特征中心不一致、帧间目标响应不一致以及训练测试过程中相似度度量方式不一致。为了解决上述不一致问题,本文提出一种基于时空一致性的多目标跟踪方法,以提升跟踪的准确度。方法 从空间、时间以及特征维度对上述不一致性进行修正。对于目标检测框中心与身份特征中心不一致,针对每个目标检测框中心到特征中心之间的空间差异,在偏移后的位置上提取目标的ReID(re-identification)特征;对帧间响应不一致,使用空间相关计算相邻帧之间的运动偏移信息,基于该偏移信息对前一帧的目标响应进行变换后得到帧间一致性响应信息,然后对目标响应进行增强;对训练和测试过程中的相似度度量不一致,提出特征正交损失函数,在训练时考虑目标两两之间的相似关系。结果 在3个数据集上与现有方法进行比较。在MOT17、MOT20和Hieve数据集中,MOTA(multiple object t...     

一种鲁棒高效的视频运动目标检测与跟踪算法

提出了一种视频运动目标的快速检测和稳定跟踪算法. 目标检测使用减背景法, 用均值法构造背景图像, 提出一种基于熵能和广义高斯分布的局部自适应阈值选取算法, 可有效克服噪声的影响. 采用基于特征匹配的目标跟踪方法, 提出一种LICS (Logarithm illuminance contrast statistic)特征, 该特征能够更加充分有效地表征目标, 可在光照和目标姿态变化的情况下实现刚体目标的稳定跟踪. 使用Kalman滤波限制搜索匹配范围以减小计算量. 用目标子区域匹配的方法解决目标相互遮挡时的跟踪问题. 实验结果表明, 该算法在运动目标检测效果、跟踪稳定性和运行时间方面都有良好的性能.