视频序列中面向人的多目标跟踪算法

针对视频序列中人的跟踪问题，提出一种基于运动检测的多目标跟踪算法．跟踪系统由运动目标检测、关联矩阵建立、特殊情况判断及处理以及轨迹关联4部分构成．提出一种基于改进的c-均值聚类的自适应运动分割方法；不同情况下建立不同的关联矩阵，以准确判断实际场景状况；对遮挡问题作出处理，在两个目标遮挡不严重的情况下，分别采用均值漂移算法对其进行跟踪．实验结果表明，该算法具有较强的鲁棒性，能有效实现复杂场景下多目标跟踪．     

基于子空间联合模型的视觉跟踪

目标跟踪是计算机视觉的重要组成部分,其鲁棒性一直受到目标遮挡,光照变化,目标姿态变化等因素的制约。针对这个问题,提出了基于子空间联合模型的视觉跟踪算法。算法为了克服遮挡对目标跟踪的影响,采用局部动态稀疏表示进行遮挡检测,根据遮挡检测结果来修正增量子空间误差。此外,在稀疏子空间基础上计算目标模板和候选模板的相似性。在粒子滤波框架下,联合候选目标增量误差和相似性实现目标跟踪。通过在多个具有挑战性的视频序列上进行实验,表明该算法具有较好的鲁棒性。     

融合YOLO检测的多目标跟踪算法

针对目前视频多目标跟踪过程中的遮挡问题,提出了一种融合YOLO v3的多目标检测和跟踪算法,选定基于检测跟踪的框架作为跟踪的整体框架,使用YOLO v3来实现对目标信息的检测工作,在选定某一检测类别的基础上,使用本文提出的跟踪算法,通过数据关联完成对此类别的多目标跟踪,并针对跟踪过程中的目标遮挡问题以及因目标遮挡而引起的轨迹跟踪异常的问题,提出了修正算法。测试视频中被遮挡的大部分目标都能准确地跟踪,但在背景移动时也会发生一部分目标身份互换的情况。所提出的算法在解决多目标跟踪中的遮挡问题时具有一定的准确性和实时性。     

一种基于改进粒子滤波的多目标跟踪算法

针对复杂背景环境下的多目标跟踪问题,论述了主要的数据关联技术,将目标检测算法与粒子滤波相结合,利用颜色直方图作为观测模型,并利用全领域(GNN)算法进行数据关联.提出一种改进的基于粒子滤波的多目标跟踪算法,实现了视频场景中的多个目标跟踪.该算法对于目标在场景中的频繁出现和消失、相似外表、交叉运动和短暂遮挡等均有较好的处理效果.     

在线多类别逐点式多目标跟踪与分割

现有基于深度学习的多目标跟踪算法大多利用目标检测任务预测的边界框跟踪目标,当目标间存在遮挡时,边界框会产生重叠进而影响跟踪准确度,针对这个问题,提出了一种在线多类别逐点式多目标跟踪与分割（category-free point-wise multi-object tracking and segmentation,CPMOTS）算法。该算法摒弃了边界框的目标表征方式,利用实例分割的像素级掩码表征目标进行跟踪,网络采用并行结构同时分割与跟踪多类别目标,并保证了运行效率,这在真实场景中有很强的实用性。CPMOTS首先利用实例分割网络得到实例分割掩码,对其采样得到无序点集;然后将点集的特征输入跟踪网络得到判别性的实例级嵌入向量;最后将该嵌入向量通过直观高效的注意力模块以显式建模其通道间的依赖关系,自适应学习每个特征通道的重要程度,依照这个重要程度选择性地强化有用的特征,抑制无用的特征,实现通道特征重标定,从而提高算法的性能。在多目标跟踪与分割基准数据集KITTI MOTS的实验表明,CPMOTS跟踪的精度优于大部分其他对比方法,并达到了16 frame/s的近实时速度。     

融合人群密度的自适应深度多目标跟踪算法

多目标跟踪技术不能较好地解决目标严重遮挡场景下的多目标跟踪问题,因此文中提出融合人群密度的自适应深度多目标跟踪算法.首先,融合人群密度图和目标检测结果,利用人群密度图的位置和计数信息修正检测器结果,消除漏检、误检.然后,使用自适应三元组损失改进行人重识别模型的损失函数,提高对重识别特征的辨别能力.最后,使用外观和运动信息进行目标关联,得到最终的跟踪结果.实验验证文中算法可有效解决目标严重遮挡场景下的多目标跟踪问题.     

基于改进霍夫森林框架的多目标跟踪算法

针对单目视觉对多个相似的目标跟踪因遮挡等因素影响而失效的问题,提出一种基于改进霍夫森林框架的多目标跟踪算法。在将多目标跟踪问题归结为基于目标检测的轨迹关联过程基础上,通过引入在线学习霍夫森林框架将轨迹关联计算转化为最大后验概率（MAP）问题。通过在线采集多目标样本、提取目标外观和运动特征构建霍夫森林,进行森林训练得到轨迹关联概率,从而关联多目标轨迹;而引入低秩逼近Hankel矩阵进行轨迹校验,修复了误匹配的轨迹,改进了在线更新训练样本算法的效能。实验表明,轨迹误匹配率显著改善,能有效提高单目摄像机对多个相似目标有遮挡情况下跟踪的准确性和鲁棒性。     

交通监控场景中的车辆检测与跟踪算法研究

考虑多目标跟踪过程中存在的实时性和身份跳变问题,提出一种基于检测的多车辆跟踪算法。首先利用Mobilenetv2替换YOLOv3检测算法的主干网络,构建目标检测模块YOLOv3-Mobilenetv2,减少检测算法模型参数,提高检测模块的运行速度;在Mobilenetv2中引入Bottom-up连接,增强多尺度特征图间的信息融合;然后构建基于LSTM的运动模型,解决卡尔曼滤波在非线性系统中产生的预测误差,基于Deepsort跟踪算法,引入LSTM运动模型,形成L-Deepsort跟踪算法;改进L-Deepsort跟踪算法外观匹配策略,提升目标间的关联性;最后融合轻量级目标检测算法YOLOv3-Mobilenetv2与多目标跟踪算法L-Deepsort,形成MYL-Deepsort多车辆跟踪算法,实现多车辆的实时准确跟踪。实验结果表明,该方法在跟踪性能提升的情况下,速度较YOLOv3-Deepsort提高21 frame/s,在TX2平台达到13 frame/s。     

基于形状上下文和粒子滤波的多目标跟踪

目标跟踪是计算机视觉领域里研究的热点和难点。提出一种基于形状上下文和粒子滤波的多目标跟踪算法,通过在跟踪过程中融入目标检测信息来处理目标进入与离开场景问题和目标重叠与分离问题。首先,采用自适应增强检测算法对视频区域中的目标进行检测;然后,利用形状上下文特征来建立被跟踪目标的外观模型;最后,利用粒子滤波方法进行粒子的选择和目标的跟踪。实验证明,提出的算法能够有效处理目标进入与离开场景的问题和目标重合与分离的问题,在单一背景和复杂背景下都能进行较为准确的跟踪,还能一定程度上处理部分遮挡问题。     

遮挡情况下的视觉目标跟踪方法研究

将目标整体相关匹配算法和目标各子块相关匹配作表决的算法相结合,有效解决了运动目标被遮挡的跟踪问题.目标被遮挡,表现为某些子块被遮挡且匹配错误.对被遮挡的子块使其不参与表决,也不参与整体相关匹配的计算,只利用目标剩余的能代表目标本身属性的未遮挡子块继续跟踪目标.实验结果表明,采用的两种算法互为补充,对解决遮挡情况下目标的视觉跟踪是有效的.     

基于改进的Transformer加Anchor-free网络的多目标跟踪算法

近年来,基于Anchor-free的多目标跟踪算法以其精度高、速度快、超参数少的特点被广泛研究.但是,实际场景中的目标遮挡使得此类算法仍然面临挑战,这类算法会对遮挡后重新出现的目标的身份信息进行错误切换.针对以上问题,提出了一种基于改进的Transformer加Anchor-free网络的多目标跟踪算法(Transfo...     

引入特征重检的抗遮挡目标跟踪方法研究

针对视觉目标跟踪的遮挡问题,在TLD算法的基础上,引入特征重检环节,解决发生遮挡时因目标外观相似、背景聚类造成错判,提出了一种基于特征重检的抗遮挡目标跟踪研究方法(TLD-D),采用跟踪、检测、学习、再检测的策略。跟踪与检测相结合,对锁定的目标进行学习,获取目标最新的外观特征;当发生遮挡时,则启用特征重检环节,提取遮挡过程的"开始发生遮挡"和"遮挡结束"两个关键帧,然后在特征重检环节选用SIFT特征进行双向匹配标定目标,确保重新标定的目标为原被遮挡的跟踪目标,即"再检测"。OTB基准集上实验结果表明,与TLD算法、同类TLD改进算法以及其他经典跟踪算法相比较,TLD-D算法抗遮挡能力更强,鲁棒性更强,能够对目标长时间稳定跟踪。     

基于自适应颜色特征学习的目标跟踪技术

在简要说明基于空时上下文（STC）和基于核函数循环结构（CSK）目标跟踪器的基础上,重点介绍基于颜色特征（CN）的跟踪器,并针对其在目标被遮挡、尺度变化和光照发生变化时易发生跟踪漂移的问题,提出自适应学习速率和自适应高斯核尺度因子两种方法,分别对训练模型的更新和标记进行改进,减少目标模型累积错误,提高跟踪过程准确性。实验中,选取10个视频集,采用3类评价参数对比算法改进前后跟踪效果。实验证明,改进后的算法对遮挡、光照变化和尺度变化等具有较好的鲁棒性,同时将该算法应用在无人机（UAV）视频行人跟踪上,取得了良好效果。     

基于改进PP-YOLO和Deep-SORT的多无人机实时跟踪算法

无人机（UAV）目标尺寸较小,多架无人机之间特征也不明显,且鸟类和飞虫的干扰给无人机目标的准确检测和稳定跟踪带来了巨大挑战。针对传统目标检测算法对小目标无人机检测性能差、跟踪不稳定的问题,提出一种基于改进PP-YOLO和Deep-SORT的多无人机实时跟踪算法。首先,将压缩-激励模块融入PP-YOLO检测算法中,以实现对无人机目标的特征提取和检测;其次,在ResNet50-vd结构中引入Mish激活函数,以解决反向传播过程中的梯度消失问题,并进一步提升检测精度;然后,采用Deep-SORT算法来实时跟踪无人机目标,并将提取外观特征的主干网络更换为ResNet50,从而改善原有网络对微小外观感知能力弱的状况;最后,引入损失函数Margin Loss,既提高了类别可分性,又加强了类内紧度和类间差异。实验结果表明,所提算法的检测平均精度均值（mAP）相比原始PP-YOLO算法提升了2.27个百分点,跟踪准确性相对于原始Deep-SORT算法提升了4.5个百分点。所提算法的跟踪准确性可达91.6%,能够实时跟踪600 m以内多架无人机目标,有效解决了跟踪过程中的“丢帧”问题。     

时空上下文抗遮挡视觉跟踪

目的 传统的视觉跟踪方法只考虑了目标本身的特征信息提取,忽略了目标周围稠密的上下文信息。一旦目标本身特征信息提取存在困难,很容易导致跟踪失败。为解决上述问题,提出一种时空上下文抗遮挡视觉跟踪算法（STC-PF）。方法 首先,利用目标与局部区域的时空关系学习时空上下文模型;然后,通过上下文先验模型和学习到的时空上下文模型计算置信图;最后,对时空上下文区域进行分块遮挡判别,若遮挡概率小于设定阈值,计算置信图所得最大概率位置即为目标位置;若遮挡概率大于设定阈值,则目标发生遮挡,通过子块匹配和粒子滤波估计目标位置以及运动轨迹,实现不同程度的抗遮挡跟踪。结果 对测试数据集中的图像序列进行实验,结果表明,STC-PF方法的跟踪成功率提高至80%以上;中心误差小于原算法;同时STC-PF算法在提高抗遮挡能力的前提下,运行速度与原算法相当,高于当前流行算法。结论 STC-PF算法能够适用于光照变化、目标旋转、遮挡等复杂情况下的视觉目标跟踪,具有一定的实时性和高效性,尤其是在目标发生遮挡情况下具有很好的抗遮挡能力和较快的运行速度。     

基于基础颜色特征的自适应尺度的多目标跟踪算法

在多目标跟踪领域,多个相似目标间相互遮挡时,易产生误跟踪、漏跟踪等问题。针对上述问题,通过引入语言学中的基础颜色及自适应尺度因子来解决。采用颜色命名过程及主成分分析法,提取目标基础颜色特征,准确区分相似目标;同时引入自适应尺度因子,自动改变目标尺度,减少因尺度变化而引入的干扰信息,增强目标外观模型的鲁棒性。基于以上两点,在Structure Preserving Object Tracking（SPOT）算法基础上,提出了Basic Color Adaptive Scale SPOT（CSSPOT）算法。在对比实验中,CSSPOT算法在跟踪准确率及计算时间这两方面较原算法均有所提升,充分说明了基础颜色特征及自适应尺度因子的正确性及有效性。     

近年目标跟踪算法短评——相关滤波与深度学习

目的 目标跟踪是计算机视觉领域的重要组成部分。近年来,基于相关滤波和深度学习的目标跟踪算法层出不穷,本文拟对经典的若干目标跟踪算法进行阐述与分析。方法 首先,对基于相关滤波跟踪算法的基础理论进行介绍,针对相关滤波算法在特征改进类、尺度改进类、消除边界效应类、图像分块类与目标响应自适应类方面进行总结;接下来,从3个方面对基于深度学习的目标跟踪算法进行阐述与分析：目标分类、结构化回归、孪生网络,并对有代表性的跟踪算法的优势与缺陷进行较深层次的解读。结果 通过列举跟踪算法在相关滤波阶段、深度学习阶段针对不同的改进机制的改进算法,总结各阶段算法的优缺点。对目标跟踪算法的最新进展进行阐述,最终对目标跟踪算法的未来发展方向进行总结。结论 基于相关滤波的目标算法在实时性方面表现优秀,但对于复杂背景干扰、相似物遮挡等情况仍然需要优化。深层的卷积特征对于目标有强大的表示力,通过使相关滤波算法与深度学习结合,大幅度提升了算法表现力。基于深度学习的跟踪算法则更侧重于跟踪的性能,大多无法满足实时性。孪生神经网络的使用对于基于深度学习类目标跟踪算法产生了很大的推动,兼顾了算法的性能和实时性。     

Target tracking algorithm based on occlusion prediction

Tracking failure caused by occlusion is one of the most challenging problems in visual tracking tasks. The current Siamese network-based object tracking algorithms use the maximum confidence strategy and center cropping mechanism, which may lead to partial or complete loss of target tracking. To address this problem, we propose an occlusion prediction-based tracking method, which uses an occlusion prediction branch to evaluate the occlusion degree of the target in four directions: up, down, left and right, and combines information fusion to predict the target position, and uses dynamic background suppression to reduce the interference of similar targets. First, we use dynamic background suppression to preprocess the input image, weaken the interference around the target, then use the target location information and regression information output by the Siamese network to obtain the candidate target position, and finally use the occlusion prediction information for information fusion to obtain the final target position. Although our method brings additional computational burden, it can still achieve real-time performance. Experiments show that our proposed method can effectively improve the robustness of Siamese tracking algorithms under different occlusion conditions. In the interference test based on OTB100, our method improves the tracking success rate by about 7% and the precision by about 10% for SiamBan and SiamGat algorithms respectively; in the interference test based on VOT2018, our method can effectively reduce the tracking loss frequency of Siamban and SiamGat algorithms, improving the EAO(Expected Average Overlap) by about 10%.