改进的基于多示例学习的目标跟踪方法研究

针对复杂场景下的跟踪问题,提出一种新的基于多示例学习的目标跟踪方法。该方法首先利用局部描述算子(Harr-like特征)表征目标和周围背景区域,分别视为正负样本,然后利用基于Boosting的在线多示例学习(MILBoost)建立一种适应性的外观模型作为二值分类器。并提出一种修正的搜索目标位置算法,使haar小波和区域协方差矩阵相结合,取最大响应样本为新目标位置。该方法能够有效解决视频场景中目标受遮挡、旋转和光照变化等问题,具有鲁棒的跟踪性能。     

基于随机局部均值Hash特征的在线学习目标跟踪

在局部遮挡,光线变化,以及复杂背景环境下进行有效稳定的目标跟踪一直是一个长期困扰研究者的复杂问题。提出一种基于随机局部均值Hash特征的在线学习目标跟踪算法,算法的创新点为基于泊松概率分布的目标模型建立及其在线更新。算法首先利用已标定实际位置的目标图像来初始化目标模型及构建初始分类器池,由此求出下一帧的检测算子,同时基于多实例在线学习方法,利用检测到的目标样本（正样本）以及附近的背景样本（负样本）在线更新目标模型,求出新的检测算子用于后续帧的目标检测及跟踪。提出的算法与现有基于检测学习的OnlineBoostingTracker,SemiTracker,BeyondSemiTracker,Context Tracker和MILTracker跟踪算法在给定的四个标准视频序列中进行了跟踪性能比较。实验结果表明,在各种复杂环境下,该算法具备良好的综合跟踪性能,尤其在抗局部遮挡方面尤为突出。在抗目标旋转方面,该算法仍有待优化。     

通道和异常适应性的目标跟踪算法

针对现有空间正则化跟踪算法未考虑通道和异常适应性,在光照变化、遮挡和运动模糊等复杂跟踪场景下易产生跟踪失败的问题,提出通道和异常适应性的目标跟踪算法。首先,提取目标所在区域的方向梯度直方图和颜色特征,建立目标的外观模型;其次,提出通道加权策略并构造通道适应性正则项,同时在模型训练阶段优化通道权重,降低多通道特征中冗余信息和通道可靠性变化对跟踪性能的影响;然后,构造异常适应性正则项,通过约束跟踪响应图异常变化,提升画面快速变化时跟踪器的鲁棒性;最后,在检测阶段将滤波器与当前帧的样本相关运算得到目标尺度和位置信息,通过分析响应图的峰值与噪声平滑度来判断跟踪的遮挡情况以过滤低质量样本,增强目标被遮挡时跟踪器的异常适应性。在OTB50、OTB100和TC-128公共数据集上与多种先进算法进行对比实验,实验结果表明,所提算法在光照变化、遮挡、运动模糊等复杂场景下鲁棒性表现更好,跟踪成功率高于同类算法,并且精度更优。     

一种基于深度学习目标检测的长时目标跟踪算法

针对长时目标跟踪所面临的目标被遮挡、出视野等常常会导致跟踪漂移或丢失的问题,基于MDNet提出一种深度长时目标跟踪算法(long-term object tracking based on MDNet, LT-MDNet)。首先,引入了一种改进的收缩损失函数,以解决模型训练时正负样本不均衡的问题;其次,设计了一种高置信度保留样本池,对在线跟踪时的每一帧的有效并且置信度最高结果进行保留,并在池满时替换最低置信度的保留样本;最后,在模型检测到跟踪失败或连续跟踪帧数达到特定阈值时,利用保留样本池进行在线训练更新模型,从而使模型在应对长时跟踪时保持鲁棒和高效。实验结果表明,LT-MDNet在跟踪精度和成功率上都展现了极强的竞争力,并且在目标被遮挡、出视野等情况下保持了优越的跟踪性能和可靠性。     

改进的KCF算法在车辆跟踪中的应用

针对核相关滤波算法(KCF)在复杂道路场景下难以应对因车辆尺度变化,遮挡及旋转而不能继续跟踪的问题,提出了一种新的跟踪方法来更好地实现复杂道路场景下的车辆跟踪。该方法借鉴快速分类尺度空间跟踪器(fDDST),采用一维尺度相关滤波器进行尺度估计。同时融合Kalman滤波器形成预测-跟踪-校准的跟踪机制。该机制结合遮挡处理能够保证系统在目标被严重遮挡时跟踪的准确性。在模型更新方面,在目标被遮挡时,自适应的调节学习率参数,及时纠正模型偏移、特征丢失等问题。实验结果表明,在复杂道路场景下车辆旋转 、遮挡及尺度变化时,均能有效地跟踪目标车辆,且具有良好的鲁棒性。     

多模型协作的分块目标跟踪

为解决复杂场景下,基于整体表观模型的目标跟踪算法容易丢失目标的问题,提出一种多模型协作的分块目标跟踪算法.融合基于局部敏感直方图的产生式模型和基于超像素分割的判别式模型构建目标表观模型,提取局部敏感直方图的亮度不变特征来抵制光照变化的影响;引入目标模型的自适应分块划分策略以解决局部敏感直方图算法缺少有效遮挡处理机制的问题,提高目标的抗遮挡性;通过相对熵和均值聚类度量子块的局部差异置信度和目标背景置信度,建立双权值约束机制和子块异步更新策略,在粒子滤波框架下,选择置信度高的子块定位目标.实验结果表明,本文方法在复杂场景下具有良好的跟踪精度和稳定性.     

结合Cannikin’s Law的离线数据增广方法研究

数据增广是提升深度学习模型性能的有效方法之一。针对多类别目标检测任务中检测性能不平衡问题,提出一种针对“短板类别”（检测性能远低于模型平均检测性能的类别）的离线数据增广方法。受Cannikin’s Law的启发,采用基于复制粘贴（copy-paste）机制的场景多样性增广方法。随机采集训练集中“短板类别”实例区域,通过相似性度量机制选取训练集中增广目标样本进行随机粘贴。为了降低随机粘贴导致的遮挡问题,采用基于自遮挡（cut-replace）机制的增广方法提升模型遮挡表达能力。通过截取样本自身区域,对特征表达最显著区域进行遮挡。实验表明,FCOS目标检测框架在PASCAL VOC数据上的平均检测精度（mean average precision,mAP）从79.10%提升到83.90%,其中短板类别更为显著,提升了20.8个百分点。在MS-COCO数据上平均检测精度提升了0.9个百分点。     

TUOD 遮挡图像库的设计与实现

遮挡问题是复杂场景图像中一个普遍存在的现象,探索遮挡对图像认知的影响规 律、建立具有抗遮挡能力的认知模型直接关系到计算机视觉技术的实际应用,是一个迫切需要 解决的科学问题。通过研究复杂场景图像中的遮挡问题,探索遮挡对图像认知的影响规律,建 立一个评估检测识别算法的抗遮挡能力、研究图像认知模型及抗遮挡规律的 TUOD (Tsinghua University Occlusion Database)遮挡图像库。首先,根据遮挡对图像识别的影响,提出遮挡部件、 遮挡面积、遮挡关系、遮挡复杂度 4 个维度的图像遮挡属性,建立了图像遮挡程度量化标准; 其次,基于遮挡维度提出一个新的层次化图像库组织结构,以此为基础进行数据库构建。从 PASCAL VOC 和 ImageNet 中进行图像筛选和处理,构建了一个包括飞机、车辆、人、动物 4 大类,共 2 100 张图片的 TUOD 遮挡图像库。利用 TUOD 图像库,结合机器学习理论,通过实 验比较分析不同遮挡维度对 Faster R-CNN 算法的影响。实验表明,TUOD 遮挡图像库能够为算 法的抗遮挡能力提供量化评估标准。TUOD 遮挡图像库的建立为提高抗遮挡算法的性能奠定了 基础,具有实用性。     

一种适用于井下人脸跟踪的改进主动形状模型

针对煤矿井下光照变化较大、矿工脸部受污染及遮挡等情况下主动形状模型(ASM)应用于井下人脸跟踪精度低的问题,提出了一种改进ASM。首先选用专用的训练样本集,通过定义镜像图像形成镜像样本集,然后对镜像样本集进行对数尺度化处理,并用相关块模型作为ASM的学习模型进行训练。实验结果表明,改进ASM能有效提高煤矿井下人脸跟踪精度。     

基于上下文感知与自适应响应融合的相关滤波跟踪算法

针对当前相关滤波跟踪算法在抗背景干扰、响应融合方式以及模型更新策略上的不足,提出一种基于上下文感知与自适应响应融合的相关滤波跟踪算法.通过引入上下文感知技术,提高算法在背景杂波及遮挡等跟踪场景下的鲁棒性;通过研究HOG特征和颜色直方图特征二者响应图和响应值的特点,提出一种自适应响应融合方法,提升融合响应图的可靠性;在模型更新方面,采用了高置信度模型更新策略来减轻传统模型更新策略中模型污染及跟踪漂移的问题.实验结果表明,本文算法在OTB50数据集上达到了74.7%的跟踪精度,跟踪成功率为54.8%,均优于对比的主流相关滤波跟踪算法,并且在背景杂波、光照变化、遮挡、运动模糊等复杂跟踪场景中具有较好的跟踪精度与鲁棒性.     

低视点下遮挡自适应感知的多目标跟踪算法

目的 针对低视点多目标跟踪场景的遮挡问题,提出一种能够遮挡自适应感知的多目标跟踪算法。方法 首先根据每帧图像的全局遮挡状态,提出了“自适应抗遮挡特征”,增强目标特征对遮挡的感知和调整能力。同时,采用“级联筛查机制”,减少由遮挡带来的目标特征剧烈变化而认定为“虚新入目标”的错误跟踪现象。最后,考虑到历史模板库中存在遮挡的模板对跟踪性能的影响,根据每一帧中目标的局部遮挡状态,提出自适应干扰模板更新机制,进一步提高对遮挡的应变和适应能力。结果 实验结果表明,本文算法在MOTA(multiple object tracking accuracy)、M OTP (multiple object tracking precision)、FN(false negatives)、Rcll (recall)、ML (mostly lost tracklets)等指标上明显优于STAM(spatial-temporal attention mechanism)、ATAF(aggregate tracklet appearance features)、STRN (spatial-temporal relat...     

多特征融合且抗遮挡的长时目标跟踪算法

针对目标跟踪过程中的遮挡、形变以及长时跟踪等问题进行研究,提出一种多特征融合且抗遮挡的长时目标跟踪算法.以判别尺度空间(DSST)算法为框架,融合颜色空间特征,引入APCE指标,增强目标位置的预测和抗遮挡能力,提高算法的鲁棒性;增加随机蕨分类器检测机制,在跟踪失败时对目标进行重新检测定位;在模型更新阶段,利用帧差法调整...     

基于子空间和直方图的多记忆自适应相关滤波目标跟踪算法

为了增强相关滤波算法(CF)在目标遮挡或背景干扰情况下跟踪的鲁棒性,提出基于子空间和直方图的多记忆自适应相关滤波目标跟踪算法.首先,针对CF使用的模板单一无法应对不同时期相邻帧目标表现的差异,提出利用随机更新策略学习多个目标模板,应对不同时期的目标变化.然后,针对不同的更新模板得到多个候选目标,利用子空间学习上一帧的表示系数,综合判断候选目标的准确性.同时,因为CF与子空间表示均利用模板判断跟踪结果,对背景杂乱等情况判断容易造成偏差,所以引入颜色直方图,利用统计特征作为独立的判断依据,增强算法对候选目标判断结果的准确性.在标准视频集上的实验表明,文中算法具备一定的抗遮挡及抗背景干扰能力.     

结合自适应更新策略和再检测技术的跟踪算法

基于相关滤波器的跟踪算法在计算机视觉领域表现出了卓越的性能,但是传统相关滤波器由于采用固定系数更新策略,在复杂环境下很容易发生模型漂移甚至因无法重新找回所跟踪的目标导致跟踪失败。为了使跟踪算法在遇到背景杂波、遮挡等问题时能具有更好的鲁棒性,提出了一种基于自适应更新策略和再检测技术的关联跟踪算法。自适应更新策略根据跟踪结果的置信度,自适应调整模版更新系数,降低模型漂移所造成的影响。当判定所跟踪的目标遭受严重遮挡或者跟踪失败时,利用再检测策略中的SVM分类器对所跟踪的目标进行重新检测,提高纠错能力。所提算法在OTB2013标准目标跟踪数据集上进行验证并与其他5种跟踪算法进行比较,目标跟踪精度与成功率分别提升13.8%和17.4%。当出现目标被遮挡或者目标视野丢失等情况时,本算法仍然可以对目标进行重新找回,实现稳定地跟踪。     

Robust tracking with adaptive appearance learning and occlusion detection

It is still challenging to design a robust and efficient tracking algorithm in complex scenes. We propose a new object tracking algorithm with adaptive appearance learning and occlusion detection in an efficient self-tuning particle filter framework. The appearance of an object is modeled with a set of weighted and ordered submanifolds, which can guarantee the adaptability when there is fast illumination or pose change. To overcome the occlusion problem, we use the reconstruction error data of the appearance model to extract occlusion region by graph cuts. And the tracking result is improved with feedback of occlusion detection. The motion model is also integrated with adaptability to overcome the abrupt motion problem. To improve the efficiency of particle filter, the number of samples is tuned with respect to the scene conditions. Experimental results demonstrate that our algorithm can achieve great robustness, high accuracy and good efficiency in challenging scenes.     

基于时空渐进特征模型的抗遮挡多目标跟踪

针对多目标跟踪过程中存在目标相互遮挡的问题,提出一种基于时空渐进特征模型的抗遮挡多目标跟踪方法.该方法根据目标的关联状态、重叠情况、深度顺序构建遮挡推理模型,在线识别被遮挡目标, 并对其进行基于时空渐进特征模型的目标再检测.首先,利用目标特征模型中的空间位置参数确定搜索区域;然后,计算目标模型与检测响应之间的表观特征相似度,引入一种自适应阈值,并选择相近程度较高的检测响应为候选量测;最后,采用时间特征匹配的方式获得目标真实检测响应,完成多目标跟踪的任务.通过MOT15和MOT17数据集中的实验结果表明,所提出方法能够有效地识别被遮挡目标,可在多种复杂场景下实现相互遮挡目标的鲁棒性跟踪,相对于现有方法具有较高的准确性、精度和轨迹完整性.     

融合尺度降维和重检测的长期跟踪算法

针对长期目标跟踪中存在的目标遮挡、尺度变化和光照变化等干扰造成的跟踪失败问题,提出一种融合尺度降维和重检测的长期目标跟踪算法.该算法在长期相关性跟踪算法的平移估计和尺度估计基础上,采用主成分分析降维策略来减少计算量,并建立高置信度样本集;当目标长期遮挡或丢失时,通过自适应阈值来启动在线分类检测器和最佳伙伴相似度匹配,重定位目标位置,并对模板均衡更新.在OTB-2015等标准数据集的部分序列上定量和定性评估的实验结果表明,文中算法的平均距离精度为95.4%,平均重叠成功率为89.2%,平均跟踪速度为23.68帧/s,且在遮挡、尺度变化和光照变化等场景下表现优异,能有效地实现长期目标跟踪.     

Multi-view correlation tracking with adaptive memory-improved update model

Recently, some researchers concentrate on applying multi-view learning to the correlation filter tracking to achieve both the efficiency and accuracy. However, most of them fail to effectively collaborate multiple views to deal with more complex environment. Moreover, their methods are prone to drift in case of long-term occlusion due to the memory loss. In this paper, we propose a novel multi-view correlation filters-based tracker for robust visual tracking. First, we present an adaptive multi-view collaboration strategy to highlight different contributions of different views by jointly considering the reliability and discrimination. Second, an effective memory-improved model update rule is introduced to avoid falling into a contaminated target model. Compared with the conventional linear interpolation update rule, it can effectively deal with long-term occlusion by improving the memory of historical models. Furthermore, instead of assigning a unified learning rate for all views in each frame, we design varying learning rates for different views according to their respective evaluations on the current tracking result, which can prevent the target models of all views from being contaminated at the same time. Finally, a failure-aware scale update scheme is developed to avoid noisy scale estimation in case of temporal tracking failure. Extensive experimental results on the recent benchmark demonstrate that our tracker performs favorably against other state-of-the-art trackers with a real-time performance.

     

高置信度互补学习的实时目标跟踪

目的 判别式目标跟踪算法在解决模型漂移问题时通常都是在预测结果的基础上构建更可靠的样本或采用更健壮的分类器,从而忽略了高效简洁的置信度判别环节。为此,提出高置信度互补学习的实时目标跟踪算法（HCCL-Staple）。方法 将置信度评估问题转化为子模型下独立进行的置信度计算与互补判别,对相关滤波模型计算输出的平均峰值相关能量（APCE）,结合最大响应值进行可靠性判定,当二者均以一定比例大于历史均值时,判定为可靠并进行更新,将颜色概率模型的输出通过阈值处理转化为二值图像,并基于二值图像形态学提取像素级连通分量属性（PCCP）,综合考虑连通分量数量、最大连通分量面积及矩形度进行可靠性判别,当置信度参数多数呈高置信度形态时,判定为可靠,进行更新;否则,判定为不可靠,降低该模型的融合权重并停止更新。结果 在数据集OTB-2015上的实验结果表明,HCCL-Staple算法与原算法相比,距离精度提高了3.2%,成功率提高了2.7%,跟踪速度为32.849帧/s,在颜色特征适应性较弱的场景和目标被遮挡的复杂场景中均能有效防止模型漂移,与当前各类主流的跟踪算法相比具有较好的跟踪效果。结论 两种子模型的置信度判别方法均能针对可能产生低置信度结果的敏感场景进行有效估计,且对输出形式相同的其他模型在置信度判别上具有一定的适用性。互补使用上述判别策略的HCCL-Staple算法能够有效防止模型漂移,保持高速的同时显著提升跟踪精度。