融合卷积神经网络的核相关滤波视觉目标跟随算法研究

近几年,目标跟随技术逐渐成为研究的热点。核相关滤波跟踪算法通过循环矩阵构造训练样本,将时域的卷积转换到频域的点乘完成滤波器的训练,降低计算复杂度,跟踪速度较快。卷积神经网络模型深度特征表征能力较强,可以充分利用图像信息,跟踪精度较高。将两种算法优势互补,构造一种卷积神经网络与核相关滤波算法融合型改进算法。即在线下阶段训练模型,分层提取孪生网络的深度特征,然后通过相关滤波器快速计算出最大响应图,预测目标所在位置。因此,改进后的算法在保持核相关滤波跟踪算法实时性的同时,可以大幅提高跟踪精度。     

基于自学习特征的相关滤波跟踪算法

依靠高效的鉴别回归模型和多线索特征，如方向梯度直方图（HOG）特征和颜色名（CN）特征，相关滤波（CF）跟踪算法取得了优异的跟踪效果。但其弱点是不能应对由表观变化过程中鉴别信息不充分而导致的跟踪失败。针对这一问题，提出了基于自学习特征的相关滤波跟踪算法（SLDCF）。其中，自学习特征探索了相邻帧之间协同表示的特性，能够学习到相邻帧之间的目标变化情况，同时有效减少背景的干扰，以提高滤波器的鉴别性。通过标准视频数据集上的验证对比实验，其跟踪效果优于其余传统的相关滤波跟踪算法，证明了该算法的有效性和鲁棒性。     

Learning Target-Adaptive Correlation Filters for Visual Tracking

Correlation filters (CF) achieve excellent performance in visual tracking but suffer from undesired boundary effects. A significant amount of approaches focus on enlarging search regions to make up for this shortcoming. However, this introduces excessive background noises and misleads the filter into learning from the ambiguous information. In this paper, we propose a novel target-adaptive correlation filter (TACF) that incorporates context and spatial-temporal regularizations into the CF framework, thus learning a more robust appearance model in the case of large appearance variations. Besides, it can be effectively optimized via the alternating direction method of multipliers(ADMM), thus achieving a global optimal solution. Finally, an adaptive updating strategy is presented to discriminate the unreliable samples and alleviate the contamination of these training samples. Extensive evaluations on OTB-2013, OTB-2015, VOT-2016, VOT-2017 and TC-128 datasets demonstrate that our TACF is very promising for various challenging scenarios compared with several state-of-the-art trackers, with real-time performance of 20 frames per second(fps).     

一种基于核相关滤波的视觉跟踪算法

视觉跟踪是计算机视觉的一个重要方向,而核相关滤波(KCF)跟踪是视觉跟踪领域中的一种比较新颖的方法,它不同于传统基于目标特征的方法,不仅具有较高的跟踪精度,而且具有较快的跟踪速度,在实际应用中效果显著。但当物体快速运动或存在较大尺度变化等时,该方法无法准确地跟踪目标。文中提出的基于核相关滤波器的改进算法有效地解决了上述问题,其通过随机更新多模板匹配,确定了核相关滤波的学习因子,从而实现了学习因子自适应更新模型。实验结果表明,该算法根据不同的场景能快速地调整学习因子,从而提高跟踪的成功度。通过自适应学习因子和多模板匹配,该算法对部分遮挡、光照和目标尺度变化具有较强的适应性。     

Robust Visual Tracking Based on Convolutional Features with Illumination and Occlusion Handing

视觉追踪是在计算机视觉的一个重要区域。怎么处理照明和吸藏问题是一个挑战性的问题。这份报纸论述一篇小说和有效追踪算法处理如此的问题。一方面,一起始的外观总是有的目标清除轮廓,它对照明变化光不变、柔韧。在另一方面,特征在追踪起一个重要作用,在哪个之中 convolutional 特征显示出有利性能。因此,我们采用卷的轮廓特征代表目标外观。一般来说,一阶的衍生物边坡度操作员在由卷检测轮廓是有效的他们与图象。特别, Prewitt 操作员对水平、垂直的边更敏感,当 Sobel 操作员对斜边更敏感时。内在地, Prewitt 和 Sobel 与对方一起是补足的。技术上说,这份报纸设计二组 Prewitt 和 Sobel 边察觉者提取一套完全的 convolutional 特征,它包括水平、垂直、斜的边特征。在第一个框架,轮廓特征从目标被提取构造起始的外观模型。在有这些轮廓特征的试验性的图象的分析以后,明亮的部分经常提供更有用的信息描述目标特征,这能被发现。因此,我们建议一个方法比较候选人样品和我们仅仅使用明亮的象素的训练模型的类似,它使我们的追踪者有能力处理部分吸藏问题。在得到新目标以后,变化以便改编外观,我们建议相应联机策略逐渐地更新我们的模型。convolutional 特征由井综合的 Prewitt 和 Sobel 边察觉者提取了的实验表演能是足够有效的学习柔韧的外观模型。九个挑战性的序列上的众多的试验性的结果证明我们的建议途径与最先进的追踪者比较很有效、柔韧。     

基于相关滤波融合多特征的运动目标跟踪方法

针对复杂环境下仅使用单一图像特征跟踪精度和鲁棒性差的问题,提出一种多特征融合的相关滤波目标跟踪算法。该算法首先从目标和背景区域分别提取方向梯度直方图(Histogram of oriented gradient,HOG)特征、颜色直方图特征和卷积特征,采用固定权重方法融合HOG特征和颜色直方图特征的特征响应图,然后将该层融合结果与卷积特征响应图采用自适应权重融合策略进行融合,基于融合后的响应图估计出目标位置,并采用尺度估计方法解决目标尺度变化问题,最后采用稀疏模型更新策略进行模型更新。在OTB-2013公开标准测试集中验证本文算法性能,并与主流的目标跟踪算法进行了对比分析。实验结果表明,与其中最优算法相比,本文算法的平均距离精度值和平均重叠精度值都有所提高。本文算法由于有效地利用了HOG特征、颜色直方图特征和卷积特征,在复杂场景下目标跟踪的准确性和鲁棒性都优于其他算法。     

Environmental Perception with Spatial Regularization Correlation Filter for Visual Tracking

With the introduction of correlation filtering (CF), the performance of visual object tracking is significantly improved. Circular shifts collecting samples is a key component of the CF tracker, and it also causes negative boundary effects. Most trackers add spatial regularization to alleviate boundary effects well. However, these trackers ignore the effect of environmental changes on tracking performance, and the filter discriminates poorly in the background interference. Here, to break these limitations, we propose a new correlation filter model, namely Environmental Perception with Spatial Regularization Correlation Filter for Visual Tracking. Specifically, we use the Average Peak to Correlation Energy (APCE) and the response value error between the two frames together to perceive environmental changes, which adjusts the learning rate to make the template more adaptable to environmental changes. To enhance the discriminatory capability of the filter, we use real background information as negative samples to train the filter model. In addition, the introduction of the regular term destroys the closed solution of CF, and this problem can be effectively solved by the use of the alternating direction method of multipliers (ADMM). Extensive experimental evaluations on three large tracking benchmarks are performed, which demonstrate the good performance of the proposed method over some of the state-of-the-art trackers.     

基于相关滤波器的视频跟踪方法研究进展

视频跟踪是计算机视觉的重要组成部分,可在智能交通、医疗诊断等实际应用中发挥重要作用.近年来,相关滤波器凭借精度高、速度快的优势,逐步发展为视频跟踪方法的主要研究方向之一,可以很好地处理多种视频跟踪难题.随着基于相关滤波器的视频跟踪系列方法被相继提出,算法设计趋于完善,跟踪效果也趋于精准.本文从不同角度总结了多种具有代表性的相关滤波跟踪方法,分析了各种方法的发展进程,并预测了未来可能的发展方向.     

基于多种颜色特征结合的相关滤波器跟踪算法

当被跟踪目标受变形、遮挡、快速和不规则运动等因素的干扰时,基于单一颜色特征的相关滤波器跟踪算法难以实现精准的目标定位。为此,分析基于多通道颜色特征Color Names(CN)的核相关滤波器算法(KCF),结合CN特征与颜色统计特征提出一种改进算法。使用掩模矩阵对CN特征的训练样本进行裁切,以提高真实样本的比例。在此基础上,将CN特征与颜色统计特征用于位置相关滤波器的训练,分别获得目标位置,并对两者进行加权处理,得到最终的目标跟踪结果。实验结果表明,与KCF和benchmark_tracker库中性能较优的算法相比,该算法在目标变形、遮挡等干扰下的跟踪精确度和成功率较高。     

融合显著性与运动信息的相关滤波跟踪算法

主流的目标跟踪算法以矩形模板的形式建立被跟踪物体的视觉表征, 无法有效区分目标与背景像素, 在背景复杂、目标非刚体形变、复杂运动等挑战性因素影响下容易出现模型偏移的问题, 导致跟踪失败. 与此同时, 像素级的显著性信息与运动先验信息作为人类视觉系统有效区分目标与背景、识别运动物体的重要信号, 并没有在主流目标跟踪算法中得到有效的集成利用. 针对上述问题, 提出目标的像素级概率性表征模型, 并且建立与之对应的像素级目标概率推断方法, 能够有效利用像素级的显著性与运动观测信息, 实现与主流的相关滤波跟踪算法的融合; 提出基于显著性的观测模型, 通过背景先验与提出的背景距离模型, 能够在背景复杂的情况下得到高辨识度的像素级图像观测; 利用目标与相机运动的连续性来计算目标和背景的运动模式, 并以此为基础建立基于运动估计的图像观测模型. 实验结果表明, 提出的目标表征模型与融合方法能够有效集成上述像素级图像观测信息, 提出的跟踪方法总体跟踪精度优于多种当下最先进的跟踪器, 对跟踪场景中的背景复杂、目标形变、平面内旋转等挑战性因素具有更好的鲁棒性.     

多特征重检测的相关滤波无人机视觉跟踪

无人机视觉跟踪是视觉跟踪未来应用的核心领域,其由于跟踪目标像幅较小、表 观不清且易受到无人机飞行姿态多变、飞行稳定性差等因素的影响而难以对目标进行鲁棒的跟 踪,特别是发生跟踪遮挡时,算法跟踪漂移后无法进行模型的更新。为提高无人机视频的跟踪 效果,提出一种多特征重检测跟踪方法。首先采用多特征融合的方式提高跟踪算法在无人机跟 踪特征的判别性。其次目标在出现遮挡时,扩大搜索区域,采用滑动窗口采样找到置信度最高 的目标区域并实现模型更新。通过一系列无人机视频实验结果表明,该算法在遇到遮挡问题时 具有较好的鲁棒性,能够提高无人机在目标跟踪过程中的准确性。     

An Adaptive Padding Correlation Filter With Group Feature Fusion for Robust Visual Tracking

In recent visual tracking research, correlation filter (CF) based trackers become popular because of their high speed and considerable accuracy. Previous methods mainly work on the extension of features and the solution of the boundary effect to learn a better correlation filter. However, the related studies are insufficient. By exploring the potential of trackers in these two aspects, a novel adaptive padding correlation filter (APCF) with feature group fusion is proposed for robust visual tracking in this paper based on the popular context-aware tracking framework. In the tracker, three feature groups are fused by use of the weighted sum of the normalized response maps, to alleviate the risk of drift caused by the extreme change of single feature. Moreover, to improve the adaptive ability of padding for the filter training of different object shapes, the best padding is selected from the preset pool according to tracking precision over the whole video, where tracking precision is predicted according to the prediction model trained by use of the sequence features of the first several frames. The sequence features include three traditional features and eight newly constructed features. Extensive experiments demonstrate that the proposed tracker is superior to most state-of-the-art correlation filter based trackers and has a stable improvement compared to the basic trackers.      

球粒子滤波视频跟踪算法

粒子退化现象是制约粒子滤波器性能的一个重要因素。为提高粒子采样质量和视频跟踪算法的精度,文中提出球粒子滤波视觉跟踪算法。将球状采样方式引入到粒子更新过程中较好地保证状态空间中粒子的有效性。与传统粒子滤波算法相比,这种采样方式能利用少量粒子实现分布多样性的同时,有效克服粒子退化现象。小球迭代运动可使粒子集朝较大后验概率分布区域移动。球粒子滤波算法不依赖系统状态模型特性可理想实现运动状态不规则的机动目标跟踪。实验结果表明,该算法有效提高粒子利用率,具有较好的跟踪精度。     

基于深度特征与局部约束掩膜的相关滤波跟踪算法

为提升相关滤波算法在目标遮挡、快速运动以及背景杂乱等情况下跟踪结果的精确度和鲁棒性,提出了一种基于深度特征与局部约束掩膜(Local constrained mask, LCM)的相关滤波跟踪算法。在鉴别性相关滤波跟踪算法的基础上,利用学习得到的二值矩阵作为LCM对滤波器的能量分布进行裁剪,对模板边缘与测试图像之间产生的响应值进行抑制,实现扩大目标搜索区域的同时降低边界效应对跟踪结果的影响;将深度特征引入到特征提取过程中,通过对目标样本进行旋转、翻折和高斯模糊等处理,扩充训练样本数量,使模板学习到更为丰富的目标信息。与主流算法进行对比实验,验证了本文算法在处理目标遮挡、背景嘈杂以及光照变化等干扰时的鲁棒性。     

Incremental Learning for Robust Visual Tracking

Visual tracking, in essence, deals with non-stationary image streams that change over time. While most existing algorithms are able to track objects well in controlled environments, they usually fail in the presence of significant variation of the object’s appearance or surrounding illumination. One reason for such failures is that many algorithms employ fixed appearance models of the target. Such models are trained using only appearance data available before tracking begins, which in practice limits the range of appearances that are modeled, and ignores the large volume of information (such as shape changes or specific lighting conditions) that becomes available during tracking. In this paper, we present a tracking method that incrementally learns a low-dimensional subspace representation, efficiently adapting online to changes in the appearance of the target. The model update, based on incremental algorithms for principal component analysis, includes two important features: a method for correctly updating the sample mean, and a forgetting factor to ensure less modeling power is expended fitting older observations. Both of these features contribute measurably to improving overall tracking performance. Numerous experiments demonstrate the effectiveness of the proposed tracking algorithm in indoor and outdoor environments where the target objects undergo large changes in pose, scale, and illumination.     

基于背景约束与卷积特征的目标跟踪方法

针对目标跟踪中因背景混叠和遮挡等因素导致的目标丢失问题,提出了一种基于背景约束与卷积特征的目标跟踪方法（TBCCF）。对输入图像进行多特征融合并降维,增强目标特征判别性能的同时降低特征计算的复杂度;在滤波器训练过程中引入背景约束,使得滤波器更专注于目标响应,以提升抗干扰能力;通过设置记忆滤波器与峰值旁瓣比检测,判断目标是否丢失。若丢失,引入卷积特征滤波器进行重检测,实现目标的重捕获。在Visual Tracking Benchmark数据集50个复杂场景视频序列上的实验结果表明,所提算法总体精度和总体成功率优于现有的多数跟踪算法。     

基于子空间和直方图的多记忆自适应相关滤波目标跟踪算法

为了增强相关滤波算法(CF)在目标遮挡或背景干扰情况下跟踪的鲁棒性,提出基于子空间和直方图的多记忆自适应相关滤波目标跟踪算法.首先,针对CF使用的模板单一无法应对不同时期相邻帧目标表现的差异,提出利用随机更新策略学习多个目标模板,应对不同时期的目标变化.然后,针对不同的更新模板得到多个候选目标,利用子空间学习上一帧的表示系数,综合判断候选目标的准确性.同时,因为CF与子空间表示均利用模板判断跟踪结果,对背景杂乱等情况判断容易造成偏差,所以引入颜色直方图,利用统计特征作为独立的判断依据,增强算法对候选目标判断结果的准确性.在标准视频集上的实验表明,文中算法具备一定的抗遮挡及抗背景干扰能力.     

基于相关滤波的长期跟踪算法

针对目标遮挡导致跟踪失败的问题,在核相关滤波器(KCF)的基础上,提出目标重检测的长期跟踪算法.将方向梯度直方图特征与亮度颜色空间(LAB)颜色信息融合,建立目标外观模型,并增加尺度估计对应目标尺度的改变.通过引入峰值比控制重检测模块的启动,提取Harris角点重新学习新的模型,对目标进行持续跟踪,并控制模型更新速率.在OTB数据集上的对比实验表明,文中算法跟踪精度较高,适用于遮挡情况下的目标长期跟踪.     

一种自适应尺度与学习速率调整的背景感知相关滤波跟踪算法

针对跟踪过程中遮挡因素以及目标尺度变化因素导致的目标跟踪漂移问题,文中提出了一种自适应尺度与学习速率调整的背景感知相关滤波跟踪算法.该算法首先通过背景感知相关滤波器获得目标的初步位置信息;其次在背景感知相关滤波器的基础框架下训练尺度相关滤波器,以有效估计目标尺度变化,从而准确调整搜索区域的大小;然后根据响应图波动情况进...     

Joint Classification and Regression for Visual Tracking with Fully Convolutional Siamese Networks

International Journal of Computer Vision - Visual tracking of generic objects is one of the fundamental but challenging problems in computer vision. Here, we propose a novel fully convolutional...