基于堆栈式消噪自编码机的分块目标跟踪（英文）

在视觉目标跟踪系统中,特征的表达和提取是重要的组成部分.本文提出基于多个自编码机网络相联合的特征提取机,通过对输入数据进行一定程度的重组,采用深度学习的理论对其局部特征进行描述并对结果进行联合决策.结合该网络结构,本文提出一种融合局部特征的深度信息进行目标跟踪的算法.将输入图像分块使得大量的乘法运算转化为加法和乘法的混合运算,相对于全局的特征表达,大幅降低了运算复杂度.在跟踪过程中,目标候选区的各分块权重能够根据相应网络的置信度进行自适应的调整,提升了跟踪器对光照变化、目标姿态和遮挡的适应.实验表明,该跟踪算法在鲁棒性和跟踪速度上表现优秀.     

高斯核函数卷积神经网络跟踪算法

针对深度学习跟踪算法训练样本缺少、训练费时、算法复杂度高等问题,引入高斯核函数进行加速,提出一种无需训练的简化卷积神经网络跟踪算法。首先,对初始帧目标进行归一化处理并聚类提取一系列初始滤波器组,跟踪过程中结合目标背景信息与前景候选目标进行卷积;然后,提取目标简单抽象特征;最后,将简单层的卷积结果进行叠加得到目标的深层次特征表达。通过高斯核函数加速来提高算法中全部卷积运算的速度,利用目标的局部结构特征信息,对网络各阶段滤波器进行更新,结合粒子滤波跟踪框架实现跟踪。在CVPR2013跟踪数据集上的实验表明,本文方法脱离了繁琐深度学习运行环境,能克服低分辨率下目标局部遮挡与形变等问题,提高复杂背景下的跟踪效率。     

基于局部二值模式和深度学习的人脸识别

针对人脸识别中深度学习直接提取人脸特征时忽略了其局部结构特征的问题,提出一种将分块局部二值模式(LBP)与深度学习相结合的人脸识别方法.首先,将人脸图像分块,利用均匀LBP算子分别提取图像各局部的LBP直方图特征,再按照顺序连接在一起形成整个人脸的LBP纹理特征; 其次,将得到的LBP特征作为深度信念网络(DBN)的输入,逐层训练网络,并在顶层形成分类面; 最后,用训练好的深度信念网络对人脸样本进行识别.在ORL、YALE和FERET人脸库上的实验结果表明,所提算法与采用支持向量机(SVM)的方法相比,在小样本的人脸识别中有很好的识别效果.     

多物体遮挡情况下的视觉跟踪算法

针对视频监控中多运动物体间的遮挡问题,提出一种结合全局特征匹配与局部特征匹配的目标跟踪算法.该算法采用基于直方图和基于分块的方法共同表达目标的灰度特征.遮挡发生前实时进行遮挡预判,遮挡时采用基于块分类的方法跟踪目标,遮挡结束后通过直方图匹配重新定位目标.实验结果表明了该方法的有效性和优越性.     

核相关滤波与孪生网络相结合的目标跟踪算法

针对核相关滤波目标跟踪算法中对局部上下文区域图像提取的HOG特征图在复杂环境下不能保证目标跟踪的精度问题,提出了一种核相关滤波与孪生网络相结合的目标跟踪算法.首先在首帧输入图像中提取HOG特征图并建立相关滤波器模板,同时提取经过孪生网络的目标区域图像特征图;然后若后续帧输入图像帧数不为5的倍数则提取仿射变换HOG特征图,否则提取经过孪生网络的搜索区域图像特征图;最后根据遮挡处理的结果自适应获取目标位置并更新模型和最终相关滤波器模板.仿真实验结果表明本文算法在保证目标跟踪精度的前提下具有满足实时跟踪要求的跟踪速率.     

分块多特征目标描述子的移动机器人目标跟踪

为解决机器人目标跟踪过程中的遮挡和外观改变等问题, 提出一种分块多特征描述子的方法. 该方法将候选样本分块, 提取图像片的深度、颜色、纹理特征来表示目标构造检测器. 结合目标与机器人的运动构造运动卡尔曼滤波器(MEKF) 作为跟踪器. 跟踪过程中根据目标深度信息调整其尺寸, 结合深度特征及图像片外观相似度进行检测并处理遮挡. 实验结果表明, 该算法对目标的尺度变化、光照改变和遮挡现象具有较强的鲁棒性.

     

基于VGG网络的鲁棒目标跟踪算法

针对传统目标跟踪算法中当目标被遮挡和受光照强度变化等多种因素干扰时,相关滤波器模板更新不准确,误差逐帧累积最终导致目标跟踪失败,提出了一种基于VGG网络的鲁棒目标跟踪算法。首先通过VGG网络对第1帧输入图像中的局部上下文区域提取平均特征图来建立相关滤波器模板;然后通过VGG网络对后续帧输入图像中的局部上下文区域提取平均特征图和仿射变换平均特征图;其次与核相关滤波跟踪算法相结合,自适应确定目标位置和最终目标位置;最后自适应更新最终平均特征图和最终相关滤波器模板。实验结果表明,本文算法在目标被遮挡和受光照强度变化等多种因素干扰时,仍具有较高的目标跟踪精度和较强的鲁棒性。     

引入轻量级Transformer的无人机视觉跟踪

随着无人机在军事和民用领域的广泛运用,对于高精度、低功耗智能无人机跟踪系统的需求日益增加。针对目标跟踪算法在无人机跟踪场景下很难平衡跟踪精度和跟踪速度的问题,提出一种引入轻量级Transformer的孪生网络无人机目标跟踪算法SiamLT。使用Transformer对AlexNet网络进行改进,在增加最小计算量的情况下捕获全局特征信息。在目标模板与搜索区域匹配方面,联合Transformer和深度互相关运算提出一种二元相关模块,同时捕获目标模板与搜索区域之间的局部相关性和全局依赖关系。在分类回归网络中引入距离交并比,并采用多监督策略训练网络,以获取更准确的目标位置。在UAV123和UAV20L跟踪基准上的实验结果表明,SiamLT算法优于主流的目标跟踪算法,更有效地平衡了跟踪精度和跟踪速度。     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法。设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小。使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情况下提取表达性更强的深度特征,从而完成目标跟踪任务并提高模型的跟踪精度。在GOT-10K、OTB100和VOT2016基准上对算法性能进行测试,结果表明,该算法能够将模型大小降为3.8×10⁶,且速度与精度均优于SiamFC、KCF和DAT等跟踪算法。     

多物体遮挡情况下的视觉跟踪算法研究

针对视频监控中多运动物体间的遮挡问题,提出了一种新的结合全局特征和局部特征匹配的目标跟踪算法。该算法采用直方图的方法和基于分块的方法共同表达目标的灰度特征。遮挡发生前实时进行遮挡预判,遮挡时,利用基于块分类的方法跟踪目标,遮挡结束后,通过直方图匹配重新定位目标。实验结果证明了该方法的有效性和优越性。     

快速深度学习的鲁棒视觉跟踪

目的 基于深度学习的视觉跟踪算法具有跟踪精度高、适应性强的特点,但是,由于其模型参数多、调参复杂,使得算法的时间复杂度过高。为了提升算法的效率,通过构建新的网络结构、降低模型冗余,提出一种快速深度学习的算法。方法 鲁棒特征的提取是视觉跟踪成功的关键。基于深度学习理论,利用海量数据离线训练深度神经网络,分层提取描述图像的特征;针对网络训练时间复杂度高的问题,通过缩小网络规模得以大幅缓解,实现了在GPU驱动下的快速深度学习;在粒子滤波框架下,结合基于支持向量机的打分器的设计,完成对目标的在线跟踪。结果 该方法精简了特征提取网络的结构,降低了模型复杂度,与其他基于深度学习的算法相比,具有较高的时效性。系统的跟踪帧率总体保持在22帧/s左右。结论 实验结果表明,在目标发生平移、旋转和尺度变化,或存在光照、遮挡和复杂背景干扰时,本文算法能够实现比较稳定和相对快速的目标跟踪。但是,对目标的快速移动和运动模糊的鲁棒性不够高,容易受到相似物体的干扰。     

Tracking by an Optimal Sequence of Linear Predictors

We propose a learning approach to tracking explicitly minimizing the computational complexity of the tracking process subject to user-defined probability of failure (loss-of-lock) and precision. The tracker is formed by a Number of Sequences of Learned Linear Predictors (NoSLLiP). Robustness of NoSLLiP is achieved by modeling the object as a collection of local motion predictors - object motion is estimated by the outlier-tolerant Ransac algorithm from local predictions. Efficiency of the NoSLLiP tracker stems from (i) the simplicity of the local predictors and (ii) from the fact that all design decisions - the number of local predictors used by the tracker, their computational complexity (i.e. the number of observations the prediction is based on), locations as well as the number of Ransac iterations are all subject to the optimization (learning) process. All time-consuming operations are performed during the learning stage - tracking is reduced to only a few hundreds integer multiplications in each step. On PC with 1xK8 3200+, a predictor evaluation requires about 30 microseconds. The proposed approach is verified on publicly-available sequences with approximately 12000 frames with ground-truth. Experiments demonstrates, superiority in frame rates and robustness with respect to the SIFT detector, Lucas-Kanade tracker and other trackers.     

A grid-based Bayesian approach to robust visual tracking

Visual tracking encompasses a wide range of applications in surveillance, medicine and the military arena. There are however roadblocks that hinder exploiting the full capacity of the tracking technology. Depending on specific applications, these roadblocks may include computational complexity, accuracy and robustness of the tracking algorithms. In the paper, we present a grid-based algorithm for tracking that drastically outperforms the existing algorithms in terms of computational efficiency, accuracy and robustness. Furthermore, by judiciously incorporating feature representation, sample generation and sample weighting, the grid-based approach accommodates contrast change, jitter, target deformation and occlusion. Tracking performance of the proposed grid-based algorithm is compared with two recent algorithms, the gradient vector flow snake tracker and the Monte Carlo tracker, in the context of leukocyte (white blood cell) tracking and UAV-based tracking. This comparison indicates that the proposed tracking algorithm is approximately 100 times faster, and at the same time, is significantly more accurate and more robust, thus enabling real-time robust tracking.     

基于1-norm SVM权值学习的多示例目标跟踪

针对复杂场景下目标跟踪存在鲁棒性低,容易发生跟踪漂移的问题,提出一种改进的多示例目标跟踪算法。该算法针对多示例跟踪算法在包概率计算过程中忽略样本间的差异,对所有样本赋予相同权值,造成分类器性能下降及弱分类器选择存在复杂度高的问题,通过1-norm SVM计算各样本对包概率的重要程度,并在弱分类器选择过程采用内积的方法计算包概率的似然函数,从而减小算法的复杂度和计算时间。实验结果表明,该算法在目标发生遮挡、姿势变化、场景光照发生较大变化以及出现相似目标等较强干扰的情况下仍能较好地跟踪目标,具有较强的鲁棒性和抗干扰能力。     

Robust feature learning for online discriminative tracking without large-scale pre-training

Owing to the inherent lack of training data in visual tracking, recent work in deep learning-based trackers has focused on learning a generic representation offline from large-scale training data and transferring the pre-trained feature representation to a tracking task. Offline pre-training is time-consuming, and the learned generic representation may be either less discriminative for tracking specific objects or overfitted to typical tracking datasets. In this paper, we propose an online discriminative tracking method based on robust feature learning without large-scale pre-training. Specifically, we first design a PCA filter bank-based convolutional neural network (CNN) architecture to learn robust features online with a few positive and negative samples in the high-dimensional feature space. Then, we use a simple soft-thresholding method to produce sparse features that are more robust to target appearance variations. Moreover, we increase the reliability of our tracker using edge information generated from edge box proposals during the process of visual tracking. Finally, effective visual tracking results are achieved by systematically combining the tracking information and edge box-based scores in a particle filtering framework. Extensive results on the widely used online tracking benchmark (OTB-50) with 50 videos validate the robustness and effectiveness of the proposed tracker without large-scale pre-training.     

基于背景约束与卷积特征的目标跟踪方法

针对目标跟踪中因背景混叠和遮挡等因素导致的目标丢失问题,提出了一种基于背景约束与卷积特征的目标跟踪方法（TBCCF）。对输入图像进行多特征融合并降维,增强目标特征判别性能的同时降低特征计算的复杂度;在滤波器训练过程中引入背景约束,使得滤波器更专注于目标响应,以提升抗干扰能力;通过设置记忆滤波器与峰值旁瓣比检测,判断目标是否丢失。若丢失,引入卷积特征滤波器进行重检测,实现目标的重捕获。在Visual Tracking Benchmark数据集50个复杂场景视频序列上的实验结果表明,所提算法总体精度和总体成功率优于现有的多数跟踪算法。     

Robust object tracking via multi-scale patch based sparse coding histogram

There are many visual tracking algorithms that are based on sparse representation appearance model. Most of them are modeled by local patches with fixed patch scale, which make trackers less effective when objects undergone appearance changes such as illumination variation, pose change or partial occlusion. To solve the problem, a novel appearance representation model is proposed via multi-scale patch based sparse coding histogram for robust visual tracking. In this paper, the appearance of an object is modeled by different scale patches, which are represented by sparse coding histogram with different scale dictionaries. Then a similarity measure is applied to the calculation of the distance between the sparse coding histograms of target candidate and target template. Finally, the similarity score of the target candidate is passed to a particle filter to estimate the target state sequentially in the tracking process. Additionally, in order to decrease the visual drift caused by partial occlusion, an occlusion handling strategy is adopted, which takes the spatial information of multi-scale patches and occlusion into account. Based on the experimental results on some benchmarks of video sequences, our tracker outperforms state-of-the-art tracking methods.     

结合双模板融合与孪生网络的鲁棒视觉目标跟踪

目的 视觉目标跟踪算法主要包括基于相关滤波和基于孪生网络两大类。前者虽然精度较高但运行速度较慢,无法满足实时要求。后者在速度和精度方面取得了出色的跟踪性能,然而,绝大多数基于孪生网络的目标跟踪算法仍然使用单一固定的模板,导致算法难以有效处理目标遮挡、外观变化和相似干扰物等情形。针对当前孪生网络跟踪算法的不足,提出了一种高效、鲁棒的双模板融合目标跟踪方法(siamese tracker with double template fusion,Siam-DTF)。方法 使用第1帧的标注框作为初始模板,然后通过外观模板分支借助外观模板搜索模块在跟踪过程中为目标获取合适、高质量的外观模板,最后通过双模板融合模块,进行响应图融合和特征融合。融合模块结合了初始模板和外观模板各自的优点,提升了算法的鲁棒性。结果 实验在3个主流的目标跟踪公开数据集上与最新的9种方法进行比较,在OTB2015(object tracking benchmark 2015)数据集中,本文方法的AUC(area under curve)得分和精准度分别为0.701和0.918,相比于性能第2的SiamRPN++(siamese region proposal network++)算法分别提高了0.6%和1.3%;在VOT2016(visual object tracking 2016)数据集中,本文方法取得了最高的期望平均重叠(expected average overlap,EAO)和最少的失败次数,分别为0.477和0.172,而且EAO得分比基准算法SiamRPN++提高了1.6%,比性能第2的SiamMask_E算法提高了1.1%;在VOT2018数据集中,本文方法的期望平均重叠和精确度分别为0.403和0.608,在所有算法中分别排在第2位和第1位。本文方法的平均运行速度达到47帧/s,显著超出跟踪问题实时性标准要求。结论 本文提出的双模板融合目标跟踪方法有效克服了当前基于孪生网络的目标跟踪算法的不足,在保证算法速度的同时有效提高了跟踪的精确度和鲁棒性,适用于工程部署与应用。     

多空间分辨率自适应特征融合的相关滤波目标跟踪算法

相关滤波算法因无法充分利用深度特征和浅层特征的互补特性而限制跟踪性能.针对该问题,文中提出多空间分辨率自适应特征融合的相关滤波目标跟踪算法.首先,使用更深的ResNet-50网络提取深度特征,提高特征表示在跟踪过程中的鲁棒性和鉴别性.再针对不同特征具有不同空间分辨率的特点,从视频帧中分割不同尺度的图像块作为搜索区域,更好地平衡边界效应和样本数目.最后,引入自适应特征融合方法,以自适应的权重融合两类特征的响应图,充分利用其互补特性.在多个标准数据集上的实验证实文中算法的有效性和鲁棒性.     

增强二阶网络调制的目标跟踪

目的 表观模型对视觉目标跟踪的性能起着决定性的作用。基于网络调制的跟踪算法通过构建高效的子网络学习参考帧目标的表观信息,以用于测试帧目标的鲁棒匹配,在多个目标跟踪数据集上表现优异。但是,这类跟踪算法忽视了高阶信息对鲁棒建模物体表观的重要作用,致使在物体表观发生大尺度变化时易产生跟踪漂移。为此本文提出全局上下文信息增强的二阶池化调制子网络,以学习高阶特征提升跟踪器的性能。方法 首先,利用卷积神经网络（convolutional neural networks,CNN）提取参考帧和测试帧的特征;然后,对提取的特征采用不同方向的长短时记忆网络（long shot-term memory networks,LSTM）捕获每个像素的全局上下文信息,再经过二阶池化网络提取高阶信息;最后,通过调制机制引导测试帧学习最优交并比预测。同时,为提升跟踪器的稳定性,在线跟踪通过指数加权平均自适应更新物体表观特征。结果 实验结果表明,在OTB100（object tracking benchmark）数据集上,本文方法的成功率为67.9%,超越跟踪器ATOM （accurate tracking by overlap maximization）1.5%;在VOT （visual object tracking）2018数据集上平均期望重叠率（expected average overlap,EAO）为0.44,超越ATOM 4%。结论 本文通过构建全局上下文信息增强的二阶池化调制子网络来学习高效的表观模型,使跟踪器达到目前领先的性能。