多模型融合的孪生网络视觉跟踪

为提升孪生网络视觉跟踪算法的准确性,提出一种融合多任务差异化同质型模型的孪生网络视觉跟踪算法。首先在决策层对孪生网络视觉跟踪模型与目标分割模型进行融合,然后结合多尺度搜索区域、目标上下文特征、多学习率模型更新策略进行跟踪。在标准数据集VOT、OTB、LaSOT、UAV123上进行算法评估。实验结果表明,所提算法在遮挡、快速运动、光照变化等干扰下可以稳定跟踪目标。     

基于孪生网络快速运动弱目标实时跟踪

针对现有目标跟踪算法对快速运动弱目标跟踪效果不佳的问题,提出了一种时空连续的多特征融合孪生网络算法.首先以全卷积孪生网络为基本框架;其次设计了一种从粗到细结合空间信息和语义信息的鲁棒性特征来表达快速运动弱目标,并添加了特征注意力;最后采用时空信息连续性模型对整体信息进行有效的更新,从而选定最佳跟踪目标.在快速运动弱目标...     

基于孪生神经网络的两阶段目标跟踪方法

深度学习技术使目标跟踪的精度和鲁棒性得到了很大提高,基于孪生网络的跟踪方法通过在大规模数据集上进行训练,使模型能应对目标的各种形变,缺点是无法排除相似目标的干扰。为此,提出了一种基于孪生网络的两阶段目标跟踪方法。首先,采用修改后的残差网络提取性能更优的深度特征。区域建议网络通过相关滤波调制自适应更新模板,结合时域信息过滤掉易区分的负样本;然后,通过感兴趣池化层提取候选区域固定尺度的特征,并馈送到验证网络进行更精细的分类与回归。为了提升网络对高难度样本的区分能力,采用正负样本对联合训练的方式提高特征匹配的性能。在OTB100、VOT标准测试集和UAV123无人机航拍数据集上进行了评测,实验结果表明:所提方法能明显改进基准算法的性能。     

基于孪生网络的目标跟踪算法

在计算机视觉应用中，基于孪生网络的跟踪算法相比于传统的目标跟踪算法在速度和精度上都有所提升，但是其受到遮挡、形变等干扰因素影响较大。基于此，本文对现有基于孪生网络的目标跟踪方法和技术所作的改进进行了总结分析，主要包括在孪生网络中引入全卷积孪生神经网络方法、引入回归方法和在线更新方法，对基于3种方法的目标跟踪算法的改进进行了综述，并详细介绍了近年来孪生网络在目标跟踪应用中的国内外研究进展和发展现状。同时，采用VOT2017和LaSOT数据集进行了实验对比，比较了多种基于孪生神经网络跟踪算法的性能。最后，对基于孪生网络的目标跟踪方法的发展趋势进行了展望。     

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的。针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法。该文创新性地将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度。在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求。     

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的.针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法.该文创新性地将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度.在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求.     

基于孪生网络与注意力机制的目标跟踪方法

为了解决在目标跟踪过程中对目标跟踪不准确,导致目标跟踪丢失或漂移等情况。本文在此基础上提出基于孪生网络与注意力机制相结合的目标跟踪方法。将网络架构有原有的AlexNet网络更改为经过修改的ResNet50网络,并在网络结构中加入卷积模块注意力。该注意力机制从通道和空间两个维度计算特征图和注意力图。最后,在OTB100上对算法进行了评估,准确率比原算法有所提高。     

一种易于初始化的类卷积神经网络视觉跟踪算法

该文针对视觉跟踪中运动目标的鲁棒性跟踪问题,基于主成分分析(PCA)和卷积神经网络(CNN),提出一种易于初始化的类CNN提取深度特征的视觉跟踪算法。该算法首先利用仿射变换对原始图像进行处理,然后对归一化尺寸的图像进行分层PCA学习,将学习得到的PCA特征向量作为CNN结构中的各阶滤波器,完成特征提取网络的初始化,再利用特征提取网络获取目标的深层次表达。最后结合粒子滤波,利用一个简单的逻辑回归分类器通过分类估计实现目标跟踪。结果表明,利用这种易于初始化的CNN提取到的深度特征能够有效地区分目标和背景,具有很好的可区分性,提出的视觉跟踪算法对光照变化、尺度变化、遮挡、旋转和摄像机抖动等都具有良好的适应性,在许多视频序列上表现出了较好的鲁棒性和准确性。     

一种基于特征自动选取的跟踪算法

在复杂的环境下,基于单一特征的视觉跟踪算法,往往不能满足实际环境的需要,对此文中提出了一种基于特征自动选取的跟踪方法。考虑到不同特征在不同场景下对目标与背景的区分能力的不同,重新定义了适合跟踪的背景区域,并在此基础上提出了特征自动选取的策略。基于此策略,利用目标的颜色特征和纹理特征,具体实现了特征自动选取的跟踪算法。实验结果证明了该策略的可行性。     

融合检测技术的孪生网络跟踪算法综述

近年来,基于孪生网络的方法在视觉目标跟踪中取得了巨大的进步,但是这类方法在处理跟踪中的目标状态估计以及复杂场景干扰中仍存在较大的提升空间。随着深度学习在目标检测领域取得的成功,越来越多的研究将其成果用于指导目标跟踪技术的发展。对融合检测技术的孪生目标跟踪算法进行了综述。首先介绍检测和跟踪的联系与区别,同时分析检测技术对改进基于孪生网络的跟踪算法的可行性;然后阐述在不同检测框架指导下的孪生目标跟踪算法,以及使用OTB100、VOT2018、GOT-10k和LaSOT公开数据集对各类算法进行对比和分析;最后对全文进行总结,并对目标跟踪的未来发展方向进行展望。     

SiamDA: Dual attention Siamese network for real-time visual tracking

Fully convolutional Siamese network (SiamFC) has demonstrated high performance in the visual tracking field, but the learned CNN features are redundant and not discriminative to separate the object from the background. To address the above problem, this paper proposes a dual attention module that is integrated into the Siamese network to select the features both in the spatial and channel domains. Especially, a non-local attention module is followed by the last layer of the network, and this benefit to obtain the self-attention feature map of the target from the spatial dimension. On the other hand, a channel attention module is proposed to adjust the importance of different channels’ features according to the corresponding responses generated by each channel feature and the target. Additionally, the GOT10k dataset is employed to train our dual attention Siamese network (SiamDA) to improve the target representation ability, which enhances the discrimination of the model. Experimental results show that the proposed algorithm improves the accuracy by 7.6% and the success rate by 5.6% compared with the baseline tracker.     

基于关键特征信息感知和在线自适应掩模的孪生网络目标跟踪

近年来,孪生网络在视觉目标跟踪的应用给跟踪器性能带来了极大的提升,可以同时兼顾准确率和实时性。然而,孪生网络跟踪器的准确率在很大程度上受到限制。为了解决上述问题,该文基于通道注意力机制,创新地提出了关键特征信息感知模块来增强网络模型的判别能力,使网络聚焦于目标的卷积特征变化;在此基础上,该文还提出了一种在线自适应掩模策略,根据在线学习到的互相关层输出状态,自适应掩模后续帧,以此来突出前景目标。在OTB100, GOT-10k数据集上进行实验验证,所提跟踪器在不影响实时性的前提下,准确率相较于基准有了显著提升,并且在遮挡、尺度变化以及背景杂乱等复杂场景下具有鲁棒的跟踪效果。     

融合通道互联空间注意力的Siamese网络跟踪算法

基于Siamese网络的跟踪算法在跟踪精度和速度方面展现出巨大的潜力,然而要使离线训练的模型适应在线跟踪仍然面临着挑战。为了提升复杂场景下算法的特征提取以及判别能力,提出了一种融合通道-互联-空间注意力的Siamese网络实时跟踪算法。首先构建以深度卷积网络VGG-Net-16作为主干网络的Siamese跟踪框架,增加特征提取能力;接着设计通道-互联-空间注意力模块,增强模型的适应能力与判别能力;然后加权融合多层响应图,获取更精准的跟踪结果;最后使用大规模数据集对网络进行端到端的训练,在通用数据集OTB-2015上进行跟踪测试。实验结果表明:与当前主流算法相比,所提算法具有较强的稳健性,能更好地适应目标外观变化、相似物干扰、目标遮挡等复杂场景,在NVIDIA RTX 2060 GPU上,跟踪速度平均达到37FPS,满足实时性要求。     

Siamese visual tracking with multilayer feature fusion and corner distance IoU loss

The tracker based on the Siamese network regards tracking tasks as solving a similarity problem between the target template and search area. Using shallow networks and offline training, these trackers perform well in simple scenarios. However, due to the lack of semantic information, they have difficulty meeting the accuracy requirements of the task when faced with complex backgrounds and other challenging scenarios. In response to this problem, we propose a new model, which uses the improved ResNet-22 network to extract deep features with more semantic information. Multilayer feature fusion is used to obtain a high-quality score map to reduce the influence of interference factors in the complex background on the tracker. In addition, we propose a more powerful Corner Distance IoU (intersection over union) loss function so that the algorithm can better regression to the bounding box. In the experiments, the tracker was extensively evaluated on the object tracking benchmark data sets, OTB2013 and OTB2015, and the visual object tracking data sets, VOT2016 and VOT2017, and achieved competitive performance, proving the effectiveness of this method.     

基于复杂场景下特征融合与估计的目标跟踪算法

针对图像跟踪过程中的背景干扰、光照条件变化与目标特性漂移等问题,提出一种粒子滤波框架下灰度和纹理特征融合与估计的目标跟踪算法.首先建立基于灰度直方图和边缘梯度直方图的特征集合,以增加目标描述的信息量和稳定性;然后在跟踪过程中依据每个特征对目标与背景的区分度赋予其相应的权值,突出贡献较大的特征,并将该加权系数用于目标和候选目标的相似性度量;最后,为了克服复杂场景对单幅图像中特征可信度的影响,将跟踪的连续性引入权值的自适应调整过程,利用当前帧的特征区分度和前一帧的特征权值对当前帧的特征权值进行估计,从而实现特征权值的在线更新.实验结果表明,通过对特征的融合及其权值的在线估计,实现了复杂场景下的稳定目标跟踪.     

SiamMBFAN: Siamese tracker with multi-branch feature aggregation network

Siamese trackers have attracted considerable attention in the field of object tracking because of their high precision and speed. However, one of the main disadvantages of Siamese trackers is that their feature extraction network is relatively single. They often use AlexNet or ResNet50 as the backbone network. AlexNet is shallow and thus cannot easily extract abundant semantic information, whereas ResNet50 has many convolutional layers, reducing the real-time performance of Siamese trackers. We propose a multi-branch feature aggregation network with different designs in the shallow and deep convolutional layers. We use the residual module to build the shallow convolutional layers to extract textural and edge features. The deep convolution layers, designed with two independent branches, are built with residual and parallel modules to extract different semantic features. The proposed network has a depth of only nine modules, and thus it is a simple and effective network. We then apply the network to a Siamese tracker to form SiamMBFAN. We design multi-layer classification and regression subnetworks in the Siamese tracker by aggregating the last three modules of the two branches, improving the localization ability of the tracker. Our tracker achieves a better balance between performance and speed. Finally, SiamMBFAN is tested on four challenging benchmarks, including OTB100, VOT2016, VOT2018, and UAV123. Compared with other trackers, our tracker improves by 7% (OTB100).     

基于双模板Siamese网络的鲁棒视觉跟踪算法

近年来,Siamese网络由于其良好的跟踪精度和较快的跟踪速度,在视觉跟踪领域引起极大关注,但大多数Siamese网络并未考虑模型更新,从而引起跟踪错误。针对这一不足,该文提出一种基于双模板Siamese网络的视觉跟踪算法。首先,保留响应图中响应值稳定的初始帧作为基准模板R,同时使用改进的APCEs模型更新策略确定动态模板T。然后,通过对候选目标区域与2个模板匹配度结果的综合分析,对结果响应图进行融合,以得到更加准确的跟踪结果。在OTB2013和OTB2015数据集上的实验结果表明,与当前5种主流跟踪算法相比,该文算法的跟踪精度和成功率具有明显优势,不仅在尺度变化、平面内旋转、平面外旋转、遮挡、光照变化情况下具有较好的跟踪效果,而且达到了46 帧/s的跟踪速度。     

ACSiam: Asymmetric convolution structures for visual tracking with Siamese network

Object trackers based on Siamese network usually transform the tracking task into a matching problem between the candidate samples and the target template. However, with the increasing depth and width of backbone networks, researches on Siamese trackers using backbone networks are not very advanced. Therefore, it is necessary for us to further investigate the characteristics of backbone network. As a fact, the ability of backbone network to extract features can directly determine the performance of object tracker. Given this, in this paper, we first propose an asymmetric convolutional network to improve the representational capability of backbone network. And then, the strip convolution is employed to enhance the operational capability of square kernel convolution in the backbone network. Besides, we also construct a novel module named Feature Dropblock (i.e., FD) to simulate the occlusion of hidden space, which goal is to improve the performance of backbone network in the target tracking under occlusion. To demonstrate the effectiveness of the proposed tracker, extensive ablation studies are conducted. Better results are obtained on the tracking benchmarks OTB100 and VOT2018, compared to other state-of-the-art trackers.     

一种视觉跟踪中的模板更新策略

针对复杂场景中的目标外观和背景变化引起的模板 更新问题, 提出了一种新的视觉跟踪模板更新策略,用以提高目标模板正确性。算法利用特征信息在 时间和空间上的区别和变化,进行特征子量分类更新,避免了模型过更新,提高了目标模型 的容错能力,使更新带来的误差尽量小,以适应目标和背景信息的不断变化,在一定程度上 提高了跟踪算法的精准度和鲁棒性。实验结果表明,本文方法在视频跟踪系统中具有优越的 性 能,可以在目标运动、变化和遮挡情况下实现鲁棒跟踪。