基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的.针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法.该文创新性地将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度.在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求.     

引入全局上下文特征模块的DenseNet孪生网络目标跟踪

近年来,采用孪生网络提取深度特征的方法由于其较好的跟踪精度和速度,成为目标跟踪领域的研究热点之一,但传统的孪生网络并未提取目标较深层特征来保持泛化性能,并且大多数孪生网络只提取局部领域特征,这使得模型对于外观变化是非鲁棒和局部的。针对此,该文提出一种引入全局上下文特征模块的DenseNet孪生网络目标跟踪算法。该文创新性地将DenseNet网络作为孪生网络骨干,采用一种新的密集型特征重用连接网络设计方案,在构建更深层网络的同时减少了层之间的参数量,提高了算法的性能,此外,为应对目标跟踪过程中的外观变化,该文将全局上下文特征模块(GC-Model)嵌入孪生网络分支,提升算法跟踪精度。在VOT2017和OTB50数据集上的实验结果表明,与当前较为主流的算法相比,该文算法在跟踪精度和鲁棒性上有明显优势,在尺度变化、低分辨率、遮挡等情况下具有良好的跟踪效果,且达到实时跟踪要求。     

基于特征融合与通道感知的无人机红外目标跟踪算法

针对手工提取特征对红外目标不敏感,导致无法准确跟踪红外目标的问题,在全卷积孪生网络框架下,融合多层深度特征并结合通道感知提出了一种无人机红外目标跟踪算法。首先使用预训练网络提取目标深度特征,分别提取待跟踪目标的Conv4-1、Conv4-3、Conv5-2层特征,进而通过梯度计算选择对于目标活动和尺度变化较为敏感的特征通道参与后序的互相关操作,并通过计算模板图像和候选区域搜索图像之间的相似度获取目标响应图。最后利用平均峰值相关能量对跟踪结果进行评估并使用卡尔曼滤波对跟踪结果进行修正。在LSOTB-TIR红外目标跟踪数据集上进行了性能测试并与当前九种优秀的算法进行了对比,实验结果表明,本文算法跟踪成功率最高,能够有效应对红外目标跟踪中热交叉、干扰源等挑战,且具有较好的实时性。     

视觉跟踪技术中孪生网络的研究进展

在计算机视觉领域中,基于孪生网络的跟踪算法相比于传统算法提高了精度和速度,但是仍会受到目标遮挡、变形、环境变化等影响,导致孪生网络的跟踪算法的性能降低。为了深入了解基于孪生网络的单目标跟踪算法,本文对现有基于孪生网络目标跟踪算法进行了总结和分析,主要包括在孪生网络中引入注意力机制方法、超参数推理方法和模板更新方法,对这3种方法的目标跟踪算法进行了综述,详细介绍了国内外近几年基于孪生网络的算法研究和发展现状。对3个方面的代表算法采用VOT2016、VOT2017、VOT2018和OTB-2015数据集进行实验对比,获得了多种基于孪生网络的目标跟踪算法的性能。最后对基于孪生网络的目标跟踪算法进行了总结,并对未来的发展方向进行了展望。     

基于多注意力图的孪生网络视觉目标跟踪

在视觉跟踪应用中,目标外观通常由包含目标的矩形区域来建模,这种矩形化边框的描述方式不可避免地引入了背景干扰,并随着场景变化导致跟踪关注点的模糊及歧义,进而产生跟踪漂移。针对以上问题,提出了一种基于多注意力图的孪生网络视觉目标跟踪算法。首先,建立了一种关注于前景目标区域特征表达的孪生网络。该网络通过构建梯度注意力图损失函数项来引导网络训练,提升网络区分目标和干扰背景的能力。此外,嵌入通道注意力和空间注意力进一步强化目标的特征表达,自动发掘有区分的特征表示。在多个公共数据集上的实验验证了提出算法的有效性,以及算法可完成实时的视觉目标跟踪。      

基于深度降噪自编码器的多特征目标融合跟踪算法

针对在目标遮挡、光线变化、目标模糊等情况下的目标跟踪算法抗干扰能力较差的问题,提出了一种基于深度降噪自动编码器的多特征目标融合跟踪算法。该方法首先引入稳像和图像去雾算法以改善训练集数据和测试集数据的质量;再构建多特征深度降噪自动编码网络,基于深度神经网络的强大学习能力提取目标的颜色特征和均匀模式纹理特征;将两种特征加权融合输入到逻辑回归分类器,获得置信分数,更有效地区分目标和背景。最后,采用粒子滤波算法对目标进行跟踪。实验结果表明,该方法能够更准确地对存在目标遮挡、光线变化、目标模糊等干扰问题的视频进行跟踪。与传统方法相比,该方法成功率在上述三个方面平均分别提升33.73%、9.73%和12.80%;与近年流行算法相比,该方法成功率平均达到90.16%,实时性平均达到49.37 fps。     

少量样本下基于孪生CNN的SAR目标识别

针对深度学习中的有监督学习需要大量的标注数据,提出了一种少量训练样本下的SAR目标识别方法,解决了SAR图像人工标注成本较高、标注样本不足的问题。首先通过构建正负样本对的策略对数据集进行样本扩充,大幅增加数据量;其次,设计了一种基于度量学习和深度学习的孪生卷积神经网络(孪生CNN),用于衡量样本之间的相似概率;然后采用多任务联合学习的方法训练模型,有效缓解了相干斑噪声对SAR图像的影响,降低了噪声过多易引起的过拟合风险;最后,设计了一种基于孪生CNN的识别样本具体类别的加权投票模型。实验采用了MSTAR和OpenSARShip数据集,在小规模训练集上通过上述方法取得了较好的识别效果。     

基于孪生网络的目标跟踪算法

在计算机视觉应用中，基于孪生网络的跟踪算法相比于传统的目标跟踪算法在速度和精度上都有所提升，但是其受到遮挡、形变等干扰因素影响较大。基于此，本文对现有基于孪生网络的目标跟踪方法和技术所作的改进进行了总结分析，主要包括在孪生网络中引入全卷积孪生神经网络方法、引入回归方法和在线更新方法，对基于3种方法的目标跟踪算法的改进进行了综述，并详细介绍了近年来孪生网络在目标跟踪应用中的国内外研究进展和发展现状。同时，采用VOT2017和LaSOT数据集进行了实验对比，比较了多种基于孪生神经网络跟踪算法的性能。最后，对基于孪生网络的目标跟踪方法的发展趋势进行了展望。     

基于增强RPN的孪生网络目标跟踪算法

目前孪生网络跟踪器已经具有比较良好的表现,但是对于卷积神经网络所提取的特征仍没有较好地利用其特点,同时孪生网络通过相似性学习进行跟踪的特性使跟踪器的准确性和鲁棒性存在不足。提出了一种金字塔式特征融合的方法,根据骨干网络特征提取层不同深度具有不同侧重的特点提高网络对目标的表征能力,然后使用注意力机制对区域推荐网络（Region Proposal Network,RPN）进行增强,最终实现更精准更鲁棒的跟踪。在OTB100数据集的实验中,新提出的SiamERPN(Siamese Enhanced RPN)算法分别得到了0.668的成功率和0.876的精度,测试结果好于基线算法和其他对比算法。     

基于深度空间正则化的相关滤波跟踪算法

近年来,结合深度特征的相关滤波算法由于较高的跟踪精度在视觉跟踪领域受到了广泛的关注.对训练样本的周期性假设一方面提高了计算效率,但是也引入了边界效应,限制了算法性能的进一步提升.通过对深度特征表达能力的深入挖掘,本文提出了一种新的跟踪框架.由于深层特征具有良好的语义信息,选取VGG网络第五层卷积特征提取目标的空间可靠区域,将该区域信息用于对样本进行裁剪并引入目标函数,建立空间约束模型,接着采用ADMM算法进行迭代求解.为了进一步提高算法的长时跟踪能力,提出一种简单有效的遮挡判断方法.实验结果表明,所提出的算法在跟踪精度和成功率上优于大多数先进的算法.     

融合通道互联空间注意力的Siamese网络跟踪算法

基于Siamese网络的跟踪算法在跟踪精度和速度方面展现出巨大的潜力,然而要使离线训练的模型适应在线跟踪仍然面临着挑战。为了提升复杂场景下算法的特征提取以及判别能力,提出了一种融合通道-互联-空间注意力的Siamese网络实时跟踪算法。首先构建以深度卷积网络VGG-Net-16作为主干网络的Siamese跟踪框架,增加特征提取能力;接着设计通道-互联-空间注意力模块,增强模型的适应能力与判别能力;然后加权融合多层响应图,获取更精准的跟踪结果;最后使用大规模数据集对网络进行端到端的训练,在通用数据集OTB-2015上进行跟踪测试。实验结果表明:与当前主流算法相比,所提算法具有较强的稳健性,能更好地适应目标外观变化、相似物干扰、目标遮挡等复杂场景,在NVIDIA RTX 2060 GPU上,跟踪速度平均达到37FPS,满足实时性要求。     

复杂场景下基于自适应特征融合的目标跟踪算法

为提升复杂场景下目标跟踪的鲁棒性,优化模型运行效率,提出一种基于自适应特征融合的相关滤波跟踪算法。该算法采用方向梯度直方图特征和卷积神经网络来对目标进行信息构建,利用特征响应的峰值旁瓣比和旁瓣值占比自适应地确定融合系数,根据融合响应来预测目标位置。为适应场景的变化,降低光照、背景和目标形变等对跟踪的影响,引入平均峰值相关能量来设计滤波器学习率调整机制,动态地进行模型更新。通过对深度特征提取网络进行轻量化设计,降低特征网络参数,提高跟踪速度。在OTB100通用数据集上进行测试,实验结果表明:文中所提算法有效降低了干扰对目标跟踪的影响,且跟踪精度、成功率和速度整体优于对比算法。     

DSiamMFT: An RGB-T fusion tracking method via dynamic Siamese networks using multi-layer feature fusion

The task of object tracking is very important since its various applications. However, most object tracking methods are based on visible images, which may fail when visible images are unreliable, for example when the illumination conditions are poor. To address this issue, in this paper a fusion tracking method which combines information from RGB and thermal infrared images (RGB-T) is presented based on the fact that infrared images reveal thermal radiation of objects thus providing complementary features. Particularly, a fusion tracking method based on dynamic Siamese networks with multi-layer fusion, termed as DSiamMFT, is proposed. Visible and infrared images are firstly processed by two dynamic Siamese Networks, namely visible and infrared network, respectively. Then, multi-layer feature fusion is performed to adaptively integrate multi-level deep features between visible and infrared networks. Response maps produced from different fused layer features are then combined through an elementwise fusion approach to produce the final response map, based on which the target can be located. Extensive experiments on large datasets with various challenging scenarios have been conducted. The results demonstrate that the proposed method shows very competitive performance against the-state-of-art RGB-T trackers. The proposed approach also improves tracking performance significantly compared to methods based on images of single modality.     

Learning complementary Siamese networks for real-time high-performance visual tracking

Recently, Siamese based methods have made a breakthrough in the visual tracking field. However, the existing trackers still cannot take full advantage of the deep features. In this work, we improve the performances of Siamese trackers by complementary learning with different types of matching features. Specifically, a Matching Activation Network (MAN) is firstly designed to highlight the matching regions of the search image given a template. Since only sparse parts of feature maps contribute to the matching result, an important design choice is to emphasize the weak-matching features by erasing the strong-matching ones and learn complementary classifiers from both types of features. Then we propose a novel complementary region proposal network (CoRPN) to take complementary features as inputs and their outputs complement to each other, which are fused to improve the performance. Experiments show that our proposed tracker achieves leading performances on five tracking datasets while retaining real-time speed.     

LVCSR系统中一种基于区分性和自适应瓶颈深度置信网络的特征提取方法

大词汇量连续语音识别系统中,为了进一步增强网络的鲁棒性、提升瓶颈深度置信网络的识别准确率,本文提出一种基于区分性和自适应瓶颈深度置信网络的特征提取方法。该方法首先使用鲁棒性较强的瓶颈深度置信网络进行初步特征提取,进而进行区分性训练,使网络的区分性更强、识别准确率更高,在此基础上引入说话人自适应技术对网络进行调整,提高系统的鲁棒性。本文利用提出的声学特征在多个噪声较强、主题风格较为随意的多个公共连续语音数据库上进行了测试,识别准确率取得了6.9%的提升。实验结果表明所提出的特征提取方法相对于传统方法的优越性。      

空地协同场景下通信干扰智能识别方法

针对现有通信干扰智能识别方法在小样本条件下识别精度低、网络模型欠拟合的问题,并形成通信干扰识别的空中与地面布设能力,该文提出一种空地协同场景下基于孪生网络的通信干扰智能识别方法。首先在空中无人机与地面设备之间构建空地协同的通信干扰认知架构,并通过提取所接收的通信干扰信号的时频图、分数阶傅里叶变换和星座图,对通信干扰信号进行智能表征,以作为网络的输入。然后搭建基于密集连接网络的网络结构,并设计双输入权值共享的孪生网络。最后,利用随机样本对孪生网络进行训练,并通过孪生单边网络构建基准通信干扰类型特征库进而实现通信干扰的智能识别。该方法通过度量两个样本之间的特征距离来判断样本的相似性,并通过相似度度量扩大了训练样本数量并训练了孪生网络模型。仿真结果表明,所提方法不但在较小数据集的条件下可有效地实现通信干扰的智能识别,而且相比现有的智能识别方法,所提方法的识别性能显著提升。     

一种基于深度度量学习的视频分类方法

针对视频分类中普遍面临的类内离散度和类间相似性较大而制约分类性能的问题,该文提出一种基于深度度量学习的视频分类方法。该方法设计了一种深度网络,网络包含特征学习、基于深度度量学习的相似性度量,以及分类3个部分。其中相似性度量的工作原理为:首先,计算特征间的欧式距离作为样本之间的语义距离;其次,设计一个间隔分配函数,根据语义距离动态分配语义间隔;最后,根据样本语义间隔计算误差并反向传播,使网络能够学习到样本间语义距离的差异,自动聚焦于难分样本,以充分学习难分样本的特征。该网络在训练过程中采用多任务学习的方法,同时学习相似性度量和分类任务,以达到整体最优。在UCF101和HMDB51上的实验结果表明,与已有方法相比,提出的方法能有效提高视频分类精度。