基于双模态输入的孪生网络目标跟踪算法

主流的目标跟踪算法只使用可见光(RGB)图像进行跟踪任务,当跟踪场景的光照条件较差时,表征颜色和纹理特征的可见光图像会严重限制跟踪器的跟踪性能.针对单一模态目标信息存在缺失的问题,在Siam-FC网络模型以及红外—可见光图像融合思想的基础上提出了双模态权值自更新孪生网络目标跟踪方法.根据红外图像可以采集运动目标热信息的特点,有效利用了红外和可见光图像在目标跟踪领域的互补优势;使用较浅的特征提取网络AlexNet即可提取到运动目标具有鲁棒性的特征,在保证跟踪精度的同时提高了跟踪模型的跟踪速度.在公开数据集OTB2015和红外—可见光数据集RGB-T210进行实验,结果表明提出的目标跟踪算法在各种跟踪场景下都取得了较好的跟踪效果.     

深度学习多模态图像语义分割前沿进展

图像语义分割旨在将视觉场景分解为不同的语义类别实体,实现对图像中每一个像素的类别预测。多模态图像语义分割通过联合利用不同模态图像（即通过基于不同成像机理的传感器获取的图像）间的互补特性,能够全面且准确地实现复杂场景信息的学习与推理。目前基于深度学习的多模态图像语义分割前沿成果较多,但缺少系统且全面的调研与分析。本文首先总结并分析了目前主流的基于深度学习的可见光—热红外（red-green-bluethermal,RGB-T）图像语义分割算法和可见光—深度（red-green-blue-depth,RGB-D）图像语义分割算法。依据算法侧重点不同,将基于深度学习的RGB-T图像语义分割算法划分为基于图像特征增强的方法、基于多模态图像特征融合的方法和基于多层级图像特征交互的方法;依据算法对深度信息的利用方式,将基于深度学习的RGB-D图像语义分割算法划分为基于深度信息提取的方法和基于深度信息引导的方法。然后,介绍了多模态图像语义分割算法常用的客观评测指标以及数据集,并在常用数据集上对上述算法进行对比。对于RGB-T图像语义分割,在MFNet（multi-spectral fusion network）数据集上,GMNet （graded-feature multilabel-learning network）和MFFENet （multiscale feature fusion and enhancement network）分别取得了最优的类平均交并比（mean intersection-over-union per class,mIoU）（57.3%）和类平均精度（mean accuracy per class,mAcc）（74.3%）值。在PST900（PENN subterranean thermal 900）数据集上,GMNet仍然取得了最优的mIoU（84.12%）值,而EGFNet取得了最优的mAcc（94.02%）值。对于RGB-D图像语义分割,在NYUD v2（New York University depth dataset v2）数据集上,GLPNet（global-local propagation network）的mIoU和mAcc分别达到了54.6%和66.6%,取得最优性能。而在SUN-RGBD（scene understanding-RGB-D）数据集上,Zig-Zag的mIoU为51.8%,GLPNet的mAcc为63.3%,均为最优性能。最后,本文还指出了多模态图像语义分割领域未来可能的发展方向。     

深度学习下的目标跟踪综述

视觉目标跟踪是在给定目标初始信息的情况下,建立目标跟踪模型对目标运动状态进行预测。梳理深度学习下现存的目标跟踪算法,从基于卷积神经网络方法、基于循环神经网络方法、基于生成对抗网络方法和基于孪生网络的方法几个方面,对基于深度学习的目标跟踪算法进行综述;总结了目前代表性的数据集;展望了视觉目标跟踪技术的发展趋势。     

基于弱监督表示学习的热红外目标跟踪

由于热红外成像技术具有更强的穿透雾、霾、雨、雪的能力,在恶劣天气条件下的成像效果几乎不受影响,使得基于热红外图像的目标跟踪任务越来越被研究者重视。针对基于卷积神经网络的热红外目标跟踪算法在模型训练过程中需要的带有标签的数据不足的问题,提出了一种基于弱监督表示学习的方法,利用少量的标签数据及大量的无标签数据进行模型训练,从而用于热红外目标跟踪任务。首先,利用主动学习的指导在大量无标签的数据中挑选最具有代表性的训练样本;然后,给定每个样本序列的首帧目标的真实标签,利用基础跟踪器生成该序列中其他图像帧中目标的伪标签;之后,利用带有真实标签和伪标签的训练数据进行模型训练;最后,利用训练好的模型在热红外目标跟踪算法测试数据集上进行模型测试。实验结果表明：该方法可以在减少模型训练对标签数据需求的同时保证跟踪器的准确性。     

注意力增强和目标模型更新的红外目标跟踪算法

目的 多数以深度学习为基础的红外目标跟踪方法在对比度弱、噪声多的红外场景下,缺少对目标细节信息的利用,而且当跟踪场景中有相似目标且背景杂乱时,大部分跟踪器无法对跟踪的目标进行有效的更新,导致长期跟踪时鲁棒性较差。为解决这些问题,提出一种基于注意力和目标模型自适应更新的红外目标跟踪算法。方法 首先以无锚框算法为基础,加入针对红外跟踪场景设计的快速注意力增强模块以并行处理红外图像,在不损失原信息的前提下提高红外目标与背景的差异性并增强目标的细节信息,然后将提取的特征融合到主干网络的中间层,最后利用目标模型自适应更新网络,学习红外目标的特征变化趋势,同时对目标的中高层特征进行动态更新。结果 本文方法在 4 个红外目标跟踪评估基准上与其他先进算法进行了比较,在 LSOTB-TIR(large-scale thermalinfrared object tracking benchmark)数据集上的精度为 79.0%,归一化精度为 71.5%,成功率为 66.2%,较第 2 名在精度和成功率上分别高出 4.0%和 4.6%;在 PTB-TIR(thermal infrared pedestrian tracking benchmark)数据集上的精度为85.1%,成功率为 66.9%,较第 2 名分别高出 1.3% 和 3.6%;在 VOT-TIR2015(thermal infrared visual object tracking)和VOT-TIR2017 数据集上的期望平均重叠与精确度分别为 0.344、0.73 和 0.276、0.71,本文算法在前 3 个数据集的测评结果均达到最优。同时,在 LSOTB-TIR 数据集上的消融实验结果显示,本文方法对基线跟踪器有着明显的增益作用。结论 本文算法提高了对红外目标特征的捕捉能力,解决了红外目标跟踪易受干扰的问题,能够提升红外目标长期跟踪的精度和成功率。     

视觉单目标跟踪算法综述

目标跟踪技术根据视频上下文信息，建立一个跟踪模型对目标的运动状态进行预测，被广泛用于智能视频监控、自动驾驶、机器人导航、人机交互等多个计算机视觉领域。随着深度学习在语音识别，图像分类以及目标检测等领域的巨大成功，越来越多的研究将深度学习框架应用于目标跟踪任务中。介绍了当前单目标跟踪任务的难点和传统的方法,重点分析了当前基于深度学习的单目标跟踪算法的发展现状，从预训练网络＋相关滤波算法、基于孪生网络的方法、基于卷积神经网络的方法、基于生成对抗网络的方法以及其他深度学习方法几个方面，分别对当前流行的深度学习目标跟踪算法进行了概述。此外，总结了用于评测单目标跟踪算法性能的代表性数据集，列举了最新的研究成果在不同数据集上的实验结果并分析了当前单目标跟踪领域的问题和趋势。     

基于孪生网络的单目标跟踪算法综述

单目标跟踪是计算机视觉领域的一个重要研究方向，在视频监控、自动驾驶等领域应用广泛。对于单目标跟踪算法，尽管已有大量总结研究，但大多基于相关滤波或深度学习。近年来，基于孪生网络的跟踪算法因在精度和速度之间取得的平衡受到研究者们的广泛关注，然而目前对该类型算法的总结分析相对较少，并且对这些算法的架构层面缺少系统分析。为深入了解基于孪生网络的单目标跟踪算法，对大量相关文献进行了总结与分析。首先阐述孪生网络的结构和应用，并根据孪生跟踪算法架构组成的分类介绍了各跟踪算法；然后列举单目标跟踪领域常用的数据集和评价指标，对25个主流跟踪算法在OTB2015数据集上分别进行整体和各属性的性能比较与分析，并列出23个孪生跟踪算法在LaSOT和GOT-10K测试集上的性能以及推理时的速度；最后对基于孪生网络的目标跟踪算法的研究进行总结，并对未来的发展方向进行展望。     

视频单目标跟踪研究进展综述

视频目标跟踪是计算机视觉中的重要任务之一,在实际生活中有着广泛的应用,例如视频监控、视觉导航等.视频目标跟踪任务也面临着诸多挑战,如目标遮挡、目标形变等情形.为解决目标跟踪中的挑战,实现精确高效的目标跟踪,近年来出现大量的目标跟踪算法.本文介绍了近十年来视频目标跟踪领域两大主流算法框架(基于相关滤波和孪生网络的目标跟踪算法)的基本原理、改进策略和代表性工作,之后按照网络结构分类介绍了其他基于深度学习的目标跟踪算法,还从解决目标跟踪所面临挑战的角度介绍了应对各类问题的典型解决方案,并总结了视频目标跟踪的历史发展脉络和未来发展趋势.本文还详细介绍和比较了面向目标跟踪任务的数据集和挑战赛,并从数据集的数据统计和算法的评估结果出发,总结了各类视频目标跟踪算法的特点和优势.针对目标跟踪未来发展趋势,本文认为视频目标跟踪还面临诸多难题亟需解决,例如当前的算法往往无法在长时间、低功耗、抗干扰的环境下实地应用.未来,考虑多模态数据融合,如将深度图像、红外图像数据与传统彩色视频联合分析,将会为目标跟踪带来更多新的解决方案.目标跟踪任务也将会和其他任务,如视频目标检测、视频目标分割,相互促进共同发展.     

在线多目标视频跟踪算法综述

视频多目标跟踪是计算机视觉领域重要的研究课题之一,不论是在军用还是民用都有广泛应用。目前对单目标的跟踪算法研究已经相当成熟,但对于多目标跟踪的研究还处于发展阶段。重点研究了多目标跟踪过程中的四个重要阶段：特征提取、检测器、数据关联、跟踪器。特征提取阶段详细介绍了目前主流的特征提取方法以及各个方法之间的优缺点;检测器阶段首先详细介绍了目标外观模型在具体应用场景中的跟踪效果,接着对基于检测跟踪的多目标跟踪算法和基于深度学习的多跟踪算法进行了分析;跟踪器阶段分别介绍了目标运动模型的建立和利用不同跟踪器混合的多目标跟踪算法;数据关联阶段分别介绍了基于能量最小化的多目标跟踪以及常用的数据关联算法。接着,介绍了目前主流的数据集以及评测方法;最后对多目标跟踪未来的发展进行了思考和展望。     

基于孪生网络的目标跟踪算法综述

孪生网络是由2个或多个人工神经网络建立的耦合框架，因其将回归问题转换为相似度匹配问题，备受计算机视觉领域的研究人员关注。随着深度学习理论的快速发展，目标跟踪技术在生活中得到了广泛的应用。基于孪生网络的目标跟踪算法以其相对优越的准确率和实时性逐渐代替了传统的目标跟踪算法，成为目标跟踪的主流算法。首先，介绍了目标跟踪任务面对的挑战和传统方法；然后，介绍了孪生网络的基础结构及其发展，汇总了近年来基于孪生网络的目标跟踪算法与相应设计原理；另外，介绍多个用于目标跟踪测试的主流数据集，并基于这些数据集对比了基于孪生网络的目标跟踪算法的性能；最后，提出基于孪生网络目标跟踪算法目前存在的问题及对未来的展望。     

协同运动状态估计的多目标跟踪算法

多目标跟踪在视频分析场景中有着广泛的应用,如人机交互、虚拟现实、自动驾驶、视频监控和机器人导航等。多目标跟踪问题可以表示为在已有的检测数据上进行目标轨迹关联,检测算法的准确性对跟踪性能起着关键性的作用。在基于检测的目标跟踪框架中,提出了一种协同运动状态估计的跟踪算法,该算法主要关注相邻帧之间的数据关联,从目标检测、目标运动状态估计和数据关联这3个方面来直接解决多目标跟踪面临的挑战。首先,对于目标检测,采用Multi Scale Convolutional Neural Network(MS-CNN)算法作为检测器,这是因为深度学习在检测的效益上优于传统的机器学习方法;其次,为了更好地预测目标的运动状态和处理目标间的遮挡,针对不同状态的目标采取不同的运动估计方法: 采用核相关滤波来评估处于跟踪状态的目标的运动状态,当目标处于遮挡状态时,采用卡尔曼滤波做运动估计;最后,采用Kuhn-Munkres算法对检测目标和跟踪轨迹做数据关联。通过大量的实验证实了算法的有效性,且实验结果表明算法的准确性很高。     

融合GNN和记忆力机制的行人多目标跟踪

近年来,随着基于深度学习的目标检测模型的成熟,基于检测的跟踪(TBD)成为行人多目标跟踪(MOT)研究的主要方向,MOT研究重心逐渐向数据关联偏移.目前大部分MOT算法对于少量的丢失检测非常敏感,造成大量的身份互换和轨迹断裂,严重影响跟踪效果.而且算法需要对匈牙利算法选取不确定的阈值进行最大匹配,实际应用中难以做到.本文提出了一种基于图神经网络(GNN)的多目标跟踪(MOT)算法,算法构建了保存历史轨迹特征的记忆力机制,避免因目标检测丢失或失真导致的性能影响.同时通过GNN直接获取历史轨迹和当前检测的关联结果,克服了匈牙利算法预选阈值的问题.在MOT17和20挑战数据集的实验表明,与同类算法相比,本方法在MOT17的核心指标达到最优水平.     

深度学习典型目标检测算法的改进综述

目标检测是机器视觉领域内最具挑战性的任务之一,深度学习则是目标检测最主流的实现方法.近年来,深度学习理论及技术的快速发展,使得基于深度学习的目标检测算法取得了巨大进展,学者从数据处理、网络结构、损失函数等多方面入手,提出了一系列对于目标检测算法的改进方式.针对典型目标检测算法的改进方式进行综述.归纳了常用数据集和性能评...     

面向无人机的视觉目标跟踪算法：综述与展望

近年来,无人机因其小巧灵活、智能自主等特点被广泛应用于民用和军事等领域中,特别是搜索侦察过程中首要的目标跟踪任务。无人机视觉目标跟踪场景的复杂性和运动目标的多变性,使得目标特征提取及模型建立困难,对目标跟踪性能带来巨大的挑战。本文首先介绍了无人机视觉目标跟踪的研究现状,梳理了经典和最新的目标跟踪算法,特别是基于相关滤波的跟踪算法和基于深度学习的跟踪算法,并对比了不同算法的优缺点。其次,归纳了常用的目标跟踪数据集和性能评价指标。最后,展望了无人机视觉目标跟踪算法的未来发展趋势。     

深度学习及时空约束的行人跟踪算法研究

由于以往的行人跟踪方法大部分不能有效地解决目标被遮挡后以及目标尺寸变化再跟踪的问题,所以引入了深度学习的方法,但是经实验发现单纯使用深度学习行人跟踪会因行人检测部分的误差而出现整体的跟踪准确率不高的问题。提出了一种基于深度学习和时空约束后处理的行人跟踪方法,深度学习的行人检测部分采用了根据实际应用场景优化过的SSD算法,行人匹配部分采用了一种计算交叉输入领域差异然后进行块总结的方法,最后进行时空约束的后处理。在OTB数据集上做实验,与传统跟踪算法以及单纯深度学习算法进行了对比。     

基于循环神经网络和生成式对抗网络的口令猜测模型研究

深度学习技术的进展为提高口令猜测效率提供了潜在的新途径.目前,已有研究将循环神经网络(Recurrent Neural Network,RNN)、生成式对抗网络(Generative Adversarial Network,GAN)等深度学习模型运用于设计口令猜测模型.本文基于RNN模型、概率上下文无关文法(Proba...     

基于深度学习的显著性目标检测综述

随着深度学习的不断发展,基于深度学习的显著性目标检测已经成为计算机视觉领域的一个研究热点.首先对现有的基于深度学习的显著性目标检测算法分别从边界/语义增强、全局/局部结合和辅助网络三个角度进行了分类介绍并给出了显著性图,同时对三种类型方法进行了定性分析比较;然后简单介绍了基于深度学习的显著性目标检测常用的数据集和评估准...     

基于融合元路径图卷积的异质网络表示学习

近年来,网络表示学习(Network Representation Learning,NRL)作为一种在低维空间中表示节点来分析异质信息网络(Heterogeneous Information Networks,HIN)的有效方法受到越来越多的关注。基于随机游走的方法是目前网络表示学习常用的方法,然而这些方法大多基于浅层神经网络,难以捕获异质网络结构信息。图卷积神经网络(Gragh Convolutional Network,GCN)是一种流行的能对图进行深度学习的方法,能够更好地利用网络拓扑结构,但目前的GCN设计针对的是同质信息网络,忽略了网络中丰富的语义信息。为了有效地挖掘异质信息网络中的语义信息和高度非线性的网络结构信息,进而提高网络表示的效果,文中提出了一种基于融合元路径的图卷积异质网络表示学习算法(MG2vec)。该算法首先通过基于元路径的关联度量方法来获取异质信息网络中丰富的语义信息;然后采用图卷积神经网络进行深度学习,捕捉节点和邻居节点的特征,弥补浅层模型捕捉网络结构信息能力不足的缺陷,从而实现将丰富的语义信息和结构信息更好地融入低维的节点表示中。在数据集DBLP和IM...     

目标跟踪算法综述

目标跟踪一直以来都是计算机视觉领域的关键问题,最近随着人工智能技术的飞速发展,运动目标跟踪问题得到了越来越多的关注.本文对主流目标跟踪算法进行了综述,首先,介绍了目标跟踪中常见的问题,并由时间顺序对目标跟踪算法进行了分类：早期的经典跟踪算法、基于核相关滤波的跟踪算法以及基于深度学习的跟踪算法.接下来,对每一类中经典的跟踪算法的原始版本和各种改进版本做了介绍、分析以及比较.最后,使用OTB-2013数据集对目标跟踪算法进行测试,并对结果进行分析,得出了以下结论：1）相比于光流法、Kalman、Meanshift等传统算法,相关滤波类算法跟踪速度更快,深度学习类方法精度高.2）具有多特征融合以及深度特征的追踪器在跟踪精度方面的效果更好.3）使用强大的分类器是实现良好跟踪的基础.4）尺度的自适应以及模型的更新机制也影响着跟踪的精度.     

基于深度学习的弱光图像增强算法研究综述

弱光图像增强旨在使隐藏在黑暗中的信息可见,以提高图像质量,在夜间目标检测和行为识别等计算机视觉任务中广泛应用。首先,从有监督和无监督两个角度出发,梳理了基于深度学习的弱光图像增强代表性算法,结合实现原理分析了其优缺点。其次,总结了常用的训练数据集和测试数据集。最后,讨论了目前已有算法存在的问题和未来可能的发展趋势。