基于双解码器的Transformer多目标跟踪方法

多目标跟踪（MOT）任务需要同时跟踪多个目标并保证目标身份的连续性。针对当前MOT过程中存在目标遮挡、目标ID切换（IDSW）和目标丢失等问题,对基于Transformer的MOT模型进行改进,提出了一种基于双解码器的Transformer多目标跟踪方法。首先,在第一帧中通过模型初始化生成一组轨迹,并在此后的每一帧中用注意力建立帧与帧之间的关联;其次,利用双解码器修正跟踪目标信息,一个解码器用于检测目标,一个解码器用于跟踪目标;然后,完成跟踪后利用直方图模板匹配找回丢失的目标;最后,用卡尔曼滤波跟踪预测遮挡目标,并将遮挡结果与新检测出的目标关联,从而保证跟踪结果的连续性。此外,在TrackFormer的基础上添加表观统计特性和运动特征建模,以实现不同结构之间的融合。在MOT17数据集上的实验结果表明,相较于TrackFomer模型,所提模型的身份F1得分（IDF1）提升了0.87个百分点,多对象跟踪准确性（MOTA）提升了0.41个百分点,IDSW数量减少了16.3%。所提方法在MOT16和MOT20数据集上也取得了不错的成绩。可见所提方法能够有效应对物体遮挡问题,维持目标身份信息,减...     

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络（CNN）中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块（two-way braidge module,TBM）对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到...     

基于深度学习和Transformer的目标检测算法

目标检测是实现目标跟踪、实例分割等高级视觉任务的基础,在智慧交通、缺陷检测、智能安防等现实场景有着重要应用。现有高精度检测算法都是在深度学习的指导下实现,同时伴有锚框技术,但是锚框自身的不足对检测器性能有着较大影响,无锚点碰撞检测成为了近几年目标检测领域新的研究方向。与此同时,Transformer表现出的巨大潜力为视觉领域开辟了图像与Transformer结合这个新方向,基于Transformer的目标检测也成为一个新的研究热点。系统地总结了深度学习时代的目标检测算法,调查并研究了近五年目标检测的相关论文,重点从Anchorfree和Transformer两个角度对这些算法进行深入分析,介绍了这些算法在现实场景具体应用情况以及目标检测领域常用数据集,基于目前的研究现状对目标检测的未来可研究方向进行了展望。     

基于Anchor-free的图像全景分割算法研究

对于实例分割子任务,大多数框架都采用基于anchor的策略,如著名的Mask R-CNN。但anchor依赖于人为预先设置,且由于anchor和RPN的存在,网络计算量往往很大。设计一个自定义的U-Net骨干网络和一个立足于极坐标系对实例分割掩膜边缘进行数学建模的anchor-free的实例分割网络,将二者集成到全景分割架构中去。该全景分割网络摆脱人工预设的anchor,实现轻量级,U-Net骨架网相比FCN网干网在精度相差不多的情况下参数量下降35%,更适合低开销实时应用场景。     

基于改进FCOS网络的光学遥感影像目标检测算法

针对当前遥感影像背景复杂、目标尺度小等情况导致的检测精度偏低的问题,基于FCOS网络提出了一种结合位置注意力和感受野增强的遥感影像目标检测算法PARF-FCOS;该算法构造了一种位置注意力模块,并利用该模块对特征提取网络进行改进,增强网络对目标信息的提取能力;在特征融合阶段使用感受野模块（RFB, receptive field block）增强浅层特征图,利用目标上下文信息进行辅助判断,提升网络对小尺度目标的检测能力;在训练过程中,引入距离交并比损失（DIoU loss,distance intersection over union loss）进行边界框回归,通过优化目标框与预测框中心点之间的距离,使回归过程更加平稳和准确;在公开数据集DIOR上评估了PARF-FCOS目标检测算法,实验结果表明,相较于原始FCOS,算法的平均精确度均值提高了4.3%,达到70.4%,检测速度达到23.2FPS。     

分层关联的多目标跟踪算法研究

检测跟踪(Tracking by detection)是近年来多目标跟踪领域的一个主要研究方向。遵循检测跟踪框架,提出一种基于分层关联的全局性的数据关联算法。首先利用目标检测器在整个视频上检测目标,得到检测响应;然后利用广义最小团图在视频片段中对检测响应进行数据关联,得到轨迹片段;最后再在整个视频中对轨迹片段进行分层关联,得到最终的轨迹。在公共数据集上的测试结果表明,该算法能够有效地对多个目标进行数据关联,具有较强的处理遮挡能力。     

一种基于运动信息的多目标跟踪方法研究

为解决多目标跟踪中的遮挡问题,提出一种基于目标运动信息的方法。采用混合高斯模型结合背景差法获取初始运动信息,根据目标短时间内状态的稳定性,对其进行预测,再结合视觉特征达到精确跟踪。由于使用速度和视觉特征信息对目标单独跟踪,从而巧妙地避免遮挡的处理。实验结果表明,该方法实时有效,同时对遮挡问题的处理也有较好的效果。     

基于卡尔曼滤波的多目标跟踪方法

针对视频多目标跟踪中由于目标间的遮挡、交错或目标漂移而导致跟踪失败的情况,提出一种基于卡尔曼滤波以及空间颜色直方图的遮挡预测跟踪算法。利用空间颜色直方图对目标进行建模,可以对不同目标进行区分进而在目标之间出现交错或目标漂移时仍能跟踪到目标。通过卡尔曼滤波算法可以 预测 目标的状态,对预测位置之间存在交错的目标进行遮挡标记,以便在下一帧中仍然可以跟踪到被遮挡的目标。采用2D MOT 2015数据集进行实验,跟踪的平均精度达到了34.1%。实验结果表明,所提方法对多目标跟踪的效果有所提高。     

基于改进Tracktor的行人多目标跟踪算法

在多目标视频跟踪中,针对受交互遮挡等影响导致检测偏差从而致使目标身份丢失的问题,提出一种基于改进Tracktor的行人多目标跟踪算法DUTracktor。在检测框回归中设计一个动态更新模块,利用孪生网络对建议框进一步检测定位;利用时序信息增强模块更新当前帧更适合的模板,建立全局上下文关系;并通过像素相关进行特征融合,从而增强目标边缘信息和尺度信息;利用相机运动补偿和融合相似矩阵构建二级关联跟踪机制,建立检测框和轨迹更强大的关联性,提高目标跟踪的鲁棒性。在公开的MOT16数据集上进行实验测试,并与当前主流算法相比,该算法跟踪精度表现较优,具有良好的鲁棒性,FPS稳定在24帧。     

改进的Viterbi多目标跟踪算法

使用改进的Viterbi算法用于多目标跟踪,引入测量“门限”,使所跟踪的目标仅与“门限”内的测量值关联。该方法能够减少假设的个数、降低算法的计算负担,有利于对MHT算法进行剪枝和合并。用Kalman 滤波和先验概率计算各目标的最大后验概率。该算法是连续的,能够处理丢失的探测、虚警以及跟踪目标的数量,提供一系列最好的跟踪目标集。     

免锚检测的行人多目标跟踪算法

针对复杂环境下行人目标因检测器漏检和频繁遮挡而导致的数据关联不正确、跟踪实时性差的问题,提出了一种基于免锚检测的多目标跟踪算法.算法采用预测目标中心点热力图的方法实现目标检测定位,改善了因锚点框回归歧义所导致的漏检问题.同时在检测模型中嵌入深度表观特征提取分支,构建联合检测与跟踪的多任务网络用于提升实时性.为解决跟踪阶...     

基于DenseNet的无人机在线多目标跟踪算法

多目标跟踪任务的目的,是对图像序列中不同的目标设置不同的编号(ID),最终得到不同目标的运动轨迹。本文针对跟踪过程中目标ID极易变化的现象,提出了一种新的在线多目标跟踪算法。算法主要包含三个步骤:输入预处理、特征提取和数据关联。其中预处理步骤使用NMS算法对输入的检测结果进行筛选;特征提取步骤使用密集连接的特征提取网络对目标进行外观特征的提取,输出特征向量矩阵;数据关联步骤则使用级联匹配的方式,依据目标的位置信息和外观特征信息为其分配各自的ID。此外,该文还整理了一个具有挑战性的无人机场景下的多目标跟踪测试集。实验结果表明,该方法有效地减少了错误的目标ID变化,提高了多目标跟踪算法面对复杂场景时的精度,并保持较快的运行速度。     

加强重识别的行人多目标跟踪算法

在多目标跟踪任务中,重识别（re-identification,Re-ID）效果通常依赖于检测性能的好坏,检测偏差会导致ReID特征模糊,从而降低重识别精度。特别是在尺度变化和频繁遮挡等复杂场景下,Re-ID鲁棒性不高,多目标跟踪效果较差。针对该问题,提出一种加强重识别的行人多目标跟踪算法。该算法以CenterNet为检测器,通过预测目标中心点热力图来检测目标位置,并设计检测偏差损失加强对预测热力图响应值的约束,以缓解因检测不准确导致的ReID特征模糊问题。为提高Re-ID鲁棒性,提出Re-ID可学习特征动态扩充策略。该策略通过自适应扩充目标中心的Re-ID可学习特征来提高特征质量,并减小Re-ID对中心点检测精度的依赖。在MOT16和MOT17测试集上进行验证,结果表明,算法能有效提升Re-ID性能,与主流算法相比具有更好的跟踪效果,且兼顾了实时性,达到25.6 FPS。     

基于视频的多目标车辆跟踪及轨迹优化

为了获取交通视频中车辆的运动轨迹,提供道路动态交通信息,提出一种基于Yolo3目标检测和KCF目标预测相结合,关联历史轨迹预测结果和检测结果的长时间多目标车辆跟踪算法;对采用机器视觉获取的车辆轨迹非平滑现象,提出通过Savitzky-Golay滤波器对原始的车辆轨迹进行平滑优化。对比测试场景中车辆轨迹优化前后,优化后的轨迹在保留原有车辆运动特征的前提下,改善了轨迹平滑性,提供的动态交通信息更能反映车辆真实运动状况。     

基于改进YOLOv5和Bytetrack的牦牛跟踪

目前, 我国青藏高原地区的牦牛养殖方式以传统的人工放牧为主. 为解决人力养殖方式无法快速跟踪统计牦牛数量的问题, 本文提出了一种改进YOLOv5和Bytetrack的牦牛跟踪方法, 以实现在视频输入情况下快速检测跟踪牦牛. 采用基于深度学习的YOLOv5目标检测网络, 结合CA注意力、跨尺度特征融合和空洞卷积池化金字塔等优化方法, 减少牦牛检测中因遮挡而导致检测难度大、误检漏检的问题, 实现对视频中牦牛更精确的检测; 使用Bytetrack跟踪器通过卡尔曼滤波和匈牙利算法实现帧间目标关联, 并为目标匹配ID; 使用ImageNet中的部分牦牛数据和青海玉树地区采集的牦牛样本图像来训练模型. 实验结果表明: 本文改进模型的平均检测精确度为98.7%, 比原YOLOv5s、SSD、YOLOX和Faster RCNN模型分别提高1.1、1.89、8.33、0.4个百分点, 能快速收敛, 检测性能最优; 改进的YOLOv5s和Bytetrack跟踪结果最优, MOTA提高了7.1646%. 本研究改进的模型能够更加快速准确地检测和跟踪统计牦牛, 为青海地区畜牧业的智慧化发展提供技术支持.     

基于视觉Transformer的双流目标跟踪算法

目前基于Transformer的目标跟踪算法主要利用Transformer来融合深度卷积特征,忽略了Transformer在特征提取和解码预测方面的能力。针对上述问题,提出一种基于视觉Transformer的双流目标跟踪算法。引入基于注意力机制的Swin Transformer进行特征提取,通过移位窗口进行全局信息建模。使用Transformer编码器对目标特征和搜索区域特征进行充分融合,使用解码器学习目标查询中的位置信息。分别对编解码器中的双流信息进行目标预测。在决策层面上进一步地加权融合得到最终跟踪结果,并使用多监督策略。该算法在LaSOT、TrackingNet、UAV123和NFS四个具有挑战性的大规模跟踪数据集上取得了先进的结果,分别达到67.4%、80.9%、68.6%和66.0%的成功率曲线下面积,展示了其强大的潜力。此外,由于避免了复杂的后处理步骤,能够端到端进行目标跟踪,跟踪速度可达42?FPS。     

基于改进的核相关滤波器的目标跟踪算法

针对传统的KCF(核相关滤波器)目标跟踪算法在严重遮挡情况下出现目标跟踪漂移和丢失的问题,提出了一种改进的KCF目标跟踪算法.在传统的算法上增加了遮挡判断,如没有出现遮挡,则用KCF进行跟踪;若发生遮挡则用粒子滤波进行预测,然后把预测位置送给KCF算法.最后OTB-13的测试库选择David2、David3和Soccer视频遮挡序列进行跟踪测试,跟踪结果表明了改进方法的有效性;然后选择50组视频序列比较算法的有效性,相比传统的KCF算法,其跟踪精度和成功率分别提高了6.1％和2.9％.在目标发生严重遮挡时,该算法具有良好的鲁棒性.     

Current-Aided Multiple-AUV Cooperative Localization and Target Tracking in Anchor-Free Environments

In anchor-free environments, where no devices with known positions are available, the error growth of autonomous underwater vehicle (AUV) localization and target tracking is unbounded due to the lack of references and the accumulated errors in inertial measurements. This paper aims to improve the localization and tracking accuracy by involving current information as extra references. We first integrate current measurements and maps with belief propagation and design a distributed current-aided message-passing scheme that theoretically solves the localization and tracking problems. Based on this scheme, we propose particle-based cooperative localization and target tracking algorithms, named CaCL and CaTT, respectively. In AUV localization, CaCL uses the current measurements to correct the predicted and transmitted position information and alleviates the impact of the accumulated errors in inertial measurements. With target tracking, the current maps are applied in CaTT to modify the position prediction of the target which is calculated through historical estimates. The effectiveness and robustness of the proposed methods are validated through various simulations by comparisons with alternative methods under different trajectories and current conditions.      

多特征融合的端到端链式行人多目标跟踪网络

目标检测、特征提取与数据关联作为多目标跟踪网络中重要的组件,独立或部分联合地发挥作用,这种组件分离的方法虽取得了良好的跟踪效果,但增加了跟踪网络的复杂性,影响了跟踪速度。为提升行人多目标跟踪速度及维持跟踪精度,提出一种端到端链式行人多目标跟踪网络。将目标检测、特征提取与数据关联集成到一个统一的框架中,将连续2帧图片组成一个节点作为输入,直接回归出节点之间相同目标的成对边界框,利用相邻节点之间公共帧的强相似性,仅使用交并比匹配进行数据关联,以提高跟踪速度。使用多特征融合的双向特征金字塔,并在金字塔网络中引用改进可变形卷积,提高模型对目标形变的适应性。为解决正负样本不平衡及梯度贡献的差异,将focal loss与BalancedL1 Loss组成多任务学习损失函数以促进网络的均衡学习。在MOT17数据集上的实验结果表明,与DeepSORT、TubeTK、CenterTrack等网络相比,该网络可有效实现跟踪速度与精度的平衡,多目标跟踪精度为69.6,跟踪速度保持为21.6 frame/s。     

基于数据关联矩阵的多目标跟踪算法

针对视频中的多目标跟踪问题,提出一种改进的基于数据关联矩阵的多目标跟踪算法,实现视频场景复杂环境下的多个目标跟踪。使用区间分布模型获取图像的背景和前景,对前景目标建立相应的运动模型。根据运动模型和Kalman滤波器的位置预测,建立相关的匹配代价函数、关联矩阵和匹配链表。实验结果表明,该算法对目标在场景中的频繁出现和消失、交叉运动和短暂遮挡等均有较好的处理效果。