提升预测框定位稳定性的视频目标检测

目的 目前视频目标检测（object detection from video）领域大量研究集中在提升预测框定位准确性,对于定位稳定性提升的研究则较少。然而,预测框定位稳定性对多目标跟踪、车辆行驶控制等算法具有重要影响,为提高预测框定位稳定性,本文提出了一种扩张性非极大值抑制（expanded non-maximum suppression,Exp_NMS）方法和帧间平滑策略（frame bounding box smooth,FBBS）。方法 目标检测阶段使用YOLO（you only look once）v3神经网络,非极大值抑制阶段通过融合多个预测框信息得出结果,增强预测框在连续视频流中的稳定性。后续利用视频相邻帧信息关联的特点,对预测框进行平滑处理,进一步提高预测框定位稳定性。结果 选用UA-DETRAC（University at Albany detection and tracking benchmark dataset）数据集进行分析实验,使用卡尔曼滤波多目标跟踪算法进行辅助验证。本文在MOT（multiple object tracking）评价指标基础上,设计了平均轨迹曲折度（average track-tortuosity,AT）来直观、量化地衡量预测框定位稳定性及跟踪轨迹的平滑度。实验结果表明,本文方法几乎不影响预测框定位准确性,且对定位稳定性有大幅改善,相应跟踪质量得到显著提升。测试视频的MOTA（multiple object tracking accuracy）提升6.0%、IDs（identity switches）减少16.8%,跟踪FP（false positives）类型错误下降45.83%,AT下降36.57%,mAP（mean average precision）仅下降0.07%。结论 从非极大值抑制和前后帧信息关联两个角度设计相关策略,经实验验证,本文方法在基本不影响预测框定位准确性的前提下,可有效提升预测框定位稳定性。     

自适应在线判别外观学习的分层关联多目标跟踪

目的 复杂场景下目标频繁且长时间的遮挡、跟踪目标外观相似引起身份转换等问题给多目标跟踪带来许多挑战。针对多目标跟踪在复杂场景中因长时间遮挡引起身份转换和轨迹分段的问题,提出一种基于自适应在线判别外观学习的分层关联多目标跟踪算法。方法 利用轨迹置信度将多目标跟踪分为局部关联和全局关联两个层次。在局部关联中,置信度高的可靠轨迹利用外观、位置-大小相似度与当前帧检测点进行关联;在全局关联中,置信度低的不可靠轨迹引入运动模型和有效关联范围进一步关联分段的轨迹。在提取目标外观特征时引入增量线性可判别分析方法以解决身份转换问题,依据新增样本与目标样本均值的外观特征差异自适应地更新目标外观模型。结果 在公开数据集2D MOT2015中的PETS09-S2L1、TUD-Stadmitte、Town-Center 3个数据集中与当前10种多目标跟踪算法进行比较,该方法对各个数据集身份转换和轨迹分段都有减少,其中在Town-Center数据集中,身份转换减少了60个,轨迹分段减少了84个,跟踪准确度提高了5.2%以上。结论 本文多目标跟踪方法,能够在复杂场景中稳定有效地实现多目标跟踪,减少轨迹分段现象,其中引入的在线线性可判别外观学习对遮挡产生的身份转换具有良好的解决效果。     

基于改进霍夫森林框架的多目标跟踪算法

针对单目视觉对多个相似的目标跟踪因遮挡等因素影响而失效的问题,提出一种基于改进霍夫森林框架的多目标跟踪算法。在将多目标跟踪问题归结为基于目标检测的轨迹关联过程基础上,通过引入在线学习霍夫森林框架将轨迹关联计算转化为最大后验概率（MAP）问题。通过在线采集多目标样本、提取目标外观和运动特征构建霍夫森林,进行森林训练得到轨迹关联概率,从而关联多目标轨迹;而引入低秩逼近Hankel矩阵进行轨迹校验,修复了误匹配的轨迹,改进了在线更新训练样本算法的效能。实验表明,轨迹误匹配率显著改善,能有效提高单目摄像机对多个相似目标有遮挡情况下跟踪的准确性和鲁棒性。     

联合特征融合和判别性外观模型的多目标跟踪

目的 针对基于检测的目标跟踪问题,提出一种联合多特征融合和判别性外观模型的多目标跟踪算法。方法 对时间滑动窗内的检测器输出响应,采用双阈值法对相邻帧目标进行初级关联,形成可靠的跟踪片,从中提取训练样本;融合多个特征对样本进行鲁棒表达,利用Adaboost算法在线训练分类器,形成目标的判别性外观模型;再利用该模型对可靠的跟踪片进行多次迭代关联,形成目标完整的轨迹。结果 4个视频数据库的目标跟踪结果表明,本文算法能较好的处理目标间遮挡、目标自身形变,以及背景干扰。对TUD-Crossing数据库的跟踪结果进行了定量分析,本文算法的FAF(跟踪视频序列时,平均每帧被错误跟踪的目标数)为0.21、MT(在整个序列中,有超过80%视频帧被跟踪成功目标数占视频序列目标总数的比例)为84.6%、ML(在整个序列中,有低于20%视频帧被跟踪成功目标数占视频序列目标总数的比例)为7.7%、Frag(视频序列目标真值所对应轨迹在跟踪中断开的次数)为9、IDS(在跟踪中,目标身份的改变次数)为4; 与其他同类型多目标跟踪算法相比,本文算法在FAF和Frag两个评估参数上表现出色。结论 融合特征能对目标进行较为全面的表达、判别性外观模型能有效地应用于跟踪片关联,本文算法能实现复杂场景下的多目标跟踪,且可以应用到一些高级算法的预处理中,如行为识别中的轨迹检索。     

结合时空一致性的FairMOT跟踪算法优化

目的 视频多目标跟踪(multiple object tracking,MOT)是计算机视觉中的一项重要任务,现有研究分别针对目标检测和目标关联部分进行改进,均忽视了多目标跟踪中的不一致问题。不一致问题主要包括3方面,即目标检测框中心与身份特征中心不一致、帧间目标响应不一致以及训练测试过程中相似度度量方式不一致。为了解决上述不一致问题,本文提出一种基于时空一致性的多目标跟踪方法,以提升跟踪的准确度。方法 从空间、时间以及特征维度对上述不一致性进行修正。对于目标检测框中心与身份特征中心不一致,针对每个目标检测框中心到特征中心之间的空间差异,在偏移后的位置上提取目标的ReID(re-identification)特征;对帧间响应不一致,使用空间相关计算相邻帧之间的运动偏移信息,基于该偏移信息对前一帧的目标响应进行变换后得到帧间一致性响应信息,然后对目标响应进行增强;对训练和测试过程中的相似度度量不一致,提出特征正交损失函数,在训练时考虑目标两两之间的相似关系。结果 在3个数据集上与现有方法进行比较。在MOT17、MOT20和Hieve数据集中,MOTA(multiple object tracking accuracy)值分别为71.2%、60.2%和36.1%,相比改进前的FairMOT算法分别提高了1.6%、3.2%和1.1%。与大多数其他现有方法对比,本文方法的MT(mostly tracked)比例更高,ML(mostly lost)比例更低,跟踪的整体性能更好。同时,在MOT17数据集中进行对比实验验证融合算法的有效性,结果表明提出的方法显著改善了多目标跟踪中的不一致问题。结论 本文提出的一致性跟踪方法,使特征在时间、空间以及训练测试中达成了更好的一致性,使多目标跟踪结果更加准确。     

基于广义关联聚类图的分层关联多目标跟踪

检测跟踪是近期多目标跟踪研究的热点方向之一.目前大部分方法都是基于相邻帧之间的双向匹配,对检测点进行数据融合.本文提出的方法是,给定一个滑动时间窗口,在窗口内对某个目标每帧出现的检测点进行一次性数据融合.我们把多目标跟踪看作图的分割问题,利用广义关联聚类（Generalized correlation clustering problem,GCCP）图优化文中提出的数据融合.吸取分层数据关联的思想,把多目标跟踪分成两个阶段.首先,在时间窗口内遵循检测点,利用广义关联聚类,得到自适应长度的轨迹片段,轨迹片段长度不受窗口宽度的限制.然后,基于轨迹片段进一步数据关联,得到目标的长轨迹.在公共数据集上的实验测试表明,本文方法能够有效地实现多目标跟踪,对于遮挡处理、身份转换处理以及轨迹的生成具有很好的鲁棒性,多目标跟踪准确率（Multiple object tracking accuracy,MOTA）超过当前水平.     

基于多重信息融合与轨迹关联修正的多目标跟踪方法

一阶段多目标跟踪框架由于可以有效提升算法跟踪效率而备受关注,然而该框架在提升效率的同时忽略了检测与关联任务间信息的交互,且目标遮挡的频发会导致轨迹碎片的增加,从而影响跟踪效果.针对这些问题,提出基于多重信息融合与轨迹关联修正的多目标跟踪方法.通过无锚一阶段主干网络,在检测器上另外建立跟踪分支预测跟踪偏移量和嵌入特征信息;设计中和匹配关联模块优化跨帧特征匹配方式,协调检测与关联任务,提升两任务间信息交互能力;采用多重信息融合模块,对时空多层次特征进行融合以获得更加丰富的特征信息;提出轨迹关联修正网络处理因遮挡造成的轨迹碎片,通过改进数据关联方式评估碎片与检测低分目标关系,尝试找回遮挡目标轨迹;将提出的算法在MOT16和MOT17数据集上进行评估,并与其他优异的算法定量比较.通过分析实验结果可以发现,所提出的方法能有效缓解关键性问题,提升算法整体性能.     

全局多极团的分层关联多目标跟踪

目的 由于背景的复杂性,光照的多变性以及目标的相关性等因素的影响,使得多目标跟踪算法的鲁棒性相对较差。目前,在多目标跟踪问题中面临的主要挑战包括：遮挡、误检、目标运动的复杂性以及由于目标具有相似的外观特征所引起的模糊性。针对以上问题,提出一种基于全局多极团的分层关联多目标跟踪算法。方法 该方法以数据关联中的全局关联为依托,基于分层和网络流思想,跟踪采用两层框架,每一层中均利用较短的轨迹片段形成更长的轨迹,根据网络流思想,首先构建网络的无向图,其中无向图的结点是由几个轨迹片段构成的,无向图权值的确定是利用目标的运动模型和外观模型的线性组合得到,然后借助聚合虚拟结点处理目标之间的遮挡问题,接着重点加入空间约束以解决身份转换的问题。最后利用最大二值整数规划在叠加片段上求解无向图,同时得到多个极大团。结果 实验在公共数据集上进行,通过在TUD-Stadmitte、TUD-Crossing、PETS2009、Parking Lot 1、Parking Lot 2、Town Center这6个数据集上验证,该方法对各个数据集跟踪准确度均有提高,其中针对数据集TUD-Stadmitte提高了5%以上,针对数据集Town Center处理的身份转换数量减少了12个。结论 本文依据数据关联思想,提出一种全局多极团的分层关联多目标跟踪算法,其中重点加入的空间约束能有效地处理多目标跟踪问题,尤其涉及遮挡问题,效果更佳。在智能视频监控领域中该方法具有实际应用价值。     

遮挡判定下多层次重定位跟踪算法

目的 目标遮挡一直是限制跟踪算法精确度和稳定性的问题之一,针对该问题,提出一种抗遮挡的多层次重定位目标跟踪算法。方法 通过平均峰值相关能量动态分配特征权重,将梯度特征与颜色直方图特征动态地结合起来进行目标跟踪。利用多峰值检测和峰值波动情况进行目标状态判定,若目标状态不理想,则停止模板更新,避免逐帧更新导致目标漂移,继续跟踪目标;若判定目标遮挡,则提取对应特征点,使用最邻近距离比进行特征匹配和筛选,丢弃负样本的最邻近样本作为二次筛选,利用广义霍夫变换进行第3次筛选并重定位目标,对目标继续跟踪。结果 在标准数据集OTB（object tracking benchmark）100和LaSOT（large-scale single object tracking）上的实验结果显示,本文算法的精确率分别为0.885和0.301,相较于Staple算法分别提升了13.5%和30.3%。结论 在目标发生遮挡的场景中,本文方法能够重定位目标并且继续跟踪,优化后的模板更新策略提高了算法速度。目标状态的判定有效估计了目标遮挡问题,可以及时采取应对策略,提高算法在复杂环境下的稳定性。     

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络（CNN）中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节。针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking)。使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征。使用双向桥接模块（two-way braidge module,TBM）对两种特征进行充分融合。将融合后的特征输入两组并行的解码器进行处理。将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务。在多目标跟踪数据集MOT17、MOT20、KITTI以及UADETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果。由于同时完成目标检测和关联,能够端到...     

基于稀疏帧检测的交通目标跟踪

为了获取高速公路交通视频中目标车辆的行驶轨迹,提出一种基于视频的多目标车辆跟踪及实时轨迹分布算法,为交通管理系统和交通决策提供目标车辆交通信息.首先,使用YOLOv4算法检测目标车辆位置及置信度.其次,在不同场景条件下,使用提出的基于稀疏帧检测的跟踪方法,结合KCF跟踪算法,将车辆数据进行关联获取完整轨迹.最后,用车辆分布图和交通场景俯视图显示轨迹,便于交通管理与分析.实验结果表明,提出的跟踪方法在车辆跟踪中有较高的跟踪正确率,同时基于稀疏帧检测的跟踪方法处理速度也较快,实时轨迹分布正确反映了真实场景的车道信息以及目标车辆运动信息.     

夜间城市交通监控中各类车辆轨迹的完整提取

针对夜间城市交通视频中各类车辆轨迹的完整提取，提出结合车辆类型与轨迹反馈修正的跟踪系统。在视频远中近区域筛选复原车灯光斑后，用面积重叠法获得车灯初始轨迹，再应用反馈纠正误匹配；通过单应性矩阵推算实际车宽，并依此给车辆分类后，按照时空相似度完成车灯配对；最后修正、优化车辆跟踪结果，实现相邻两个监控点间车辆轨迹的完整提取。与同类算法相比，车辆跟踪帧数增加了500帧，车灯匹配率提高了11.33%，车辆跟踪率提高了10%。     

基于多目标跟踪的交通异常事件检测

针对传统异常行为自动检测方法的准确率和稳定性无法满足多变视频检测需求的问题,将最新的目标检测网络YOLOv3与目标跟踪算法相结合,通过对基于SORT多目标跟踪框架的改进,对检测目标的级联匹配采用了融合运动与外观特征的指标,以适应实际高架桥梁道路监控的情况.然后利用改进的多目标跟踪算法,对城市高架道路监控视频中的目标进行跟踪,配合相应的轨迹判别规则实现对视频中出现的行人、停车和车辆变道的交通行为异常情况的自动判别,具有较高的判别精度,可以达到实际应用目的.     

融合YOLO检测的多目标跟踪算法

针对目前视频多目标跟踪过程中的遮挡问题,提出了一种融合YOLO v3的多目标检测和跟踪算法,选定基于检测跟踪的框架作为跟踪的整体框架,使用YOLO v3来实现对目标信息的检测工作,在选定某一检测类别的基础上,使用本文提出的跟踪算法,通过数据关联完成对此类别的多目标跟踪,并针对跟踪过程中的目标遮挡问题以及因目标遮挡而引起的轨迹跟踪异常的问题,提出了修正算法。测试视频中被遮挡的大部分目标都能准确地跟踪,但在背景移动时也会发生一部分目标身份互换的情况。所提出的算法在解决多目标跟踪中的遮挡问题时具有一定的准确性和实时性。     

基于网络流跟踪的信号灯检测方法

结合信号灯信息对机动车行进速度进行引导,减少机动车启停次数,可有效减少废气排放,缓解其造成的污染问题。针对信号灯转换时刻的获取问题,提出了一种基于网络流跟踪的信号灯检测方法。首先,该方法在数据集中引入辅助信号灯类别进行训练,将视频序列中该类目标检测结果关联为踪片,并通过踪片建模多目标跟踪任务。其次,该方法将多目标跟踪任务转换为最小费用流优化任务,以踪片作为节点建立最小费用流网络,提出了适合于信号灯的费用构建方式,通过最短路径算法求解,得到视频序列中辅助信号灯的多条轨迹。最后,基于求解的轨迹结果和图像分类技术,实现信号灯检测性能的提升。该方法的跟踪性能相较于对比算法有大幅提升,并将小目标信号灯检测响应的mAP提升至94.35%。实验结果表明,基于网络流的建模方式能极大地提升信号灯的跟踪准确率,结合跟踪轨迹还能大幅提高视频序列中小目标信号灯的检测准确率,并可有效确定信号灯状态的转换时刻。     

基于视频的多目标车辆跟踪及轨迹优化

为了获取交通视频中车辆的运动轨迹,提供道路动态交通信息,提出一种基于Yolo3目标检测和KCF目标预测相结合,关联历史轨迹预测结果和检测结果的长时间多目标车辆跟踪算法;对采用机器视觉获取的车辆轨迹非平滑现象,提出通过Savitzky-Golay滤波器对原始的车辆轨迹进行平滑优化。对比测试场景中车辆轨迹优化前后,优化后的轨迹在保留原有车辆运动特征的前提下,改善了轨迹平滑性,提供的动态交通信息更能反映车辆真实运动状况。     

面向路网连通关系的车辆轨迹数据查询技术研究

定位及通信技术的发展使获取和传输移动车辆的轨迹信息成为可能。从车辆轨迹数据中可以提取出大量的交通信息,这些信息是对交通状况的一个直接和全面的反映。但由于轨迹数据固有的网络特性及时空特性,使针对此类数据的查询成为一个难点,其中关键技术包括建立用于车辆轨迹数据的索引结构及其对应的轨迹数据查询语言。在比较现有轨迹数据索引结构的基础上,对轨迹数据查询语言的分类及其与索引结构之间的调用关系进行了初步的探讨,提出了面向连通关系的查询语言（connectivity-oriented query language, CQL）的定义、分类及实现方法,并简要讨论了车辆轨迹数据查询原型系统的结构和实现方法。     

改进YOLOv3的全景交通监控目标检测

针对城市交通场景复杂、车辆及行人等目标多且尺度变化大等特点,提出一种改进的YOLOv3全景交通监控多目标检测方法。以YOLOv3网络为基础,兼顾大小尺度目标特性设计4个检测尺度,并进行多尺度特征融合处理。利用[K]-means聚类方法对数据集中的标注目标框进行聚类分析,选取优化的聚类锚点框宽高维度作为改进YOLOv3网络的初始候选框。全景交通监控检测目标包括大型汽车、小型汽车、骑行摩托车、骑行自行车和行人5类。在测试集上目标检测平均精度和召回率分别达到84.49%和97.18%,较原始YOLOv3分别提高了7.76%和4.89%,处理速度可满足交通场景下实时性检测要求。     

低视点下遮挡自适应感知的多目标跟踪算法

目的 针对低视点多目标跟踪场景的遮挡问题,提出一种能够遮挡自适应感知的多目标跟踪算法。方法 首先根据每帧图像的全局遮挡状态,提出了“自适应抗遮挡特征”,增强目标特征对遮挡的感知和调整能力。同时,采用“级联筛查机制”,减少由遮挡带来的目标特征剧烈变化而认定为“虚新入目标”的错误跟踪现象。最后,考虑到历史模板库中存在遮挡的模板对跟踪性能的影响,根据每一帧中目标的局部遮挡状态,提出自适应干扰模板更新机制,进一步提高对遮挡的应变和适应能力。结果 实验结果表明,本文算法在MOTA(multiple object tracking accuracy)、M OTP (multiple object tracking precision)、FN(false negatives)、Rcll (recall)、ML (mostly lost tracklets)等指标上明显优于STAM(spatial-temporal attention mechanism)、ATAF(aggregate tracklet appearance features)、STRN (spatial-temporal relat...     

基于PSO-IGA算法的高性能十字阵列的设计与综合

前碰撞预警系统是安全辅助驾驶领域的一项重要部分,通过计算机处理交通环境信息,当检测到潜在危险时,及时提醒并辅助驾驶员。采用计算机视觉方法,通过目标检测和跟踪算法,获取图像中目标车辆的位置和轨迹信息,并利用相机标定,计算当前车辆和前方车辆在世界坐标系中的距离、速度及轨迹等信息,综合该信息,实现前车碰撞时间预警、前车并线预警以及非机动车预警算法。在前车并线过程中,利用轨迹信息实时检测前车并线意图,及时提示驾驶员注意避让前方车辆。实验表明,本文提出的预警算法具有较高的准确性和鲁棒性,特别在高架或高速道路场景下,并线预警算法能检测到前车的并线意图,及时预警。