基于运动一致性的视觉多目标跟踪算法

视觉多目标跟踪模块在主动式车载障碍物检测系统中占据关键地位。然而,现有的视觉多目标跟踪算法多依赖离线计算得到的目标检测结果,并未充分考虑这个阶段耗时对实际应用中跟踪效果的影响。因此,本研究首先针对实际应用环境,设计了一个多线程异步的视觉障碍物检测系统框架;随后,提出了一种多特征融合的视觉多目标跟踪算法,该算法以本研究所提出的基于目标运动向量的运动一致性特征指标为基础,结合目标跟踪研究中常用的外观特征和马氏距离等特征,优化级联匹配策略,旨在提升对具有相似外观特征和运动规律的多个目标的跟踪稳定性,同时保证常规场景下目标的稳定跟踪;最后,将所提出的多目标跟踪算法集成于所设计的障碍物检测系统框架中,通过实验分析来验证该算法的有效性。实验结果表明,该算法能较稳定地跟踪实际应用环境下的各类目标,相比参照算法可达到更长时间稳定跟踪的效果。     

基于ROI特征匹配融合的图像多目标跟踪算法

在图像多目标跟踪问题中,针对图像匹配无法辨别同类别目标以及状态滤波难以对目标突发机动建模两个难点,提出了一种多特征匹配融合跟踪算法。该算法在基于局部方差图(standard deviation map,STDM)的目标检测结果的基础上,首先利用目标感兴趣区域(region of interest,ROI)的图像匹配来克服目标状态匹配误差的影响;然后利用状态特征匹配消除图像匹配识别的模糊性;最后在关联代价全局最优化框架下,将两者匹配结果融合,以提高多目标跟踪的正确率。     

基于局部特征匹配的多目标跟踪算法

为解决多目标跟踪过程中因遮挡导致跟踪失败的问题,提出一种基于局部特征匹配的跟踪算法。在卡尔曼滤波跟踪框架下,根据目标数据关联的结果判断目标的状态并进行针对性处理。当目标处于相互遮挡的状态时,利用目标的局部模板在当前帧进行匹配获取目标候选区域,利用改进的距离加权彩色直方图计算候选区域与局部模板的相似度,结合直方图的相似度和卡尔曼预测确定目标的位置。实验结果表明,在满足实时性的要求下,该方法能够有效地处理目标的遮挡问题。     

基于注意力特征融合的无人机多目标跟踪算法

随着无人机技术的不断发展,无人机多目标跟踪已成为无人机应用的关键技术之一.针对无人机视频中的复杂背景干扰、遮挡、视点高度和角度多变等问题,提出一种基于注意力特征融合的无人机多目标跟踪算法.首先,将改进的卷积注意力模块引入残差网络,建立三元组注意力特征提取网络;其次,在特征金字塔网络的结构上加入新的特征融合通道,设计多尺度特征融合模块,增强模型对多尺度目标的特征表达能力;最后,根据目标的重识别特征匹配与检测框匹配得到目标轨迹.仿真实验结果表明,该算法可有效提升无人机多目标跟踪的精度,具有较好的鲁棒性.     

基于杂波强度在线估计的多目标跟踪算法

针对多目标跟踪中的未知杂波强度,提出了基于熵分布的杂波强度在线估计算法.利用有限混合模型对未知杂波强度建模,将仅依赖于混合权重的熵分布作为混合参数的先验;利用拉格朗日乘子法推导了混合权重在极大后验意义下的在线估计公式;以随机近似过程为在线估计策略,推导了基于缺失数据的分量均值和方差的在线估计公式.仿真结果表明,基于熵分布的杂波强度在线估计算法改进了概率假设密度滤波器在多目标跟踪中的性能.     

基于颜色匹配的密集多目标快速跟踪算法

研究公共场所的监控场景问题,为了实现密集运动目标的快速准确的跟踪并有效排除目标碰撞、遮挡形成的干扰,提出了一种基于颜色匹配的密集多运动目标快速跟踪算法,运用形态学方法准确提取目标。根据卡尔曼原理得到目标在下一帧的预测位置,并确定搜索框的位置,然后在搜索框内运用简化的颜色匹配跟踪方案,提高匹配速率,实现密集运动目标的快速跟踪,且通过设定稳定度数组来迅速排除碰撞、遮挡情况形成的干扰,从而实现密集目标的快速准确跟踪。仿真表明,改进方法能在多目标跟踪过程中正确处理目标的碰撞、遮挡等问题,可实现公共场所的实时准确监控。     

基于OpenCV的室内环境下多目标跟踪

室内环境下多运动目标跟踪的核心问题是目标的快速识别和准确匹配,目标的快速识别关键在于目标对象的特征提取,寻找不变的特征值.针对以上两个问题,采用基于颜色直方图的特征提取方法并用欧氏距离匹配法实现特征值的相似度匹配.提出的区域相应和特征匹配相结合的多运动目标跟踪算法解决了因为快速运动和长时间遮挡而引起的目标跟踪丢失问题.     

基于参数学习和运动预测的在线多目标跟踪算法

针对在线多目标跟踪中的短时遮挡和检测器误差造成的误检和漏检问题,提出一种结合参数学习和运动预测的在线多目标跟踪算法。采用逐帧关联的方式,首先利用目标的历史轨迹建立卡尔曼滤波器模型预测目标当前帧的可能位置,然后计算目标和当前观测之间的关联度建立代价矩阵。对于多目标跟踪被建模为指派问题,采用Hungarain算法求解,此外制定策略处理目标出现、消失和遮挡等异常情况。而对于多目标跟踪系统中的参数,设计一种新的二分类参数学习方案。实验结果验证了参数学习的有效性以及对误检、漏检和遮挡的鲁棒性,并且与若干经典算法的性能比较中,在多个指标上表现出一定优势。     

基于自适应卡尔曼滤波的视觉多目标跟踪

多目标跟踪MOT(multi-object tracking)旨在对视频序列中的多个目标进行识别与跟踪,并保持各目标的ID(identity),对运动不规律的多目标进行跟踪是该领域的难点,跟踪准确度难以保证且易出现目标ID频繁切换的问题。为提高跟踪准确度,提出自适应卡尔曼滤波AKF(adaptive Kalman filter),充分利用目标检测器提供的信息对运动模型加以修正,提高对运动不规律目标跟踪准确度;为解决目标ID频繁切换的问题,设计一种BIoUG贪婪算法,通过放大匹配框并采取择优匹配的方式,提高匹配机会并降低误匹配概率。在此基础上,提出一种针对运动不规律目标的多目标跟踪方法。实验结果表明,所提方法在DanceTrack数据集上的MOTA、HOTA、IDF1分别达到了92.2%、57.7%和58.7%;在MOT17数据集上,MOTA、HOTA、IDF1分别达到了80.3%、63.3%和77.3%。与目前主流的同类目标跟踪方法相比,所提方法对运动不规律和规律的目标均有较好的跟踪效果,体现出较好的综合性能,为运动不规律多目标的跟踪提供了新的解决思路。     

基于特征增强的光学遥感视频多目标跟踪算法

高分辨率视频卫星的出现为遥感视频目标的检测和跟踪提供了重要数据源;在灾害检测、军事侦察等领域都有重要作用。针对遥感视频复杂地物背景下目标尺寸弱小、目标特征相似、云雾遮挡和背景噪声干扰导致目标误检、误跟、漏跟问题;提出基于特征增强的光学遥感视频多目标跟踪算法FE-MOT;设计了基于边缘特征增强的特征提取网络;在微小目标缺乏纹理特征的情况下更好地融合语义与空间特征;通过构建基于交叉熵损失和中心损失的Re-ID分支结构;提高了对具有相似特征的微小目标的可分性。在吉林一号遥感视频多目标跟踪数据集AIR-MOT上的实验结果表明;FE-MOT在原模型的基础上MOTA提高了14.28个百分点;IDF1提高了15.47个百分点;FN降低了24个百分点;对于遥感视频多目标跟踪中目标身份维持能力和跟踪稳定性有显著提升;在2个Tesla T4 GPU上的运行速度达到19.9?FPS;满足实时运行的需要。     

基于长短期超图神经网络匹配的多目标跟踪

针对联合检测与跟踪范式中存在的检测特征和Re-ID 特征相互竞争的问题以及在复杂场景下难以保持被遮挡目标视觉一致性关系的问题, 提出一个端到端的超图神经网络关联的多目标跟踪方法(HGTracker). 首先, HGTracker设计一个增强的空间金字塔池化网络(ESPPNet)模块用来提高目标检测骨干网络的检测能力, 该模块通过聚合不同维度的特征来适应跟踪过程的不同任务, 有效地缓解一阶段跟踪方法中检测任务与Re-ID任务相互竞争的问题. 其次, 提出一个基于长短期超图神经网络的数据关联模块, 通过设计长期超图神经网络和短期超图神经网络来分别关联未被遮挡和被遮挡的检测视觉特征, 将数据关联问题转化为轨迹超图与检测超图之间的超图匹配问题, 跟踪器将轨迹片段信息与当前检测帧信息之间的关系建模为超图神经网络, 在严重遮挡的情况下保持了视觉轨迹的一致性. 通过一系列的对比实验, 所提出的HGTracker跟踪方法相比于FairMOT跟踪方法, 在MOT17数据集上HOTA值由59.3 %提高至61.4 %, IDF1值由73.7 %提高至79.3 %, MOTA值由72.3 %提高至76.9 %; 在MOT20数据集上, HOTA值由54.6 % 提高至57.9 %, IDF1值由61.8 %提高至73.1 %, MOTA值由67.3 %提高至75.1 %.     

一种实时多目标跟踪的新算法

多目标跟踪技术是机器视觉应用领域的一个重要的课题,也是当前研究的热点之一,针对在线流水线计数,文章提出了一种实时多运动目标跟踪的新算法,它是根据目标图像投影积分曲线计算位移量,然后利用统计的方法求得目标的位移量;该算法满足了流水线计数对准确性、实时性和容错性的要求;同时给出了该新算法的实际应用,实验表明该算法效果显著.     

基于信息分享机制的粒子滤波算法及其在视觉跟踪中的应用

针对基本粒子滤波方法存在的权值退化和计算效率低问题,提出了一种基于信息分享机制的粒子滤波算法.该方法将粒子群优化算法和蚁群优化算法的优化思想共同作用到粒子更新中,实现粒子之间信息共享,从而增强粒子的多样性和最优估计能力.同时分析了该算法的收敛性.视觉跟踪实验表明,该算法能用较少的粒子实现单目标和多目标跟踪,综合跟踪性能优于基本粒子滤波和基于粒子群优化的粒子滤波方法,验证了本算法的有效性.     

CNN-Transformer特征融合多目标跟踪算法

在卷积神经网络(CNN)中,卷积运算能高效地提取目标的局部特征,却难以捕获全局表示;而在视觉Transformer中,注意力机制可以捕获长距离的特征依赖,但会忽略局部特征细节.针对以上问题,提出一种基于CNN-Transformer双分支主干网络进行特征提取和融合的多目标跟踪算法CTMOT(CNN-transformer multi-object tracking).使用基于CNN和Transformer双分支并行的主干网络分别提取图像的局部和全局特征.使用双向桥接模块(two-way braidge module,TBM)对两种特征进行充分融合.将融合后的特征输入两组并行的解码器进行处理.将解码器输出的检测框和跟踪框进行匹配,完成多目标跟踪任务.在多目标跟踪数据集MOT17、MOT20、KITTI以及UA-DETRAC上进行评估,CTMOT算法的MOTP和IDs指标在四个数据集上均达到了SOTA效果,MOTA指标分别达到了76.4%、66.3%、92.36%和88.57%,在MOT数据集上与SOTA方法效果相当,在KITTI数据集上达到SOTA效果.由于同时完成目标检测和关联,能够端到端进行目标跟踪,跟踪速度可达35 FPS,表明CTMOT算法在跟踪的实时性和准确性上达到了较好的平衡,具有较大潜力.     

面向智慧生物实验室的弱外观多目标轻量级跟踪网络

基于监控视频的弱外观多目标跟踪是建设智慧生物实验室的一个重要内容.但是,由于遮挡、目标外观差别细微等因素的影响,容易出现漏检、误检等问题,导致跟踪失败.此外,基于深度学习的相关算法需要大量的计算量,在嵌入式平台上难以达到实时性.因此,本文提出了一种新的轻量级多目标跟踪算法,以YOLOv3作为基础目标检测网络,提出基于归...     

基于运动检测与运动搜索的多目标跟踪

提出一种新的单摄像机多目标跟踪方法,采用全局背景减法得到当前帧所有运动区域,利用kalman滤波器及局部背景减法得到已跟踪目标在当前帧的预测区域,根据全局减法运动区域及预测区域的位置及大小来判断是否有遮挡发生,并用不同匹配方法进行目标跟踪。实验表明,该方法能有效提高单摄像机跟踪对目标合并、遮挡等问题的处理能力。     

基于目标检测和场景流估计联合优化的3D多目标跟踪

大多数3D多目标跟踪方法独立优化目标检测和帧间数据关联部分, 没有考虑单帧的特征学习和帧间关联学习的耦合性。为了实现单帧检测和帧间关联的耦合学习, 提出了一种基于目标检测和场景流估计联合优化的3D多目标跟踪框架FlowDet-Track。在该框架中, 提出了一个检测引导场景流估计模块来缓解不正确的帧间关联。为了获得更准确的场景流标签, 特别是在旋转运动的情况下, 提出了一种基于框变换的场景流真值计算方法。在KITTI MOT数据集上的实验结果表明, 本文算法的车辆类别HOTA与DetA指标比PointTrackNet算法提升了25.03%和30.8%, 表明本文算法的位置跟踪精度优异; 此外, 极端旋转运动条件下的对比实验进一步证明了算法的鲁棒性。     

基于多重信息融合与轨迹关联修正的多目标跟踪方法

一阶段多目标跟踪框架由于可以有效提升算法跟踪效率而备受关注,然而该框架在提升效率的同时忽略了检测与关联任务间信息的交互,且目标遮挡的频发会导致轨迹碎片的增加,从而影响跟踪效果.针对这些问题,提出基于多重信息融合与轨迹关联修正的多目标跟踪方法.通过无锚一阶段主干网络,在检测器上另外建立跟踪分支预测跟踪偏移量和嵌入特征信息;设计中和匹配关联模块优化跨帧特征匹配方式,协调检测与关联任务,提升两任务间信息交互能力;采用多重信息融合模块,对时空多层次特征进行融合以获得更加丰富的特征信息;提出轨迹关联修正网络处理因遮挡造成的轨迹碎片,通过改进数据关联方式评估碎片与检测低分目标关系,尝试找回遮挡目标轨迹;将提出的算法在MOT16和MOT17数据集上进行评估,并与其他优异的算法定量比较.通过分析实验结果可以发现,所提出的方法能有效缓解关键性问题,提升算法整体性能.     

三角网约束下的层次匹配方法

针对数字摄影测量中密集匹配问题,提出一种三角网约束与金字塔策略相结合的影像匹配方法.该方法在每层金字塔影像中提取特征点,利用金字塔上层影像的匹配结果构建Delaunay三角网,约束和指导金字塔下层影像的匹配;金字塔策略本身体现由粗到精的匹配过程,而Delaunay三角网能有效地将上层匹配结果作为约束传递到下层影像.实验结果证明,文中方法生成的密集匹配点云密度大、误匹配少、精度高,能有效地反映地貌特征.