一种基于无人机云台的视觉目标跟踪方法

鉴于无人机视觉目标跟踪时会遇到目标遮挡、目标尺度变化等问题,同时目标跟踪方法复杂度受到云台芯片算力的严格限制,提出了一种基于无人机云台的视觉目标跟踪方法。基于多个特征相关滤波器的自适应权重融合来提升目标位置预测的精度。引入长宽相互独立变化的尺度变化池策略,解决无人机目标跟踪过程中目标尺度估计问题。通过设置模板检测和轨迹预测模块来有效地对目标跟踪过程中的遮挡状态进行检测和处理。该方法可在无人机云台芯片中实现实时跟踪,且在公开无人机目标跟踪数据集和自采集数据集中取得了很好的跟踪效果,与基线方法相比,成功率提升了10.7个百分点,准确率提升了3个百分点。     

融合光流检测与模板匹配的目标跟踪算法

针对传统的目标跟踪算法需要人工选择目标且不能较好地处理目标的尺度变化问题,提出融合光流检测与模板匹配的目标跟踪算法。首先通过结合光流信息与图像分割结果从视频中自动地检测和提取运动目标,实现基于检测的跟踪;当检测跟踪结果不可靠时,再利用模板匹配定位目标位置,实现基于匹配的跟踪;最后,通过自动更新模板,使得跟踪框能够自适应目标的尺度变化。实验结果表明该算法能够在自适应目标尺度变化的同时获得较为稳定的跟踪结果。与其他三种算法相比,所提方法在目标的自动检测提取与尺度自适应方面具有优势。     

带旋转与尺度估计的全卷积孪生网络目标跟踪算法

针对目标跟踪任务中,全卷积孪生网络（SiamFC）跟踪算法存在因目标的旋转、尺度变化而造成跟踪错误或跟踪结果不准确的问题,提出一种带旋转与尺度估计的SiamFC跟踪算法。该算法由定位模块与旋转、尺度估计模块两部分组成。首先在定位模块中,利用SiamFC算法获得跟踪位置,并结合旋转与尺度信息对该位置进行调整;其次在旋转、尺度估计模块中,鉴于图像的旋转和尺度变化在对数极坐标系下变成了平移运动,将目标搜索区域从笛卡儿坐标系变换到对数极坐标系下,由此便可利用相关滤波技术估计待跟踪目标的尺度和旋转角度;最终实现了一个能同步估计目标位置、旋转角度以及尺度变化的目标跟踪模型。在对比实验中,该算法在OTB2015数据集上的成功率与准确率分别达到57.7%和81.4%;在包含目标旋转和尺度变化的POT数据集上的成功率与准确率分别达到51.8%和53.3%。与SiamFC算法相比,所提算法的成功率和准确率分别提高了13.5个百分点和13.4个百分点。实验结果表明,所提算法能有效应对目标旋转与尺度变化带来的跟踪挑战。     

基于像素分类的多尺度无人机航拍目标旋转跟踪算法

针对无人机（UAV）跟踪过程中垂直跟踪框在处理尺度变化、相似物体和纵横比变化时限制了跟踪精度提升的问题,提出一种基于像素分类的多尺度UAV航拍目标旋转跟踪算法。首先,设计MS-ResNet以提取目标多尺度特征;然后,在具有正交特性的多通道响应图上设计像素二分类模块,从而进一步精确细化分类和回归分支的结果;同时,为了提高像素分类精度,使用并行通道空间注意力（scSE）模块在空间域和通道域上筛选目标特征;最后,在像素分类基础上生成贴合目标实际大小的旋转跟踪框,从而避免正样本受到污染。实验结果表明：所提算法在无人机跟踪数据集UAV123上的成功率和准确率分别为60.7%和79.5%、与孪生区域建议跟踪网络（SiamRPN）相比,成功率与准确率分别提升了5个百分点、2.7个百分点,同时速度为67.5 FPS,满足实时要求。所提算法具有良好的尺度适应能力、辨别能力和鲁棒性,能有效应对UAV跟踪任务。     

基于深度估计和特征融合的尺度自适应目标跟踪算法

针对核相关滤波目标跟踪算法(KCF)使用单特征来描述所跟踪的目标,在复杂环境下,目标尺 度发生较大变化时,无法准确跟踪目标的问题,提出基于深度估计和特征融合的尺度自适应目标跟踪算法。首 先利用深度神经网络估计视频序列中目标的深度,建立并训练深度-尺度估计模型;在跟踪过程中,融合目标 方向梯度直方图(HOG)特征和 CN (Color Name)特征训练相关滤波器,利用深度估计网络得到目标深度值,并 利用深度-尺度估计模型得到目标的尺度值,从而在目标尺度发生变化时,能够调整目标框大小,实现尺度自 适应的目标跟踪算法。实验结果表明,与经典的 KCF 算法相比,可获得更高的精度,与尺度自适应的判别型 尺度空间跟踪(DSST)算法相比,在尺度变化较大时,跟踪速度更快;在环境复杂、目标被遮挡时,鲁棒性更好。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

基于IMPSiamCAR孪生网络无人机目标跟踪算法

针对无人机进行目标跟踪时,目标存在尺度变化大、易受遮挡、相似物干扰等问题,在SiamCAR的基础上提出IMPSiamCAR算法。该算法使用改进的ResNet50网络提取目标特征,引入通道注意力机制使模型学习不同通道的语义信息,按特征的重要程度为通道分配不同的权重,使算法能更加关注存在跟踪目标的区域;再将融合后的目标特征送入区域回归网络进行正负样本分类、中心度计算及边界框回归;最后得到每一帧中目标的位置。在UAV123数据集与OTB100数据集上测试的实验结果表明,提出的算法与对比算法相比,有更高的跟踪精度与成功率,能较好地应对遮挡、相似物干扰、尺度变化等挑战;并且在VOT2018和UAV123数据集上进行实时性测试的结果表明,所提算法可以满足无人机实时性的要求。     

基于相关滤波器的长时舰船目标跟踪方法

在海上复杂环境下对目标进行跟踪时,会出现目标遮挡、尺度变化等问题。针对这些问题,引入长时间相关滤波算法,将跟踪任务分解为对目标平移和尺度的估计,其中目标平移通过时空上下文进行估计,而目标尺度通过搜寻外观金字塔进行估计。另外,使用在线随机蕨分类器对跟踪失败的目标再检测,从而实现长时间跟踪。将该算法首次应用于海上舰船跟踪中,通过与其他几种长时间跟踪算法进行仿真实验对比,结果表明:该算法跟踪精度和成功率均有较大提高。在目标发生遮挡和尺度变化等情况下,该方法均具有较高的精确度。     

基于特定目标提议框的自适应跟踪算法

目前多数跟踪算法采用尺度遍历穷搜索策略应对目标的尺度变化,其跟踪性能和效率不佳。针对此问题,基于特定目标提议框提出一种自适应跟踪算法。对目标提议框生成算法进行改进,融入跟踪目标的尺度和位置信息,得到特定目标提议框并获取其特征。为确保跟踪的连续性,将自适应支持向量机作为跟踪模型,对特定目标提议框进行评分,得到目标位置。对均匀采样样本和特定目标提议框正负样本分类,进行模型更新。在OTB100数据库上进行对比实验,结果表明,与CNN-SVM、DeepSRDCF等算法相比,该算法能较好地适应目标的尺度变化和形变,有效提高跟踪效率。     

基于云边协同的煤矿井下尺度自适应目标跟踪方法

煤矿井下监控视频中的运动目标通常存在较大的尺度变化和形变,导致基于计算机视觉的目标跟踪算法准确率不高,且海量的视频数据导致基于云端的集中式数据处理方式难以满足目标跟踪的实时性要求。针对上述问题,提出了一种基于云边协同的煤矿井下尺度自适应目标跟踪方法。设计了基于深度估计的尺度自适应目标跟踪算法,通过构建深度-尺度估计模型,利用目标深度值估计尺度值,实现尺度自适应目标跟踪,解决了目标尺度变化和形变导致跟踪准确率不高的问题;设计了一种基于云边协同的智能监控系统架构,将尺度自适应目标跟踪算法细粒度划分后的子模块按所需计算资源分别部署在系统的边缘端和云端,通过边缘端和云端的分布式并行处理提高算法运行效率,解决了集中式数据处理方式实时性差的问题。将基于云边协同的煤矿井下尺度自适应目标跟踪方法应用于煤矿井下视频序列,对其跟踪性能和实时性能进行实验验证,结果表明：与核相关滤波（KCF）、判别型尺度空间跟踪（DSST）算法、基于多特征融合的尺度自适应（SAMF）算法3种经典目标跟踪算法相比,基于深度估计的尺度自适应目标跟踪算法在煤矿井下目标出现较大尺度变化和形变时,具有更高的跟踪精度和成功率;与传统的云...     

多特征重检测的相关滤波无人机视觉跟踪

无人机视觉跟踪是视觉跟踪未来应用的核心领域,其由于跟踪目标像幅较小、表 观不清且易受到无人机飞行姿态多变、飞行稳定性差等因素的影响而难以对目标进行鲁棒的跟 踪,特别是发生跟踪遮挡时,算法跟踪漂移后无法进行模型的更新。为提高无人机视频的跟踪 效果,提出一种多特征重检测跟踪方法。首先采用多特征融合的方式提高跟踪算法在无人机跟 踪特征的判别性。其次目标在出现遮挡时,扩大搜索区域,采用滑动窗口采样找到置信度最高 的目标区域并实现模型更新。通过一系列无人机视频实验结果表明,该算法在遇到遮挡问题时 具有较好的鲁棒性,能够提高无人机在目标跟踪过程中的准确性。     

特征响应权重自适应的IoU网络跟踪算法改进

基于IoU网络提出一种IT-AWCR(IoU network tracking with adaptive weighted characteristic responses)目标跟踪算法.首先,根据目标运动速度设计目标搜索区域确定策略,通过理论分析使用ResNet50的block 3、block 4卷积块的输出分别作为目标的浅层和深层特征表示;然后,以目标定位准确度和滤波模型抗干扰能力为评价指标,通过优化算法自适应计算目标深、浅特征响应加权权重,从加权融合响应中获取目标粗略位置和边界框,经扰动操作获取多个候选边界框输入IoU调制-预测网络预测IoU值,取最大IoU对应边界框为最终预测目标边界框;最后,根据训练样本的相关学习权重和样本间相似度更新生成样本集,基于样本集采用稀疏优化策略实现滤波模型更新. OTB2015和VOT2018数据集上的实验结果验证了所提出算法的有效性.     

融合CN跟踪算法改进的TLD实时目标跟踪算法

针对TLD算法跟踪框在目标非刚性形变、旋转、背景杂乱等情景中容易导致跟踪漂移的问题,提出了一种融合CN跟踪算法改进的TLD实时目标跟踪算法(TLD-CN)。首先对跟踪框内区域计算图像显著性得到BRISK算法采样特征点的阈值,获得合适的特征点以建立旋转和尺度归一化的描述子,再融合颜色特征和纹理特征对前后帧跟踪框内描述子进行最优相似性匹配,得到匹配的特征点集合,对集合内特征点进行判别式字典的稀疏编码后,分别与CN跟踪框和TLD跟踪框的中心像素点进行相似度的度量,得到输出框调整的权重系数。实验结果表明,TLD-CN跟踪算法通过特征点度量出2种算法融合的权重值调整输出框,在目标形变、旋转、背景杂乱、快速运动等复杂跟踪情景中,具有很高的精度和成功率。权重系数自适应更新也避免了模型过拟合,达到实时跟踪效果。     

动态云台摄像机无人机检测与跟踪算法

为应对小型无人机的黑飞、滥飞对个人隐私、公共安全造成的威胁,本文采用高清云台摄像机定点巡航的方式对近地动态复杂背景中的无人机进行检测与跟踪,并提出了一种适用于动态云台摄像机的闭环无人机检测与跟踪算法,包含检测与跟踪两种模式。在检测模式下,本文设计了一种基于运动背景补偿的运动目标检测算法来提取分类候选区域,然后利用基于神经网络结构搜索得到的轻量级卷积神经网络对候选区域进行分类识别,可在不缩小高清视频图像的条件下实现无人机检测;在跟踪模式下,本文提出了一种结合卡尔曼滤波的局部搜索区域重定位策略改进了核相关滤波跟踪算法,使之在高清云台伺服追踪过程中仍能对目标进行快速稳定的跟踪;为将检测模式与跟踪模式结合在闭环框架中,本文还提出了一种基于检测概率和跟踪响应图状态的自适应检测与跟踪切换机制。实验表明,本文算法可应用于定点巡航状态的高清云台摄像机,实现近地复杂动态背景中无人机的实时准确检测、识别与快速跟踪。     

无人机视角下的多车辆跟踪算法研究

针对无人机视频中存在目标密集、运动噪声强而导致跟踪性能显著下降的问题,提出了一种改进YOLOv3的车辆检测算法及一种基于深度度量学习的多车辆跟踪算法。针对车辆检测的精度与实时性问题,采用深度可分离卷积网络MobileNetv3作为特征提取网络实现网络结构轻量化,同时采用CIoU Loss作为边框损失函数对网络进行训练。为了在多目标跟踪过程中提取到更具判别力的深度特征,提出了一种基于深度度量学习的多车辆跟踪算法,实验证明,本文提出的算法有效改善车辆ID跳变问题,速度上满足无人机交通视频下车辆跟踪的实时性要求,达到17 f/s。     

无人机目标实时自适应跟踪系统

随着无人机(unmanned aerial vehicle,UAV)在航拍、空中侦察等相关领域被广泛应用,对于无人机的智能化需求逐渐提高.目标跟踪具有信息量大、实时性高等优点,能够为无人机的智能飞行提供大量且实时的外部信息.进行低开销、低功耗的无人机目标跟踪系统的研究,对无人机智能化进程的加速具有深远意义.为更好解决跟...     

基于相关滤波的长期跟踪算法

针对目标遮挡导致跟踪失败的问题,在核相关滤波器(KCF)的基础上,提出目标重检测的长期跟踪算法.将方向梯度直方图特征与亮度颜色空间(LAB)颜色信息融合,建立目标外观模型,并增加尺度估计对应目标尺度的改变.通过引入峰值比控制重检测模块的启动,提取Harris角点重新学习新的模型,对目标进行持续跟踪,并控制模型更新速率.在OTB数据集上的对比实验表明,文中算法跟踪精度较高,适用于遮挡情况下的目标长期跟踪.