核相关滤波与孪生网络相结合的目标跟踪算法

针对核相关滤波目标跟踪算法中对局部上下文区域图像提取的HOG特征图在复杂环境下不能保证目标跟踪的精度问题,提出了一种核相关滤波与孪生网络相结合的目标跟踪算法.首先在首帧输入图像中提取HOG特征图并建立相关滤波器模板,同时提取经过孪生网络的目标区域图像特征图;然后若后续帧输入图像帧数不为5的倍数则提取仿射变换HOG特征图,否则提取经过孪生网络的搜索区域图像特征图;最后根据遮挡处理的结果自适应获取目标位置并更新模型和最终相关滤波器模板.仿真实验结果表明本文算法在保证目标跟踪精度的前提下具有满足实时跟踪要求的跟踪速率.     

基于混合注意力机制的目标跟踪算法

针对全卷积孪生网络目标跟踪算法(SiamFC)在目标形变、遮挡和快速运动等复杂场景中易导致跟踪失败的问题,提出一种利用混合注意力机制增强网络识别能力的算法(SiamMA)。首先,在训练阶段提出堆叠裁剪法构建自对抗训练样本对,以模拟实际跟踪时的复杂场景,使训练的网络模型具有更强的泛化性。其次提出混合注意力机制,在网络不同分支融合使用空间注意力和通道注意力网络模块,有效抑制了特征图中的背景干扰,提升算法的鲁棒性。采用GOT-10k、UAV123等4种数据集进行算法性能评测实验,结果表明本文算法的跟踪成功率、精度等主要性能指标较SiamFC和KCF等6种经典算法均有提升,平均速度达到60 fps。     

基于自适应模板更新的改进孪生卷积网络目标跟踪算法

现有的孪生网络目标跟踪算法采用边界框模板进行跟踪,在目标形变、遮挡等干扰下很容易导致跟踪漂移。在轮廓检测网络和孪生卷积网络(Siamese)跟踪网络的基础上,提出一种基于深度轮廓模板更新的改进孪生卷积网络目标跟踪算法。利用轮廓检测网络获取目标边缘轮廓,降低背景杂波干扰;利用改进的Siamese网络获得轮廓模板和搜索区域的深度特征;通过相似性匹配获得最优跟踪目标。仿真实验结果表明,所提出的改进模型能够提高目标形变、遮挡等干扰下目标跟踪性能,具有较高的工程应用价值。     

基于多支路的孪生网络目标跟踪

为有效解决目标跟踪在面对大尺度形变、完全遮挡、背景干扰等复杂场景时出现漂移或者跟踪丢失的问题, 本文提出了一种基于多支路的孪生网络目标跟踪算法(SiamMB). 首先, 通过增加邻近帧支路的网络鲁棒性增强方法以提高对搜索帧中目标特征的判别能力, 增强模型的鲁棒性. 其次, 融合空间注意力网络, 对不同空间位置的特征施加不同的权重, 并着重关注空间位置上对目标跟踪有利的特征, 提升模型的辨别力. 最后, 在OTB2015和VOT2018数据集上的进行评估, SiamMB跟踪精度和成功率分别达到了91.8%和71.8%, 相比当前主流的跟踪算法取得了良好的竞争力.     

基于注意力机制和孪生网络的跟踪算法研究

提出融合卷积通道注意力机制、堆叠通道注意力机制和空间注意力机制的孪生网络跟踪器（ThrAtt-Siam）来提升跟踪性能。ThrAtt-Siam跟踪器以SiameseFC为基础,通过在低卷积层融合卷积通道注意力机制、两个特征图与两个卷积块,加强目标物体特征提取,提高跟踪器对背景特征抗干扰能力和辨别能力;在目标图像分支融合堆叠通道注意力机制与空间注意力机制,其中堆叠通道注意力机制可有效区分有用特征与无用特征,同时针对不同通道的有用特征进行提取,空间注意力机制可有效地补充目标物体特征在通道空间中的信息,能够更好地对目标进行定位。在OTB2015和VOT2017数据集上的实验结果表明,ThrAtt-Siam跟踪器对目标物体形变、低分辨率和遮挡问题都取得了较好的跟踪准确率和成功率。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合层次特征和混合注意力的目标跟踪算法

目标跟踪任务中,全卷积孪生网络的目标跟踪（SiamFC）算法在目标遮挡、光照变化等场景时会表现出鲁棒性较差、丢失跟踪目标等问题,为此提出一种结合特征融合和注意力机制的目标跟踪算法。首先,采用ResNet50作为主干网络提取更充分的目标特征;其次,结合注意力机制对特征进行筛选,将筛选后的低层模板特征与高层模板特征分别同对应搜索特征做互相关操作后进行自适应加权融合,提升网络对正负样本的辨别力。在OTB100数据集上测试,所提算法的精度和成功率分别为81.25%和64.06%;在LaSOT数据集上测试,该算法的精度和成功率分别为49.4%和50.1%。实验结果表明,该算法目标跟踪性能优于全卷积孪生网络算法,且在处理复杂场景时有更好的鲁棒性。     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

基于互注意力指导的孪生跟踪算法

针对传统孪生网络目标跟踪算法在相似物干扰、目标形变、复杂背景等跟踪环境下无法进行鲁棒跟踪的问题,提出了注意力机制指导的孪生网络目标跟踪方法,以弥补传统孪生跟踪方法存在的性能缺陷.首先,利用卷积神经网络ResNet50的不同网络层来提取多分辨率的目标特征,并设计互注意力模块使模板分支与搜索分支之间的信息能够相互流动.然后...     

基于注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法

为了解决目标跟踪过程中复杂场景下精度不高以及网络训练时正负样本不平衡的问题,提出一种结合注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法。该算法采用孪生卷积神经网络提取图像特征,并在特征提取过程中引入通道注意力机制,提升卷积特征的表征能力;利用特征金字塔模型对高低层卷积特征进行融合,将融合后的特征进行相似性学习;通过使用focal loss函数,来解决训练正负样本不平衡的问题。在OTB100和VOT2015数据集上对该算法进行实验验证与分析,结果表明,该算法精度和成功率都取得了较好的效果,具有较好的应用价值。     

多特征分层融合的相关滤波鲁棒跟踪

目的 为提高目标跟踪的鲁棒性,针对相关滤波跟踪中的多特征融合问题,提出了一种多特征分层融合的相关滤波鲁棒跟踪算法。方法 采用多通道相关滤波跟踪算法进行目标跟踪时,从目标和周围背景区域分别提取HOG（histogram of oriented gradient）、CN（color names）和颜色直方图3种特征。提出的分层融合算法首先采用自适应加权融合策略进行HOG和CN特征的特征响应图融合,通过计算特征响应图的平滑约束性和峰值旁瓣比两个指标得到融合权重。将该层融合结果与基于颜色直方图特征获得的特征响应图进行第2层融合时,采用固定系数融合策略进行特征响应图的融合。最后基于融合后的响应图估计目标的位置,并采用尺度估计算法估计得到目标更准确的包围盒。结果 采用OTB-2013（object tracking benchmark 2013）和VOT-2014（visual object tracking 2014）公开测试集验证所提跟踪算法的性能,在对多特征分层融合参数进行分析的基础上,与5种主流基于相关滤波的目标跟踪算法进行了对比分析。实验结果表明,本文算法的目标跟踪精度有所提高,其跟踪精度典型值比Staple算法提高了5.9%（0.840 vs 0.781）,同时由于有效地融合了3种特征,在多种场景下目标跟踪的鲁棒性优于其他算法。结论 提出的多特征分层融合跟踪算法在保证跟踪准确率的前提下,跟踪鲁棒性优于其他算法。当相关滤波跟踪算法采用了多个不同类型特征时,本文提出的分层融合策略具有一定的借鉴性。     

基于原型注意力的多域网络目标跟踪方法

为了解决预训练集和跟踪视频的域不一致性导致跟踪模型判别能力不足的问题,提出了一种基于原型注意力的多域网络目标跟踪方法。以实时多域网络目标跟踪方法为研究对象,在训练过程中引入原型网络提取注意力特征。基于支撑集正负样本得到目标与背景的域特定原型注意力,将其与待跟踪视频的特征图进行逐通道自适应融合,使得模型在大型数据集上得到判别力更强的目标表示,从而增强跟踪算法的性能。在OTB100和TrackingNet两个基准数据集上的实验结果表明,提出方法的精度和成功率优于现有的代表性跟踪方法。     

自适应多特征融合相关滤波目标跟踪

目的 针对现实场景中跟踪目标背景复杂、光照变化、快速运动、旋转等问题,提出自适应多特征融合的相关滤波跟踪算法。方法 提取目标的HOG（histogram of oriented gradients）特征和利用卷积神经网络提取高、低层卷积特征,借助一种自适应阈值分割方法评估每种特征的有效性,得到特征融合的权重比。根据权重系数融合每种特征的响应图,并据此得到目标的新估计位置,利用尺度相关滤波器计算目标尺度,得到目标尺度完成跟踪。结果 在OTB（object tracking benchmark）-2013公开数据集上进行实验,在对多特征融合进行分析的基础上,测试了本文算法在11种不同属性下的跟踪性能,并与当前流行的7种算法进行对比分析。结果表明,本文算法的成功率和精确度均排名第1,相较于基准算法DSST （discriminative scale space tracking）跟踪精确度提高了4%,成功率提高了6%。在复杂场景下比其他主流算法更具有鲁棒性。结论 本文算法以DSST相关滤波跟踪器为基准算法,借助自适应阈值分割方法评估每种特征的有效性,自适应融合两层卷积特征和HOG特征,使得判别性越强的单一特征融合权重越大,较好表达了目标的外观模型,在背景复杂、目标消失、光照变化、快速运动、旋转等场景下表现出较强的跟踪准确性。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果，在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法，提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先，使用梯度统计特征提取层对图像中的梯度信息进行统计，构建方向梯度直方图（HOG）特征图；其次，使用卷积层提取出图像的颜色信息，把提取出的颜色信息与HOG特征图融合构成HOG-C特征图；最后，输入卷积层提取HOG-C特征图的抽象特征，并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装，使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中，该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明，该模型在交通监控下的车型分类上具有更好的效果。     

梯度直方图卷积特征的胶囊网络在交通监控下的车型分类

为了充分利用图像信息以提高现有交通监控下车型分类的效果,在胶囊网络的基础上增加梯度直方图卷积（HOG-C）特征提取方法,提出HOG-C特征的胶囊网络模型——HOG-C CapsNet。首先,使用梯度统计特征提取层对图像中的梯度信息进行统计,构建方向梯度直方图（HOG）特征图;其次,使用卷积层提取出图像的颜色信息,把提取出的颜色信息与HOG特征图融合构成HOG-C特征图;最后,输入卷积层提取HOG-C特征图的抽象特征,并通过胶囊网络对提取的抽象特征进行具有三维空间特征表达的胶囊封装,使用动态路由算法实现车型分类。在BIT-Vehicle数据集上对该模型和其他相关模型进行的对比实验中,该模型得到98.17%的准确率、97.98%的平均精确率均值（MAP）、98.42%的平均召回率均值（MAR）和98.20%的综合评价指标。实验结果表明,该模型在交通监控下的车型分类上具有更好的效果。     

自适应特征融合的相关滤波跟踪算法

为提高复杂背景下目标跟踪的鲁棒性,提出一种基于相关滤波的自适应特征融合目标跟踪算法.在HOG特征基础上,增加HSV颜色概率直方图,以此获得准确的位置预测.然后分别训练颜色名和HOG特征,并根据两个响应图的峰值自适应地分配融合系数,进而基于尺度池方法,采用多通道特征实现目标的尺度估计.模型的高置信度更新由两个响应图的平均...     

多尺度特征融合的雾霾环境下车辆检测

针对雾霾环境下车辆检测准确率低、漏检严重的问题, 提出一种多尺度特征融合的雾霾环境下车辆检测算法. 首先利用条件生成对抗网络对雾霾图像进行去雾预处理, 然后针对雾霾环境下目标特征不明显的特点, 提出多尺度特征融合模块, 在YOLOv3的基础上, 从主干网络提取特征时增加一条浅层分支和深层特征进行上采样拼接融合, 得到尺度为104×104的特征图, 用于增强浅层的语义信息. 并采用CBAM注意力机制引导下的特征增强策略, 保证上下文信息的完整性, 以提高检测的精度, 最后将去雾后图片送入改进后的YOLOv3网络进行检测. 实验结果表明, 相较于原始网络, 该算法在RTTS数据集上的检测结果更加优秀, 模型可以达到81%的平均精度和67.52%的召回率, 能够更加精确的定位到车辆.     

基于YOLOv7的交通目标检测算法研究

针对交通场景中由光照、遮挡、目标小以及背景复杂等因素导致目标检测精度低,易出现漏检和误检问题的情况,提出了一种基于YOLOv7的交通目标检测算法;该算法在主干网络中融入多头注意力机制,以增强网络特征学习能力,从而更好地捕获数据和特征内部的相关性;在YOLOv7颈部网络引入协调注意力模块(CA),将位置信息嵌入到注意力机制中,忽略无关信息的干扰,以增强网络的特征提取能力;增加一个多尺度检测网络,以增强模型对不同尺度目标的检测能力;将CIoU损失函数更改为SIoU函数,以减少模型收敛不稳定问题,提高模型的鲁棒性;实验结果表明,改进的算法在BDD100K公开数据集上的检测精度和速度分别达到了59.8% mAP和96.2 FPS,相比原算法检测精度提高了2.5%;这表明改进的算法在满足实时性要求的同时,具备良好的检测精度,适用于复杂情况下的交通目标检测任务。     

基于时空上下文的视觉跟踪自适应超特征融合

论文提出了一种基于上下文感知相关滤波框架的鲁棒跟踪算法。为了提高特征表示的丰富性并充分利用多个不同特征的强度,论文线性加权融合了各种手工制作的特征(如HOG、颜色直方图)和分层深度卷积特征(如VGGNet)。论文将获得的特征定义为超特征,并通过输出约束变换方法优化最终输出响应图,以控制响应图遵循高斯分布,从而获得对目标外观变化的鲁棒性。此外,在模型更新方面,论文提出了一种有效的自适应模型更新方法,在一定程度上缓解了模型噪声。在主流数据集上的大量实验结果表明,所提出的算法在成功率、准确性和鲁棒性方面优于最先进的方法。