一种基于深度学习目标检测的长时目标跟踪算法

针对长时目标跟踪所面临的目标被遮挡、出视野等常常会导致跟踪漂移或丢失的问题,基于MDNet提出一种深度长时目标跟踪算法(long-term object tracking based on MDNet, LT-MDNet)。首先,引入了一种改进的收缩损失函数,以解决模型训练时正负样本不均衡的问题;其次,设计了一种高置信度保留样本池,对在线跟踪时的每一帧的有效并且置信度最高结果进行保留,并在池满时替换最低置信度的保留样本;最后,在模型检测到跟踪失败或连续跟踪帧数达到特定阈值时,利用保留样本池进行在线训练更新模型,从而使模型在应对长时跟踪时保持鲁棒和高效。实验结果表明,LT-MDNet在跟踪精度和成功率上都展现了极强的竞争力,并且在目标被遮挡、出视野等情况下保持了优越的跟踪性能和可靠性。     

基于FasterMDNet的视频目标跟踪算法

多域卷积神经网络(MDNet)算法在卷积层采用选择性搜索的方式来提取候选框,因此它没有共享完整图像特征,从而导致在线视频目标跟踪速度慢。针对这个问题,提出一种快速多域卷积神经网络(FasterMDNet)视频目标跟踪算法。FasterMDNet是建立在MDNet基础上的一种模型,在卷积层后面引入RPN(Region Proposal Network)网络,优化了损失函数,共享完整图像卷积特征,加快候选区域建议框(ROI)更高效的生成;为了更好地获得目标和背景信息表示,在RPN网络后加入ROIAlign层,对提取的候选区域建议框特征图用双线性插值方法来提高感受野的分辨率。该算法对目标跟踪基准数据集OTB2013、OTB2015、VOT2016进行了评估,并与前沿的跟踪算法做对比,实验结果证明,该算法跟踪准确率优于其他对比方法,并且对比相同实验环境下MDNet算法,在线跟踪速度提高了近12倍。     

目标分割多域卷积神经网络跟踪算法

运动目标跟踪作为目前计算机视觉领域的一个研究热点,存在目标旋转变形、运动模糊和背景混杂等难点.针对这些难点情况下多域卷积神经网络目标跟踪算法(MDNet)失效的问题,本文提出一种基于目标分割的多域卷积神经网络跟踪算法,旨在利用分割网络出色的目标定位能力,为MDNet网络构建一种新的网络更新方法.在跟踪过程中,通过目标分...     

基于改进型SSD的视频烟火检测算法

针对现有烟火检测算法对小尺寸烟火目标检测效果差,容易产生漏检和误检的问题,提出一种基于改进型SSD的视频烟火检测算法.利用DenseNet网络作为SSD的基础网络,提高其对小目标的检测能力.为了改进SSD中的正负样本不平衡的问题,在损失函数中引入Focal loss函数,通过提高难分样本在损失函数中的权重,提高算法的鲁棒性.在仿真实验中,通过构建烟火数据集对改进的SSD模型进行训练.实验结果表明,相比现阶段主流的几种目标检测算法,该算法在兼顾检测速度的同时提高了对小尺寸烟火目标的检测效果.     

全局搜索和多实例判别特征的长时跟踪方法

长时目标跟踪相对于短时目标跟踪仍然是一个巨大的挑战. 然而现有的长时跟踪算法通常在面对目标频繁出现消失、目标外观发生剧变等挑战中表现不佳. 本文提出了一种基于局部搜索模块和全局搜索跟踪模块的全新、鲁棒且实时的长时跟踪框架. 局部搜索模块利用TransT短时跟踪器生成一系列候选框, 并通过置信度评分确定最佳候选框. 针对全局重新检测开发了一个新颖的全局搜索跟踪模块, 以Faster R-CNN为基础模型, 在RPN阶段与R-CNN阶段引入非局部操作和多级实例特征融合模块, 以充分挖掘目标实例级特征. 为了改进全局搜索跟踪模块的性能, 设计了双模板更新策略来提升跟踪器的鲁棒能力. 通过使用不同时间点上更新的模板能够更好地适应目标的变化. 根据局部或全局置信度分数判断目标是否存在, 并在下一帧中选择局部或全局搜索跟踪策略. 同时能够为局部搜索模块估计目标的位置和大小. 此外还为全局搜索跟踪器引入了排名损失函数, 隐式学习了区域提议与原始查询目标的相似度. 通过在多个跟踪数据集上进行大量实验对提出的跟踪框架进行了广泛评估. 结果一致表明, 本文提出的跟踪框架实现了令人满意的性能.     

基于多域对抗学习的无人机目标跟踪算法

针对无人机视频跟踪中正样本不足和单帧强判别特征易导致分类器过拟合的问题,提出一种基于多域对抗学习的实时无人机目标跟踪算法.将生成对抗网络引入到多域学习的特征生成中,利用对抗学习提高特征提取的鲁棒性;在卷积层中加入具有不同扩展系数的空洞卷积进行多尺度特征抽取,构建具有不同感受野的特征提取模块;在交叉熵损失函数中添加调制因子解决正负样本数量不平衡的问题.实验结果表明,该算法的跟踪精度、成功率均得到了提高.     

融合Transformer和改进PANet的YOLOv5s交通标志检测

针对交通标志检测速度慢和目标大小与类别极度不平衡等问题,提出一种融合Transformer和改进PANet网络的YOLOv5s交通标志检测算法。首先在不增加模型复杂度的前提下,将主干网络末端与Transformer融合以提高网络特征提取能力;其次由于所采用交通标志数据集的目标尺度太小,导致网络32倍大尺度检测层检测效果不佳,故不采用相关网络层,同时采用K-means算法得出适合的预测候选框;然后改进损失函数以解决正负样本极度不平衡问题。最后将所提出的改进算法在Jetson AGX Xavier平台上部署验证。实验结果表明,所提算法检测性能更佳,其准确率和召回率在原网络的基础上分别提高了2.2%和0.7%,模型参数量和计算复杂度分别减少了25.8%和10.1%。在Xavier上的检测速度达到76FPS,满足实时交通标志检测的要求且易于在实际场景部署。     

基于联合优化的强耦合孪生区域推荐网络的目标跟踪算法

针对区域推荐网络（RPN）在目标跟踪任务中出现的最大分类分数与最佳边框不匹配的问题,提出一种基于联合优化的强耦合孪生区域推荐跟踪算法（SCSiamRPN）。首先,采用Bounded IoU方法来优化正样本交并比（IoU）值的计算,通过分解公式、固定变量、替换差值和约束近似的操作来简化计算过程。然后,优化损失函数结构,通过在分类损失函数中添加以IoU值为纽带的耦合因子来联合分类任务和边框回归任务,以提升高IoU样本的损失值;通过在边框回归损失函数中添加以IoU为主变量的加权系数来提高目标中心样本的贡献,以提升边框定位精度。仿真结果显示：SCSiamRPN算法在OTB100数据集上的精度和成功率为0.86和0.64;同基于孪生区域推荐候选网络的高性能单目标跟踪（SiamRPN）算法相比,均有3%的提升。实验结果表明：SCSiamRPN算法解决了最大分类分数与最佳边框不匹配的问题,增强了分类和边框回归任务的耦合性,且在不损失跟踪速度的前提下实现了跟踪精度的较大幅度提升。     

基于联合优化的强耦合孪生区域推荐网络的目标跟踪算法

针对区域推荐网络（RPN）在目标跟踪任务中出现的最大分类分数与最佳边框不匹配的问题，提出一种基于联合优化的强耦合孪生区域推荐跟踪算法（SCSiamRPN）。首先，采用Bounded IoU方法来优化正样本交并比（IoU）值的计算，通过分解公式、固定变量、替换差值和约束近似的操作来简化计算过程。然后，优化损失函数结构，通过在分类损失函数中添加以IoU值为纽带的耦合因子来联合分类任务和边框回归任务，以提升高IoU样本的损失值；通过在边框回归损失函数中添加以IoU为主变量的加权系数来提高目标中心样本的贡献，以提升边框定位精度。仿真结果显示：SCSiamRPN算法在OTB100数据集上的精度和成功率为0.86和0.64；同基于孪生区域推荐候选网络的高性能单目标跟踪（SiamRPN）算法相比，均有3%的提升。实验结果表明：SCSiamRPN算法解决了最大分类分数与最佳边框不匹配的问题，增强了分类和边框回归任务的耦合性，且在不损失跟踪速度的前提下实现了跟踪精度的较大幅度提升。     

基于自注意力机制的多域卷积神经网络的视觉追踪

为了解决多域卷积神经网络（MDNet）在目标快速移动和外观剧烈变化时发生的模型漂移问题,提出了自注意力多域卷积神经网络（SAMDNet）,通过引入自注意力机制从通道和空间两个维度来提升追踪网络的性能。首先,利用空间注意力模块将所有位置上的特征的加权总和选择性地聚合到特征图中的所有位置上,使得相似的特征彼此相关;然后,利用通道注意力模块整合所有特征图来选择性地强调互相关联的通道的重要性;最后,融合得到最终的特征图。此外,针对MDNet算法因训练数据中存在较多相似但属性不同的序列所造成的网络模型分类不准的问题,构造了复合损失函数。该复合损失函数由分类损失函数和实例判别损失函数组成,首先,用分类损失函数来统计分类的损失值;然后,利用实例判别损失函数来提高目标在当前视频序列中的权重,抑制其在其他序列中的权重;最后,融合两项损失作为模型的最终损失。在目前广泛采用的测试基准数据集OTB50和OTB2015上进行实验,结果表明所提出的算法在成功率指标上相比2015年视觉目标跟踪挑战（VOT2015）的冠军算法MDNet分别提高了1.6个百分点和1.4个百分点,在精确率和成功率指标上优于连续域卷积相关滤波（CCOT）算法,在OTB50上的精确率指标优于高效卷积操作（ECO）算法,验证了该算法的有效性。     

目标丢失判别机制的视觉跟踪算法及应用研究

当跟踪对象被严重遮挡或者离开相机视野范围时,机器人的跟踪目标往往会丢失。为了实现准确跟踪,提出了目标丢失判别跟踪YOLO-RTM算法。该方法通过YOLOv3检测视频第一帧中的目标。利用实时多域卷积神经网络（Real-Time MDNet,RT-MDNet）跟踪算法预测目标边界框的变化。计算重叠度,根据重叠度与预设阈值的比较结果决定模型更新方式,当重叠度高于阈值时,采用RT-MDNet更新外观模型,当重叠度低于阈值时,采用YOLOv3重新搜索目标并更新外观模型。在Turtlebot2机器人上的实验结果表明,提出的算法能满足移动机器人跟踪的可靠性,且有效提高跟踪算法的实用性。     

基于部分背景加权更新的均值漂移跟踪算法

为了解决均值漂移跟踪算法中背景对目标定位的扰动, 提出了一种基于颜色和纹理混合特征以及采用背景加权更新的改进算法。改进算法先将原始视频序列RGB帧图像转换为HSV颜色空间表示, 然后分别在H、S通道上提取颜色特征, 在V通道上用LBP描述符提取纹理特征, 在此基础上为目标区域和背景区域建立三维颜色纹理混合直方图作为其描述符; 在对象的跟踪过程中, 通过巴氏系数选择性地加权更新部分背景信息。实验结果表明, 与基于全部背景更新策略相比, 改进算法充分利用了颜色和纹理特征并加权更新背景信息, 具有更高的可靠性和鲁棒性, 具有更好的计算效率。     

快速多域卷积神经网络和光流法融合的目标跟踪

Aiming at the problem of slow speed of the convolutional neural network target tracking algorithm, a target tracking algorithm combining fast multi-domain convolutional neural network (Faster MDNet) and optical flow method is proposed. The optical flow method is used to obtain the moving state of the target, and the preliminary selection box is used as the tracking target position. Then, the preliminary selection box is used as the input of Faster MDNet, and Faster MDNet is used as the detector to obtain the exact position and bounding box of the tracking target. Experiments on the target tracking benchmark data set VOT2014 prove that the algorithm’s online tracking speed is increased by 8 times and the accuracy is improved by 10%.     

一种改进的压缩跟踪算法

针对压缩跟踪算法在跟踪目标过程中,目标快速运动和目标外观尺寸变化较大时引起的跟踪失败问题,提出了改进的压缩跟踪算法。首先,对正负样本的采集做了改进,除了采集正负样本集,还额外采集一个候选样本集,从而减少样本采集带来的误差。其次,借鉴MIL算法思想,利用弱分类器的组合构成强分类器,然后对候选样本进行计算来确定目标,并提出了模型学习率和强分类器更新方法。最后,根据候选样本集为正样本集的概率值来自适应调节跟踪目标窗口的大小。实验表明,改进后的算法能对快速运动和外观变化较大的目标进行准确的跟踪,改进算法比原算法具有更好的鲁棒性。     

分离窗口快速尺度自适应目标跟踪算法

针对核相关滤波器（KCF）跟踪算法在面对尺度变化时产生的目标漂移问题，提出一种分离窗口快速尺度自适应目标跟踪算法——FSACF。首先，通过直接对原始帧图像进行特征提取得到基于显著性颜色特征的全局梯度组合特征图，以减小后续的尺度计算对性能的影响；其次，对全局特征图采用分离窗口法，自适应地选取尺度大小并计算对应的最大响应值；最后，采用定义的置信度函数自适应地更新迭代模板函数，提高模型的鲁棒性。通过带有不同干扰属性的视频集上进行实验，发现FSACF算法与KCF算法相比，在精度上提升7.4个百分点，成功率提高12.8个百分点；与未采用全局特征和分离窗口的算法对比，处理速度上提升1.5倍。实验结果表明，FSACF算法在尺度变化发生时能有效避免目标漂移的产生，同时具有一定的效率，并在精度与成功率上均优于对比算法。     

基于TLD框架的快速目标跟踪方法

现实中目标在被长期跟踪时容易发生形变、遮挡、光照干扰以及其它问题,现有跟踪算法虽能解决该系列问题但算法计算量巨大导致跟踪系统实时性能较差,很难应用于实际场合。因此准确快速跟踪目标成为近年来非常有挑战的热点课题。以国外学者Zdenek Kalal等人提出的TLD(Tracking-Learning-Detection)框架为基础,提出了三点改进方法。一根据目标所占整幅图像的面积大小动态调整被处理图像的分辨率,从总体上减少样本数量;二在目标邻近区域扫描生成样本,缩小检测器的检测范围;三更换检测部分中分类器模板匹配方法,实现快速匹配,提高算法运行速度。针对与不同的场景,实验表明上述问题在改进后的算法中得到了较大的改善,算法的计算量有效降低,系统运行速度得到提高。且对于实时摄像头监控,改进后算法在保证目标跟踪准确率的同时拥有较好的实时性。     

级联特征融合孪生网络目标跟踪算法研究

在光照变化、遮挡、背景相似、变形等复杂情况下,目标跟踪过程中难以精确地提取丰富的特征信息,容易导致目标跟踪出现漂移或者跟踪丢失.由于多层神经网络的浅层特征具有高分辨率,适合于目标定位;深层特征具有丰富的语义信息,适合于目标分类.充分利用这一优势,提出了一种级联特征融合的孪生网络目标跟踪算法.对ResNet-50网络进行...     

基于在线多示例提升随机蕨丛的目标跟踪

为了实现在光线变化、目标形变及背景复杂环境下健壮有效的目标跟踪,提出一种基于在线多示例提升随机蕨丛的目标跟踪方法,通过无限冲激响应（IIR）滤波器实现随机蕨丛分类器的在线增量学习,构建在线随机蕨分类器池,并在在线多示例提升框架下对在线随机蕨进行更新和选取,生成在线多示例提升随机蕨丛分类器,利用该分类器对目标候选区域的采样进行分类以确定目标位置,同时构造正例和负例训练集进行在线增量更新。实验结果表明,复杂环境下,算法具有良好的目标跟踪稳定性。