深度特征的核相关滤波视觉跟踪

针对核相关滤波目标跟踪算法中传统手工特征的不足,以核相关滤波方法的目标跟踪技术作为研究对象,利用深度卷积神经网络自动提取待跟踪目标的深度卷积特征,来代替传统的手工特征,利用从不同卷积层提取到的深度卷积特征分别经过核相关滤波器学习来得到不同的特征图,然后对多个特征图进行加权融合来确定待跟踪目标在视频序列中的位置,以此来提高跟踪算法在复杂干扰背景下的鲁棒性。     

融合卷积神经网络的核相关滤波视觉目标跟随算法研究

近几年,目标跟随技术逐渐成为研究的热点。核相关滤波跟踪算法通过循环矩阵构造训练样本,将时域的卷积转换到频域的点乘完成滤波器的训练,降低计算复杂度,跟踪速度较快。卷积神经网络模型深度特征表征能力较强,可以充分利用图像信息,跟踪精度较高。将两种算法优势互补,构造一种卷积神经网络与核相关滤波算法融合型改进算法。即在线下阶段训练模型,分层提取孪生网络的深度特征,然后通过相关滤波器快速计算出最大响应图,预测目标所在位置。因此,改进后的算法在保持核相关滤波跟踪算法实时性的同时,可以大幅提高跟踪精度。     

改进的卷积网络目标跟踪算法

在目标跟踪算法中深度网络可以对大量图像进行训练和表示,但是对于特定的跟踪对象,离线训练不仅费时,而且在对大量图像进行学习时,其表示和识别能力效果不佳。基于以上问题提出有模板更新的卷积网络跟踪算法,可以在没有离线训练的大量数据时,也能够利用实现强大的目标跟踪能力。在目标跟踪中,从目标周围区域提取一组归一化的局部小区域块作为新的滤波器,围绕目标定义下一帧中的一组特征映射来提取自适应滤波器周围目标,对随后帧提取的归一化样本进行卷积操作生成一组特征图;利用这些特征图获取每个滤波器和目标的局部强度衍射图样之间的相似性,然后对其局部结构信息进行编码;最后,使用来自全局表示的特征图保存该目标的内部几何设计,再通过软收缩方法去噪抑制噪声值,使其低于自适应阈值,生成目标的稀疏表示。有模板更新改进的CNT算法能稳定地跟踪目标,不会发生严重漂移,具有优于传统CNT的良好跟踪效果。     

结合重检测机制的多卷积层特征响应跟踪算法

针对基于深度特征的目标跟踪算法在目标快速运动、长时间遮挡容易导致跟踪漂移的问题,提出了一种结合重检测机制的多卷积层特征响应跟踪算法。首先基于图像分块的混合高斯模型检测出目标区域,其次多卷积层根据加权梯度的类激活映射提取目标深度特征图,并训练出相互独立的相关滤波器,然后融合底层空间特征和高层语义特征的卷积层滤波器得到目标响应位置,再由重检测机制约束项平滑输出响应值,从而构建出强跟踪器,最后自适应地更新模型参数和权重系数,避免模型中参数过拟合,达到实时跟踪效果。实验结果表明,该算法在目标严重形变、快速运动、长时期遮挡等复杂情景下,跟踪结果具有很高的精确度和成功率。     

区域损失函数的孪生网络目标跟踪

针对预训练卷积神经网络提取的深度特征空间分辨率低,快速运动造成运动目标空间细节信息丢失等问题,提出用区域损失函数构建孪生网络的目标跟踪,进一步降低深度特征通道之间的冗余性,并减少高层信息丢失。利用线下预训练的VGG-16卷积神经网络提取深度特征,构成初始深度特征空间。通过区域损失函数构建特征和尺度选择网络,根据反向传播的梯度大小进行特征选择。对筛选后的特征进行拼接,融入到孪生网络中匹配跟踪。在OTB-2013、OTB-2015、VOT2016、TempleColor数据集上与其他算法对比。实验结果表明,该算法在快速运动、低分辨率等场景中表现出较好的跟踪精度和鲁棒性。     

基于卷积特征的核相关自适应目标跟踪

目的 针对现实场景中跟踪目标的快速运动、旋转、尺度变化、遮挡等问题,提出了基于卷积特征的核相关自适应目标跟踪的方法。方法 利用卷积神经网络提取高、低层卷积特征并结合本文提出的核相关滤波算法计算并获得高底两层卷积特征响应图。采用Coarse-to-Fine方法对目标位置进行估计,在学习得到1维尺度核相关滤波器估计尺度的基础上实时更新高低两层核相关滤波器参数,以实现自适应的目标跟踪。结果 实验选取公开数据集中的典型视频序列进行跟踪,测试了算法在目标尺度发生变化、遮挡、旋转等复杂场景下的跟踪性能并与多种优秀的跟踪算法在平均中心误差、平均重叠率等指标上进行了定量比较,在Singer1、Car4、Jogging、Girl、Football以及MotorRolling视频图像序列上的中心误差分别为8.71、6.83、3.96、3.91、4.83、9.23,跟踪重叠率分别为0.969、1.00、0.967、0.994、0.967、0.512。实验结果表明,本文算法与原始核相关滤波算法相比,平均中心位置误差降低20%,平均重叠率提高12%。结论 采用卷积神经网络提取高低两层卷积特征,高层卷积特征用于判别目标和背景,低层卷积特征用于预测目标位置并通过Coarse-to-Fine方法对目标位置进行精确的定位,较好地解决了由于目标的旋转和尺度变化带来的跟踪误差大的问题,提高了跟踪性能并能够实时更新学习。在目标尺度发生变化、遮挡、光照条件改变、目标快速运动等复杂场景下仍表现出较强的鲁棒性和适应性。     

一种低参数的孪生卷积网络实时目标跟踪算法

针对基于深度学习的目标跟踪算法模型参数多、难以部署于嵌入式设备上的问题,提出一种改进的孪生卷积网络实时目标跟踪算法。设计一个非对称卷积模块来构建整个网络框架,通过非对称卷积模块的压缩层减少模型参数量,利用非对称层进行特征融合,以在保证精度的同时压缩模型大小。使用三元组损失函数代替逻辑损失函数进行模型训练,在输入不变的情况下提取表达性更强的深度特征,从而完成目标跟踪任务并提高模型的跟踪精度。在GOT-10K、OTB100和VOT2016基准上对算法性能进行测试,结果表明,该算法能够将模型大小降为3.8×10⁶,且速度与精度均优于SiamFC、KCF和DAT等跟踪算法。     

结合连续卷积算子的自适应加权目标跟踪算法

目的 在视觉跟踪领域中,特征的高效表达是鲁棒跟踪的关键,观察到在相关滤波跟踪中,不同卷积层表达了目标的不同方面特征,提出了一种结合连续卷积算子的自适应加权目标跟踪算法。方法 针对目标定位不准确的问题,提出连续卷积算子方法,将离散的位置估计转换成连续位置估计,使得位置定位更加准确;利用不同卷积层的特征表达,提高跟踪效果。首先利用深度卷积网络结构提取多层卷积特征,通过计算相关卷积响应大小,决定在下一帧特征融合时各层特征所占的权重,凸显优势特征,然后使用从不同层训练得到的相关滤波器与提取得到的特征进行相关运算,得到最终的响应图,响应图中最大值所在的位置便是目标所在的位置和尺度。结果 与目前较流行的3种目标跟踪算法在目标跟踪基准数据库（OTB-2013）中的50组视频序列进行测试,本文算法平均跟踪成功率达到85.4%。结论 本文算法在光照变化、尺度变化、背景杂波、目标旋转、遮挡和复杂环境下的跟踪具有较高的鲁棒性。     

无监督局部特征学习的鲁棒性人脸识别

特征表示是人脸识别的关键问题,由于人脸图像在拍摄过程中受光照、遮挡、姿势等因素的影响,如何提取鲁棒的图像特征成了研究的重点。受卷积网络框架的启发,结合K-means算法在卷积滤波器学习中所具有的效果稳定、收敛速度快等优点,提出了一种简单有效的人脸识别方法,主要包含三个部分：卷积滤波器学习、非线性处理和空间平均值池化。具体而言,首先在训练图像中提取局部图像块,预处理后,使用K-means算法快速学习滤波器,每个滤波器与图像进行卷积运算;然后通过双曲正切函数对卷积图像进行非线性变换;最后利用空间平均值池化对图像特征进行去噪和降维。分类阶段仅采用简单的线性回归分类器。在AR和ExtendedYaleB数据集上的评估实验结果表明所提方法虽然简单却非常有效,而且对光照和遮挡表现出了强鲁棒性。     

融入深度特征的多模板相关滤波跟踪算法

针对现实场景中跟踪算法因背景杂乱、遮挡、尺度变化、目标形变等情况易导致跟踪失败的问题,提出融入深度特征的多模板相关滤波跟踪算法.首先对图像或图像区域分别提取深度特征和Color Name特征,经过核相关滤波器学习得到不同的模板;然后采用核相关滤波跟踪算法获得2个特征下的响应集合,并对所得到的集合进行加权融合得到最终的目标位置;最后使用贝叶斯统计通过最大化后验的方式估计最佳目标尺度,同时更新核相关滤波器参数,以实现自适应尺度的目标跟踪.在OTB2013和OTB2015这2个基准数据库上进行实验,并与当前6种优秀的算法进行比较,结果表明该算法性能最优,在2个数据集上的成功率OP(AUE)较KCF算法分别提升10.7%和12.4%.     

动态云台摄像机无人机检测与跟踪算法

为应对小型无人机的黑飞、滥飞对个人隐私、公共安全造成的威胁,本文采用高清云台摄像机定点巡航的方式对近地动态复杂背景中的无人机进行检测与跟踪,并提出了一种适用于动态云台摄像机的闭环无人机检测与跟踪算法,包含检测与跟踪两种模式。在检测模式下,本文设计了一种基于运动背景补偿的运动目标检测算法来提取分类候选区域,然后利用基于神经网络结构搜索得到的轻量级卷积神经网络对候选区域进行分类识别,可在不缩小高清视频图像的条件下实现无人机检测;在跟踪模式下,本文提出了一种结合卡尔曼滤波的局部搜索区域重定位策略改进了核相关滤波跟踪算法,使之在高清云台伺服追踪过程中仍能对目标进行快速稳定的跟踪;为将检测模式与跟踪模式结合在闭环框架中,本文还提出了一种基于检测概率和跟踪响应图状态的自适应检测与跟踪切换机制。实验表明,本文算法可应用于定点巡航状态的高清云台摄像机,实现近地复杂动态背景中无人机的实时准确检测、识别与快速跟踪。     

基于VGG网络的鲁棒目标跟踪算法

针对传统目标跟踪算法中当目标被遮挡和受光照强度变化等多种因素干扰时,相关滤波器模板更新不准确,误差逐帧累积最终导致目标跟踪失败,提出了一种基于VGG网络的鲁棒目标跟踪算法。首先通过VGG网络对第1帧输入图像中的局部上下文区域提取平均特征图来建立相关滤波器模板;然后通过VGG网络对后续帧输入图像中的局部上下文区域提取平均特征图和仿射变换平均特征图;其次与核相关滤波跟踪算法相结合,自适应确定目标位置和最终目标位置;最后自适应更新最终平均特征图和最终相关滤波器模板。实验结果表明,本文算法在目标被遮挡和受光照强度变化等多种因素干扰时,仍具有较高的目标跟踪精度和较强的鲁棒性。     

基于深度特征与局部约束掩膜的相关滤波跟踪算法

为提升相关滤波算法在目标遮挡、快速运动以及背景杂乱等情况下跟踪结果的精确度和鲁棒性,提出了一种基于深度特征与局部约束掩膜(Local constrained mask, LCM)的相关滤波跟踪算法。在鉴别性相关滤波跟踪算法的基础上,利用学习得到的二值矩阵作为LCM对滤波器的能量分布进行裁剪,对模板边缘与测试图像之间产生的响应值进行抑制,实现扩大目标搜索区域的同时降低边界效应对跟踪结果的影响;将深度特征引入到特征提取过程中,通过对目标样本进行旋转、翻折和高斯模糊等处理,扩充训练样本数量,使模板学习到更为丰富的目标信息。与主流算法进行对比实验,验证了本文算法在处理目标遮挡、背景嘈杂以及光照变化等干扰时的鲁棒性。     

核相关滤波与孪生网络相结合的目标跟踪算法

针对核相关滤波目标跟踪算法中对局部上下文区域图像提取的HOG特征图在复杂环境下不能保证目标跟踪的精度问题,提出了一种核相关滤波与孪生网络相结合的目标跟踪算法.首先在首帧输入图像中提取HOG特征图并建立相关滤波器模板,同时提取经过孪生网络的目标区域图像特征图;然后若后续帧输入图像帧数不为5的倍数则提取仿射变换HOG特征图,否则提取经过孪生网络的搜索区域图像特征图;最后根据遮挡处理的结果自适应获取目标位置并更新模型和最终相关滤波器模板.仿真实验结果表明本文算法在保证目标跟踪精度的前提下具有满足实时跟踪要求的跟踪速率.     

自适应尺度特征融合与模型更新的跟踪算法

在核相关滤波器跟踪算法中,为了减少背景相似物等杂波对跟踪器的干扰,以及解决不同跟踪结果置信度下的模型更新问题,提出了自适应尺度特征融合与模型更新的跟踪算法。通过多特征融合和尺度变化策略改进了多特征的尺度核相关滤波器,使用多峰检测对响应图的整体振荡程度进行判断,再对峰值进行跟踪结果置信度评估;在遮挡、形变等跟踪结果置信度低的情况下及时停止模型更新,在高置信度模型更新时,引入初始模型进行对齐操作,减少模型的更新误差,抑制模型漂移。比较核相关滤波器算法,本算法准确度较高,且在目标尺度变化、遮挡和形变时稳定性更好。在OTB-50数据集上的实验结果表明,该算法在精度和成功率上都比核相关滤波器算法表现更优。     

基于双特征的多模块目标跟踪算法

针对运动目标在受到严重遮挡时难以被精确跟踪的问题,提出一种融合颜色和LBP (local binary pattern)纹理特征的多模块跟踪算法.综合考虑目标与背景的特征显著性和相似性两个因素建立比值关系进行量化分析,选取了能够最大程度区分前景目标和背景的颜色空间特征,并结合LBP纹理特征建立概率分布直方图.利用卡尔曼滤波器预测均值漂移算法的初始迭代位置.引入相似度因子来定义新的遮挡判决准则,自适应采用多模块模型进行跟踪.仿真实验结果表明了该算法的有效性.     

动态权重层次卷积特征自适应目标追踪算法

为改进追踪算法在目标快速运动或被遮挡等情况下的性能,对目标追踪中普遍采用的相关滤波算法框架进行了研究,基于核相关滤波器(KCF)提出一种层次化提取卷积神经网络特征并自适应赋予动态权重的目标追踪算法.通过提取不同层次卷积神经网络特征,分别经过相关滤波器学习得到不同的KCF模板,结合特征层次和各滤波器稳定度、准确度赋予动态权重,以融合3个模板确定最终目标位置.实验采用OTB标准数据库,测试了新算法在遮挡、运动模糊、快速运动等干扰项下的整体性能,结果表明所提算法在整体上提高了追踪的性能及精度,可以灵活适应不同特征的场景,并且相较于经典KCF平均精确度提高了35.4%,平均成功率提高了33.6%.