融合显著度时空上下文的超像素跟踪算法*

为了更有效地利用目标的特征信息,提高目标的跟踪精度和鲁棒性,提出融合显著度时空上下文的超像素跟踪算法.首先对目标上下文区域进行超像素分割,根据运动信息计算目标上下文的运动相关性及特征协方差信息,得到相关性显著度.然后基于贝叶斯框架,在频域构建融合显著度信息的时空上下文模型.再利用联合颜色和纹理的直方图信息计算巴氏系数,更新时空上下文模型.此外,引入尺度金字塔模型,准确估计目标尺度.最后加入低通滤波自适应运动预测模块,在线更新动态模型样本集,使用岭回归方法实现低通滤波的参数在线更新.在公共数据上的实验表明,文中算法在光照变化、背景复杂、目标旋转、机动性高、分辨率低等情况下具有较好的跟踪效果.     

加权的超像素级时空上下文目标跟踪

目标跟踪是计算机视觉中的热点问题,而目标运动的复杂背景、光照变换和尺度变化等因素大大的影响着目标跟踪的准确性。总结当前比较热门的几种跟踪算法的优缺点,针对时空上下文算法的不足提出了改进方法：加权的超像素级时空上下文目标跟踪算法（weighted super pixel level spatio-temporal context,WSSTC）。该算法利用像素的特征信息对目标上下文区域进行聚类,形成超像素级区域,并通过时间上下文中超像素块特征的相似性,对空间上下文进行加权处理,建立了超像素级的目标外观模型。实验结果表明,加权的超像素级时空上下文目标跟踪算法在目标跟踪中具有更好的准确性和鲁棒性。     

采用RGB–D时空上下文模型的多目标遮挡跟踪算法

为了提高实时RGB–D目标遮挡跟踪精确度, 解决多目标遮挡跟踪容易发生模型漂移和跟踪丢失等问题, 本 文提出一种基于RGB–D时空上下文模型的多目标遮挡跟踪算法. 首先获取多目标检测定位区域, 再通过目标时空 上下文特征提取, 建立目标时间上下文模型、目标空间上下文模型构成目标RGB–D时空上下文模型; 然后在跟踪器 判别跟踪状态时通过计算时间一致性进行颜色和深度特征自适应融合确定目标在当前帧位置; 最后, 当跟踪器判 别多目标遮挡时引入深度概率, 利用深度概率信息特征进行约束, 通过最大后验概率(MAP)关联模型有效解决目标 遮挡跟踪问题. 在公用数据集clothing store dataset和princeton tracking benchmark dataset上进行定性对比实验和定量 结果分析表明, 本文提出的算法具有良好的遮挡跟踪性能, 能较好解决多目标遮挡跟踪问题, 提高目标遮挡跟踪的 精确性和鲁棒性.     

一种鲁棒的时空上下文快速跟踪算法

为解决时空上下文快速跟踪算法在目标处于复杂背景及被遮挡情况下容易产生漂移的问题,提出了一种鲁棒的时空上下文快速跟踪算法,通过引入Kalman滤波器,对当前帧中的目标在下一帧中的位置进行估计和预测,并将其作为下一帧时空上下文快速跟踪算法的迭代起点。对不同视频序列的跟踪结果表明,与时空上下文快速跟踪算法和多示例学习跟踪算法相比,提出的算法在目标被遮挡及复杂背景情况下能够更准确地跟踪到目标,并且满足实时性要求。     

采用RGB–D时空上下文模型的多目标遮挡跟踪算算法

为了提高实时RGB–D目标遮挡跟踪精确度,解决多目标遮挡跟踪容易发生模型漂移和跟踪丢失等问题,本文提出一种基于RGB–D时空上下文模型的多目标遮挡跟踪算法.首先获取多目标检测定位区域,再通过目标时空上下文特征提取,建立目标时间上下文模型、目标空间上下文模型构成目标RGB–D时空上下文模型;然后在跟踪器判别跟踪状态时通过计算时间一致性进行颜色和深度特征自适应融合确定目标在当前帧位置;最后,当跟踪器判别多目标遮挡时引入深度概率,利用深度概率信息特征进行约束,通过最大后验概率(MAP)关联模型有效解决目标遮挡跟踪问题.在公用数据集clothing store dataset和princeton tracking benchmark dataset上进行定性对比实验和定量结果分析表明,本文提出的算法具有良好的遮挡跟踪性能,能较好解决多目标遮挡跟踪问题,提高目标遮挡跟踪的精确性和鲁棒性.     

基于遮挡检测和时空上下文信息的目标跟踪算法*

基于时空上下文信息的目标跟踪算法利用目标与背景之间的时空关系,在一定程度上解决静态遮挡问题,但当目标出现较大遮挡或快速运动目标被背景中物体遮挡(动态遮挡)时,仍然会出现跟踪不准确或跟丢的情况.基于此种情况,文中提出基于遮挡检测和时空上下文信息的目标跟踪算法.首先利用首帧图像中压缩后的光照不变颜色特征构造并初始化时空上下文模型.然后利用双向轨迹误差对输入的视频帧进行遮挡情况判断.如果相邻帧间目标区域特征点的双向匹配误差小于给定阈值,说明目标未出现严重遮挡或动态遮挡,可以利用时空上下文模型进行准确跟踪.否则利用文中提出的组合分类器对后续帧进行目标检测,直至重新检测到目标,同时对上下文模型和分类器进行在线更新.在多个视频帧序列上的测试表明,文中算法可以较好地解决复杂场景下较严重的静态遮挡和动态遮挡问题.     

基于时空模型的尺度自适应视觉跟踪*

针对视觉跟踪过程中因目标尺度变化跟踪精度低的问题,提出一种基于时空模型的尺度自适应视觉跟踪算法(Spatio-temporal context – scale adaptive,简称STC-SA)。在颜色属性空间下提取目标颜色直方图特征;再通过时空上下文学习获取置信图中概率最大位置;最后利用颜色直方图进行相似度匹配和自适应方法修正跟踪框尺寸以达到最佳的跟踪效果。实验选取Benchmark中五组具有明显尺度变化的图像序列进行测试,STC-SA算法的跟踪成功率最高达到91%,验证了STC-SA算法具有较高的跟踪精度和跟踪实时性。     

基于均值漂移算法和时空上下文算法的目标跟踪

在严重遮挡时,时空上下文STC(Spatio-Temporal Context)算法对目标位置的判断是正确的,而均值漂移MS(Mean Shift)算法对目标位置的判断会发生很大幅度的抖动,甚至跟踪错误目标。在遮挡结束后,时空上下文算法很难重新跟踪到正确目标,而均值漂移算法可以重新检测到跟踪目标。结合二者的优缺点,提出基于均值漂移算法和时空上下文算法的目标跟踪算法MSandSTC。该算法主要解决目标被严重遮挡的问题。在许多具有挑战性的数据集上的实验表明所提算法具有较好的实时性和鲁棒性。     

时空上下文抗遮挡视觉跟踪

目的 传统的视觉跟踪方法只考虑了目标本身的特征信息提取,忽略了目标周围稠密的上下文信息。一旦目标本身特征信息提取存在困难,很容易导致跟踪失败。为解决上述问题,提出一种时空上下文抗遮挡视觉跟踪算法（STC-PF）。方法 首先,利用目标与局部区域的时空关系学习时空上下文模型;然后,通过上下文先验模型和学习到的时空上下文模型计算置信图;最后,对时空上下文区域进行分块遮挡判别,若遮挡概率小于设定阈值,计算置信图所得最大概率位置即为目标位置;若遮挡概率大于设定阈值,则目标发生遮挡,通过子块匹配和粒子滤波估计目标位置以及运动轨迹,实现不同程度的抗遮挡跟踪。结果 对测试数据集中的图像序列进行实验,结果表明,STC-PF方法的跟踪成功率提高至80%以上;中心误差小于原算法;同时STC-PF算法在提高抗遮挡能力的前提下,运行速度与原算法相当,高于当前流行算法。结论 STC-PF算法能够适用于光照变化、目标旋转、遮挡等复杂情况下的视觉目标跟踪,具有一定的实时性和高效性,尤其是在目标发生遮挡情况下具有很好的抗遮挡能力和较快的运行速度。     

基于Retinex灰度增强和颜色信息的时空上下文跟踪算法EI北大核心CSCD

针对光照变化下图像局部或整体灰度剧烈变化而容易导致目标跟踪失败的问题,提出一种结合颜色信息和Retinex灰度增强的改进时空上下文算法.首先比较单尺度Retinex算法和多尺度Retinex算法,确定使用多尺度Retinex算法对图像进行灰度增强以减弱光照变化对图像灰度的影响;然后比较各种视觉模型的颜色特征,确定引入基于色相信息的目标模型,并将该模型与多尺度Retinex灰度增强模型相结合作为跟踪的目标模型.实验结果表明,文中算法比原算法在跟踪成功率上有较大提升,在Shaking场景下跟踪成功率为95%,比传统的时空上下文跟踪算法的跟踪成功率提高约24%;相比其他主流算法,该算法在平均跟踪成功率和跟踪精度上的表现也更高、更可靠.     

基于时空上下文信息增强的目标跟踪算法

充分利用视频中的时空上下文信息能明显提高目标跟踪性能,但目前大多数基于深度学习的目标跟踪算法仅利用当前帧的特征信息来定位目标,没有利用同一目标在视频前后帧的时空上下文特征信息,导致跟踪目标易受到邻近相似目标的干扰,从而在跟踪定位时会引入一个潜在的累计误差。为了保留时空上下文信息,在SiamMask算法的基础上引入一个短期记忆存储池来存储历史帧特征;同时,提出了外观显著性增强模块（ASBM）,一方面增强跟踪目标的显著性特征,另一方面抑制周围相似目标对目标的干扰。基于此,提出一种基于时空上下文信息增强的目标跟踪算法。在VOT2016、VOT2018、DAVIS-2016和DAVIS-2017等四个数据集上进行实验与分析,结果表明所提出的算法相较于SiamMask算法在VOT2016上的准确率和平均重叠率（EAO）分别提升了4个百分点和2个百分点;在VOT2018上的准确率、鲁棒性和EAO分别提升了3.7个百分点、2.8个百分点和1个百分点;在DAVIS-2016上的区域相似度、轮廓精度指标中的下降率均分别降低了0.2个百分点;在DAVIS-2017上的区域相似度、轮廓精度指标中的下降率分别降低了1.3和0.9个百分点。     

一种基于加权时空上下文的鲁棒视觉跟踪算法

由于光照及外观变化、复杂背景、目标旋转与遮挡等因素的影响, 给实现鲁棒的视觉跟踪带来困难. 有效利用上下文(Context)中包含的有用信息有助于提升上述条件下视觉跟踪的鲁棒性. 时空上下文 (Spatio-temporal context, STC)算法是新近提出的一种基于时空上下文的目标跟踪算法, 它利用目标周围的稠密上下文信息, 取得了良好的跟踪效果. STC的不足是其同等对待整个上下文区域, 没有对上下文做进一步的区分, 减弱了上下文的作用. 本文采用动态分区处理思想, 根据上下文中不同区域与跟踪目标运动相似度大小, 赋予不同权值, 提出了基于加权时空上下文(Weighted spatio-temporal context, WSTC)的鲁棒视觉跟踪算法. 最后在公共数据集上进行的对比实验表明, 本文所提出的算法具有更好的跟踪效果和鲁棒性.     

改进STC和SURF特征联合优化的目标跟踪算法

针对传统时空上下文目标跟踪(STC)算法中目标窗口不能适应目标尺度变化,导致对目标针对性不强等问题,提出改进STC和SURF特征联合优化的目标跟踪算法(STC-SURF)。首先利用加速稳健(SURF)特征算法对相邻的2帧图像提取特征点并进行匹配,再通过随机抽样一致(RANSAC)算法消除误匹配,提高匹配精度。进而根据2帧图像中匹配特征点的变化对目标窗口进行调整。最终对STC算法中模型的更新方式进行优化以提高跟踪结果的准确性。实验结果表明,STC-SURF算法能够适应目标尺度变化,并且其目标跟踪成功率优于TLD算法和传统STC算法的。     

一种鲁棒的多特征融合目标跟踪新算法

仅利用单一的目标特征进行跟踪是大多数跟踪算法鲁棒性不高的重要原因。提出了一种新的多特征融合目标跟踪算法,该算法将目标的颜色、纹理、边缘、运动特征统一使用直方图模型进行描述,以降低算法受目标形变和部分遮挡的影响,在Auxiliary粒子滤波框架内将所有特征观测进行概率融合,以突出状态后验分布中目标真实状态对应的峰值,从而有效避免了复杂背景的干扰,并给出了一种有效的融合系数计算方法,使融合结果更加准确可靠。实验结果表明,该算法能同时处理刚性与非刚性目标的跟踪,较单一特征的跟踪算法具有明显的优势,对复杂背景下的跟踪具有较高的鲁棒性。与现有多特征融合算法的比较也证明了本文算法的有效性。     

基于自适应背景的多特征融合目标跟踪

针对基于单一特征的目标跟踪算法,在复杂情形下,很难准确跟踪目标的问题,提出一种基于自适应背景的多特征融合目标跟踪算法。该算法利用颜色和基于灰度共生矩阵纹理特征表征目标,在粒子滤波的框中,通过分析在不同特征下,粒子空间分布、权值分布,以及特征对背景的区分性,提出一种有效的融合系数计算方法; 根据在跟踪过程中目标外观的变化情况,自适应更新目标模板。在不同场景下的实验结果表明:该算法在不降低实时性的前提下,抗背景干扰能力大幅度提高; 在各种场景下,均具有良好的稳定性和鲁棒性。     

基于混合注意力的Transformer视觉目标跟踪算法

基于Transformer的视觉目标跟踪算法能够很好地捕获目标的全局信息,但是,在对目标特征的表述上还有进一步提升的空间.为了更好地提升对目标特征的表达能力,提出一种基于混合注意力的Transformer视觉目标跟踪算法.首先,引入混合注意力模块捕捉目标在空间和通道维度中的特征,实现对目标特征上下文依赖关系的建模;然后,通过多个不同空洞率的平行空洞卷积对特征图进行采样,以获得图像的多尺度特征,增强局部特征表达能力;最后,在Transformer编码器中加入所构建的卷积位置编码层,为跟踪器提供精确且长度自适应的位置编码,提升跟踪定位的精度.在OTB100、VOT2018和LaSOT等数据集上进行大量实验,实验结果表明,通过基于混合注意力的Transformer网络学习特征间的关系,能够更好地表示目标特征.与其他主流目标跟踪算法相比,所提出算法具有更好的跟踪性能,且能够达到26帧/s的实时跟踪速度.     

视频监控领域基于多特征融合与自适应模型更新的目标跟踪

随着视频处理技术和网络技术的发展,视频监控应用逐渐渗透到了人们日常活动中的方方面面,如何设计实现精度高、鲁棒性好的目标跟踪技术仍然是当今研究的热点及难点。本文在工程应用实践的基础上,提出一多特征融合与自适应模型更新的空时上下文目标跟踪算法,通过将丰富多样的多特征信息整合到空时上下文模型中。由于多特征具有互补特性,可以克服单一特征对目标区域描述不足的缺陷,提升算法的抗干扰能力。同时,本文也提出了一种自适应学习因子策略,增强了模型的泛化能力。大量的仿真实验结果表明本文所提算法的跟踪性能超过传统的空时上下文文目标跟踪算法,对复杂的跟踪场景具有更强的鲁棒性与抗干扰能力。     

多空间分辨率自适应特征融合的相关滤波目标跟踪算法

相关滤波算法因无法充分利用深度特征和浅层特征的互补特性而限制跟踪性能.针对该问题,文中提出多空间分辨率自适应特征融合的相关滤波目标跟踪算法.首先,使用更深的ResNet-50网络提取深度特征,提高特征表示在跟踪过程中的鲁棒性和鉴别性.再针对不同特征具有不同空间分辨率的特点,从视频帧中分割不同尺度的图像块作为搜索区域,更好地平衡边界效应和样本数目.最后,引入自适应特征融合方法,以自适应的权重融合两类特征的响应图,充分利用其互补特性.在多个标准数据集上的实验证实文中算法的有效性和鲁棒性.