结合Camshift和Kalman预测的运动目标跟踪

针对单一的CamShift跟踪算法在目标发生遮挡时非常容易致使跟踪目标失败的问题,本文提出了一种基于CamShift和Kalman预测的跟踪算法。首先,采用帧间差分阈值法来快速、精确地检测和提取出运动目标;然后,通过在CamShift算法中使用运动目标的颜色特征,在图像序列中找到运动目标的所在位置和大小;最后,使用Kalman滤波预测目标的位置,进而有效地解决了背景中大面积相同颜色的干扰和目标部分被遮挡等问题。用无线遥控车完成了运动目标的跟踪实验,实验证明结合CamShift算法和Kalman预测滤波能实时、准确地跟踪目标。     

基于Camshift和Kalman滤波的自动跟踪算法

针对传统的Camshift算法在跟踪时需要手动定位目标,在颜色干扰、遮挡等复杂背景中容易跟丢目标的问题,提出了一种基于Camshift和Kalman滤波的自动跟踪算法。首先利用帧间差分法和Canny边缘检测法分割出运动目标的完整区域,然后用提取出的目标区域初始化Camshift算法的初始搜索窗口,从而实现了目标的自动跟踪。当背景中存在相似颜色干扰或者目标被严重遮挡时,采用Kalman滤波与Camshift算法相结合的改进算法进行跟踪。实验结果表明,本文改进算法在目标被严重遮挡、颜色干扰等情况下仍能有效、稳健地跟踪。     

Effective detection of exposed target regions based on deep learning from multimedia data

With the development of high-performance visual sensors, it has been very easy to obtain a variety of image data. Of these image data, human face regions contain personal information to distinguish one from the others. Therefore, it is important to accurately detect unhidden face regions from an input image. This paper proposes a method of robustly detecting human face regions from an input color image with the use of a deep learning algorithm, one of the machine learning algorithms. The proposed method first transforms the RGB color model of an input image to the YC_bC_r color model, and then removes other regions than face regions to segment skin regions with the use of the pre-learned elliptical skin color distribution model. Subsequently, a CNN model-based deep learning algorithm was applied to robustly detect human face regions from the detected skin regions in the previous step. As a result, the proposed method segments face regions more efficiently than an existing method. The face region detection method proposed in this paper is expected to be usefully applied to practical areas related to multimedia data processing, such as video surveillance, target blocking, image security, visual data analysis, and object recognition and tracking.

     

基于差分法与改进活动轮廓模型的追踪算法

为了准确、快速地检测和追踪运动目标,提出差分法与改进的活动轮廓(snake)模型相结合的目标追踪算法。建立当前帧与前一帧的差分图像,判断目标的大概运动范围。在运动范围周围设定初始化曲线,用改进的snake模型进行目标拟合。采用帧差法测定运动范围,避免了snake初始化曲线人为选定的缺点,改进的snake模型使拟合结果更加准确。实验结果验证了该算法的有效性。     

基于局部抠像技术的融合图像精确跟踪算法

为了提高跟踪精度,提出一种基于局部抠像的融合图像全自动精确跟踪算法。首先采用帧间差分法获取运动目标的大致区域,并自动生成局部抠像框,由此采集目标、背景代表颜色集合;在此基础上自动生成抠像所需的草图,实现对目标的抠像;最后对抠像产生的前景映射图进行边缘检测即可获取精确的目标轮廓,并可根据跟踪结果对模型进行更新。对于实验的图像序列,与目标实际中心相比较,抠像跟踪误差均值为0.9像素,传统均值漂移跟踪误差均值为5.2像素。实验结果表明,该方法跟踪结果能完整、清晰地表示目标轮廓,很好地解决了跟踪中的漂移问题,提升了跟踪精度     

PTZ自主跟踪中的全景视频生成

提出了一种在单PTZ摄像机自主跟踪过程中生成全景视频的方法。该方法在自主跟踪目标的同时,生成目标在大场景上运动的全景视频,可应用于PTZ摄像机监控场所。该方 法将全景视频看作全景背景图像和当前目标图像的叠加：首先利用Mean Shift跟踪方法逐帧获取目标区域图像并保存;然后利用相邻两帧视频图像的竖直方向投影匹配和Harris角 点匹配结果合成全景背景,与传统的配准方法相比,大大降低了匹配运算的复杂度,使全景背景的生成能够实时进行,并记录每帧图像到背景图像的变换参数;最后逐帧将目标区 域图像变换到背景图像上得到全景视频。本文方法与传统的全景视频生成方法相比,无需人工控制摄像机的转动,也无需手工对齐视频帧,整个过程全部自动完成。     

基于特征空间切分建模的变形手势跟踪算法

为解决人机交互中手势形变和无规律运动带来的跟踪难题,提出了一种基于特征空间切分建模的非参数核密度估计算法来实现手势跟踪.首先,在检测模块中利用AdaBoost分类器检测图像中手势的存在,将检测到的手势位置信息传送给跟踪模块,该模块精确提取手势目标从而对其颜色建模.然后,利用目标的颜色模型对各帧图像进行后验概率密度估算,获取运动目标的概率密度图像,将其分解成手势运动区和同色干扰区.最后,对同色干扰区采用混合高斯建模来削弱同色目标的干扰.当目标丢失时启动再检测模块,并利用贝叶斯分类器与方差分类器实现手势目标重检.实验结果表明,该算法通过对特征空间切分建模以及不同分类器的级联解决了变形手势跟踪的同色干扰与再检测难题.该算法提高了跟踪的准确率（>81.5%）,适合于非刚性物体做无规则运动的复杂场景.     

一种结合ORB特征匹配的均值漂移目标跟踪算法

针对传统的mean-shift跟踪算法基于单一颜色特征空间,在复杂背景下难以对目标进行准确跟踪这问题,提出了一种结合ORB特征匹配的mean-shift目标跟踪算法。该算法在mean-shift算法的基础上利用改进的ORB特征匹配算法修正目标跟踪窗口并实时更新目标特征模板,通过计算前后两帧图像中目标中心的欧式距离与色彩模板的巴氏距离来判定跟踪是否失败,当目标跟踪失败时,不改变目标模板,继续搜索下一帧图像中的目标。实验结果表明,与均值漂移算法和基于其他同类特征的改进算法相比,该算法提高了在复杂背景下目标跟踪的精度,并能满足实时性要求。     

部件级表观模型的目标跟踪方法

因受遮挡、运动模糊、剧烈形变等因素的影响,稳定且准确的目标跟踪是当前计算机视觉研究领域重要挑战之一.首先采用中层视觉线索的超像素描述目标/背景的部件,以部件颜色直方图作为其特征,并通过聚类部件库的特征集构建初始表观模型,部件表达的局部性和灵活性使该模型能够准确描述目标/背景;然后,利用贝叶斯滤波模型计算目标框的初始状态,并提出相似物体干扰的检测和处理算法以避免跟踪漂移,得到更健壮的结果;最后,为了减弱形变、遮挡、模糊对表观模型的影响以更好地保持目标特征,提出一种基于部件库的特征补集的在线表观模型更新算法,根据部件变化实时反映目标/背景的变化情况.在多个具有跟踪挑战的视频序列上的实验结果表明(共12个视频序列):与现有跟踪方法相比,该算法跟踪结果的中心误差更小,成功帧数更多,能够更准确并稳定、有效地跟踪目标物体.     

足球视频球员感知跟踪算法

目的 足球比赛视频中的球员跟踪算法为足球赛事分析提供基础的数据支持。但足球比赛中球员跟踪存在极大的挑战：球员进攻、防守和争夺球权时,目标球员可能产生快速移动、严重遮挡和周围出现若干名干扰球员的情况,目前仍没有一种能够完美解决足球比赛中球员跟踪问题的算法。因此如何解决足球场景中的困难,提升球员跟踪的准确度,成为当前研究的热点问题。方法 本文在分析足球比赛视频中球员目标特点的基础上,通过融合干扰项感知的颜色模型和目标感知的深度模型,提出并设计了一种球员感知的跟踪算法。干扰项感知的颜色模型分别提取目标、背景和干扰项的颜色直方图,利用贝叶斯公式得到搜索区域中每个像素点属于目标的似然概率。目标感知的深度模型利用孪生网络计算搜索区域与目标的相似度。针对跟踪漂移问题,使用全局跟踪器和局部跟踪器分别跟踪目标整体和目标上半身,并且在两个跟踪器的跟踪结果出现较大差异的时候分析跟踪器有效性并进行定位修正。结果 在公共的足球数据集上将本文算法与10个其他跟踪算法进行对比实验,同时对于文本算法进行了局部跟踪器的消融实验。实验结果表明,球员感知跟踪算法的平均有效重叠率达到了0.560 3,在存在同队球员和异队球员干扰的情况下,本文算法比排名第2的算法的有效重叠率分别高出3.7%和6.6%,明显优于其他算法,但是由于引入了干扰项感知的颜色模型、目标感知的深度模型以及局部跟踪器等模块增加了算法的时间复杂度,导致本文算法跟踪速度较慢。结论 本文总结了跟踪算法的整体流程并分析了实验结果,认为干扰项感知、目标感知和局部跟踪这3个策略在足球场景中的球员跟踪问题中起到了重要的作用,为未来在足球球员跟踪领域研究的继续深入提供了参考依据。     

改进协方差矩阵的智能车视觉目标跟踪方法

智能车辆视觉目标具有非线性、噪声分布非高斯性的典型特点，现有算法难以实时估计目标的状态。针对识别物体复杂且多变，很难用完全的特征来描述待识别目标及其背景的不断变化，提出了一种用于融合颜色特征及SURF（Speed-Up Robust Features）特征的协方差矩阵来改进粒子滤波算法，从而提升视觉目标跟踪的实时性，满足智能车辆的要求。首先，对采集的图像进行预处理来获取感兴趣区域。接着，通过融合颜色特征及SURF特征构造范围感兴趣区域（Region Of Interest，ROI）的目标特征协方差矩阵，建立目标状态预测模型及状态观测模型，用于改进粒子滤波算法粒子重采样过程，实现对目标的精确跟踪。最后，将该方法与Mean-shift算法和颜色属性（CN）算法进行对比。实验结果表明，在智能车视觉跟踪过程中对光环境瞬时变化、目标物体存在短时遮挡以及目标物体姿态改变时，该算法在满足智能车辆对实时性要求的前提下，有效提升算法的精确度及鲁棒性。     

融合卷积神经网络的核相关滤波视觉目标跟随算法研究

近几年,目标跟随技术逐渐成为研究的热点。核相关滤波跟踪算法通过循环矩阵构造训练样本,将时域的卷积转换到频域的点乘完成滤波器的训练,降低计算复杂度,跟踪速度较快。卷积神经网络模型深度特征表征能力较强,可以充分利用图像信息,跟踪精度较高。将两种算法优势互补,构造一种卷积神经网络与核相关滤波算法融合型改进算法。即在线下阶段训练模型,分层提取孪生网络的深度特征,然后通过相关滤波器快速计算出最大响应图,预测目标所在位置。因此,改进后的算法在保持核相关滤波跟踪算法实时性的同时,可以大幅提高跟踪精度。     

Robust object tracking via integration of particle filtering with deep detection

We propose a video object tracker (IDPF-RP) which is built upon the variable-rate color particle filtering with two innovations: (i) A deep region proposal network guided candidate BB selection scheme based on the dynamic prediction model of particle filtering is proposed to accurately generate the qualified object BBs. The introduced region proposal alignment scheme significantly improves the localization accuracy of tracking. (ii) A decision level fusion scheme that integrates the particle filter tracker and a deep detector resulting in an improved object tracking accuracy is formulated. This enables us to adaptively update the target model that improves robustness to appearance changes arising from high motion and occlusion. Performance evaluation reported on challenging VOT2018/2017/2016 and OTB-50 data sets demonstrates that IDPF-RP outperforms state-of-the-art trackers especially under size, appearance and illumination changes. Our tracker achieves comparable mean accuracy on VOT2018 while it respectively provides about 8%, 15%, and 30% higher success rates on VOT2016, VOT2017 and OTB-50 when IoU threshold is 0.5.     

深浅特征融合的实时单目标行人跟踪

单目标行人跟踪是计算机视觉目标跟踪领域最基础、也是研究最广泛的任务之一,而目前大多数使用的相关滤波类算法和深度学习类算法则分别在跟踪精度和跟踪实时性上存在不足.针对上述问题,本文提出一种将目标图像的深浅特征融合的实时单目标行人跟踪方法.算法利用卡尔曼滤波器预测目标位置,通过计算四分颜色直方图提取目标的浅层颜色特征,并获得预测相似性以判定预测的可靠性.使用YOLOv4模型作为检测器,提取目标深度特征并分别计算运动信息和外观信息的距离度量,同时提取浅层颜色特征计算得到相似距离度量,通过特征距离度量的加权融合对检测目标进行匹配与更新.最后,利用提出的轨迹更新策略协调预测和检测的调用关系,达到准确性与实时性的平衡.算法在OTB100和LaSOT数据集上进行了测试实验,结果表明:所提算法的跟踪准确率分别达到0.581和0.453,在GPU上分别能达到33.64 FPS和35.32 FPS的跟踪速度,满足实时跟踪的要求.     

旋转目标检测算法在卫星影像中的应用

近年来,深度学习在卫星影像目标检测领域得到了快速的发展,如何精准高效定位目标物体是卫星影像目标检测研究中的主要难点。提出了一种基于旋转矩形空间的YOLOv3改进算法来精准定位卫星影像目标,对原有网络进行改进,增加角度变换的数据预处理过程,防止实例角度变化对网络训练造成影响。使用双旋转坐标进行回归训练,增加了角度锚点,提高了网络对卫星目标的检测有效性。提出了基于旋转矩形空间的非极大值抑制改进算法,可以有效去除多余的旋转预测框。实验结果表明,改进YOLOv3算法相较于原始YOLOv3算法拥有更好的可视化效果,可以有效准确地定位卫星影像的目标物体,有效避免了密集场景下预测框的遮挡问题,在保证实时性的前提下,将均值平均精度提高了0.8个百分点。     

融合显著度时空上下文的超像素跟踪算法*

为了更有效地利用目标的特征信息,提高目标的跟踪精度和鲁棒性,提出融合显著度时空上下文的超像素跟踪算法.首先对目标上下文区域进行超像素分割,根据运动信息计算目标上下文的运动相关性及特征协方差信息,得到相关性显著度.然后基于贝叶斯框架,在频域构建融合显著度信息的时空上下文模型.再利用联合颜色和纹理的直方图信息计算巴氏系数,更新时空上下文模型.此外,引入尺度金字塔模型,准确估计目标尺度.最后加入低通滤波自适应运动预测模块,在线更新动态模型样本集,使用岭回归方法实现低通滤波的参数在线更新.在公共数据上的实验表明,文中算法在光照变化、背景复杂、目标旋转、机动性高、分辨率低等情况下具有较好的跟踪效果.     

基于SIFT特征一致性的目标跟踪算法

针对光照条件突然变化情况下混合目标模型Mean Shift算法无法准确跟踪目标的缺点,提出了一种基于SIFT特征一致性的目标跟踪算法.算法用SIFT特征来匹配帧间的感兴趣区域,同时使用包含初始帧信息和前一帧信息的混合目标模型Mean Shift算法计算帧间感兴趣区域的直方图,以直方图分布距离最小为原则计算Mean Sh...     

基于视觉Transformer的双流目标跟踪算法

目前基于Transformer的目标跟踪算法主要利用Transformer来融合深度卷积特征,忽略了Transformer在特征提取和解码预测方面的能力。针对上述问题,提出一种基于视觉Transformer的双流目标跟踪算法。引入基于注意力机制的Swin Transformer进行特征提取,通过移位窗口进行全局信息建模。使用Transformer编码器对目标特征和搜索区域特征进行充分融合,使用解码器学习目标查询中的位置信息。分别对编解码器中的双流信息进行目标预测。在决策层面上进一步地加权融合得到最终跟踪结果,并使用多监督策略。该算法在LaSOT、TrackingNet、UAV123和NFS四个具有挑战性的大规模跟踪数据集上取得了先进的结果,分别达到67.4%、80.9%、68.6%和66.0%的成功率曲线下面积,展示了其强大的潜力。此外,由于避免了复杂的后处理步骤,能够端到端进行目标跟踪,跟踪速度可达42?FPS。     

动态背景运动目标的快速锁定跟踪算法

为改善动态背景运动目标跟踪的精度和计算性能,提出一种Hu_Fourier特征描述子的目标识别算法和固定模板滑动置信度最佳线性逼近法的目标锁定跟踪算法。依据提出的Hu_Fourier特征描述子,快速准确地提取出识别区域运动目标的轮廓特征,结合加权距离目标识别算法,识别出图像中所有目标,计算目标的质心坐标。利用提出的固定模板滑动置信度准则,结合识别目标的质心,锁定目标,更新目标模板。依据最佳线性逼近法,确定下一帧图像的目标搜索区域。理论分析和实验结果验证了该目标锁定跟踪算法的鲁棒性和有效性。     

基于梯度特征与彩色特征相融合的mean shift跟踪方法

针对mean shift跟踪方法中存在的光照变化不稳定问题,提出了基于梯度特征与彩色特征相融合的mean shift跟踪方法。首先分别提取目标的梯度特征和彩色特征,利用多尺度的相似度计算方法进行特征的匹配,然后通过最大化相似度对目标进行跟踪。通过物体和人体等运动目标的跟踪,验证了改进的跟踪算法在光照变化情况下的鲁棒性优于原有的算法,显著降低了跟踪位置误差。