动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

判别特征回归的鲁棒目标跟踪

目的 近年来,目标跟踪领域取得了很大进步,但是由于尺度变化,运动,形状畸变或者遮挡等造成的外观变化,仍然是目标跟踪中的一大挑战,因而有效的图像表达方法是提高目标跟踪鲁棒性的一个关键因素。方法 从中层视觉角度出发,首先对训练图像进行超像素分割,将得到特征向量集以及对应的置信值作为输入值,通过特征回归的方法建立目标跟踪中的判别外观模型,将跟踪图像的特征向量输入该模型,得到候选区域的置信值,从而高效地分离前景和背景,确定目标区域。结果 在公开数据集上进行跟踪实验。本文算法能较好地处理目标尺度变化、姿态变化、光照变化、形状畸变、遮挡等外观变化;和主流跟踪算法进行对比,本文算法在跟踪误差方面表现出色,在carScale、subway、tiger1视频中能取得最好结果,平均误差为12像素,3像素和21像素;和同类型的方法相比,本文算法在算法效率上表现出色,所有视频的跟踪效率均高于同类型算法,在carScale视频中的效率,是同类算法效率的32倍。结论 实验结果表明,本文目标跟踪算法具有高效性和鲁棒性,适用于目标发生外观变化时的目标跟踪问题。目前跟踪中只用了单一特征,未来考虑融合多特征来提升算法鲁棒性和准确度。     

结合背景信息的自适应加权压缩跟踪算法

目的 为了提高目标跟踪的准确度,提出结合背景信息的自适应加权压缩跟踪算法。方法 针对目标边缘背景信息的干扰问题,提出对目标框架分块提取特征,根据区域分配权值,弱化特征提取过程中背景信息的干扰;利用正负样本特征概率分布的Bhattacharyya距离,自适应地选取区分度较大的特征进行分类器训练,提高分类器的鲁棒性;针对目标遮挡导致分类器分类不准确问题,提出设置目标遮挡检测机制,结合目标和局部背景信息对目标实现遮挡环境下的跟踪。结果 与目前较流行的5种算法在6个具有挑战性的序列中进行比较,本文提出的算法平均跟踪率达到90%,平均每帧耗时0.088 6 s。结论 本文算法在背景干扰,光线变换,目标旋转、形变、遮挡和复杂背景环境下的跟踪具有较高鲁棒性。     

基于轨迹聚类的超市顾客运动跟踪

针对超市等复杂应用环境下的运动目标轨迹跟踪问题,将轨迹聚类运用于目标跟踪中,提出了一种超市顾客运动跟踪方法。该方法对Kanade-Lucas-Tomasi(KLT)算法提取并跟踪得到的特征点轨迹进行预处理,滤除背景和短时特征点以分离出运动目标所在区域的关键特征点;进而采用均值漂移(meanshift)算法进行轨迹聚类,解决了单帧静态特征点聚类时的目标遮挡问题;最后采用运动跟踪匹配算法对前后帧的特征点进行最优匹配,解决了目标出入视频区域以及具有复杂路线时的稳定跟踪问题,得到顾客的完整运动轨迹。实验结果表明,该方法能够在超市入口、生鲜区以及收银台等各种典型超市区域中完成顾客轨迹的运动跟踪,并对顾客部分遮挡、复杂运动轨迹以及异步运动等多种特殊情况具有较高的鲁棒性。     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

前景划分下的双向寻优跟踪方法

目的 基于目标模型匹配方法被广泛用于运动物体的检测与跟踪。针对传统模型匹配跟踪方法易受局部遮挡、复杂背景等因素影响的问题,提出一种前景划分下的双向寻优BOTFP （Bidirectional optimization tracking method under foreground partition）跟踪方法。方法 首先,在首帧中人工圈定目标区域,提取目标区域的颜色、纹理特征,建立判别外观模型。然后,利用双向最优相似匹配方法进行目标检测,计算测试图像中的局部特征块与建立的外观模型之间的相似性,从而完成模型匹配过程。为了避免复杂背景和相似物干扰,提出一种前景划分方法约束匹配过程,得到更准确的匹配结果。最后,提出一种在线模型更新算法,引入了距离决策,判断是否发生误匹配,避免前景区域中相似物体的干扰,保证模型对目标的描述更加准确。结果 本文算法与多种优秀的跟踪方法相比,可以达到相同甚至更高的跟踪精度,在Girl、Deer、Football、Lemming、Woman、Bolt、David1、David2、Singer1以及Basketball视频序列下的平均中心误差分别为7.43、14.72、8.17、13.61、24.35、7.89、11.27、13.44、12.18、7.79,跟踪重叠率分别为0.69、0.58、0.71、0.85、0.58、0.78、0.75、0.60、0.74、0.69。与同类方法L1APG （L1 tracker using accelerated proximal gradient approach）,TLD （tracking-learning-detection）,LOT （local orderless tracker）比较,平均跟踪重叠率提升了20%左右。结论 实验结果表明,在前景区域中,利用目标的颜色特征和纹理特征进行双向最有相似匹配,使得本文算法在部分遮挡、目标形变、复杂背景、目标旋转等条件下具有跟踪准确、适应性强的特点。     

结合连续卷积算子的自适应加权目标跟踪算法

目的 在视觉跟踪领域中,特征的高效表达是鲁棒跟踪的关键,观察到在相关滤波跟踪中,不同卷积层表达了目标的不同方面特征,提出了一种结合连续卷积算子的自适应加权目标跟踪算法。方法 针对目标定位不准确的问题,提出连续卷积算子方法,将离散的位置估计转换成连续位置估计,使得位置定位更加准确;利用不同卷积层的特征表达,提高跟踪效果。首先利用深度卷积网络结构提取多层卷积特征,通过计算相关卷积响应大小,决定在下一帧特征融合时各层特征所占的权重,凸显优势特征,然后使用从不同层训练得到的相关滤波器与提取得到的特征进行相关运算,得到最终的响应图,响应图中最大值所在的位置便是目标所在的位置和尺度。结果 与目前较流行的3种目标跟踪算法在目标跟踪基准数据库（OTB-2013）中的50组视频序列进行测试,本文算法平均跟踪成功率达到85.4%。结论 本文算法在光照变化、尺度变化、背景杂波、目标旋转、遮挡和复杂环境下的跟踪具有较高的鲁棒性。     

自适应多特征融合相关滤波目标跟踪

目的 针对现实场景中跟踪目标背景复杂、光照变化、快速运动、旋转等问题,提出自适应多特征融合的相关滤波跟踪算法。方法 提取目标的HOG（histogram of oriented gradients）特征和利用卷积神经网络提取高、低层卷积特征,借助一种自适应阈值分割方法评估每种特征的有效性,得到特征融合的权重比。根据权重系数融合每种特征的响应图,并据此得到目标的新估计位置,利用尺度相关滤波器计算目标尺度,得到目标尺度完成跟踪。结果 在OTB（object tracking benchmark）-2013公开数据集上进行实验,在对多特征融合进行分析的基础上,测试了本文算法在11种不同属性下的跟踪性能,并与当前流行的7种算法进行对比分析。结果表明,本文算法的成功率和精确度均排名第1,相较于基准算法DSST （discriminative scale space tracking）跟踪精确度提高了4%,成功率提高了6%。在复杂场景下比其他主流算法更具有鲁棒性。结论 本文算法以DSST相关滤波跟踪器为基准算法,借助自适应阈值分割方法评估每种特征的有效性,自适应融合两层卷积特征和HOG特征,使得判别性越强的单一特征融合权重越大,较好表达了目标的外观模型,在背景复杂、目标消失、光照变化、快速运动、旋转等场景下表现出较强的跟踪准确性。     

基于局部模型匹配的几何活动轮廓跟踪

目的 在复杂背景下,传统轮廓跟踪方法只考虑了目标的整体特征或显著性特征,没有充分利用目标的局部特征信息,尤其是目标发生遮挡时,容易发生跟踪漂移,甚至丢失目标.针对上述问题,提出一种基于局部模型匹配的几何活动轮廓(LM-GAC)跟踪算法.方法 首先,利用超像素技术将图像中的颜色特征相似的像素点归为一类,形成由一些像素点组成的超像素,从而把目标分割成若干个超像素块,再结合EMD(earth mover's distance)相似性度量构建局部特征模型.然后,进行局部模型匹配,引入噪声模型来估算局部模型参数θ,这样可以增强特征模型的自适应性,提高局部模型匹配的准确性.最后,结合粒子滤波的水平集分割方法提取目标轮廓,实现目标轮廓精确跟踪.结果 本文算法与多种目标轮廓跟踪算法进行对比,在部分遮挡、目标形变、光照变化、复杂背景等条件的基准图像序列均具有较高的跟踪成功率,平均成功率为79.6%.结论 实验结果表明,根据不同的图像序列,可以自适应地实时改变噪声模型参数和粒子的权重,使得本文算法具有较高的准确性和鲁棒性.特别是在复杂的背景下,算法能较准确地进行目标轮廓跟踪.     

基于大数据分析的移动对象轨迹预测方法

对移动对象的轨迹预测将在移动目标跟踪识别中具有较好的应用价值。移动对象轨迹预测的基础是移动目标运动参量的采集和估计,移动目标的运动参量信息特征规模较大,传统的单分量时间序列分析方法难以实现准确的参量估计和轨迹预测。提出一种基于大数据多传感信息融合跟踪的移动对象轨迹预测算法。首先进行移动目标对象进行轨迹跟踪的控制对象描述和约束参量分析,对轨迹预测的大规模运动参量信息进行信息融合和自正整定性控制,通过大数据分析方法实现对移动对象运动参量的准确估计和检测,由此指导移动对象轨迹的准确预测,提高预测精度。仿真结果表明,采用该算法进行移动对象的运动参量估计和轨迹预测的精度较高,自适应性能较强,稳健性较好,相关的指标性能优于传统方法。     

基于改进光流特征的运动目标跟踪

在城市智能视频监控中需要对运动目标进行实时跟踪,针对传统的运动目标检测中出现的跟踪目标易丢失、跟踪率低、实时性差等问题,提出一种基于改进光流特征的运动目标跟踪检测方法,对运动行人目标进行跟踪。该方法首先采用改进的Vibe运动背景建模法对视频中存在的运动行人进行检测,再将Shi-Tomasi角点检测与LK光流法进行结合,将角点检测结果融入到LK光流法中,并对检测到的角点进行运动光流特征提取,最后通过卡尔曼滤波对出现的行人进行预测跟踪,采用匈牙利最优匹配算法实现对运动目标的持续匹配以及对运动目标的跟踪。仿真结果表明,本文提出的方法能够对视频中出现的运动目标进行检测跟踪,具有较好的识别效果,且检测效率得到提高。      

基于改进光流法的旋转运动背景下对地运动目标实时检测

针对战机对地侦查视频图像中地面旋转运动背景下运动目标检测高虚警、低实时性的问题,提出了一种基于改进光流法的旋转运动背景下对地运动目标实时检测算法。首先提取图像的特征点,在特征点处计算光流运动矢量,并通过光流矢量场估算背景运动矢量。根据战机飞行高度自适应计算目标像素尺寸,网格化分块待检测图像;然后将各个特征点光流矢量与背景运动矢量相比较,获得备选目标特征点。最后统计分块备选目标特征点密度,判断目标位置区域。对2组实验视频中央360像素×432像素区域进行目标检测实验,结果表明该算法能够准确地检测出地面运动目标,虚警率低。平均每帧检测耗时分别为29.460 ms和31.505 ms,满足战机对地运动目标检测的实时性。     

监控场景中的运动物体提取技术研究

针对监控场景中因存在遮挡而无法有效地提取出完整的运动序列这一问题,提出了一种将ViBe前景检测算法和改进后的粒子滤波跟踪算法相结合的跟踪提取方法。首先用ViBe来提取出场景中所有运动物体的前景轮廓;其次用粒子滤波来检测和跟踪目标物体;最后通过与目标物体的关联轮廓求交运算以及跟踪区域的反馈调节完成对目标物体运动帧序列的提取。当运动物体发生遮挡时,采用将跟踪区域内所检测到的前景轮廓重新加入到目标物体的关联轮廓中以保证后续可以继续用关联轮廓交集来提取。实验结果表明,该方法能够很好地保证提取的质量,并有效地解决了局部遮挡与全局遮挡情况下运动物体完整运动序列的提取。     

摄像机旋转运动下的快速目标检测算法

论文提出了一种摄像机旋转运动下的快速目标检测算法。首先为图像的全 局运动建立旋转参数模型,然后基于运动预测在相邻帧之间建立SIFT 特征点对,利用 RANSAC 去除外点的影响,结合最小二乘法求解全局运动参数进行运动补偿,基于残差图 像的更新策略实时更新特征点集,以适应背景的变化,最后使用帧差法获得运动目标。该算 法不仅保持了SIFT 本身的优越性能,而且极大地提高了检测速度。实验结果表明该算法可 以实时准确的检测出运动目标。     

自适应背景筛选的运动对象检测算法

针对传统帧差法和背景差分法对运动对象检测不准确等不足,提出了一种自适应背景筛选的运动对象检测算法。该算法在采用帧差法构建的背景中标注出原图存在运动对象的区域,筛选当前运动对象区域未被标注且距当前时刻最近的背景与当前帧进行差分,从而提取前景运动目标。与帧差背景结合方法相比,该方法能更好解决因运动对象静止后融入背景建模而导致的检测对象不准确问题,且算法简单,易于实现,满足实时监控要求。实验结果验证了该算法的有效性。     

六足机器人动态目标检测与跟踪系统研究

动态目标检测与目标跟踪是图像领域的热点研究问题,为研究其在移动机器人领域的应用价值,设计了六足机器人动态目标检测与跟踪系统。针对非刚体运动目标容易被检测为多个分散区域的问题提出区域合并算法,并通过对称匹配、自适应外点滤除对运动背景进行精确补偿,最终基于背景补偿法实现对运动目标的精确检测。研究了基于KCF（Kernel Correlation Filter）的目标跟踪算法在六足机器人平台上的应用,设计了自适应跟踪算法实现六足机器人对运动目标的角度跟踪。将运动目标检测及跟踪算法应用于六足机器人系统。实验表明,在六足机器人移动过程中,系统可对运动目标进行精确检测与跟踪。     

动摄像机下基于SIFT特征匹配和MHI的目标检测

摄像机的运动使得复杂背景下动目标的检测复杂化。为了应对动态变化的背景,本文提出基于SIFT特征匹配和运动历史图的目标检测算法。首先用SIFT算法提取特征点,采用RANSAC方法求得仿射变换模型参数并实现图像的全局运动补偿,最后利用运动历史图的方法检测出动目标。SIFT特征点匹配的准确性和RANSAC方法去除异常点的有效性使得仿射变换模型参数计算准确,运动历史图则给出了动目标清晰的轮廓,并指明了动目标的运动方向。与Ninad Thakoor实验结果对比说明:该算法能够准确地检测出动目标,并且显示了动目标的运动方向。     

基于背景减除法的视频序列运动目标检测

视频序列中运动目标的检测是目标识别、标记和追踪的重要组成部分,背景减除法是运动目标检测中被广泛应用的算法。针对光线变化、噪声和局部运动等影响运动目标检测效果的问题,提出一种基于背景减除法的视频序列运动目标检测算法。该算法结合背景减除法和帧间差分法,对当前帧像素点的运动状态进行判断,分别对静止和运动的像素点进行替换和更新,采用最大类间方差（Otsu）法对差分图像进行目标提取,并使用数学形态学运算去除目标中的噪声和冗余信息。实验结果表明,所提算法对于视频序列中运动目标的检测具有较好的视觉效果和较高的准确度,能够克服局部运动以及噪声等缺陷。     

Motion detection with nonstationary background

Abstract. This paper proposes a new background subtraction method for detecting moving foreground objects from a nonstationary background. While background subtraction has traditionally worked well for a stationary background, the same cannot be implied for a nonstationary viewing sensor. To a limited extent, motion compensation for the nonstationary background can be applied. However, in practice, it is difficult to realize the motion compensation to sufficient pixel accuracy, and the traditional background subtraction algorithm will fail for a moving scene. The problem is further complicated when the moving target to be detected/tracked is small, since the pixel error in motion that is compensating the background will subsume the small target. A spatial distribution of Gaussians (SDG) model is proposed to deal with moving object detection having motion compensation that is only approximately extracted. The distribution of each background pixel is temporally and spatially modeled. Based on this statistical model, a pixel in the current frame is then classified as belonging to the foreground or background. For this system to perform under lighting and environmental changes over an extended period of time, the background distribution must be updated with each incoming frame. A new background restoration and adaptation algorithm is developed for the nonstationary background. Test cases involving the detection of small moving objects within a highly textured background and with a pan-tilt tracking system are demonstrated successfully. Received: 30 July 2001 / Accepted: 20 April 2002 Correspondence to: Chin-Seng Chau