前景判别的局部模型匹配目标跟踪

目的 在复杂背景下,传统模型匹配的跟踪方法只考虑了目标自身特征,没有充分考虑与其所处图像的关系,尤其是目标发生遮挡时,易发生跟踪漂移,甚至丢失目标。针对上述问题,提出一种前景判别的局部模型匹配(FDLM)跟踪算法。方法 首先选取图像帧序列前m帧进行跟踪训练,将每帧图像分割成若干超像素块。然后,将所有的超像素块组建向量簇,利用判别外观模型建立包含超像素块的目标模型。最后,将建立的目标模型作为匹配模板,采用期望最大化(EM)估计图像的前景信息,通过前景判别进行局部模型匹配,确定跟踪目标。结果 本文算法在前景判别和模型匹配等方面能准确有效地适应视频场景中目标状态的复杂变化,较好地解决各种不确定因素干扰下的跟踪漂移问题,和一些优秀的跟踪算法相比,可以达到相同甚至更高的跟踪精度,在Girl、Lemming、Liquor、Shop、Woman、Bolt、CarDark、David以及Basketball视频序列下的平均中心误差分别为9.76、28.65、19.41、5.22、8.26、7.69、8.13、11.36、7.66,跟踪重叠率分别为0.69、0.61、0.77、0.74、0.80、0.79、0.79、0.75、0.69。结论 实验结果表明,本文算法能够自适应地实时更新噪声模型参数并较准确估计图像的前景信息,排除背景信息干扰,在部分遮挡、目标形变、光照变化、复杂背景等条件下具有跟踪准确、适应性强的特点。     

无人机侦察视频超分辨率重建方法

目的 无人机摄像资料的分辨率直接影响目标识别与信息获取,所以摄像分辨率的提高具有重大意义。为了改善无人机侦察视频质量,针对目前无人机摄像、照相数据的特点,提出一种无人机侦察视频超分辨率重建方法。方法 首先提出基于AGAST-Difference与Fast Retina Keypoint (FREAK)的特征匹配算法对视频目标帧与相邻帧之间配准,然后提出匹配区域搜索方法找到目标帧与航片的对应关系,利用航片对视频帧进行高频补偿,最后采用凸集投影方法对补偿后视频帧进行迭代优化。结果 基于AGAST-Difference与FREAK的特征匹配算法在尺度、旋转、视点等变化及运行速度上存在很大优势,匹配区域搜索方法使无人机视频的高频补偿连续性更好,凸集投影迭代优化提高了重建的边缘保持能力,与一种简单有效的视频序列超分辨率复原算法相比,本文算法重建质量提高约4 dB,运行速度提高约5倍。结论 提出了一种针对无人机的视频超分辨率重建方法,分析了无人机视频超分辨率问题的核心所在,并且提出基于AGAST-Difference与FREAK的特征匹配算法与匹配区域搜索方法来解决图像配准与高频补偿问题。实验结果表明,本文算法强化了重建图像的一致性与保真度,特别是对图像边缘细节部分等效果极为明显,且处理速度更快。     

定位图像匹配尺度与区域的摄像机位姿实时跟踪

目的 提出一种定位图像匹配尺度及区域的有效算法,通过实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中的特征点匹配,实现摄像机对模板图像的实时跟踪,解决3维跟踪算法中匹配精度与效率问题。方法 在预处理阶段,算法对模板图像建立多尺度表示,各尺度下的图像进行区域划分,在每个区域内采用ORB（oriented FAST and rotated BRIEF）方法提取特征点并生成描述子,由此构建图像特征点的分级分区管理模式。在实时跟踪阶段,对于当前摄像机获得的图像,首先定位该图像所对应的尺度范围,在相应尺度范围内确定与当前图像重叠度大的图像区域,然后将当前图像与模板图像对应的尺度与区域中的特征点集进行匹配,最后根据匹配点对计算摄像机的位姿。结果 利用公开图像数据库（stanford mobile visual search dataset）中不同分辨率的模板图像及更多图像进行实验,结果表明,本文算法性能稳定,配准误差在1个像素左右;系统运行帧率总体稳定在2030 帧/s。结论 与多种经典算法对比,新方法能够更好地定位图像匹配尺度与区域,采用这种局部特征点匹配的方法在配准精度与计算效率方面比现有方法有明显提升,并且当模板图像分辨率较高时性能更好,特别适合移动增强现实应用。     

快速定位图像尺度和区域的3维跟踪算法

目的 传统的2维自然图像的增强现实算法,对模板图像的各个尺度下的整个图像提取特征点并保存到特征点数组中,跟踪阶段对模板图像提取出的所有特征点进行匹配,造成了大量的无效运算,降低了特征匹配的效率.为了解决这个问题,将模板各个尺度的图像进行区域划分,提出了一种快速定位图像尺度和区域的算法,缩小特征匹配的范围,加快3维跟踪的速度.方法 预处理阶段,通过对图像金字塔每一尺度图像分成小区域,对模板图像上的特征点进行分层次分区域的管理.在系统实时跟踪阶段,通过计算几何算法快速确定当前摄像机图像所对应的尺度和区域,从而减小了特征匹配的范围.结果 该方法大幅度缩小了特征匹配的范围,降低了特征匹配所消耗的时间,与传统算法相比,在模板图像分辨率较大的情况下特征匹配阶段时间可以缩短10倍左右,跟踪一帧图像的时间缩短1.82倍.系统实时跟踪过程中的帧率总体保持在15帧/s左右.结论 提出的快速定位图像尺度和区域算法适用于移动设备上对2维自然图像的跟踪,尤其在模板图像分辨率较大的情况下,算法能够显著减小特征匹配的范围,从而提升了实时3维跟踪算法的运行效率.     

先验模型约束的抗干扰轮廓跟踪

目的 基于水平集的轮廓提取方法被广泛用于运动物体的轮廓跟踪。针对传统方法易受局部遮挡、复杂背景等因素影响的问题,提出一种先验模型约束的抗干扰（AC-PMC）轮廓跟踪算法。方法 首先,选取图像序列的前5帧进行跟踪训练,将每帧图像基于颜色特征分割成若干超像素块,利用均值聚类组建簇集合,并通过该集合建立目标的先验模型。然后,利用水平集分割方法提取目标轮廓,并提出决策判定算法,判断是否需要引入形状先验模型加以约束,避免遮挡、复杂背景等影响。最后,提出一种在线模型更新算法,在特征集中加入适当特征补偿,使得更新的目标模型更为准确。结果 本文算法与多种优秀的轮廓跟踪算法相比,可以达到相同甚至更高的跟踪精度,在Fish、Face1、Face2、Shop、Train以及Lemming视频图像序列下的平均中心误差分别为3.46、7.16、3.82、13.42、14.72、12.47,算法的跟踪重叠率分别为0.92、0.74、0.85、0.77、0.73、0.82,算法的平均运行速度分别为4.27 帧/s、4.03 帧/s、3.11 帧/s、2.94 帧/s、2.16 帧/s、1.71 帧/s。结论 利用目标的先验模型约束以及提取轮廓过程中的决策判定,使本文算法在局部遮挡、目标形变、目标旋转、复杂背景等条件下具有跟踪准确、适应性强的特点。     

基于局部模型匹配的几何活动轮廓跟踪

目的 在复杂背景下,传统轮廓跟踪方法只考虑了目标的整体特征或显著性特征,没有充分利用目标的局部特征信息,尤其是目标发生遮挡时,容易发生跟踪漂移,甚至丢失目标.针对上述问题,提出一种基于局部模型匹配的几何活动轮廓(LM-GAC)跟踪算法.方法 首先,利用超像素技术将图像中的颜色特征相似的像素点归为一类,形成由一些像素点组成的超像素,从而把目标分割成若干个超像素块,再结合EMD(earth mover's distance)相似性度量构建局部特征模型.然后,进行局部模型匹配,引入噪声模型来估算局部模型参数θ,这样可以增强特征模型的自适应性,提高局部模型匹配的准确性.最后,结合粒子滤波的水平集分割方法提取目标轮廓,实现目标轮廓精确跟踪.结果 本文算法与多种目标轮廓跟踪算法进行对比,在部分遮挡、目标形变、光照变化、复杂背景等条件的基准图像序列均具有较高的跟踪成功率,平均成功率为79.6%.结论 实验结果表明,根据不同的图像序列,可以自适应地实时改变噪声模型参数和粒子的权重,使得本文算法具有较高的准确性和鲁棒性.特别是在复杂的背景下,算法能较准确地进行目标轮廓跟踪.     

基于特征预测与邻域一致性的视频特征快速配准

基于视频图像特征点配准的目标跟踪算法无法兼顾精确性、实时性和鲁棒性,针对该问题,提出一种基于特征位置预测与邻域一致性约束的视频特征快速配准算法。以标注点与目标标记框为模板,通过ORB特征匹配与邻域一致性检验,获得帧间标注点集的对应关系,并计算点集间的尺度变换以确定当前目标框,利用多帧已知标注点位置信息与运动连续性进行多项式回归预测,得到标注点集的位置。在此基础上,对特征点进行局部搜索、提取和描述,根据邻域一致性约束,利用邻域内的支持特征点集实现标注点的稳健匹配。实验结果表明,该算法可对多姿态目标特征点进行配准,与GMS、ORB、SIFT和SURF算法相比,该算法的实时性、准确性和鲁棒性明显提高。     

联合特征融合和判别性外观模型的多目标跟踪

目的 针对基于检测的目标跟踪问题,提出一种联合多特征融合和判别性外观模型的多目标跟踪算法。方法 对时间滑动窗内的检测器输出响应,采用双阈值法对相邻帧目标进行初级关联,形成可靠的跟踪片,从中提取训练样本;融合多个特征对样本进行鲁棒表达,利用Adaboost算法在线训练分类器,形成目标的判别性外观模型;再利用该模型对可靠的跟踪片进行多次迭代关联,形成目标完整的轨迹。结果 4个视频数据库的目标跟踪结果表明,本文算法能较好的处理目标间遮挡、目标自身形变,以及背景干扰。对TUD-Crossing数据库的跟踪结果进行了定量分析,本文算法的FAF(跟踪视频序列时,平均每帧被错误跟踪的目标数)为0.21、MT(在整个序列中,有超过80%视频帧被跟踪成功目标数占视频序列目标总数的比例)为84.6%、ML(在整个序列中,有低于20%视频帧被跟踪成功目标数占视频序列目标总数的比例)为7.7%、Frag(视频序列目标真值所对应轨迹在跟踪中断开的次数)为9、IDS(在跟踪中,目标身份的改变次数)为4; 与其他同类型多目标跟踪算法相比,本文算法在FAF和Frag两个评估参数上表现出色。结论 融合特征能对目标进行较为全面的表达、判别性外观模型能有效地应用于跟踪片关联,本文算法能实现复杂场景下的多目标跟踪,且可以应用到一些高级算法的预处理中,如行为识别中的轨迹检索。     

自适应尺度突变目标跟踪

目的 尺度突变是目标跟踪中一项极具挑战性的任务,短时间内目标的尺度发生突变会导致跟踪要素丢失,使得跟踪误差积累导致跟踪漂移,为了更好地解决这一问题,提出了一种先检测后跟踪的自适应尺度突变的跟踪算法（kernelized correlation filter_you only look once,KCF_YOLO）。方法 在跟踪的训练阶段使用相关滤波跟踪器实现快速跟踪,在检测阶段使用YOLO（you only look once）V3神经网络,并设计了自适应的模板更新策略,采用将检测到的物体的相似度与目标模板的颜色特征和图像指纹特征融合后的相似度进行对比的方法,判断目标是否发生遮挡,据此决定是否在当前帧更新目标模板。结果 为证明本文方法的有效性在OTB（object tracking benchmark）2015数据集中具有尺度突变代表性的11个视频序列上进行试验,试验视频序列目标尺度变化为0.19.2倍,结果表明本文方法平均跟踪精度为0.955,平均跟踪速度为36帧/s,与经典尺度自适应跟踪算法比较,精度平均提高31.74%。结论 本文使用相关滤波和神经网络在目标跟踪过程中先检测后跟踪的思想,提高了算法对目标跟踪过程中尺度突变情况的适应能力,实验结果验证了加入检测策略对后续目标尺度发生突变导致跟踪漂移的情况起到了很好的纠正作用,以及自适应模板更新策略的有效性。     

动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

融合CN跟踪算法改进的TLD实时目标跟踪算法

针对TLD算法跟踪框在目标非刚性形变、旋转、背景杂乱等情景中容易导致跟踪漂移的问题,提出了一种融合CN跟踪算法改进的TLD实时目标跟踪算法(TLD-CN)。首先对跟踪框内区域计算图像显著性得到BRISK算法采样特征点的阈值,获得合适的特征点以建立旋转和尺度归一化的描述子,再融合颜色特征和纹理特征对前后帧跟踪框内描述子进行最优相似性匹配,得到匹配的特征点集合,对集合内特征点进行判别式字典的稀疏编码后,分别与CN跟踪框和TLD跟踪框的中心像素点进行相似度的度量,得到输出框调整的权重系数。实验结果表明,TLD-CN跟踪算法通过特征点度量出2种算法融合的权重值调整输出框,在目标形变、旋转、背景杂乱、快速运动等复杂跟踪情景中,具有很高的精度和成功率。权重系数自适应更新也避免了模型过拟合,达到实时跟踪效果。     

基于KCF和SIFT特征的抗遮挡目标跟踪算法

为了解决KCF目标跟踪中由于目标遮挡和目标尺度的变化造成跟踪目标丢失的问题,对核相关滤波器(KCF)目标跟踪的框架进行了研究,提出了一种基于KCF和SIFT特征的抗遮挡目标跟踪算法,引入了一种目标跟踪丢失后重新搜索定位目标的策略。利用尺度金字塔估计出目标的尺度,实现跟踪框自适应目标尺度大小,通过核相关滤波器(KCF)跟踪算法对目标进行跟踪。跟踪过程中对目标遮挡情况进行判断,当目标遮挡时,对当前帧跟踪框内的目标提取SIFT特征,生成模板特征。提取下一帧视频图像的SIFT特征并与模板特征进行匹配,框出与模板特征相匹配的目标,对目标继续进行跟踪。通过TB数据库标准视频序列和实际环境拍摄的视频序列进行测试。实验结果表明,跟踪框能适应目标的大小,在目标发生遮挡的情况下,能够重新找到目标并进行准确跟踪。     

融合检测与跟踪的半自动视频目标标注

针对视频图像连续帧间的目标具有冗余性,采用手动标注方式耗时耗力的问题,提出一种融合检测和跟踪算法的视频目标半自动标注框架。利用手动标注的样本离线训练改进YOLO v3模型,并将该检测模型作为在线标注的检测器。在线标注时在初始帧手动确定目标位置和标签,在后续帧根据检测框与跟踪框的IOU（Intersection-Over-Union）值自动确定目标的位置,并利用跟踪器的响应输出判断目标消失,从而自动停止当前目标标注。采用一种基于目标显著性的关键帧提取算法选择关键帧。采用自建舰船目标数据集进行了改进YOLO v3检测性能对比实验,并采用舰船视频序列验证了提出的视频目标半自动标注方法的有效性。实验结果表明,该方法可以显著提高标注效率,能够快速生成标注数据,适用于海上舰船等场景的视频目标标注任务。     

一种结合ORB特征匹配的均值漂移目标跟踪算法

针对传统的mean-shift跟踪算法基于单一颜色特征空间,在复杂背景下难以对目标进行准确跟踪这问题,提出了一种结合ORB特征匹配的mean-shift目标跟踪算法。该算法在mean-shift算法的基础上利用改进的ORB特征匹配算法修正目标跟踪窗口并实时更新目标特征模板,通过计算前后两帧图像中目标中心的欧式距离与色彩模板的巴氏距离来判定跟踪是否失败,当目标跟踪失败时,不改变目标模板,继续搜索下一帧图像中的目标。实验结果表明,与均值漂移算法和基于其他同类特征的改进算法相比,该算法提高了在复杂背景下目标跟踪的精度,并能满足实时性要求。     

融合显著度时空上下文的超像素跟踪算法*

为了更有效地利用目标的特征信息,提高目标的跟踪精度和鲁棒性,提出融合显著度时空上下文的超像素跟踪算法.首先对目标上下文区域进行超像素分割,根据运动信息计算目标上下文的运动相关性及特征协方差信息,得到相关性显著度.然后基于贝叶斯框架,在频域构建融合显著度信息的时空上下文模型.再利用联合颜色和纹理的直方图信息计算巴氏系数,更新时空上下文模型.此外,引入尺度金字塔模型,准确估计目标尺度.最后加入低通滤波自适应运动预测模块,在线更新动态模型样本集,使用岭回归方法实现低通滤波的参数在线更新.在公共数据上的实验表明,文中算法在光照变化、背景复杂、目标旋转、机动性高、分辨率低等情况下具有较好的跟踪效果.     

融合稀疏重构图像显著性的相关滤波跟踪

针对相关滤波跟踪中目标在剧烈形变时会发生滤波模板漂移,以及在复杂场景中目标跟踪鲁棒性较差的问题,提出一种融合稀疏重构图像显著性的相关滤波跟踪算法。在跟踪过程中,通过超像素分割提取背景模板来稀疏重构目标颜色相关,构建目标颜色模型得到跟踪检测分数,将该检测分数与相关滤波检测分数进行融合,根据融合响应,利用峰值旁瓣比调整模板更新速度来解决遮挡下的更新策略问题,同时利用中心先验图对存在误差的稀疏重构图进行修正,使得该目标跟踪框架能适应形变、光照等复杂变化。实验表明,该算法在准确性和鲁棒性方面要优于其他算法。     

多分辨率LK光流联合SURF的跟踪方法

针对交通监控中运动目标形变、雾霾天气、高速、光照不均、部分遮挡等复杂情况导致Lucas-Kanade（LK）算法跟踪不稳定问题,提出基于多分辨率LK光流算法联合快速鲁棒性特征（SURF）的跟踪算法。所提算法构建图像多分辨率小波金字塔,解决传统LK算法中同一像素点帧间大尺度运动易丢失问题;同时联合SURF尺度不变特征变换算法,提取特征点进行光流跟踪,并制定自适应模板实时更新策略;在减少光流计算量的同时增强运动目标抗复杂环境的能力。实验结果表明,新方法中特征点匹配准确快速,自适应性强,在交通复杂化境中跟踪稳定。     

光流引导下机器人抓取目标物角点动态匹配

针对目标物位姿在线估计中的特征点动态匹配问题,以木块作为实验对象,提出了一种光流引导的目标物角点动态匹配方法。使用Yolov2-tiny进行目标物识别,完成目标物定位与分类。在提取区域内完成Shi-Tomasi角点检测,采用LK（Lucas-Kanade）光流对角点跟踪的方法实现角点在相邻两帧图像中的初始匹配,针对光流跟踪中特征点的偏移问题,对跟踪点为中心的11×11邻域进行角点再提纯。实验证明该算法能在视频序列中对目标物角点实时动态地匹配,且角点匹配结果比SIFT和Harris-SIFT方法准确度更高,实时性更好。     

遮挡判定下多层次重定位跟踪算法

目的 目标遮挡一直是限制跟踪算法精确度和稳定性的问题之一,针对该问题,提出一种抗遮挡的多层次重定位目标跟踪算法。方法 通过平均峰值相关能量动态分配特征权重,将梯度特征与颜色直方图特征动态地结合起来进行目标跟踪。利用多峰值检测和峰值波动情况进行目标状态判定,若目标状态不理想,则停止模板更新,避免逐帧更新导致目标漂移,继续跟踪目标;若判定目标遮挡,则提取对应特征点,使用最邻近距离比进行特征匹配和筛选,丢弃负样本的最邻近样本作为二次筛选,利用广义霍夫变换进行第3次筛选并重定位目标,对目标继续跟踪。结果 在标准数据集OTB（object tracking benchmark）100和LaSOT（large-scale single object tracking）上的实验结果显示,本文算法的精确率分别为0.885和0.301,相较于Staple算法分别提升了13.5%和30.3%。结论 在目标发生遮挡的场景中,本文方法能够重定位目标并且继续跟踪,优化后的模板更新策略提高了算法速度。目标状态的判定有效估计了目标遮挡问题,可以及时采取应对策略,提高算法在复杂环境下的稳定性。