融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

基于KCF跟踪算法的目标轨迹记录系统

为了确保跟踪算法能够实时跟踪上高速移动的目标并且记录目标的三维坐标.本系统使用了一种基于KCF（Kernelized Correlation Filters）的高速跟踪算法来保证系统能够跟踪到移动速度较快的目标.首先,使用KCF跟踪算法来跟踪目标;然后,利用ORB特征点检测来计算目标特征点从而找到多摄像机中对应的点,找到对应点之后利用多摄像机的三维重建原理计算出每一帧中目标物体的三维坐标点;最后,用多项式对每一帧运动轨迹的离散点进行拟合得到最终的运行轨迹.实验结果证明该算法能够有效跟踪目标,整个系统能够满足实际的需求.     

OPTICS聚类与目标区域概率模型的多运动目标跟踪

目的 针对多运动目标在移动背景情况下跟踪性能下降和准确度不高的问题,本文提出了一种基于OPTICS聚类与目标区域概率模型的方法。方法 首先引入了Harris-Sift特征点检测,完成相邻帧特征点匹配,提高了特征点跟踪精度和鲁棒性;再根据各运动目标与背景运动向量不同这一点,引入了改进后的OPTICS加注算法,在构建的光流图上聚类,从而准确的分离出背景,得到各运动目标的估计区域;对每个运动目标建立一个独立的目标区域概率模型(OPM),随着检测帧数的迭代更新,以得到运动目标的准确区域。结果 多运动目标在移动背景情况下跟踪性能下降和准确度不高的问题通过本文方法得到了很好地解决,Harris-Sift特征点提取、匹配时间仅为Sift特征的17%。在室外复杂环境下,本文方法的平均准确率比传统背景补偿方法高出14%,本文方法能从移动背景中准确分离出运动目标。结论 实验结果表明,该算法能满足实时要求,能够准确分离出运动目标区域和背景区域,且对相机运动、旋转,场景亮度变化等影响因素具有较强的鲁棒性。     

增强现实中的视频对象跟踪算法

根据增强现实在视频对象跟踪中的应用需求,提出一种综合利用尺度不变特征变换(SIFT)算子、K聚类算法和轮廓检测的视频对象跟踪算法。该算法利用简易SIFT获得输入图像的特征点,通过K聚类算法获得可能的对象聚类,并采用改进的轮廓处理方法得到对象边界,移除孤立点,确定对象特征点,在对象特征点中获取增强现实应用中需要的注册点。在关键帧匹配中,只要使用对象特征点进行对象匹配。实验结果表明,该算法具有运行速度快、匹配正确率高的特点,能满足增强现实视频应用的注册需求。     

基于时空上下文信息增强的目标跟踪算法

充分利用视频中的时空上下文信息能明显提高目标跟踪性能,但目前大多数基于深度学习的目标跟踪算法仅利用当前帧的特征信息来定位目标,没有利用同一目标在视频前后帧的时空上下文特征信息,导致跟踪目标易受到邻近相似目标的干扰,从而在跟踪定位时会引入一个潜在的累计误差。为了保留时空上下文信息,在SiamMask算法的基础上引入一个短期记忆存储池来存储历史帧特征;同时,提出了外观显著性增强模块（ASBM）,一方面增强跟踪目标的显著性特征,另一方面抑制周围相似目标对目标的干扰。基于此,提出一种基于时空上下文信息增强的目标跟踪算法。在VOT2016、VOT2018、DAVIS-2016和DAVIS-2017等四个数据集上进行实验与分析,结果表明所提出的算法相较于SiamMask算法在VOT2016上的准确率和平均重叠率（EAO）分别提升了4个百分点和2个百分点;在VOT2018上的准确率、鲁棒性和EAO分别提升了3.7个百分点、2.8个百分点和1个百分点;在DAVIS-2016上的区域相似度、轮廓精度指标中的下降率均分别降低了0.2个百分点;在DAVIS-2017上的区域相似度、轮廓精度指标中的下降率分别降低了1.3和0.9个百分点。     

Object tracking in image sequences using point features

This paper presents an object tracking technique based on the Bayesian multiple hypothesis tracking (MHT) approach. Two algorithms, both based on the MHT technique are combined to generate an object tracker. The first MHT algorithm is employed for contour segmentation. The segmentation of contours is based on an edge map. The segmented contours are then merged to form recognisable objects. The second MHT algorithm is used in the temporal tracking of a selected object from the initial frame. An object is represented by key feature points that are extracted from it. The key points (mostly corner points) are detected using information obtained from the edge map. These key points are then tracked through the sequence. To confirm the correctness of the tracked key points, the location of the key points on the trajectory are verified against the segmented object identified in each frame. If an acceptable number of key-points lie on or near the contour of the object in a particular frame (n-th frame), we conclude that the selected object has been tracked (identified) successfully in frame n.     

An Occlusion-aware Edge-Based Method for Monocular 3D Object Tracking using Edge Confidence

We propose an edge-based method for 6DOF pose tracking of rigid objects using a monocular RGB camera. One of the critical problem for edge-based methods is to search the object contour points in the image corresponding to the known 3D model points. However, previous methods often produce false object contour points in case of cluttered backgrounds and partial occlusions. In this paper, we propose a novel edge-based 3D objects tracking method to tackle this problem. To search the object contour points, foreground and background clutter points are first filtered out using edge color cue, then object contour points are searched by maximizing their edge confidence which combines edge color and distance cues. Furthermore, the edge confidence is integrated into the edge-based energy function to reduce the influence of false contour points caused by cluttered backgrounds and partial occlusions. We also extend our method to multi-object tracking which can handle mutual occlusions. We compare our method with the recent state-of-art methods on challenging public datasets. Experiments demonstrate that our method improves robustness and accuracy against cluttered backgrounds and partial occlusions.     

基于改进Snake模型的人体运动跟踪算法

提出一种改进Snake模型与光流估计相结合的人体运动自动实时跟踪算法.利用角点检测得到接近人体真实轮廓的初始轮廓,减少了迭代次数,降低了Snake模型收敛到局部极值的概率;同时针对Snake模型跟踪不够稳定、容易出现跟踪丢失问题,结合KLT光流法,选取当前帧所得到的轮廓点中的强特征点进行光流估计,将估计结果作为下一帧Snake的初始轮廓,有效地解决了这一难题.实验结果表明改进Snake模型可使初始轮廓形变到人体真实轮廓,同时实现了视频序列中自动、实时的人体跟踪.     

融合CN跟踪算法改进的TLD实时目标跟踪算法

针对TLD算法跟踪框在目标非刚性形变、旋转、背景杂乱等情景中容易导致跟踪漂移的问题,提出了一种融合CN跟踪算法改进的TLD实时目标跟踪算法(TLD-CN)。首先对跟踪框内区域计算图像显著性得到BRISK算法采样特征点的阈值,获得合适的特征点以建立旋转和尺度归一化的描述子,再融合颜色特征和纹理特征对前后帧跟踪框内描述子进行最优相似性匹配,得到匹配的特征点集合,对集合内特征点进行判别式字典的稀疏编码后,分别与CN跟踪框和TLD跟踪框的中心像素点进行相似度的度量,得到输出框调整的权重系数。实验结果表明,TLD-CN跟踪算法通过特征点度量出2种算法融合的权重值调整输出框,在目标形变、旋转、背景杂乱、快速运动等复杂跟踪情景中,具有很高的精度和成功率。权重系数自适应更新也避免了模型过拟合,达到实时跟踪效果。     

在线矩形特征选择的压缩跟踪算法

针对压缩跟踪算法无法选择合适的矩形特征,易出现目标漂移、丢失现象,提出了一种基于在线矩形特征选择的压缩跟踪算法。首先,在初始化阶段生成投影矩阵,利用该投影矩阵提取特征来构造候选特征池,在特征池中使用矩形特征来表示目标特性,并去除与目标差异较大的矩形特征,最后计算分类分数最大的窗口,并将其作为目标窗口,从而实现跟踪。实验结果表明,该算法特征总数量比压缩跟踪算法特征总数量减少了13%,且跟踪精度和鲁棒性方面得到了改善,对于320pixel×240pixel大小的视频平均处理帧速为20frame/s,满足实时性要求。     

自适应窗隔匹配与深度学习相结合的RGB-D SLAM算法

在动态场景的SLAM系统中,传统的特征点法视觉SLAM系统易受动态物体的影响,使得图像前后两帧的动态物体区域出现大量的误匹配,导致机器人定位精度不高。为此,提出一种结合自适应窗隔匹配模型与深度学习算法的动态场景RGB-D SLAM算法。构建基于自适应窗隔匹配模型的视觉SLAM前端算法框架,该框架筛选图像帧后采用基于网格的概率运动统计方式实现匹配点筛选,以获得静态区域的特征匹配点对,然后使用恒速度模型或参考帧模型实现位姿估计。利用深度学习算法Mask R-CNN提供的语义信息进行动态场景的静态三维稠密地图构建。在TUM数据集和实际环境中进行算法性能验证,结果表明,该算法在动态场景下的定位精度和跟踪速度均优于ORB-SLAM2及DynaSLAM系统,在全长为6.62 m的高动态场景中定位精度可达1.475 cm,平均跟踪时间为0.024 s。     

融合灰度和SURF特征的红外目标跟踪

由于红外图像对比度低、色彩信息匮乏且灰度级动态范围小,基于红外成像的目标跟踪一直是本领域研究的难点和重点。提出了一种融合灰度核直方图和SURF(speeded up robust features)特征的红外目标跟踪算法。在首帧采用灰度核直方图和SURF特征分别描述目标模板,在以后每帧中利用均值漂移算法快速找到局部最优解。考虑到灰度直方图特征信息量少,跟踪误差逐渐累积,采用改进的SURF特征点匹配算法估算当前帧目标尺度和中心位置,及时修正累积误差,避免跟踪窗口漂移且能自适应调整跟踪窗口大小,此外更新目标模板,最终准确跟踪目标。真实场景实验结果表明,本文算法在目标外观发生较大尺度变化、周边具有相似表观物体时能稳定跟踪目标,具有很强的稳健性,且满足实时性要求。     

自适应紧致特征的超像素目标跟踪

目的 针对现有的超像素目标跟踪算法（RST）对同一类中分别属于目标和相似干扰物体的超像素块赋予相同特征置信度,导致难以区分目标和相似干扰物的问题,为此提出自适应紧致特征的超像素目标跟踪算法（ACFST）。方法 该方法在每帧的目标搜索区域内构建适合目标大小的自适应紧致搜索区域,并将该区域内外的特征置信度分别保持不变和降低。处于背景中的相似干扰物体会被该方法划分到紧致搜索区域外,其特征置信度被降低。当依据贝叶斯推理框架求出对应最大后验概率的目标时,紧致搜索区域外的特征置信度低,干扰物体归属目标的程度也低,不会被误判为目标。结果 在具有与目标相似干扰物体的两个视频集进行测试,本文ACFST跟踪算法与RST跟踪算法相比,平均中心误差分别缩减到5.4像素和7.5像素,成功率均提高了11%,精确率分别提高了10.6%和21.6%,使得跟踪结果更精确。结论 本文提出构建自适应紧致搜索区域,并通过设置自适应的参数控制紧致搜索区域变化,减少因干扰物体与目标之间相似而带来的误判。在具有相似物体干扰物的视频集上验证了本文算法的有效性,实验结果表明,本文算法在相似干扰物体靠近或与目标部分重叠时,能够保证算法精确地跟踪到目标,提高算法的跟踪精度,具有较强的鲁棒性,使得算法更能适应背景杂乱、目标遮挡、形变等复杂环境。     

结合连续卷积算子的自适应加权目标跟踪算法

目的 在视觉跟踪领域中,特征的高效表达是鲁棒跟踪的关键,观察到在相关滤波跟踪中,不同卷积层表达了目标的不同方面特征,提出了一种结合连续卷积算子的自适应加权目标跟踪算法。方法 针对目标定位不准确的问题,提出连续卷积算子方法,将离散的位置估计转换成连续位置估计,使得位置定位更加准确;利用不同卷积层的特征表达,提高跟踪效果。首先利用深度卷积网络结构提取多层卷积特征,通过计算相关卷积响应大小,决定在下一帧特征融合时各层特征所占的权重,凸显优势特征,然后使用从不同层训练得到的相关滤波器与提取得到的特征进行相关运算,得到最终的响应图,响应图中最大值所在的位置便是目标所在的位置和尺度。结果 与目前较流行的3种目标跟踪算法在目标跟踪基准数据库（OTB-2013）中的50组视频序列进行测试,本文算法平均跟踪成功率达到85.4%。结论 本文算法在光照变化、尺度变化、背景杂波、目标旋转、遮挡和复杂环境下的跟踪具有较高的鲁棒性。     

基于视觉的无人飞艇地面目标检测

针对无人飞艇地面目标检测中细节信息缺失的问题,提出一种静态目标和运动目标的检测方法。利用Lucas-Kanade方法跟踪目标区域内特征点,从而实现静态目标的连续检测。通过图像特征点的跟踪估计相邻帧图像间的全局运动,进而对图像进行运动补偿,利用补偿后的帧差图实现运动目标的检测。采用上海交通大学“致远一号”无人飞艇采集的实际视频数据进行实验与分析,结果验证了该方法的有效性。     

基于关键特征点的改进TLD目标跟踪算法研究

TLD（Tracking-Learning-Detection）算法是一种新颖的单目标长时间视觉跟踪算法,在给定极少的先验知识的情况下,能够迅速地学习目标特征并进行有效的跟踪。TLD算法中跟踪器每次在跟踪目标上均匀地选取特征点进行跟踪,不能保证每个特征点都能够被可靠地跟踪。针对这个问题,提出一种基于关键特征点检测的改进TLD算法,保证所选特征点都能够被正确可靠地跟踪,防止跟踪结果发生漂移,提高了跟踪器的跟踪精度。另一方面,在TLD检测器中引入了基于轨迹连续性的在线位置预测,在保证正确跟踪的前提下,缩小了检测器的检测范围,提高了运算速度。实验结果表明,该算法有较高的跟踪精度和速度。     

一种鲁棒的多特征融合目标跟踪新算法

仅利用单一的目标特征进行跟踪是大多数跟踪算法鲁棒性不高的重要原因。提出了一种新的多特征融合目标跟踪算法,该算法将目标的颜色、纹理、边缘、运动特征统一使用直方图模型进行描述,以降低算法受目标形变和部分遮挡的影响,在Auxiliary粒子滤波框架内将所有特征观测进行概率融合,以突出状态后验分布中目标真实状态对应的峰值,从而有效避免了复杂背景的干扰,并给出了一种有效的融合系数计算方法,使融合结果更加准确可靠。实验结果表明,该算法能同时处理刚性与非刚性目标的跟踪,较单一特征的跟踪算法具有明显的优势,对复杂背景下的跟踪具有较高的鲁棒性。与现有多特征融合算法的比较也证明了本文算法的有效性。     

Robust object tracking via online dynamic spatial bias appearance models

This paper presents a robust object tracking method via a spatial bias appearance model learned dynamically in video. Motivated by the attention shifting among local regions of a human vision system during object tracking, we propose to partition an object into regions with different confidences and track the object using a dynamic spatial bias appearance model (DSBAM) estimated from region confidences. The confidence of a region is estimated to re ect the discriminative power of the region in a feature space, and the probability of occlusion. We propose a novel hierarchical Monte Carlo (HAMC) algorithm to learn region confidences dynamically in every frame. The algorithm consists of two levels of Monte Carlo processes implemented using two particle filtering procedures at each level and can efficiently extract high confidence regions through video frames by exploiting the temporal consistency of region confidences. A dynamic spatial bias map is then generated from the high confidence regions, and is employed to adapt the appearance model of the object and to guide a tracking algorithm in searching for correspondences in adjacent frames of video images. We demonstrate feasibility of the proposed method in video surveillance applications. The proposed method can be combined with many other existing tracking systems to enhance the robustness of these systems.     

Object tracking using the Gabor wavelet transform and the golden section algorithm

The paper presents an object tracking method for object-based video processing which uses a two-dimensional (2D) Gabor wavelet transform (GWT) and a 2D golden section algorithm. An object in the current frame is modeled by local features from a number of the selected feature points, and the global placement of these feature points. The feature points are stochastically selected based on the energy of their GWT coefficients. Points with higher energy have a higher probability of being selected since they are visually more important. The amplitudes of the GWT coefficients of a feature point are then used as the local feature. The global placement of the feature points is determined by a 2D mesh whose feature is the area of the triangles formed by the feature points. In this way, a local feature is represented by a GWT coefficient amplitude vector, and a global feature is represented by a triangle area vector. One advantage of the 2D mesh is that the direction of its triangle area vector is invariant to affine transform. Consequently, the similarity between two local features or two global features can be defined as a function of the angle and the length ratio between two vectors, and the overall similarity between two objects is a weighted sum of the local and global similarities. In order to find the corresponding object in the next frame, the 2D golden section algorithm is employed. Our results show that the method is robust to object deformation and supports object tracking in noisy video sequences.     

视觉目标的识别及跟踪技术的研究

结合应用的需要,通过对一些传统算法的修改优化,提出完整的视觉目标的识别算法。该算法利用图像处理方法,对外框和其中特征点进行计算。并在目标跟踪技术上,提出了一种基于可预测的搜索窗口的方法,实验证明,这加快了目标跟踪算法的处理速度,算法能提供优秀的跟踪检测并实时处理。