融合光流检测与模板匹配的目标跟踪算法

针对传统的目标跟踪算法需要人工选择目标且不能较好地处理目标的尺度变化问题,提出融合光流检测与模板匹配的目标跟踪算法。首先通过结合光流信息与图像分割结果从视频中自动地检测和提取运动目标,实现基于检测的跟踪;当检测跟踪结果不可靠时,再利用模板匹配定位目标位置,实现基于匹配的跟踪;最后,通过自动更新模板,使得跟踪框能够自适应目标的尺度变化。实验结果表明该算法能够在自适应目标尺度变化的同时获得较为稳定的跟踪结果。与其他三种算法相比,所提方法在目标的自动检测提取与尺度自适应方面具有优势。     

前景约束下的抗干扰匹配目标跟踪方法

传统模型匹配跟踪方法没有充分考虑目标与所处图像的关系,尤其在复杂背景下,发生遮挡时易丢失目标.针对上述问题,提出一种前景约束下的抗干扰匹配（Anti-interference matching under foreground constraint,AMFC）目标跟踪方法.该方法首先选取图像帧序列前m帧进行跟踪训练,将每帧图像基于颜色特征分割成若干超像素块,利用均值聚类组建簇集合,并通过该集合建立判别外观模型;然后,采用EM（Expectation maximization）模型建立约束性前景区域,通过基于LK（Lucas-Kanade）光流法框架下的模型匹配寻找最佳匹配块.为了避免前景区域中相似物体的干扰,提出一种抗干扰匹配的决策判定算法提高匹配的准确率;最后,为了对目标的描述更加准确,提出一种新的在线模型更新算法,当目标发生严重遮挡时,在特征集中加入适当特征补偿,使得更新的外观模型更为准确.实验结果表明,该算法克服了目标形变、目标旋转移动、光照变化、部分遮挡、复杂环境的影响,具有跟踪准确和适应性强的特点.     

分层分区域管理的实时图像跟踪算法

为了实现当前屏幕图像特征点与模板图像中对应尺度下部分区域中特征点的快速匹配,解决图像跟踪算法中匹配精度与效率问题,提出一种特征点分层分区域管理的图像跟踪算法.在预处理阶段,对模板图像构造层次表示并对各尺度下的图像进行区域划分,在每个区域内同时提取ORB(oriented FAST and rotated BRIEF)特征点和Harris特征点,由ORB特征描述子计算区域图像的词袋特征向量,由此构建图像特征点的分层分区域管理模式.在实时跟踪阶段,根据摄像机位姿跟踪的情况区分预测跟踪、重定位跟踪和光流跟踪3个分支.在预测跟踪和重定位跟踪中,先快速定位实时图像对应的模板图像的尺度层与区域,再通过实时采集的图像与模板图像中对应尺度下部分区域中特征点的局部匹配,实时地计算摄像机的位置和方向;在光流跟踪过程中对光流算法跟踪点进行实时更新,延长光流算法的运行持续时间.利用公开图像数据库中不同分辨率的模板图像在移动终端上进行实验的结果表明,文中算法性能稳定,匹配误差在1个像素以内;系统运行帧率总体稳定在20~30帧/s.     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

顾及影像尺度与旋转的光流点跟踪算法

传统的光流点跟踪算法在处理相机不规则运动和影像弱纹理场景时存在点位分布不均、匹配精度不高等问题,针对该问题提出一种尺度旋转不变的改进光流点跟踪算法.在光流跟踪点的基础上,构建匹配相似三角形;在匹配三角形内提取当前尺度图像的DOG特征点,基于角度交会原理获取待跟踪点的初始位置;利用匹配三角形间的尺度旋转参数计算DOG特征...     

多分辨率LK光流联合SURF的跟踪方法

针对交通监控中运动目标形变、雾霾天气、高速、光照不均、部分遮挡等复杂情况导致Lucas-Kanade（LK）算法跟踪不稳定问题,提出基于多分辨率LK光流算法联合快速鲁棒性特征（SURF）的跟踪算法。所提算法构建图像多分辨率小波金字塔,解决传统LK算法中同一像素点帧间大尺度运动易丢失问题;同时联合SURF尺度不变特征变换算法,提取特征点进行光流跟踪,并制定自适应模板实时更新策略;在减少光流计算量的同时增强运动目标抗复杂环境的能力。实验结果表明,新方法中特征点匹配准确快速,自适应性强,在交通复杂化境中跟踪稳定。     

融合图像显著性与特征点匹配的形变目标跟踪

目的 针对目标在跟踪过程中出现剧烈形变,特别是剧烈尺度变化的而导致跟踪失败情况,提出融合图像显著性与特征点匹配的目标跟踪算法。方法 首先利用改进的BRISK（binary robust invariant scalable keypoints）特征点检测算法,对视频序列中的初始帧提取特征点,确定跟踪算法中的目标模板和目标模板特征点集合;接着对当前帧进行特征点检测,并与目标模板特征点集合利用FLANN（fast approximate nearest neighbor search library）方法进行匹配得到匹配特征点子集;然后融合匹配特征点和光流特征点确定可靠特征点集;再后基于可靠特征点集和目标模板特征点集计算单应性变换矩阵粗确定目标跟踪框,继而基于LC（local contrast）图像显著性精确定目标跟踪框;最后融合图像显著性和可靠特征点自适应确定目标跟踪框。当连续三帧目标发生剧烈形变时,更新目标模板和目标模板特征点集。结果 为了验证算法性能,在OTB2013数据集中挑选出具有形变特性的8个视频序列,共2214帧图像作为实验数据集。在重合度实验中,本文算法能够达到0.567 1的平均重合度,优于当前先进的跟踪算法;在重合度成功率实验中,本文算法也比当前先进的跟踪算法具有更好的跟踪效果。最后利用Vega Prime仿真了无人机快速抵近飞行下目标出现剧烈形变的航拍视频序列,序列中目标的最大形变量超过14,帧间最大形变量达到1.72,实验表明本文算法在该视频序列上具有更好的跟踪效果。本文算法具有较好的实时性,平均帧率48.6帧/s。结论 本文算法能够实时准确的跟踪剧烈形变的目标,特别是剧烈尺度变化的目标。     

一种基于SIFT特征光流的运动目标跟踪算法

针对传统光流跟踪算法计算复杂度高、受噪声影响大的问题,提出了一种基于尺度不变特征变换(Scale Invariant Feature Transform,SIFT)和卡尔曼滤波器的特征点光流跟踪算法。首先,利用SIFT算法提取图像中的特征点;然后,根据最小绝对值误差准则对运动目标的特征点进行匹配,建立卡尔曼滤波器方程来计算特征点光流;最后,通过光流特征聚类实现运动目标的识别与跟踪。实验结果表明,算法对自然场景中的运动目标具有良好的跟踪特性,稳定性好,计算量小,易于实现。     

改进型粒子滤波与稀疏表达的自适应图像跟踪算法

针对各种复杂场景下视频序列目标跟踪算法对目标外形、部分遮挡、灰度等参数敏感的问题,提出基于改进型粒子滤波与稀疏表达的自适应图像跟踪算法。通过建立过完备基,建立样本集合以及提取特征集合得到过完备集合。使用正交匹配跟踪算法求取稀疏系数,提出稀疏度计算公式用以计算各区域的匹配值,使用各匹配值求取目标位置。实验结果显示,算法能够稳健、高效地跟踪运动目标,相对各种运动跟踪算法,算法运行速度快,鲁棒性高,能够完成多种复杂环境下的跟踪任务。     

动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

光流引导下机器人抓取目标物角点动态匹配

针对目标物位姿在线估计中的特征点动态匹配问题,以木块作为实验对象,提出了一种光流引导的目标物角点动态匹配方法。使用Yolov2-tiny进行目标物识别,完成目标物定位与分类。在提取区域内完成Shi-Tomasi角点检测,采用LK（Lucas-Kanade）光流对角点跟踪的方法实现角点在相邻两帧图像中的初始匹配,针对光流跟踪中特征点的偏移问题,对跟踪点为中心的11×11邻域进行角点再提纯。实验证明该算法能在视频序列中对目标物角点实时动态地匹配,且角点匹配结果比SIFT和Harris-SIFT方法准确度更高,实时性更好。     

一种结合光流追踪的双目视觉里程计算法

针对特征点法视觉里程计频繁计算和匹配描述子导致系统实时性能变差的问题,提出一种结合光流追踪的双目视觉里程计算法;首先进行初始化,生成初始的关键帧和地图点,随后在追踪线程中使用光流追踪特征点获取匹配关系,计算并优化相机位姿;满足生成关键帧的条件后,将当前帧设置为关键帧,提取图像的ORB特征点,并使用描述子匹配获取与上一关键帧特征点的匹配关系,三角化生成新的地图点;最后在优化线程中将新的关键帧和地图点使用滑动窗口算法进行优化,剔除冗余关键帧和地图点;在KITTI数据集上的实验结果表明,所提出的算法轨迹误差与双目模式下的ORB-SLAM3算法处于同一水平,同时实时性能有大幅度提高,追踪每一帧图像的平均时间从52ms降至16ms,在保证高精度的情况下运行速度大大提高,具有较高的实用价值.     

Quaternion based optical flow estimation for robust object tracking

We propose a quaternion optical flow algorithm for robust object tracking. Unlike previous works of color optical flow methods that treat color as separating channels, the proposed algorithm exploits quaternion representation of color and processes color as a holistic signal. In this way, it enables more accurate flow estimation at the pixel locations of spatial color variations, and reduces tracking errors by leaving more features points at their correct locations on the target. For successful and efficient object tracking, we also proposed a novel type of quaternion color corners that are reliable features during tracking. Together with grayscale corners, they form a good feature point set, especially when used with the proposed quaternion optical flow algorithm. We conduct a quantitative evaluation on publicly available dataset to verify the efficacy of the proposed algorithm. And object tracking experiments demonstrate that robust tracking can be achieved for real-time applications.     

基于改进ORB特征点的LK光流算法

针对传统ORB特征点匹配准确率低和在光流算法中跟踪特性差的问题,提出了一种基于改进ORB特征点的LK光流算法。首先结合FAST特征点和rBRIEF特征描述符计算出ORB特征点;然后结合SURF算法在特征提取步骤中构建的Hessian矩阵对ORB特征点进行再提取;最后对改进ORB特征点进行特征匹配测试和LK光流跟踪测试。实验结果表明,相较于传统ORB特征点,改进ORB特征点的特征匹配准确率平均提升20.96%,LK光流跟踪成功率平均提升19.73%。本文提出的改进ORB特征点不仅拥有更好的特征匹配效果,同时具有更好的跟踪特性。     

Visual tracking and learning using speeded up robust features

A speeded up robust features (SURF) based optical flow algorithm is presented for visual tracking in real scenarios. SURF construct invariant features to correspond the blobs of interest across frames. Meanwhile, new feature-based optical flow algorithm is used to compute the warp matrix of a region centered on SURF key points. Furthermore, on-line visual learning for long-term tracking is performed using incremental object subspace method, which includes the correct update of the sample mean and appearance model. The proposed SURF based tracking and learning method contributes measurably to improving overall tracking performance. Experimental work demonstrates that the proposed strategy improves the performance of the classical optical flow algorithms in complicated real scenarios.     

Efficient planar object tracking and parameter estimation usingcompactly represented cubic B-spline curves

In this paper, we consider the problem of matching 2D planar object curves from a database, and tracking moving object curves through an image sequence. The first part of the paper describes a curve data compression method using B-spline curve approximation. We present a new constrained active B-spline curve model based on the minimum mean square error (MMSE) criterion, and an iterative algorithm for selecting the “best” segment border points for each B-spline curve. The second part of the paper describes a method for simultaneous object tracking and affine parameter estimation using the approximate curves and profiles. We propose a novel B-spline point assignment algorithm which incorporates the significant corners for interpolating corresponding points on the two curves to be compared. A gradient-based algorithm is presented for simultaneously tracking object curves, and estimating the associated translation, rotation and scaling parameters. The performance of each proposed method is evaluated using still images and image sequences containing simple objects     

基于改进光流特征的运动目标跟踪

在城市智能视频监控中需要对运动目标进行实时跟踪,针对传统的运动目标检测中出现的跟踪目标易丢失、跟踪率低、实时性差等问题,提出一种基于改进光流特征的运动目标跟踪检测方法,对运动行人目标进行跟踪。该方法首先采用改进的Vibe运动背景建模法对视频中存在的运动行人进行检测,再将Shi-Tomasi角点检测与LK光流法进行结合,将角点检测结果融入到LK光流法中,并对检测到的角点进行运动光流特征提取,最后通过卡尔曼滤波对出现的行人进行预测跟踪,采用匈牙利最优匹配算法实现对运动目标的持续匹配以及对运动目标的跟踪。仿真结果表明,本文提出的方法能够对视频中出现的运动目标进行检测跟踪,具有较好的识别效果,且检测效率得到提高。      

基于改进光流法的旋转运动背景下对地运动目标实时检测

针对战机对地侦查视频图像中地面旋转运动背景下运动目标检测高虚警、低实时性的问题,提出了一种基于改进光流法的旋转运动背景下对地运动目标实时检测算法。首先提取图像的特征点,在特征点处计算光流运动矢量,并通过光流矢量场估算背景运动矢量。根据战机飞行高度自适应计算目标像素尺寸,网格化分块待检测图像;然后将各个特征点光流矢量与背景运动矢量相比较,获得备选目标特征点。最后统计分块备选目标特征点密度,判断目标位置区域。对2组实验视频中央360像素×432像素区域进行目标检测实验,结果表明该算法能够准确地检测出地面运动目标,虚警率低。平均每帧检测耗时分别为29.460 ms和31.505 ms,满足战机对地运动目标检测的实时性。