动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

非局部加权邻域三角滤波TV-L1光流估计

目的 针对非刚性运动、运动遮挡与间断、大位移以及复杂边缘结构等困难场景图像序列光流计算的准确性与鲁棒性问题,提出一种基于加权邻域三角滤波的非局部TV-L¹光流计算方法。方法 首先设计非平方惩罚函数L¹模型与梯度守恒假设相结合的数据项,然后引入基于L¹模型与基于图像梯度自适应变化权重相结合的平滑项,并根据提出的鲁棒数据项与图像-光流联合控制平滑项建立TV-L¹光流计算能量函数模型。最后采用基于加权邻域三角的非局部约束项,通过引入图像金字塔分层变形计算策略,在每层图像光流计算时对光流计算结果进行基于加权邻域三角网格的中值滤波优化,提出基于加权邻域三角滤波的非局部TV-L¹光流计算模型。结果 分别采用MPI与Middlebury数据库测试图像序列对本文方法和LDOF、CLG-TV、SOF、Classic+NL等代表方法进行实验对比。本文方法光流计算结果的平均角误差（AAE）和平均端点误差（AEE）相对其他对比方法平均下降28.45%和28.42%,时间消耗相对传统方法增长5.16%。结论 相对于传统的光流计算方法,本文方法针对非刚体运动、运动遮挡与间断、大位移运动以及复杂边缘等困难场景具有较好的适用性,光流估计结果具有较高的精度和较好的鲁棒性。     

大位移变分光流计算的快速算法

目的 多尺度方法的提出解决了传统HS（Horn Schunck）算法不能计算大位移光流的问题,但同时也增加了迭代运算的步数。为加快迭代收敛速度,研究大位移变分光流计算的快速算法,并分析其性能。方法 将用于加快变分图像处理迭代运算的Split Bregman方法、对偶方法和交替方向乘子法应用到大位移光流计算中。结果 分别进行了精度、迭代步数、运行时间的对比实验。引入3种快速方法的模型均能够在保证精度的同时,在较少时间内计算出图像序列的光流场,所需时间为传统方法的11%~42%。结论 将3种快速方法应用到大位移变分光流计算中,对于不同图像序列均可以较大地提高计算效率。     

顾及影像尺度与旋转的光流点跟踪算法

传统的光流点跟踪算法在处理相机不规则运动和影像弱纹理场景时存在点位分布不均、匹配精度不高等问题,针对该问题提出一种尺度旋转不变的改进光流点跟踪算法.在光流跟踪点的基础上,构建匹配相似三角形;在匹配三角形内提取当前尺度图像的DOG特征点,基于角度交会原理获取待跟踪点的初始位置;利用匹配三角形间的尺度旋转参数计算DOG特征点尺度旋转不变窗口,基于改进的光流跟踪法得到跟踪点坐标.选取两组典型的道路场景序列影像进行实验,其结果表明,该算法相比传统光流法能够在相机不规则运动和弱纹理场景下跟踪到更多的匹配点,跟踪点能够较好地分布在图像上,利用跟踪点估计的影像位姿结果精度也有一定提升.     

光照变化条件下的光流估计

目的 为了提高光流法在处理光照变化和大位移方面的稳健性。提出一种结合结构纹理分解预处理和加权中值滤波的光流场模型。方法 该方法数据项采用灰度守恒假设和梯度守恒假设相结合、局部约束与全局约束相结合的思想。同时采用结构纹理分解、加权中值滤波、金字塔结构等高效的光流估计技术,进一步增强了光流算法的精确性与实用性。结果 分别通过Middlebury光流数据库图像和真实场景图像对提出的光流估计算法进行了大量实验验证。实验结果表明,改进的光流估计法在处理光照变化方面表现不错,不仅获得稠密的光流场,而且提高了光流场准确提取目标边缘的能力。结论 和传统光流方法相比,所提方法在光照变化情况下能获得更加理想的结果,降低了实际场景中光线变化的干扰,能更好地适用于实际场景中。     

一种基于SIFT特征光流的运动目标跟踪算法

针对传统光流跟踪算法计算复杂度高、受噪声影响大的问题,提出了一种基于尺度不变特征变换(Scale Invariant Feature Transform,SIFT)和卡尔曼滤波器的特征点光流跟踪算法。首先,利用SIFT算法提取图像中的特征点;然后,根据最小绝对值误差准则对运动目标的特征点进行匹配,建立卡尔曼滤波器方程来计算特征点光流;最后,通过光流特征聚类实现运动目标的识别与跟踪。实验结果表明,算法对自然场景中的运动目标具有良好的跟踪特性,稳定性好,计算量小,易于实现。     

基于关键点及光流的平面物体跟踪算法

为提高复杂场景下基于关键点的平面物体跟踪算法的鲁棒性,提出一种融合光流的平面物体跟踪算法。检测目标物体与输入图像的关键点及其对应描述符,由最近邻匹配方法构建目标与图像间关键点匹配集合,通过光流法构建相邻两张图像间关键点的对应关系,将已构建的关键点匹配集合与基于光流的对应关系通过加权平均的策略进行融合,得出修正的关键点匹配集合,根据关键点匹配估计目标物体在当前图像的单应性变换矩阵,从而完成目标跟踪。在POT数据集上的实验结果表明,与SIFT、FERNS等算法相比,在校正误差阈值为5时,该算法在所有图像序列上的平均跟踪精度达到66.67%,具有较好的跟踪性能。     

利用平稳光流估计的海上视频去抖

目的 海上拍摄的视频存在大面积的无纹理区域,传统基于特征点检测和跟踪的视频去抖方法处理这类视频时往往效果较差。为此提出一种基于平稳光流估计的海上视频去抖算法。方法 该算法以层次化块匹配作为基础,引入平滑性约束计算基于层次块的光流,能够快速计算海上视频的近似光流场;然后利用基于平稳光流的能量函数优化,实现海上视频的高效去抖动。结果 分别进行了光流估计运行时间对比、视频稳定运行时间对比和用户体验比较共3组实验。相比于能处理海上视频去抖的SteadyFlow算法,本文的光流估计算法较SteadFlow算法的运动估计方法快10倍左右,整个视频去抖算法在处理速度上能提升70%以上。本文算法能够有效地实现海上视频去抖,获得稳定的输出视频。结论 提出了一种基于平稳光流估计的海上视频去抖算法,相对于传统方法,本文方法更适合处理海上视频的去抖。     

基于遗传算法的直线光流刚体运动重建

建立一种新的基于直线光流场从单目图像序列恢复刚体运动和结构的模型,推导出直线光流场与刚体的运动参数之间的关系,用2个二阶线性微分方程表达这种关系,并提出一种求解刚体运动参数的遗传算法,只需要获得图像平面的2条直线光流即可求解刚体的旋转参数,并用合成图像测试了该算法的有效性。     

多重约束下的近景影像线特征匹配方法

目的 针对影像匹配时提取特征线断裂而影响匹配结果及可靠性的问题,提出多重约束条件下的近景影像线特征匹配方法。方法 首先,采用SIFT算法获取同名点,并使用RANSAC算法进行优化,通过同名点计算仿射变换矩阵;建立格网点,利用仿射变换、Harris兴趣值及最小二乘法提高密集匹配结果的精度;其次,采取Freeman链码优先级算法提取直线,根据搜索区域内密集匹配点与直线位置关系完成特征线的初始匹配;最后通过线段重合度对初始匹配结果进行优化,并利用核线约束确定同名直线端点。结果 选取存在旋转、尺度、遮挡的近景影像进行线特征匹配实验,结果表明,与其他直线匹配方法相比,本文方法不仅在直线匹配成功数目上约为经典算法的1.07~4.1倍,而且直线匹配正确率也提升0.6%~53.3%,具有较好的准确性和鲁棒性。结论 通过多重约束有效地减小了立体影像中线特征匹配时的搜索范围,提高了直线匹配速率,且该方法适用于不同类型几何变化下的近景影像数据,并能较好地改善直线断裂及遮挡问题。     

基于直线光流场的三维运动和结构重建

利用直线间运动对应关系，将像素点光流的概念和定义方法应用于直线，提出了直线光流的概念，建立了求解空间物体运动参数的线性方程组，利用三幅图像21条直线的光流场，可以求得物体运动的12个参数以及空间直线坐标．但是在实际应用当中，要找出这21条直线的光流场是很困难的，因此该文提出了运用解非线性方程组的方法，只需要6条直线的光流．就可以分步求出物体的12个运动参数，并根据求得的12个运动参数和一致的图像坐标系中的直线坐标，求得空间直线的坐标，从而实现了三维场景的重建．     

多重约束条件下的LBD描述子与直线段匹配

目的 针对直线描述子匹配算法缺乏有效的几何约束,且易受弱纹理、尺度变化的影响,提出一种结合多重约束条件的LBD描述子的直线段匹配算法（LBDs）。方法 该算法以LSD算法提取的直线段作为匹配基元,利用SIFT匹配得到的同名点构建同名三角网约束确定候选直线;参考影像上以目标直线段为中心轴建立该直线段的矩形支撑域;根据目标直线段端点及其支撑域四角点在搜索影像上的核线约束建立候选直线段的对应支撑域;利用仿射变换统一目标直线段及候选直线段支撑域的大小;将直线段支撑域分解为大小相等的条形带,通过计算每个条形带的描述符得到该直线段的描述子,依次完成目标直线段与候选直线段LBD描述子的构建;分别计算目标直线段与每个候选直线段描述子向量间的欧氏距离,将满足最近邻距离比准则的候选直线段作为匹配结果;最后选取角度约束对匹配结果检核,确定同名直线。结果 实验选取网上公开的3组分别存在角度、旋转、尺度变换的近景影像对作为实验数据,采用LBDs分别对其进行直线段匹配实验,并与其他直线段匹配算法进行对比分析,实验结果表明,LBDs获取同名直线数目约为其他算法的1.061.41倍,匹配正确率也提高了2.411.6个百分点,从匹配效率上来看,LBDs更为耗时,但兼顾该算法匹配获得同名直线数目、匹配正确率及运行时间,LBDs的鲁棒性更强,匹配结果的准确性与可靠性较高。结论 结合多重约束条件构建的LBD描述子对于存在角度、旋转和尺度变化的影像进行直线匹配过程中具有稳定性。     

指针表刻度中心直线拟合方法研究

重点研究直线图像的直线方程拟合方法,提出了一种基于最小距离直线拟合新方法,用于拟合指针表刻度直线.对采集的仪表图像做预处理后,获得仪表各刻度直线的二值图像.使用最小距离直线拟合方法拟合各刻度中心直线,使用刻度拟合直线相交点对拟合直线进行最小二乘修正,提高刻度中心直线的拟合精度.仿真结果表明,该直线拟合方法能快速确定高精度指针表刻度线图像的精确直线方程,有利于提高指针表读数的精度.     

基于改进光流特征的运动目标跟踪

在城市智能视频监控中需要对运动目标进行实时跟踪,针对传统的运动目标检测中出现的跟踪目标易丢失、跟踪率低、实时性差等问题,提出一种基于改进光流特征的运动目标跟踪检测方法,对运动行人目标进行跟踪。该方法首先采用改进的Vibe运动背景建模法对视频中存在的运动行人进行检测,再将Shi-Tomasi角点检测与LK光流法进行结合,将角点检测结果融入到LK光流法中,并对检测到的角点进行运动光流特征提取,最后通过卡尔曼滤波对出现的行人进行预测跟踪,采用匈牙利最优匹配算法实现对运动目标的持续匹配以及对运动目标的跟踪。仿真结果表明,本文提出的方法能够对视频中出现的运动目标进行检测跟踪,具有较好的识别效果,且检测效率得到提高。      

基于运动区域检测的运动目标跟踪算法*

针对传统基于模板匹配的运动目标跟踪算法存在着计算量大、模板漂移导致跟踪失败的问题,提出了一种基于运动区域检测的运动目标跟踪算法。该算法通过采用光流法对目标运动区域进行估计,计算出光流场区域的形心,确定待匹配图相匹配范围,再用模板框在已确定区域进行模板匹配跟踪。根据某开放实验室行人录像跟踪实验表明,本算法能够有效解决模板漂移问题,提高了跟踪实时性, 实现了视频对象目标的跟踪。     

弧焊机器人直线轨迹精度测试研究

在传统平面最小二乘拟合方法的基础上,提出空间直线拟合的方法。利用该方法对弧焊机器人的直线轨迹进行了拟合,拟合结果显示,机器人实到轨迹与指令轨迹之间存在较大误差,通过分析误差分布情况可以为机器人的位姿误差补偿及精度优化设计提供依据。     

保持视觉稳定性的增强现实注册算法

提出了一种保持视觉稳定性的增强现实注册算法,特征点在视频中的初匹配基于随机树检索统计得到,初步匹配的特征点采用半几何限制结合单应矩阵迭代的方法进行错误匹配排除,随后采用光流法跟踪特征点,最后根据共面POSIT算法计算出物体世界坐标系到摄像机坐标系的变换矩阵。由于采用了特征点跟踪方法,在一定程度上有效的防止了虚拟物体在视觉上的抖动。     

面向像对直线特征匹配的线特征矫正与提纯方法

目的 像对直线特征匹配是计算机视觉的重要研究内容,现有这类匹配方法均存在不同程度的误匹配问题。导致此问题的主要因素包括直线检测结果没有位于图像的真正边缘处、缺乏匹配线对的一致性校验。为此本文提出一种面向像对直线特征匹配的线特征矫正与提纯方法。方法 首先提取像对的边缘特征获得二值化边缘图,通过边缘梯度图及梯度矢量图（GVF）建立梯度引力图。其次,采用直线检测方法提取像对的直线特征,并通过梯度引力图矫正直线位置。最后,采用点特征匹配结果计算像对极线,并结合直线匹配结果确定最后的局部校验特征区域,通过随机抽样一致小邻域范围内特征相似性校验直线匹配结果,从而剔除误匹配直线。结果 对一组宽基线像对进行匹配实验,与直接采用直线匹配算法获得的匹配结果相比,矫正后的匹配结果剔除了大部分误匹配线对,将匹配准确率从50%提高到84%,继续提纯该匹配结果获得了100%的匹配准确率。在另一组宽基线像对的匹配实验中,经本文方法处理后的匹配准确率提高近30%。与前两组实验相比,第3组实验的像对摄影姿态变化不大,仅在尺度上有所区别,经本文方法处理后配准率从92%提高到100%。结论 采用本文方法可以大幅提高像对直线特征匹配的准确率,同时该方法可以很容易对其他直线匹配结果进行校正与提纯,具备较高的实用性。