非局部加权邻域三角滤波TV-L1光流估计

目的 针对非刚性运动、运动遮挡与间断、大位移以及复杂边缘结构等困难场景图像序列光流计算的准确性与鲁棒性问题,提出一种基于加权邻域三角滤波的非局部TV-L¹光流计算方法。方法 首先设计非平方惩罚函数L¹模型与梯度守恒假设相结合的数据项,然后引入基于L¹模型与基于图像梯度自适应变化权重相结合的平滑项,并根据提出的鲁棒数据项与图像-光流联合控制平滑项建立TV-L¹光流计算能量函数模型。最后采用基于加权邻域三角的非局部约束项,通过引入图像金字塔分层变形计算策略,在每层图像光流计算时对光流计算结果进行基于加权邻域三角网格的中值滤波优化,提出基于加权邻域三角滤波的非局部TV-L¹光流计算模型。结果 分别采用MPI与Middlebury数据库测试图像序列对本文方法和LDOF、CLG-TV、SOF、Classic+NL等代表方法进行实验对比。本文方法光流计算结果的平均角误差（AAE）和平均端点误差（AEE）相对其他对比方法平均下降28.45%和28.42%,时间消耗相对传统方法增长5.16%。结论 相对于传统的光流计算方法,本文方法针对非刚体运动、运动遮挡与间断、大位移运动以及复杂边缘等困难场景具有较好的适用性,光流估计结果具有较高的精度和较好的鲁棒性。     

点线光流预测机制的图像序列运动直线跟踪

目的 针对复杂场景图像序列中运动直线特征的提取、跟踪问题,提出一种基于点、线光流预测机制的图像序列运动直线跟踪方法。方法 首先根据图像直线的表达式定义点、线光流基本约束方程,由基本约束方程推导出关于点光流与直线光流对应关系的3个重要推论。然后依据点、线光流对应关系,利用图像序列中直线特征上的像素点光流计算直线光流的估计值并根据直线光流阈值筛选图像序列运动直线。最后由筛选出的运动直线及直线光流估计值计算直线的预测坐标并在Hough域内进行跟踪匹配,得到图像序列运动直线跟踪结果。结果 通过合成及真实图像序列实验验证,本文方法能够准确地筛选出图像序列中感兴趣的运动直线,并对运动直线进行稳定地跟踪、匹配,直线跟踪结果未产生干扰直线的误匹配,直线跟踪时间消耗不超过12 s。结论 相对于传统的直线跟踪、匹配方法,本文方法具有较高地直线跟踪精度和较好的鲁棒性,更适用于复杂场景下的运动直线跟踪、匹配问题。     

并行马尔可夫随机场计算变分光流方法

目的 基于马尔可夫随机场（MRF）的变分光流计算是一种较为鲁棒的光流计算方法,但是计算效率很低。置信传播算法（BP） 是一种针对MRF较为高效的全局优化算法。本文提出一种MRF变分光流计算模型并采用并行BP方法实现,极大提高计算效率。方法 提出的MRF变分光流计算模型中的数据项采用了Horn等人根据灰度守恒假设得到的光流基本约束方程,并采用非平方惩罚函数进行调整以平滑边界影响。为在CUDA平台上实现高效并行处理,本文提出了一种优化的基于置信传播的MRF并行光流计算方法。该优化方法在采用置信传播最小化MRF光流能量函数时,采用了一种4层的3维网络结构进行并行计算,每层对应MRF4邻域模型中的一个方向的信息传播,同时在每层中为每个像素分配多个线程采用并行降维法计算所要传递的信息,大大降低单线程计算负荷,大幅度提高计算效率。结果 采用旋转小球图像序列进行实验,计算效率提高314倍;采用旋转小球、Yosemite山谷和RubberWhale 3种不同图像序列,与Horn算法、Weickert算法、Hossen并行Lucas算法、Grauer-Gray并行MRF算法进行对比实验,本文方法得到最低的平均端点误差（AEE）,分别为0.13、0.55和0.34。结论 本文提出了一种新的MRF光流计算模型,并在CUDA平台上实现了并行优化计算。实验结果表明,本文提出的并行计算方法在保持计算精度的同时极大提高了计算效率。本文方法对内存需求巨大,在处理高分辨率图像时,限制了采样点数,难以计算大位移。     

动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

光照变化条件下的光流估计

目的 为了提高光流法在处理光照变化和大位移方面的稳健性。提出一种结合结构纹理分解预处理和加权中值滤波的光流场模型。方法 该方法数据项采用灰度守恒假设和梯度守恒假设相结合、局部约束与全局约束相结合的思想。同时采用结构纹理分解、加权中值滤波、金字塔结构等高效的光流估计技术,进一步增强了光流算法的精确性与实用性。结果 分别通过Middlebury光流数据库图像和真实场景图像对提出的光流估计算法进行了大量实验验证。实验结果表明,改进的光流估计法在处理光照变化方面表现不错,不仅获得稠密的光流场,而且提高了光流场准确提取目标边缘的能力。结论 和传统光流方法相比,所提方法在光照变化情况下能获得更加理想的结果,降低了实际场景中光线变化的干扰,能更好地适用于实际场景中。     

外观表征分析下动态更新相关滤波跟踪

目的 基于相关滤波和孪生神经网络的两类判别式目标跟踪方法研究已取得了较大进展,但后者计算量过大,完全依赖GPU（graphics processing unit）加速运算。传统相关滤波方法由于滤波模型采用固定更新间隔,难以兼顾快速变化目标和一般目标。针对这一问题,提出一种基于目标外观状态分析的动态模型更新算法,优化计算负载并提高跟踪精度,兼顾缓变目标的鲁棒跟踪和快速变化目标的精确跟踪。方法 通过帧间信息计算并提取目标区域图像的光流直方图特征,利用支持向量机进行分类从而判断目标是否处于外观变化状态,随后根据目标类别和目标区域图像的光流主分量幅值动态设置合适的相关滤波器更新间隔。通过在首帧进行前背景分离运算,进一步增强对目标外观表征的学习,提高跟踪精度。结果 在OTB100（object tracking benchmark with 100 sequences）基准数据集上与其他6种快速跟踪算法进行对比实验,本文算法的精准度和成功率分别为86.4%和64.9%,分别比第2名ECO-HC（efficient convolution operators using hand-crafted features）算法高出1.4%和0.9%。在平面内旋转、遮挡、部分超出视野和光照变化这些极具挑战性的复杂环境下,精准度分别比第2名高出3.0%、4.4%、5.2%和6.0%,成功率高出1.9%、3.1%、4.9%和4.0%。本文算法在CPU（central processing unit）上的运行速度为32.15帧/s,满足跟踪问题实时性的要求。结论 本文的自适应模型更新算法在优化计算负载的同时取得了更好的跟踪精度,适合于工程部署与应用。     

利用平稳光流估计的海上视频去抖

目的 海上拍摄的视频存在大面积的无纹理区域,传统基于特征点检测和跟踪的视频去抖方法处理这类视频时往往效果较差。为此提出一种基于平稳光流估计的海上视频去抖算法。方法 该算法以层次化块匹配作为基础,引入平滑性约束计算基于层次块的光流,能够快速计算海上视频的近似光流场;然后利用基于平稳光流的能量函数优化,实现海上视频的高效去抖动。结果 分别进行了光流估计运行时间对比、视频稳定运行时间对比和用户体验比较共3组实验。相比于能处理海上视频去抖的SteadyFlow算法,本文的光流估计算法较SteadFlow算法的运动估计方法快10倍左右,整个视频去抖算法在处理速度上能提升70%以上。本文算法能够有效地实现海上视频去抖,获得稳定的输出视频。结论 提出了一种基于平稳光流估计的海上视频去抖算法,相对于传统方法,本文方法更适合处理海上视频的去抖。     

基于运动优化语义分割的变分光流计算方法

针对光照变化和大位移运动等复杂场景下图像序列变分光流计算的边缘模糊与过度分割问题,文中提出基于运动优化语义分割的变分光流计算方法.首先,根据图像局部区域的去均值归一化匹配模型,构建变分光流计算能量泛函.然后,利用去均值归一化互相关光流估计结果,获取图像运动边界信息,优化语义分割,设计运动约束语义分割的变分光流计算模型.最后,融合图像不同标签区域光流,获得光流计算结果.在Middlebury、UCF101数据库上的实验表明,文中方法的光流估计精度与鲁棒性较高,尤其对光照变化、弱纹理和大位移运动等复杂场景的边缘保护效果较优.     

多相图像分割Vese-Chan模型连续最大流方法

目的 多相图像分割是图像处理与分析的重要问题,变分图像分割的Vese-Chan模型是多相图像分割的基本模型,由于该模型使用较少的标签函数构造区域划分的特征函数,具有求解规模小的优点。图割（graph cut,GC）算法可将上述能量泛函的极值问题转化为最小割/最大流问题求解,大大提高了计算效率。连续最大流（continuous max-flow,CMF）方法是经典GC算法的连续化表达,不仅具备GC算法的高效性,且克服了经典GC算法由于离散导致的精度下降问题。本文提出基于凸松弛的多相图像分割Vese-Chan模型的连续最大流方法。方法 根据划分区域编号的二进制表示构造两类特征函数,将多相图像分割转化为多个交替优化的两相图像分割问题。引入对偶变量将Vese-Chan模型转化为与最小割问题相对应的连续最大流问题,并引入Lagrange乘子设计交替方向乘子方法（alternating direction method of multipliers,ADMM）,将能量泛函的优化问题转化为一系列简单的子优化问题。结果 对灰度图像和彩色图像进行数值实验,从分割效果看,本文方法对于医学图像、遥感图像等复杂图像的分割效果更加精确,对分割对象和背景更好地分离;从分割效率看,本文方法减少了迭代次数和运算时间。在使用2个标签函数的分割实验中,本文方法运算时间加速比分别为6.35%、10.75%、12.39%和7.83%;在使用3个标签函数的分割实验中,运算时间加速比分别为12.32%、15.45%和14.04%;在使用4个标签函数的分割实验中,运算时间加速比分别为16.69%和20.07%。结论 本文提出的多相图像分割Vese-Chan模型的连续最大流方法优化了分割效果,减少了迭代次数,从而提高了计算效率。     

图像光流联合驱动的变分光流计算新方法

提出一种基于图像光流联合驱动的变分光流计算方法。数据项采用灰度守恒和梯度守恒相结合、局部约束与全局约束结合的思想,并引入正则化因子提高计算精度。平滑项采用图像与光流联合驱动的各向异性平滑策略,将数据项与平滑项紧密地联系起来,并通过设计扩散张量的两个本征值来控制光流扩散速度。最后采用多分辨率分层细化策略解决大位移问题。实验结果证明,该计算模型在背景复杂、光照变化、运动边界等情况的光流计算具有很好的效果。     

一种优化梯度计算的改进HS光流算法

HS(Horn&Schunck)方法是光流计算中的经典方法之一。在经典HS方法中,图像中两点间的灰度变化被假定为线性的,而实际上灰度变化是非线性的。因此,在HS算法中最小均方差迭代的最终收敛点会产生偏移,从而导致光流计算结果的不准确。为此,详细分析了灰度估计不准确造成的偏差,提出了一种改进HS算法。实验部分给出了改进算法和其他经典光流计算方法的计算结果比较。实验结果表明,改进HS算法可以得到较好的计算结果,并能明显减少光流计算的迭代次数。     

基于近似最近邻搜索的并行光流计算

Barnes近似最近邻算法是当前匹配性能优秀的近似块匹配算法,将其应用于稠密光流的计算中,并与OpenCV中实现的两种稠密光流算法进行对比。针对Barnes算法不易并行化的不足,对Barnes算法中的传播过程进行修改,使其易于在GPU上实现并行加速。实验表明,经并行加速后的光流算法比原算法快两倍以上,而在精确度上与原算法接近,并且都优于OpenCV实现的两种稠密光流算法。     

基于ZYNQ的稠密光流法软硬件协同处理

光流法是计算机视觉中一个基础性的算法,可广泛应用于运动检测、运动估计、视频分析等领域。但光流法最大的问题是计算复杂、速度慢,限制了它在实际系统尤其是嵌入式系统中的应用。利用最新的高层综合（HLS）语言与传统的硬件描述语言相结合,在Xilinx的FPGA异构系统芯片（即ZYNQ）平台上,以软硬件协同的工作方式,设计了基于Horn-Schunck稠密光流法的硬件加速器。实验证明,对于640×480大小的图片,软硬件协同处理比纯软件处理的计算性能提高了34倍,执行时间从24.40 s降低到0.71 s。     

记忆梯度追踪压缩感知图像重构

目的：重构算法是压缩感知理论的关键问题之一,为了减少压缩感知方向追踪算法重建时间,并确保相对较高的重建精度,提出了一种非单调记忆梯度追踪（memory gradient pursuit,MGP）重构信号处理算法。方法：该算法建立在方向追踪框架下,采用正则化正交匹配策略实现了原子集的快速有效选择,对所选原子集利用非单调线性搜索准则确定步长,用记忆梯度算法计算更新方向,从而得到稀疏信号估计值。结果：该算法充分利用记忆梯度算法在Armijo线搜索下全局收敛性快速稳定的优点避免收敛到局部最优解,提升收敛效率。提出的MGP算法运行时间上比近似共轭梯度追踪算法缩短30%,可以精确重构一维信号和二维图像信号。结论：实验结果表明,该算法兼顾了效率和重建精度,有效提高信号重建性能,在相同测试条件下优于其他同类的重构算法。     

基于2维灰度熵阈值选取快速迭代的图像分割

目的 为了使图像阈值分割的精度和速度进一步提高,提出了一种基于2维灰度熵阈值选取快速迭代的图像分割方法。方法 首先,提出了1维灰度熵阈值选取的快速迭代算法;然后,考虑图像目标和背景的类内灰度均匀性,给出了基于灰度—邻域平均灰度级直方图的灰度熵阈值选取准则;最后,提出了2维灰度熵阈值选取的快速迭代算法,并采用递推方式计算准则函数中的中间变量,避免其重复运算,加快了运算速度,大大减少了运算量。结果 大量实验结果表明,与近年来提出的3种阈值分割法相比,所提出的方法分割性能更优,分割后的图像中目标区域完整,边缘清晰,细节丰富且运行时间短,仅为基于混沌小生境粒子群优化的二维斜分倒数熵分割法运行时间的3%左右。结论 本文方法对不同类型灰度级图像的分割效果及运行速度均有明显优势,是实际系统中可选择的一种快速有效的图像分割方法。     

采用核相关滤波的快速TLD视觉目标跟踪

目的 如何对目标进行快速鲁棒的跟踪一直是计算机视觉的重要研究方向之一,TLD（tracking-learning-detection）算法为这一问题提供了一种有效的解决方法,为了进一步提高TLD算法的跟踪性能,从两个方面对其进行了改进。方法 首先在跟踪模块采用尺度自适应的核相关滤波器（KCF）作为跟踪器,考虑到跟踪模块与检测模块相互独立,本文算法使用检测模块对跟踪模块结果的准确性进行判断,并根据判断结果对KCF滤波器模板进行有选择地更新;然后在检测模块,运用光流法对目标位置进行初步预测,依据预测结果动态调整目标检测区域后,再使用分类器对目标进行精确定位。结果 为了验证本文算法的优越性,对其进行了两组实验,实验1在OTB2013和Temple Color128这两个平台上对本文算法进行了跟踪性能的测试,其结果表明本文算法在OTB2013上的跟踪精度和成功率分别为0.761和0.559,在Temple Color128上的跟踪精度和成功率分别为0.678和0.481,且在所有测试视频上的平均跟踪速度达到了27.92帧/s;实验2将本文算法与其他3种改进算法在随机选取的8组视频上进行了跟踪测试与对比分析,实验结果表明,本文算法具有最小的中心位置误差14.01、最大的重叠率72.2%以及最快的跟踪速度26.23帧/s,展现出良好的跟踪性能。结论 本文算法使用KCF跟踪器,提高了算法对遮挡、光照变化和运动模糊等场景的适应能力,使用光流法缩小检测区域,提高了算法的跟踪速度。实验结果表明,本文算法在多数情况下均取得优于参考算法的跟踪性能,在对目标进行长时间跟踪时表现出良好的跟踪鲁棒性。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。