动态背景下的稀疏光流目标提取与跟踪

目的 针对背景和摄像机同时运动情况下的运动目标提取与跟踪,提出一种基于稀疏光流的目标提取与跟踪新方法。方法 首先,利用金字塔LK光流法生成光流图像匹配相邻两幅图像的特征点,依据光流图像中的位移、方向等光流信息初步划分背景和前景目标的特征点;然后利用中心迭代法去除不属于目标运动区域的噪声特征点;最后,通过前N帧图像目标特征点的最大交集得到属于目标的稳定特征点并在后续帧中进行跟踪。对于后续跟踪图像中存在的遮挡问题,引入了一个基于特征点的遮挡系数,运用Kalman预估算法得到目标位置的预测,并且在目标重新出现时能够迅速定位目标。结果 与已有的光流匹配算法相比,本文算法的目标特征点误检率降低了10%左右,成功跟踪率达到97%;引入预估器使得本文算法对有遮挡运动目标也能够实现准确跟踪和定位。结论 本文算法对复杂动态背景下无遮挡和有遮挡的持续运动目标跟踪均具有准确识别定位性能,满足实时要求,适用于缓慢或者快速移动的运动场景目标提取和目标跟踪。     

基于遮挡修补的TV-L1光流算法

当前比较流行的TV-L1光流算法,在不失精确度的前提下,能够利用双向求解机制来降低运算量,但无法有效地处理由间断、遮挡等因素造成的错误光流分量的缺陷。通过前向光流和后向光流的运动一致性理论来判断遮挡区域的光流分量,通过单调递减函数对遮挡区域进行处理,抑制了遮挡区域错误光流对邻域的扩散,提出了同帧邻域光流的横向修补和相邻帧光流的纵向修补。实验表明,该方法能够很好地处理遮挡情况,提高了光流的计算精度。     

一种基于二元树复小波的运动估计方法

遮挡等原因造成的信息丢失问题严重影响运动估计的精度。将二元树复小波引入序列图像的运动估计中,提出了一种基于二元树复小波的运动估计新方法。该方法对不同层次、各个方向子带分别进行处理,克服了传统的由粗到细的搜索策略带来的误差漂移;同时引入当前帧的后一帧（后向参考帧）来弥补由于遮挡导致的信息丢失,并提高边界区域的运动估计精度。大量实验表明,该算法能消除剧烈运动、场景切换及遮挡等不利因素的影响,实验结果验证了该算法的有效性。     

多分辨率LK光流联合SURF的跟踪方法

针对交通监控中运动目标形变、雾霾天气、高速、光照不均、部分遮挡等复杂情况导致Lucas-Kanade（LK）算法跟踪不稳定问题,提出基于多分辨率LK光流算法联合快速鲁棒性特征（SURF）的跟踪算法。所提算法构建图像多分辨率小波金字塔,解决传统LK算法中同一像素点帧间大尺度运动易丢失问题;同时联合SURF尺度不变特征变换算法,提取特征点进行光流跟踪,并制定自适应模板实时更新策略;在减少光流计算量的同时增强运动目标抗复杂环境的能力。实验结果表明,新方法中特征点匹配准确快速,自适应性强,在交通复杂化境中跟踪稳定。     

室外移动视点视频的在线阴影边缘检测

针对移动视点视频的阴影边缘检测问题,提出一种在线检测室外场景阴影边缘算法.该算法将当前帧中的阴影边缘分为通过前一帧光流跟踪得到的阴影边缘和由视点改变出现的新阴影边缘,由于光流追踪不可避免地存在累积误差,使用Canny边缘置信和单应性矩阵对追踪结果进行优化,在检测新阴影边缘时,根据同一幅图像不同区域具有相似的光照条件这一观察提取优化后的跟踪阴影边缘的阴影特征,匹配并筛选出新阴影边缘;针对整体结果中仍可能存在的阴影边缘断裂等不连续情况,提出基于梯度一致性的优化算法对断点进行修复.对手持摄像机拍摄的室外移动视点视频,采用文中算法与光流跟踪、Groundtruth进行比较,实验结果表明,文中算法能准确、完整地检测到在线视频中的阴影边缘.     

尺度自适应在线鲁棒目标跟踪

针对在线boosting跟踪算法在目标外观发生大幅度变化以及遮挡时易产生“漂移”导致目标丢失问题进行了研究,提出一种尺度自适应在线鲁棒目标跟踪算法。算法基于目标灰度或彩色直方图统计特征构建权重图像,通过对权重图像的矩特征分析,可以实现对目标尺度的自适应调整,同时该算法引入半监督学习策略,很好地解决了由于在线学习导致的跟踪失败问题。实验结果表明,本文算法很好地解决了遮挡、目标外观和尺度变化时的鲁棒跟踪问题。与EM-shift,MIL和SPT三种算法相比,跟踪成功率以及鲁棒性均有所提高。     

面向移动增强现实的室外阴影实时检测技术

针对目前移动视点下视频阴影检测算法存在的误检测率高和边缘连续性差的问题,提出了一种基于边跟踪、边检测框架的实时阴影检测算法.首先对前后2帧重叠的阴影部分进行2次光流跟踪,并筛选掉前后向跟踪误差较大的点,通过Canny边缘置信保证跟踪边缘的准确性;然后通过基于光流的区域划分法得到待检测的新增区域;其次,针对纹理边缘误检测...     

基于椭圆变形模板的头部跟踪算法

给出一种新的头部跟踪算法,算法综合运用可变形模板、光流及扩展Kalman滤波技术,有效融合了图像中目标的形状、运动及彩色特征,从而获得快速,鲁棒的头部跟踪结果.算法使用椭圆作为目标的形状模板以捕获目标边缘,基于彩色YCrCb信息以实现光流估计,由于采用模型约束的特征光流估计技术,故无需引入任何附加的平滑性约束,借助扩展Kalman(EKF)滤波器以整合目标的形状与运动信息.最后利用光流测量方程给出的误差测度及EKF给出的估计方差完成对虚假边缘点的判断与舍弃,进而保证对图像噪声、遮挡及伪边缘点具有良好的识别与处理能力.实例结果表明了该算法的有效性.     

一种基于自适应梯度的运动估计算法

给出了一种基于Horn-Schunck的改进光流估计算法，计算了当前帧的前向梯度、后向梯度，根据代价函数自适应地选择前向梯度与后向梯度，减小光流估计时的遮挡问题。试验表明该算法是有效的。     

一种基于PSO的改进光流算法

针对变分光流法无法有效检测由间断、遮挡等因素造成的错误光流分量的缺陷,提出一种基于PSO(Particle Swarm Optimization)的光流算法。该方法在Classic+NL算法模型的基础上计算出光流后,引入前向光流和后向光流的运动一致性理论来判断遮挡区域,并通过基于PSO的修补法来实现对遮挡区域错误光流的有效修补,同时,利用邻域光流修补法实现了再次修补。实验结果表明,该方法能有效克服由间断、遮挡等因素造成的错误光流分量的缺陷,更准确地刻画出光流,提高光流的计算精度。     

一种结合光流法与三帧差分法的运动目标检测算法

运动目标的检测是计算机视觉研究的重要内容之一,光流法是其中的一种重要方法.由于计算光流的算法复杂,限制了它的使用.本文提出一种结合光流法与三帧差分法的运动目标检测算法,该算法简化了光流的计算,选择图像中具有代表性的Harris角点,只对这些像素点计算光流信息,有效地减少了复杂度,由于检测得到的运动目标区域不够完整,引入了三帧差分法作为简化光流法的补充.经过实验,该方法使光流法达到了实时性要求,取得了好的效果,优于单独运用两种方法中的任何一种取得的效果.     

一种改进的帧间差光流场算法

结合运动目标检测帧差法运算速度快和光流法活动目标检测准确度高的特点,提出一种改进的帧间差光流场计算的运动目标检测算法。在帧差部分采用隔帧差分从而可以检测到帧间位移小于1个像元而多帧累积位移大于1个像元的运动点目标;在光流计算时,引入通用动态图像模型（GDIM）建立新的光流约束条件,克服了亮度变化引起的约束方程不成立问题。算法仅对帧差法后图像中不为零的像素进行光流场计算,提高了目标检测的准确性和检测速度。仿真实验证明了该算法的有效性。     

全局光流场估计技术及展望

光流法是运动分析最为重要的技术之一,其能够从相邻帧图像中恢复出目标物体以及背景的运动信息,从而实现目标检测、运动跟踪以及特征识别等.文中从全局光流计算的基本原理出发,详细分析了非均匀光照校正、能量函数构建和优化方案设计等全局光流场估计技术的关键步骤;同时深入探讨了全局光流场估计技术存在的大位移计算、遮挡检测、弱纹理运动估计等难题.最后对全局光流场估计技术所面临的挑战进行了分析,并展望了其未来的发展方向.     

基于光流的快速人体姿态估计

针对目前深度学习领域人体姿态估计算法计算复杂度高的问题,提出了一种基于光流的快速人体姿态估计算法.在原算法的基础上,首先利用视频帧之间的时间相关性,将原始视频序列分为关键帧和非关键帧分别处理（相邻两关键帧之间的图像和前向关键帧组成一个视频帧组,同一视频帧组内的视频帧相似）,仅在关键帧上运用人体姿态估计算法,并通过轻量级光流场将关键帧识别结果传播到其他非关键帧.其次针对视频中运动场的动态特性,提出一种基于局部光流场的自适应关键帧检测算法,以根据视频的局部时域特性确定视频关键帧的位置.在OutdoorPose和HumanEvaI数据集上的实验结果表明,对于存在背景复杂、部件遮挡等问题的视频序列中,所提算法较原算法检测性能略有提升,检测速度平均可提升89.6%.     

港口船舶位置目标图像跟踪监测研究

由于船舶目标成像小,江面干扰噪声大,船舶遮挡及连续多帧丢失等因素影响监测精度,在图像连续帧间创建位置、速度、面积等匹配方程进行跟踪存在匹配问题。为解决上述问题,提出一种多结构Top-hat变换和改进的SVD-UKF算法进行检测跟踪。通过分析船舶几何特征来设计多结构元素Top-hat变换检测船舶;在改进的SVD-UKF基础上定义自适应阈值和路径连贯性函数匹配方程进行跟踪以提高监测精度。实验结果证明,该算法可提高监测精度,跟踪稳定,并解决了船舶遮挡及连续多帧船舶丢失等问题,满足实时性需求。     

一种改进的H.264自适应空域错误掩盖算法

对H.264视频码流的帧内编码帧(I帧)进行空域错误掩盖时，单纯使用加权像素平均插值算法或方向插值算法不能得到满意的效果。因此，使用一种基于方向熵的自适应选择算法，根据丢失宏块周围的边缘信息自适应地选择加权像素平均插值算法或者该文提出的一种方向插值算法进行空域掩盖。该文提出方向插值算法，使用“双圈法”精确估计丢失宏块内的边缘方向，计算周围8个宏块中此方向上的边缘强度，根据边缘强度将丢失宏块划分成不同的区域分别进行方向插值。实验结果表明，该算法不仅提高了方向插值的精确性，也避免了虚假边缘的产生，有效地提高了错误图像的掩盖效果。     

基于分层光流的煤矿井下运动目标跟踪算法

针对煤矿井下视频序列高噪声、运动目标繁多、目标交错等特点,提出了一种基于分层光流法的矿井运动目标跟踪算法。首先对相邻两帧视频序列采用帧差法确定多个初始目标跟踪模版;然后采用SUSAN角点检测提取模版内的特征点;最后运用改进的分层光流法进行目标检测和跟踪,并在跟踪过程中对模版进行更新。该算法实现了煤矿井下多目标运动物体的稳定跟踪,并能解决目标部分遮挡问题。实验和仿真结果证实了该算法的有效性。     

基于深度学习的光流插帧边信息生成算法

在分布式视频编码（DVC）中,如何在各种运动场景下生成高质量的边信息并提升解码性能是一个重点研究领域。提出一种基于深度学习的光流插帧边信息生成算法（optical flow interpolation,OFI）,编码端采用区间重叠的分布式算数码（distributed arithmetic coding,DAC）对视频进行编码,解码端生成边信息时提取已解码关键帧,输入深度学习光流插帧网络。网络采用多层光流模块产生光流,并结合光流向后弯曲关键帧产生初步的边信息估计,再由融合过程消除遮挡产生更加细化的结果,最后边信息辅助解码树完成解码。实验结果表明,与现有方法相比,该方法PSNR最大可提升2.25 dB,主要体现在线性运动场景下。同时在线性和非线性场景下SSIM指标可提升0.001 5~0.064 8,在解码视频率失真曲线上也体现出一致的结果,证明了该算法对线性运动边信息估计有较好的提升,对非线性运动边信息结构也有良好的恢复性。     

用改进Census变换实现光照变化鲁棒光流计算

针对当前光流算法在野外光照变化条件下计算精度不高的问题,提出一种基于改进Census变换的变分光流算法.该算法根据图像轮廓信息自适应选择变换窗口形状,以提高深度不连续区域图像子块信息描述的准确性;在变换窗口内构建完整的梯度流向量描述子,克服传统算法由于信息量不够而导致的不同图像子块区分度有限的问题;在构建二进制串时,与基准元素越近的点排在二进制串高位,减弱2帧图像因投影变形对光流求解的影响.在TV_L1变分光流计算框架下,用改进的Census变换描述子构建光流模型中的数据项.对图像进行高斯金字塔分解,并结合加权中值滤波进行分层光流估计.最后以Middlebury和KITTI数据库为测试平台,证明了文中算法的有效性.     

结合光流法和卡尔曼滤波的视频稳像算法

针对手机拍摄过程中产生的视频抖动问题,提出了一种基于光流法和卡尔曼滤波的视频稳像算法。首先通过光流法预稳定抖动视频,对其生成的预稳定视频帧进行Shi-Tomasi角点检测,并采用LK算法跟踪角点,再利用RANSAC算法估计相邻帧间的仿射变换矩阵,由此计算得出原始相机路径;然后通过卡尔曼滤波器优化平滑相机路径,得到平滑相机路径;最后由原始相机路径与平滑路径的关系,计算相邻帧间的补偿矩阵,再利用补偿矩阵对视频帧逐一进行几何变换,由此得到稳定的视频输出。实验表明,该算法在处理6大类抖动视频时均有较好的效果,其中稳像后视频的PSNR值相比原始视频的PSNR值约提升了6.631 dB,视频帧间的结构相似性SSIM约提升了40%,平均曲率值约提升了8.3%。