大位移变分光流计算的快速算法

目的 多尺度方法的提出解决了传统HS（Horn Schunck）算法不能计算大位移光流的问题,但同时也增加了迭代运算的步数。为加快迭代收敛速度,研究大位移变分光流计算的快速算法,并分析其性能。方法 将用于加快变分图像处理迭代运算的Split Bregman方法、对偶方法和交替方向乘子法应用到大位移光流计算中。结果 分别进行了精度、迭代步数、运行时间的对比实验。引入3种快速方法的模型均能够在保证精度的同时,在较少时间内计算出图像序列的光流场,所需时间为传统方法的11%~42%。结论 将3种快速方法应用到大位移变分光流计算中,对于不同图像序列均可以较大地提高计算效率。     

非局部加权邻域三角滤波TV-L1光流估计

目的 针对非刚性运动、运动遮挡与间断、大位移以及复杂边缘结构等困难场景图像序列光流计算的准确性与鲁棒性问题,提出一种基于加权邻域三角滤波的非局部TV-L¹光流计算方法。方法 首先设计非平方惩罚函数L¹模型与梯度守恒假设相结合的数据项,然后引入基于L¹模型与基于图像梯度自适应变化权重相结合的平滑项,并根据提出的鲁棒数据项与图像-光流联合控制平滑项建立TV-L¹光流计算能量函数模型。最后采用基于加权邻域三角的非局部约束项,通过引入图像金字塔分层变形计算策略,在每层图像光流计算时对光流计算结果进行基于加权邻域三角网格的中值滤波优化,提出基于加权邻域三角滤波的非局部TV-L¹光流计算模型。结果 分别采用MPI与Middlebury数据库测试图像序列对本文方法和LDOF、CLG-TV、SOF、Classic+NL等代表方法进行实验对比。本文方法光流计算结果的平均角误差（AAE）和平均端点误差（AEE）相对其他对比方法平均下降28.45%和28.42%,时间消耗相对传统方法增长5.16%。结论 相对于传统的光流计算方法,本文方法针对非刚体运动、运动遮挡与间断、大位移运动以及复杂边缘等困难场景具有较好的适用性,光流估计结果具有较高的精度和较好的鲁棒性。     

暗通道先验图像去雾的大气光校验和光晕消除

目的 针对暗通道先验图像去雾方法中存在的大气光误判以及光晕效应等问题,提出一种基于大气光校验和光晕消除策略的改进算法。方法 首先,采用基于支持向量机的大气光校验方法对候选大气光的有效性进行判断,剔除太阳光、车灯等高光区域的干扰;然后,采用基于块偏移的精细透射率计算方法获得边缘保持的透射率,极大地抑制了无雾图像中光晕像素的数量;最后,采用基于导向滤波的光晕像素检测和校正方法进一步消除了残留的少量光晕像素。结果 本文算法有效抑制了大气光的误判现象,大大消除了光晕效应,提升了无雾图像的细节可辨认度,最终获得的无雾图像细节丰富、颜色深度感饱满。结论 本文算法在无雾图像的可见度增强等诸多方面超越了已有的方法,在视频监控、交通监管和目标识别等领域具有较大实用价值。     

并行马尔可夫随机场计算变分光流方法

目的 基于马尔可夫随机场（MRF）的变分光流计算是一种较为鲁棒的光流计算方法,但是计算效率很低。置信传播算法（BP） 是一种针对MRF较为高效的全局优化算法。本文提出一种MRF变分光流计算模型并采用并行BP方法实现,极大提高计算效率。方法 提出的MRF变分光流计算模型中的数据项采用了Horn等人根据灰度守恒假设得到的光流基本约束方程,并采用非平方惩罚函数进行调整以平滑边界影响。为在CUDA平台上实现高效并行处理,本文提出了一种优化的基于置信传播的MRF并行光流计算方法。该优化方法在采用置信传播最小化MRF光流能量函数时,采用了一种4层的3维网络结构进行并行计算,每层对应MRF4邻域模型中的一个方向的信息传播,同时在每层中为每个像素分配多个线程采用并行降维法计算所要传递的信息,大大降低单线程计算负荷,大幅度提高计算效率。结果 采用旋转小球图像序列进行实验,计算效率提高314倍;采用旋转小球、Yosemite山谷和RubberWhale 3种不同图像序列,与Horn算法、Weickert算法、Hossen并行Lucas算法、Grauer-Gray并行MRF算法进行对比实验,本文方法得到最低的平均端点误差（AEE）,分别为0.13、0.55和0.34。结论 本文提出了一种新的MRF光流计算模型,并在CUDA平台上实现了并行优化计算。实验结果表明,本文提出的并行计算方法在保持计算精度的同时极大提高了计算效率。本文方法对内存需求巨大,在处理高分辨率图像时,限制了采样点数,难以计算大位移。     

光照变化条件下的光流估计

目的 为了提高光流法在处理光照变化和大位移方面的稳健性。提出一种结合结构纹理分解预处理和加权中值滤波的光流场模型。方法 该方法数据项采用灰度守恒假设和梯度守恒假设相结合、局部约束与全局约束相结合的思想。同时采用结构纹理分解、加权中值滤波、金字塔结构等高效的光流估计技术,进一步增强了光流算法的精确性与实用性。结果 分别通过Middlebury光流数据库图像和真实场景图像对提出的光流估计算法进行了大量实验验证。实验结果表明,改进的光流估计法在处理光照变化方面表现不错,不仅获得稠密的光流场,而且提高了光流场准确提取目标边缘的能力。结论 和传统光流方法相比,所提方法在光照变化情况下能获得更加理想的结果,降低了实际场景中光线变化的干扰,能更好地适用于实际场景中。     

结合天空检测与纹理平滑的图像去雾

目的 针对已有图像去雾方法中存在的天空灰暗以及透射率分布与实际情况不一致导致的对比度增强不足等问题,以暗通道先验图像去雾方法为基础,提出结合天空检测与纹理滤波的图像去雾算法。方法 首先,设计了一个基于天空检测的大气光自适应估计策略,以天空区域亮度值较低的像素为依据估计大气光值,能够避免天空色彩失真,获得更明亮且干净的天空恢复结果;其次,对输入图像进行纹理平滑预处理以保持同一平面物体内的像素颜色一致性,并提出一个基于块偏移与导向滤波的透射率精确化计算策略,使透射率估值更符合深度信息的变化趋势,以提升无雾图像的对比度与色彩饱和度;最后,对复原结果进行联合双边滤波后处理,以降低噪声的影响。结果 本文算法得到的大气光估值更为合理,对于不符合暗通道先验的天空区域,能够取得更为自然的天空复原结果;本文算法得到的透射率的变化趋势与实际场景深度之间具有更高的一致性,对于符合暗通道先验的非天空区域,能够取得高对比度与高色彩饱和度的恢复结果。结论 本文算法在大气光与透射率的估值的准确性以及无雾图像的对比度与清晰度增强方面都得到了有效提升,具有较高的鲁棒性,适用于视频监控、交通监管和目标识别等户外获取图像的诸多应用领域。     

双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

大气模型与亮度传播图相结合的低照度视频增强算法

目的 为解决低照度视频亮度和对比度低、噪声大等问题,提出一种将Retinex理论和暗通道先验理论相结合的低照度视频快速增强算法。方法 鉴于增强视频时会放大噪声,在增强之前先对视频进行去噪处理,之后结合引导滤波和中值滤波的优势提出综合去噪算法,并将其应用于YCbCr空间。其次提取亮度分量来估计亮度传播图,利用大气模型复原低照度视频。最后综合考虑帧间处理技术,加入场景检测、边缘补偿和帧间补偿。结果 为了验证本文算法的实际效果和有效性,对低照度视频进行增强实验并将本文算法与Retinex增强算法、去雾技术增强算法进行了比较,本文算法有效地提高了低照度视频的亮度和对比度,减小了噪声,增强了视频的细节信息并减轻了视频闪烁现象,从而改善了视频质量。算法处理速率有着非常明显的优势,相比文中其他两种算法的速率提升了将近十倍。结论 本文算法保持了帧间运动的连续性,在保证增强效果的同时提升了处理速率,对细节和边缘轮廓部分的处理非常精细,具有目前同类算法所不能达到的优良效果,适用于视频监控、目标跟踪、智能交通等众多领域,可实现视频的实时增强。     

即时全变差优化的低延时视频稳像方法

目的 传统的视频稳像方法为了获得理想的稳像效果,一般耗费较多的计算时间,且存在较长的延时。针对此问题,提出一种即时全变差优化的低延时视频稳像方法。方法 首先利用特征点检测和匹配计算帧间单应变换,得到抖动视频的运动路径;然后通过即时全变差优化方法对抖动路径进行平滑优化,获得稳定的运动路径;最后通过运动补偿,生成稳定的视频。结果 对公共视频数据集中的抖动视频进行稳像效果测试,并与当前稳像效果较好的几种稳像算法和商业软件进行效果和时间对比。在时间方面,统计了不同方法的每帧平均消耗时间和处理延迟帧数,不同于后期处理方法需要得到大部分视频帧才能够进行计算,本文算法能够在只有一帧延时的情况下获得最终的稳像结果,相比于MeshFlow方法有15%左右的速度提升;在稳像效果方面,计算了不同方法稳像后的视频扭曲率和裁剪率,并邀请非专业用户进行了稳定程度的主观判断,本文算法的实验结果并不输于目前被公认较好的3种后期稳像方法,优于Kalman滤波方法。结论 本文所提稳像方法能够兼顾速度和有效性,相对于传统方法,更适合低延时要求的应用场景。     

视频压缩感知中分级多假设预测算法

目的 多假设预测是视频压缩感知多假设预测残差重构算法的关键技术之一,现有的视频压缩感知多假设预测算法中预测分块固定,这种方法存在两点不足：1）对于视频帧中运动形式复杂的图像块预测效果不佳;2）对于运动平缓区域,相邻图像块的运动矢量非常相近,每块单独通过运动估计寻找最佳匹配块,导致算法复杂度较大。针对这些问题,提出了分级多假设预测思路（Hi-MH）,即对运动复杂程度不同的区域采取不同的块匹配预测方法。方法 对于平缓运动区域的图像块,利用邻域图像块的运动矢量预测当前块的运动矢量,从而降低运动估计的算法复杂度;对于运动较复杂的图像块,用更小的块寻找最佳匹配;对于运动特别复杂的图像块利用自回归模型对单个像素点进行预测,提高预测精度。结果 Hi-MH算法与现有的快速搜索预测算法相比,每帧预测时间至少缩短了1.4 s,与现有最优的视频压缩感知重构算法相比,对于运动较为复杂的视频序列,峰值信噪比（PSNR）提升幅度达到1 dB。结论 Hi-MH算法对于运动形式简单的视频序列或区域降低了计算复杂度,对于运动形式较为复杂的视频序列或区域提高了预测精度。     

融合双目多维感知特征的立体视频显著性检测

目的 立体视频能提供身临其境的逼真感而越来越受到人们的喜爱,而视觉显著性检测可以自动预测、定位和挖掘重要视觉信息,可以帮助机器对海量多媒体信息进行有效筛选。为了提高立体视频中的显著区域检测性能,提出了一种融合双目多维感知特性的立体视频显著性检测模型。方法 从立体视频的空域、深度以及时域3个不同维度出发进行显著性计算。首先,基于图像的空间特征利用贝叶斯模型计算2D图像显著图;接着,根据双目感知特征获取立体视频图像的深度显著图;然后,利用Lucas-Kanade光流法计算帧间局部区域的运动特征,获取时域显著图;最后,将3种不同维度的显著图采用一种基于全局-区域差异度大小的融合方法进行相互融合,获得最终的立体视频显著区域分布模型。结果 在不同类型的立体视频序列中的实验结果表明,本文模型获得了80%的准确率和72%的召回率,且保持了相对较低的计算复杂度,优于现有的显著性检测模型。结论 本文的显著性检测模型能有效地获取立体视频中的显著区域,可应用于立体视频/图像编码、立体视频/图像质量评价等领域。     

Geometry of Motion for Video Shakiness Detection

This paper presents a novel algorithm for automatically detecting global shakiness in casual videos. Perframe amplitude is computed by the geometry of motion, based on the kinematic model defined by inter-frame geometric transformations. Inspired by motion perception, we investigate the just-noticeable amplitude of shaky motion perceived by the human visual system. Then, we use the thresholding contrast strategy on the statistics of per-frame amplitudes to determine the occurrence of perceived shakiness. For testing the detection accuracy, a dataset of video clips is constructed with manual shakiness label as the ground truth. The experiments demonstrate that our algorithm can obtain good detection accuracy that is in concordance with subjective judgement on the videos in the dataset.     

自然环境视频中基于显著鲁棒轨迹的行为识别

目的人类行为识别是计算机视觉领域的一个重要研究课题。由于背景复杂、摄像机抖动等原因,在自然环境视频中识别人类行为存在困难。针对上述问题,提出一种基于显著鲁棒轨迹的人类行为识别算法。方法该算法使用稠密光流技术在多尺度空间中跟踪显著特征点,并使用梯度直方图(HOG)、光流直方图(HOF)和运动边界直方图(MBH)特征描述显著轨迹。为了有效消除摄像机运动带来的影响,使用基于自适应背景分割的摄像机运动估计技术增强显著轨迹的鲁棒性。然后,对于每一类特征分别使用Fisher Vector模型将一个视频表示为一个Fisher向量,并使用线性支持向量机对视频进行分类。结果在4个公开数据集上,显著轨迹算法比Dense轨迹算法的实验结果平均高1%。增加摄像机运动消除技术后,显著鲁棒轨迹算法比显著轨迹算法的实验结果平均高2%。在4个数据集(即Hollywood2、You Tube、Olympic Sports和UCF50)上,显著鲁棒轨迹算法的实验结果分别是65.8%、91.6%、93.6%和92.1%,比目前最好的实验结果分别高1.5%、2.6%、2.5%和0.9%。结论实验结果表明,该算法能够有效地识别自然环境视频中的人类行为,并且具有较低的时间复杂度。     

Particle Video: Long-Range Motion Estimation Using Point Trajectories

This paper describes a new approach to motion estimation in video. We represent video motion using a set of particles. Each particle is an image point sample with a long-duration trajectory and other properties. To optimize particle trajectories we measure appearance consistency along the particle trajectories and distortion between the particles. The resulting motion representation is useful for a variety of applications and cannot be directly obtained using existing methods such as optical flow or feature tracking. We demonstrate the algorithm on challenging real-world videos that include complex scene geometry, multiple types of occlusion, regions with low texture, and non-rigid deformations.     

Optical flow approximation based motion object extraction for MPEG-2 video stream

This paper presents a compressed-domain motion object extraction algorithm based on optical flow approximation for MPEG-2 video stream. The discrete cosine transform (DCT) coefficients of P and B frames are estimated to reconstruct DC + 2AC image using their motion vectors and the DCT coefficients in I frames, which can be directly extracted from MPEG-2 compressed domain. Initial optical flow is estimated with Black’s optical flow estimation framework, in which DC image is substituted by DC + 2AC image to provide more intensity information. A high confidence measure is exploited to generate dense and accurate motion vector field by removing noisy and false motion vectors. Global motion estimation and iterative rejection are further utilized to separate foreground and background motion vectors. Region growing with automatic seed selection is performed to extract accurate object boundary by motion consistency model. The object boundary is further refined by partially decoding the boundary blocks to improve the accuracy. Experimental results on several test sequences demonstrate that the proposed approach can achieve compressed-domain video object extraction for MPEG-2 video stream in CIF format with real-time performance.     

基于光流法的迭代反投影超分辨率重构算法

为了提高重构图像或者视频的分辨率．提出把新型的基于光流法的图像配准算法应用于迭代反投影（IBP）超分辨率算法中。在所提出的方法中．基于光流法的图像配准算法用来提高图像配准的准确性。首先,为了得到像素级别的运动矢量．基于光流法的图像配准算法被用于估计图像间的运动矢量。以得到更加准确的运动矢量矩阵。接着,利用所获得的运动矢量矩阵结合迭代反投影算法重构高分辨率的图像。同时．由于基于光流法的图像配准能够很好地估计视频图像间的运动．所提出的方法同样适用于视频图像的超分辨。实验结果表明．提出的方法对于图像或者视频的超分辨率效果．在主观效果和客观评价上都有一定的提升。     

多尺度分析的运动注意力计算

目的 由于光流估算的缺陷、噪声干扰以及现有运动注意力模型的局限性,导致运动注意力计算结果不能准确反映运动的显著性特征,制约了运动显著图的进一步应用。为提高运动注意力计算的准确性,提出一种基于时—空多尺度分析的运动注意力计算方法。方法 该方法根据视觉运动注意力来自于时—空运动反差的注意力形成机理构建运动注意力模型;通过时间尺度滤波去除噪声影响;鉴于视觉观测对尺度的依赖性,通过对视频帧的多尺度分解,在多个空间尺度进行运动注意力的计算,根据宏块像素值的相关系数大小对低尺度、中低尺度和原始尺度的运动注意力计算结果进行融合,得到最终的运动注意力显著图。结果 对多个视频测试序列的测试,测试结果表明,本文方法比同类方法更能真实有效地反映出视频场景中的运动显著性特征,大大提高了运动显著图的准确性。结论 为有效提高运动注意力计算不准确的问题,提出一种基于时—空多尺度分析的运动注意力计算方法,对于不同复杂视频运动场景,该方法能明显增强运动注意力计算的准确性,为视觉运动注意力的进一步应用奠定了良好基础。     

基于三参数模型的快速全局运动估计

提出了一种新的全局运动估计方法——基于三参数模型的快速全局运动估计.新的参数模型在保证准确性的同时,使用更少的参数来描述和估计全局运动,从而简化了计算复杂度.此外,对光流场计算做出了两方面改进：（1）提出了宏块预判的方法,计算光流场前对宏块的梯度信息进行预分析,通过减少参与计算的宏块数目提高光流场的计算速度;（2）提出了快速估计宏块运动向量的方法,在块匹配的过程中同时考虑图像的梯度和灰度信息,通过引入更多的约束提高运动向量的计算速度.实验证明了该方法的有效性.