基于运动特征融合的快速视频超分辨率重构方法

基于深度学习的视频超分辨率重构方法常面临重构精度不高或重构时间过长的问题,难以实时获得高精度的重构结果.针对此问题,文中提出基于深度残差网络的视频超分辨率重构方法,可以快速地对视频进行高精度重构,并在较小分辨率视频的重构过程中达到实时重构的要求.自适应关键帧判别子网自适应地从视频帧中判别关键帧,关键帧经过高精度关键帧重构子网进行重构.对于非关键帧,将其特征与邻近关键帧间的运动估计特征和邻近关键帧的特征逐层融合,直接获得非关键帧的特征,从而快速获得非关键帧的重构结果.在公开数据集上的实验表明,文中方法能实现对视频的快速、高精度重构,鲁棒性较好.     

块运动估计的研究进展

运动估计是根据视频序列中时间上相关的信息估计场景或目标的2维运动向量场的过程。运动估计在超分辨率图像复原中的作用是把所有低分辨率观测帧的像素映射到参考帧的相应位置。精确的运动估计是超分辨率图像复原的关键。基于块的模型是超分辨率图像复原中常用的运动估计方法。介绍了块运动估计的概念,概述了4类快速块运动估计的方法,详细描述了第1类方法中几种主要算法的搜索过程,并将多种快速块匹配算法进行了总结比较。     

基于改进粒子滤波算法的视频超分辨率重建

视频超分辨率重建的一个必要步骤是视频运动估计,相对其他图像匹配算法,基于特征点的视频匹配算法具有更高的鲁棒性,但精确度受特征点的定位、选取和匹配误差的影响较大。为此,提出将粒子滤波应用到视频超分辨率的运动估计问题中,用粒子滤波算法来修正匹配误差,并针对粒子滤波中的粒子匮乏问题改进基本粒子滤波算法。实验结果表明,该算法比其他经典滤波算法估计精度有了较大提高,且在超分辨率重建中能更精确地进行运动估计,匹配精度和稳定性能都有所改善。     

深度学习视频超分辨率技术综述

视频超分辨率技术在卫星遥感侦测、视频监控和医疗影像等方面发挥着关键作用,在各领域具有广阔的应用前景,受到广泛关注,但传统的视频超分辨率算法具有一定局限性。随着深度学习技术的愈发成熟,基于深度神经网络的超分辨率算法在性能上取得了长足进步。充分融合视频时空信息可以快速高效地恢复真实且自然的纹理,视频超分辨率算法因其独特的优势成为一个研究热点。本文系统地对基于深度学习的视频超分辨率的研究进展进行详细综述,对基于深度学习的视频超分辨率技术的数据集和评价指标进行全面归纳,将现有视频超分辨率方法按研究思路分成两大类,即基于图像配准的视频超分辨率方法和非图像配准的视频超分辨率方法,并进一步立足于深度卷积神经网络的模型结构、模型优化历程和运动估计补偿的方法将视频超分辨率网络细分为10个子类,同时利用充足的实验数据对每种方法的核心思想以及网络结构的优缺点进行了对比分析。尽管视频超分辨率网络的重建效果在不断优化,模型参数量在逐渐降低,训练和推理速度在不断加快,然而已有的网络模型在性能上仍然存在提升的潜能。本文对基于深度学习的视频超分辨率技术存在的挑战和未来的发展前景进行了讨论。     

基于光流法的迭代反投影超分辨率重构算法

为了提高重构图像或者视频的分辨率．提出把新型的基于光流法的图像配准算法应用于迭代反投影（IBP）超分辨率算法中。在所提出的方法中．基于光流法的图像配准算法用来提高图像配准的准确性。首先,为了得到像素级别的运动矢量．基于光流法的图像配准算法被用于估计图像间的运动矢量。以得到更加准确的运动矢量矩阵。接着,利用所获得的运动矢量矩阵结合迭代反投影算法重构高分辨率的图像。同时．由于基于光流法的图像配准能够很好地估计视频图像间的运动．所提出的方法同样适用于视频图像的超分辨。实验结果表明．提出的方法对于图像或者视频的超分辨率效果．在主观效果和客观评价上都有一定的提升。     

基于自适应运动估计的视频超分辨率重建

针对传统的空域超分辨率重建算法过度依赖配准的精度而限制了算法的适用范围,提出基于自适应运动估计的视频超分辨率重建算法。在非参数估计的核回归模型的基础上,将二维核回归函数扩展到三维,把视频序列中的每一个像素点表示成三维泰勒展开式。通过局部加权最小二乘法得到展示的系数,用核回归的权重捕捉时空局部运动信息,避免了显式的亚像素精度的运动估计。在标准测试视频数据库中的实验表明,该算法具有较好的重建效果和较大适用范围,可用于具有局部和复杂运动的视频。     

视频序列超分辨率重构技术综述

视频序列超分辨率重构技术可以利用来自一个或多个低分辨率视频序列信息重构一个具有高空间分辨率或高时空分辨率的视频序列。本文从视频序列的空间超分辨率、时间超分辨率以及时空超分辨率重构三个方面对视频序列超分辨率重构技术进行了详细的阐述,对视频序列超分辨率重构技术中的关键问题和应用前景进行了分析与展望。     

基于运动补偿估计的视频压缩感知编码与重构

针对传统视频编解码过程中计算量大,数据冗余的问题,利用新的压缩感知理论和运动补偿估计技术,提出了新的视频压缩处理过程。将视频帧分组,对关键帧采用压缩感知,对非关键帧利用运动补偿估计技术求残差,并对残差进行压缩感知,利用GPSR算法重构原始数据。实验仿真结果表明提出的模型能够利用较少的随机采样数据重构原始信息,达到较高的平均信噪比。     

基于深度学习特征匹配的视频超分辨率方法

视频复原的目标是从给定的退化视频序列中把潜在的高质量视频复原出来.现有的视频复原方法主要集中在如何有效地找到相邻帧之间的运动信息,然后利用运动信息建立相邻帧之间的匹配.与这些方法不同,文中提出了基于深度学习特征匹配的方法来解决视频超分辨率问题.首先,通过深度卷积神经网络计算出相邻帧之间的运动信息;然后,采用一个浅层深度卷积神经网络从输入的视频帧中提取特征,基于估计到的运动信息,将浅层深度卷积神经网络提取到的特征匹配到中间视频帧对应的特征中,并将得到的特征进行有效融合;最后,采用一个深度卷积神经网络重建视频帧.大量的实验结果验证了基于深度学习特征匹配的方法能有效地解决视频超分辨率问题.与现有的基于视频帧匹配的方法相比,所提方法在现有的公开视频超分辨率数据集上取得了较好的效果.     

面向快速全局运动估计的亮度残差阈值方法*

提出一种面向快速全局运动估计的亮度残差阈值方法,通过统计特性推导出适用于不同分辨率大小视频编码的全局运动估计阈值因子。在保证视频编码性能的前提下,加快全局运动估计收敛于稳定值,实现快速全局运动估计的目标。实验证明,该方法具有较好的鲁棒性和准确性。     

视频压缩感知中分级多假设预测算法

目的 多假设预测是视频压缩感知多假设预测残差重构算法的关键技术之一,现有的视频压缩感知多假设预测算法中预测分块固定,这种方法存在两点不足：1）对于视频帧中运动形式复杂的图像块预测效果不佳;2）对于运动平缓区域,相邻图像块的运动矢量非常相近,每块单独通过运动估计寻找最佳匹配块,导致算法复杂度较大。针对这些问题,提出了分级多假设预测思路（Hi-MH）,即对运动复杂程度不同的区域采取不同的块匹配预测方法。方法 对于平缓运动区域的图像块,利用邻域图像块的运动矢量预测当前块的运动矢量,从而降低运动估计的算法复杂度;对于运动较复杂的图像块,用更小的块寻找最佳匹配;对于运动特别复杂的图像块利用自回归模型对单个像素点进行预测,提高预测精度。结果 Hi-MH算法与现有的快速搜索预测算法相比,每帧预测时间至少缩短了1.4 s,与现有最优的视频压缩感知重构算法相比,对于运动较为复杂的视频序列,峰值信噪比（PSNR）提升幅度达到1 dB。结论 Hi-MH算法对于运动形式简单的视频序列或区域降低了计算复杂度,对于运动形式较为复杂的视频序列或区域提高了预测精度。     

高精度亚像素全局运动估计的上采样梯度互相关算法

运动估计在视频图像压缩、超分辨率重建、拼接、目标检测等方面具有重要的应用意义。针对高精度的亚像素运动估计问题,引入一种优化滤波器用于计算图像梯度,并采用上采样与抛物面拟合梯度互相关曲面相结合的方法,探讨一种高精度的亚像素全局运动估计算法。实验结果表明,该算法不仅对噪声影响具有较好的鲁棒性,同时能够有效地提高运动估计的精确性。     

Markerless human motion capture by Markov random field and dynamic graph cuts with color constraints

Currently, many vision-based motion capture systems require passive markers attached to key locations on the human body. However, such systems are intrusive with limited application. The algorithm that we use for human motion capture in this paper is based on Markov random field (MRF) and dynamic graph cuts. It takes full account of the impact of 3D reconstruction error and integrates human motion capture and 3D reconstruction into MRF-MAP framework. For more accurate and robust performance, we extend our algorithm by incorporating color constraints into the pose estimation process. The advantages of incorporating color constraints are demonstrated by experimental results on several video sequences. Supported by the National Basic Research Program of China (Grant No. 2006CB303105)     

面向视频会议的运动估计快速算法

针对H.264/AVC视频压缩算法中运动估计模块计算复杂度高的问题,提出了一种基于积分图像的运动估计快速算法.算法通过对单元块进行预计算求和,在块匹配运算时使用单元块级绝对差值.该算法能够在保证视频编码质量的前提下,大幅度提高运动估计模块的计算效率.算法适用于视频会议等要求视频实时压缩的应用.     

压缩视频流中主要运动的定性分析

随着视频数据量的急剧增加，如何为海量视频数据建立高效索引并提供查询和检索能力成为目前信息检索领域重要的研究课题，许多研究表明，通过对视频中主要运动的定性分析，有助于实现视频内容的索引和检索，该文根据运动矢量的分布特性，运动矢量之间的相对关系特性等，提出了一种压缩视频流中主要运动的定性分析算法，实验结果表明该算法具有速度快，精度高，鲁棒性好等特性，非常适合于视频信息检索方面的应用。     

一种基于DCT系数分布特性的块匹配准则

视频编码通过运动估计消除时间冗余信息，块匹配方法是目前所有视频编码标准采用的运动估计方法。根据运动估计的残差图像的DCT变换后交流系数的统计分布规律，推导出了一种块匹配运动估计的匹配准则．这种匹配准则在对有亮度变化的帧进行运动估计时特别有效．实验结果表明该匹配准则可以取得比SAD匹配准则更好的效果．     

基于线性预测的半像素运动估计

在视频编码系统中,半像素精度的运动估计虽可以明显地改善编码效果,但也因此增加了不少运算量。为了降低运算量和提高半像素运动估计的速度,提出了一种全新的半像素搜索算法(half-pixel motion estimation based on linear prediction,简称BLPHME),其关键思想是通过分析整像素搜索和半像素搜索结果之间的相关性来建立一个线性模型,通过动态调整判决门限,以便预测并跳过那些不能从半像素块匹配搜索中得到好处的块。实验结果表明,该算法不仅可以明显地降低运动估计的运算量,同时还能得到与传统算法非常接近的图像质量和码率。此外,该算法还可以和基于整像素和半像素的快速运动估计算法一起使用,以进一步降低运算量。     

分割视频运动对象的研究

随着新的视频压缩标准MPEG-4的出现,如何从视频序列中分割出在语义上有意义的单独运动对象显得极其重要。文章从组成视频运动对象的分割系统出发,详细分析视频分割的各种方法如运动参数模型。变化检测掩模、图象分割及运动对象跟踪等,并对分割运动对象所采用的技术和方法进行了讨论。     

基于UMHexagonS的运动估计算法优化

针对UMHexagonS算法冗余搜索的问题,使用大十字搜索判定结果,改进原有的运动估计算法。改进算法判断最优点可能分布区域,使用相应改进搜索模板搜索,降低搜索点个数,达到避免冗余搜索的目的,提高运动估计搜索效率。在多组视频序列中测试,图像质量相近情况下,改进算法比UMHexagonS算法有了显著的提高。特别是在剧烈运动的视频序列中,改进算法比UMHexagonS算法的运动估计时间减少了45.78%,编码耗时缩短了34.97%,比EPZS算法运动估计时间减少了35.25%,编码耗时缩短了25.45%。     

EPZS运动估计算法的分析及改进

在分析研究H.264视频编码标准推荐的运动估计核心算法EPZS的基础上,针对该算法运动估计实时性不足的缺点,提出一种对EPZS算法进行起始搜索窗口中心点和计算终止条件判断标准的改进方法,在H.264编码器的参考模型JM10.1中,选择5个测试序列进行实验。实验结果表明,改进后的算法与原算法相比,在重建图像质量和码率接近的情况下,运动估计时间平均节省了29.314%,降低了算法的复杂度,提高了编码的实时性。