空时形状预测与高效编码

目的 形状是视觉对象的关键特征,形状编码是对象基图像和视频处理中的关键技术,但现有无损形状编码方法压缩效率普遍不高.为此,提出一种基于链码表示和空时预测的高效无损形状编码新算法.方法 首先逐帧提取视觉对象的形状轮廓并转化为链码表示;然后基于对象轮廓的帧间活动性将形状视频序列分成帧内预测编码帧和帧间预测编码帧,并基于轮廓链码的空域相关性和时域相关性对二者分别进行空域和时域补偿与预测;最后基于链码的方向约束特性对预测后的位移矢量和预测残差进行高效编码压缩.结果 为了检验所提算法的性能,基于MPEG-4标准形状测试序列进行了编码实验测试.与现有主要方法相比本文算法能提高压缩效率6%到71.6%不等.结论 本文算法可广泛应用于对象基编码、基于内容的图像检索、图像分析与理解等领域.     

3D-HEVC深度图像快速帧内编码方法

目的 新一代3D视频采用了多视点加深度图像的格式,其编码测试模型3D-HEVC(3D高效视频编码)为深度图像引入了一些新的编码技术,包括深度模型模式、分段直流(DC)残差编码模式和帧内跳过模式等,但是同时也显著地增加了帧内编码器的复杂度,严重制约了3D视频的实时应用,因此本文提出了一种深度图像帧内模式选择方法。方法 首先,分析在分层编码结构中,父层帧内模式和子层帧内模式的关系,并依据父层的帧内模式对子层的候选模式进行修剪;其次,通过分析粗略候选帧内模式,把当前块分为平滑块、方向块和边界块,并根据不同块进行候选帧内模式的选择。结果 与高效3D视频编码标准的测试模型相比,本文的深度图像帧内模式选择方法可以节省约44%的编码时间。本文方法有效地减少了计算率失真代价的候选帧内模式数目,从而降低了帧内编码器的复杂度。结论 该方法能在保证虚拟视点质量的前提下,有效地降低深度图像帧内编码的复杂度。     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

结合随机森林的FVC帧内编码单元快速划分

目的 未来视频编码（FVC）是在高效视频编码标准（HEVC）的基础上提出的新一代编码技术,复杂度极高。针对现有的基于HEVC的快速编码方法不适用于FVC中的四叉树加二叉树编码结构或节省时间有限的问题,提出了一种结合随机森林的FVC帧内编码单元（CU）快速划分算法。方法 针对FVC中的四叉树加二叉树结构进行优化。首先,提取视频编码过程中的各CU的图像纹理特征和划分结果;然后,分别使用各划分深度下的纹理特征和划分结果进行在线训练,建立多个随机森林模型,不同深度的CU对应不同的模型;最后,使用模型对视频其余帧的CU进行划分结果预测,从而减少了划分模式遍历和率失真代价计算的次数,节省了编码时间。结果 实验结果表明,与原始平台算法相比,本文算法能够节省44.1%的时间,在相同峰值信噪比的情况下,比特率仅上升2.6%;与当前先进的方法相比,能进一步节省20%以上的时间。结论 通过提取图像的纹理特征,建立随机森林模型,对CU划分结果进行预测,在保证编码率失真性能的前提下,有效地降低了FVC的帧内CU划分复杂度。     

利用纹理和空间相关性的HEVC帧内预测模式选择

目的 提出一种结合图像纹理方向和空间相关性的高效视频编码（HEVC）帧内模式选择快速算法,减少粗模式选择过程的候选模式数目,加快帧内模式选择速度。方法 首先,使用Sobel算子获得当前预测单元（PU）的纹理方向,利用此纹理方向选取相应的角度预测模式组成粗模式选择的候选模式列表;另外,利用图像的空间相关性,将相邻预测单元的最优帧内预测模式添加到候选模式列表中。结果 本文算法将粗模式选择过程的候选模式数目从35种减少到不超过10种,比特率升高0.41%,峰值信噪比下降0.0314 dB,编码时间缩短了34.9%。结论 实验结果显示,在保持编码质量基本不变的情况下,此算法明显减少了粗模式选择过程的预测模式数量,提高了HEVC的编码效率。     

3D-HEVC深度图帧内预测快速算法

目的 多视点纹理加深度视频（MVD）格式逐渐成为立体视频的主流表现形式之一。新一代高效率立体视频编码（3D-HEVC）继承了HEVC的编码结构并引入一些新的编码技术,导致深度图帧内编码过程具有较高的计算复杂度。针对这一问题,提出了一种深度图帧内编码快速算法。方法 本文算法利用深度图的特征分别对CU分割过程和粗略模式选择（RMD）过程进行优化。首先在四叉树编码结构上,利用基于纹理元的图像分析方法计算编码单元的梯度矩阵,若梯度矩阵中的梯度值之和小于给定的阈值,则终止该CU的分割进程。同时,对大尺寸的PU和小尺寸的PU分别利用纹理特征与粗略模式选择过程中Planar和DC进行低复杂度率失真计算后的最小率失真代价,跳过RMD中角度模式的检查过程。结果 实验结果表明,与原始算法相比,本文算法平均节省40.64%的深度图编码时间,而合成视点的平均比特率仅仅增加了0.17%。本文算法不仅能对平坦的CU跳过不必要的深度决策过程,而且有效地减少了RMD中需要遍历的模式数目,提高了编码器的效率。结论 该算法对CU分割进程和粗略模式选择过程都进行优化,在合成视点的视频质量几乎不变的前提下,有效降低了深度图的帧内编码复杂度。     

相同编码参数HEVC视频重压缩检测

目的 视频重压缩是视频取证技术的重要辅助性手段。目前,不同编码参数进行压缩的高效视频编码（high efficiency video coding,HEVC）视频重压缩检测已经取得较高的准确度,而在前后采用相同编码参数压缩过程中,HEVC视频重压缩操作的痕迹非常小,检测难度大。为此,提出了在相同编码参数下基于视频质量下降机制的视频重压缩检测算法。方法 在经过多次相同编码参数压缩后,可以观察到视频的质量趋于不变,利用视频质量下降程度可以区分单压缩视频和重压缩视频。本文提出I帧预测单元模式（intra-coded picture prediction unit mode,IPUM）和P帧预测单元模式（predicted picture prediction unit mode,PPUM）两类视频特征,即分别从I帧和P帧中的亮度分量（Y）提取预测单元（prediction unit,PU）的模式。从待测视频中提取IPUM和PPUM特征,将HEVC视频以相同的编码参数压缩3次,每次提取上述特征。由于I帧、P帧中不同尺寸的PU数量相差较大,应选取数量较多的PU作为统计特征。统计平均每一I帧、P帧在相同位置第n次压缩和第n+1次压缩不同的PU模式,构成6维特征集送入支持向量机（support vector machine,SVM）进行分类。结果 本文方法在CIF（common intermediate format）数据集、720p数据集、1 080p数据集的平均检测准确度分别为95.45%,94.8%,95.53%。在不同的图像组（group of pictures,GOP）和帧删除的情况下均具有较好的表现。结论 本文方法利用在相同位置连续两次压缩不同的PU模式数来揭示视频质量下降的规律,具有较高的准确度,且在不同情况下均有较好表现。     

基于H.264标准的多视点视频编码方案的研究

为研究一种新的高效的多视点视频编码方法,提高编码效率,并有效地提高视点间随机切换访问的能力,利用H.264中的新技术多参考帧、SP/SI帧、分层B帧编码等,根据时空预测编码结构的方法,提出了一种基于分层B帧并有利于视点间随机切换访问的多视点视频编码方案.实验结果表明,该方案在提高了编码效率的同时,在视点较多的情况下能够有效地提高视点间随机切换访问的能力.     

多阵列摄像图像调节的MVC颜色补偿方法

多视点视频是由一组摄像机拍摄得到的视频序列。通常情况下,各个摄像机的性能参数很难做到完全一致,从而引起不同视点的视频图像之间产生颜色差异。提出了在多视点视频编码中使用一种新的颜色补偿模式,这种模式能够有效利用相互独立编码的帧间视频的信息,从而减少由多阵列摄像而带来的颜色误匹配。该方法在RGB颜色空间上建立颜色补偿模型,并进一步将颜色补偿模型扩展到YCbCr颜色空间以适用现有视频编码标准。与原始视点间参考图像相比,经过补偿后的视点间参考图像与当前编码图像更为相似,从而提高了MVC的编码效率。此外,颜色补偿模型参数可以分别从编码端和解码端推导得出,不需要将其写入码流。实验结果也表明提出的方法能够提高编码的效率和得到更好的视频质量。     

一种宏块帧间预测模式的快速选择算法

人们对视频质量和内容的多样性要求越来越高,传统的二维(2D)图像/视频无法满足人们的需求,能够提供三维(3D)视觉的立体/多视点视频技术越来越受到学术界和工业界的重视。多视点视频编码技术已经成为当前视频研究领域的热点之一。与单视点视频相比,多视点视频可以更加生动地再现现实场景,给人们提供身临其境的感觉,与此同时,巨大的数据量成为制约其广泛应用的瓶颈。因此,如何提高多视点视频的压缩编码效率成为多视点视频编码技术的主要目标,其中,由HHI组织提出的JMVM编码方案采用了视点间预测和时域预测相结合的预测结构,取得了出色的编码效率,这种预测结构被JVT选为MVC的参考预测结构。然而,采用多视点视频(MVC)参考预测结构的JMVM方案的计算复杂度很高,为了能够有效地降低MVC的计算复杂度,该文提出了一种高效的MVC预测方法,主要从宏块预测模式快速选择来降低MVC的计算复杂度。该方法对帧间8×8预测模式,16×8、8×16预测模式进行了快速的选择。     

A fast stereoscopic video coding algorithm based on JMVM

In order to exploit the intra-view and inter-view dependencies in stereo video coding, a fast joint motion and disparity estimation algorithm is proposed in this paper. An efficient search strategy based on the motion-disparity constraint is developed, in which both the motion and disparity vectors can be obtained simultaneously with low complexity. Moreover, a credible initial predictive vector set is designed with the aid of the temporal and spatial neighboring blocks so that the coding efficiency can be ...     

立体视频编码中运动和视差联合估计算法的研究

立体视频编码不仅要在同一个视点间进行运动估计,还要在相邻视点间进行视差估计,计算复杂度非常高.如何有效地结合运动估计和视差估计,降低运算复杂度是当前亟待解决的问题.本文详细分析了立体视频左右通道视频流之间的相关性,提出一种运动和视差联合估计快速算法.根据运动—视差模型,结合时空域的多参考帧来进行联合的运动和视差估计,实现对数据的有效编码压缩.实验证明,该算法与传统的全搜索算法相比,能在保证率失真性能基本不变的前提下,降低96.45%的运算复杂度,大大提高编码速度.     

灵活的多视点视频编码预测结构

多视点视频的时空相关性不仅随着序列的变化而改变,而且视频序列内的相关性特征随着时间的推移也会发生变化,固定的预测结构难以适应复杂情况下多视点视频编码的各种要求。在分析分层B帧预测结构和多视点视频图像中当前帧及其参考帧之间时间相关性和视点间相关性的基础上,提出一种灵活的预测编码结构,根据该多视点视频的时间及视点间相关关系和当前帧与其时间参考帧之间的距离来确定该帧是否采用耗时的视点间预测。实验结果表明,与分层B帧的改进算法——可扩展性预测结构多视点编码算法相比,本文算法在保证编码效率基本不变的前提下,编码复杂度降低了约45%,随机访问性能提高28%,解码图像缓冲区要求降低46%左右。     

利用时空相关性的HEVC帧内编码块快速划分

目的 为了提升高效视频编码（HEVC）的编码效率,使之满足高分辨率、高帧率视频实时编码传输的需求。由分析可知帧内编码单元（CU）的划分对HEVC的编码效率有决定性的影响,通过提高HEVC的CU划分效率,可以大大提升HEVC编码的实时性。方法 通过对视频数据分析发现,视频数据具有较强的时间、空间相关性,帧内CU的划分结果也同样具有较强的时间和空间相关性,可以利用前一帧以及当前帧CU的划分结果进行预判以提升帧内CU划分的效率。据此,本文给出一种帧内CU快速划分算法,先根据视频相邻帧数据的时间相关性和帧内数据空间相关性初步确定当前编码块的编码树单元（CTU）形状,再利用前一帧同位CTU平均深度、当前帧已编码CTU深度以及对应的率失真代价值决定当前编码块CTU的最终形状。算法每间隔指定帧数设置一刷新帧,该帧采用HM16.7模型标准CU划分以避免快速CU划分算法带来的误差累积影响。结果 利用本文算法对不同分辨率、不同帧率的视频进行测试,与HEVC的参考模型HM16.7相比,本文算法在视频编码质量基本不变,视频码率稍有增加的情况下平均可以节省约40%的编码时间,且高分辨率高帧率的视频码率增加幅度普遍小于低分辨率低帧率的视频码率。结论 本文算法在HEVC的框架内,利用视频数据的时间和空间相关性,通过优化帧内CU划分方法,对提升HEVC编码,特别是提高高分辨率高帧率视频HEVC编码的实时性具有重要作用。     

Hybrid scheme for efficient shape coding

A contour-based scheme for near lossless shape coding is proposed aiming to acquire high coding efficiency. For a given shape image, object contours are firstly extracted and then thinned to be perfect single-pixel width. Next they are transformed into chain-based representation and divided into different chain segments based on link directions. Thirdly, two fundamental coding modes are designed and developed to encode different types of chain segments, where the spatial correlations within object contours are analyzed and exploited to improve the coding efficiency as high as possible. Finally, a fast and efficient mode selection method is introduced to select the one that can produce shorter code length out of the two modes for each chain segment. Experiments are conducted and the results show that the proposed scheme is considerably more efficient than the existing techniques.     

一种自适应选取参考帧的多视点视频编码方案

多视点视频是目前视频编码的研究热点之一。为了提高多视点视频的压缩率和视觉质量,本文提出了一种自适应地选取B帧作为参考帧的编码方案。通过将相邻的两个P帧或I帧间的残差与两个预先定义的阈值进行比较,该方案自适应地选取B帧作为参考帧,从而获得较好的压缩效率和视觉效果。该方案采用H.264/AVC的编码器JM实现,并取得了预期的测试结果。     

Modified intelligent scissors and adaptive frame skipping for video object segmentation

MPEG-4 introduces the concept of video object to support content-based functionalities. Video object segmentation is a crucial step for object-based coding and manipulation. In this paper, a robust semi- automatic video object segmentation scheme is proposed. To efficiently and accurately define the initial object contour, modified intelligent scissors is proposed on the basis of original intelligent scissors. It can improve about 6–8 times the processing speed with only slight sacrifice of accuracy, which just meets the requirements of initial object extraction for semi-automatic approach. To avoid errors accumulating and propagating during object tracking, an adaptive frame skipping scheme is proposed to decompose video sequence into video clips. For rigid and non-rigid video objects, two different image segmentation algorithms are utilized, and then region-based backward projection technique is adopted to interpolate the video object plane (VOPs) of other frames within every video clip. The proposed approach can cope with occlusion/disocclusion problem to most extent. Experimental results demonstrate the effectiveness and robustness of the method.     

立体视频编码中的目标分割与立体匹配算法

视频目标分割与立体匹配是目标基立体视频编码中的核心技术.首先在单通道视频目标分割的基础上提出一种轮廓跟踪匹配算法,以提取立体视频目标对,然后提出一种基于目标的视差估计算法.它以具有特征信息的像素为匹配基元,结合视差匹配约束进行视差估计,克服了传统块匹配算法视差场不连续、视差精度差的缺点,可以获得较为精确和平滑的视差场.