联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

3D-HEVC深度图像快速帧内编码方法

目的 新一代3D视频采用了多视点加深度图像的格式,其编码测试模型3D-HEVC(3D高效视频编码)为深度图像引入了一些新的编码技术,包括深度模型模式、分段直流(DC)残差编码模式和帧内跳过模式等,但是同时也显著地增加了帧内编码器的复杂度,严重制约了3D视频的实时应用,因此本文提出了一种深度图像帧内模式选择方法。方法 首先,分析在分层编码结构中,父层帧内模式和子层帧内模式的关系,并依据父层的帧内模式对子层的候选模式进行修剪;其次,通过分析粗略候选帧内模式,把当前块分为平滑块、方向块和边界块,并根据不同块进行候选帧内模式的选择。结果 与高效3D视频编码标准的测试模型相比,本文的深度图像帧内模式选择方法可以节省约44%的编码时间。本文方法有效地减少了计算率失真代价的候选帧内模式数目,从而降低了帧内编码器的复杂度。结论 该方法能在保证虚拟视点质量的前提下,有效地降低深度图像帧内编码的复杂度。     

结合随机森林的FVC帧内编码单元快速划分

目的 未来视频编码（FVC）是在高效视频编码标准（HEVC）的基础上提出的新一代编码技术,复杂度极高。针对现有的基于HEVC的快速编码方法不适用于FVC中的四叉树加二叉树编码结构或节省时间有限的问题,提出了一种结合随机森林的FVC帧内编码单元（CU）快速划分算法。方法 针对FVC中的四叉树加二叉树结构进行优化。首先,提取视频编码过程中的各CU的图像纹理特征和划分结果;然后,分别使用各划分深度下的纹理特征和划分结果进行在线训练,建立多个随机森林模型,不同深度的CU对应不同的模型;最后,使用模型对视频其余帧的CU进行划分结果预测,从而减少了划分模式遍历和率失真代价计算的次数,节省了编码时间。结果 实验结果表明,与原始平台算法相比,本文算法能够节省44.1%的时间,在相同峰值信噪比的情况下,比特率仅上升2.6%;与当前先进的方法相比,能进一步节省20%以上的时间。结论 通过提取图像的纹理特征,建立随机森林模型,对CU划分结果进行预测,在保证编码率失真性能的前提下,有效地降低了FVC的帧内CU划分复杂度。     

基于纹理特征的HEVC帧内编码快速算法

为了降低高效视频编码（HEVC）帧内编码的复杂度,提出了一种基于编码块纹理特征的帧内编码快速算法.首先,对当前编码单元（CU）进行预处理,获取CU的纹理复杂程度和方向特性.其次,根据纹理复杂度决定部分CU是否划分,跳过率失真代价计算,减少不必要的划分与裁剪.然后,根据纹理方向减少帧内预测模式的数量,降低帧内预测过程的复杂度.实验结果表明,在全I帧模式下快速算法与HM10.0相比,码率（BR）上升0.649%,峰值信噪比（PSNR）降低0.059 dB,帧内编码时间平均减少56.18%.     

3D-HEVC深度图帧内快速模式决策算法

3D-HEVC是多视点纹理加深度视频（MVD）的最新编码标准。针对3D-HEVC中深度图帧内编码过程计算复杂度高的问题,提出了一种减少帧内候选模式数目的快速模式决策算法。该算法基于最佳预测模式与粗选模式列表首位模式与之间的相关性,选择成为最佳预测模式概率较高的几种HEVC帧内预测模式加入到粗选模式列表中。实验结果表明,与原始HTM13.0相比,该算法使得深度图的编码时间减少26.35%,而引起的合成视点的失真忽略不计。     

基于背景帧的监控和会议视频帧间快速算法

为降低高性能视频编码（High Efficiency Video Coding,HEVC）中监控和会议视频的编码复杂度,减少编码时间,提出了一种基于虚拟背景帧的监控和会议视频帧间编码的快速编码单元（Coding Unit,CU）划分和预测单元（Prediction Unit,PU）模式选择算法。对原始视频序列进行像素统计分析生成虚拟背景帧,利用生成的虚拟背景帧对CU分类。通过分析不同类别的CU继续划分的比例和其纹理复杂度,快速决策当前CU的划分和PU的模式类型。这种利用虚拟背景帧做判决的算法通过减少CU深度和PU模式遍历而降低编码复杂度,达到快速帧间编码的效果。实验结果表明,与HM16.9相比,该算法在峰值信噪比（Peak Signal-to-Noise Ratio,PSNR）平均下降0.07 dB和码率平均增加1.93%的情况下,能平均减少33.31%的编码时间。     

利用时空相关性的HEVC帧内编码块快速划分

目的 为了提升高效视频编码（HEVC）的编码效率,使之满足高分辨率、高帧率视频实时编码传输的需求。由分析可知帧内编码单元（CU）的划分对HEVC的编码效率有决定性的影响,通过提高HEVC的CU划分效率,可以大大提升HEVC编码的实时性。方法 通过对视频数据分析发现,视频数据具有较强的时间、空间相关性,帧内CU的划分结果也同样具有较强的时间和空间相关性,可以利用前一帧以及当前帧CU的划分结果进行预判以提升帧内CU划分的效率。据此,本文给出一种帧内CU快速划分算法,先根据视频相邻帧数据的时间相关性和帧内数据空间相关性初步确定当前编码块的编码树单元（CTU）形状,再利用前一帧同位CTU平均深度、当前帧已编码CTU深度以及对应的率失真代价值决定当前编码块CTU的最终形状。算法每间隔指定帧数设置一刷新帧,该帧采用HM16.7模型标准CU划分以避免快速CU划分算法带来的误差累积影响。结果 利用本文算法对不同分辨率、不同帧率的视频进行测试,与HEVC的参考模型HM16.7相比,本文算法在视频编码质量基本不变,视频码率稍有增加的情况下平均可以节省约40%的编码时间,且高分辨率高帧率的视频码率增加幅度普遍小于低分辨率低帧率的视频码率。结论 本文算法在HEVC的框架内,利用视频数据的时间和空间相关性,通过优化帧内CU划分方法,对提升HEVC编码,特别是提高高分辨率高帧率视频HEVC编码的实时性具有重要作用。     

利用纹理和空间相关性的HEVC帧内预测模式选择

目的 提出一种结合图像纹理方向和空间相关性的高效视频编码（HEVC）帧内模式选择快速算法,减少粗模式选择过程的候选模式数目,加快帧内模式选择速度。方法 首先,使用Sobel算子获得当前预测单元（PU）的纹理方向,利用此纹理方向选取相应的角度预测模式组成粗模式选择的候选模式列表;另外,利用图像的空间相关性,将相邻预测单元的最优帧内预测模式添加到候选模式列表中。结果 本文算法将粗模式选择过程的候选模式数目从35种减少到不超过10种,比特率升高0.41%,峰值信噪比下降0.0314 dB,编码时间缩短了34.9%。结论 实验结果显示,在保持编码质量基本不变的情况下,此算法明显减少了粗模式选择过程的预测模式数量,提高了HEVC的编码效率。     

一种新的HEVC快速帧间预测单元模式判决算法

针对HEVC中帧间预测模式判断所带来的高复杂度计算,根据视频时域上高度相关性的特点,提出了一种减少AMVP模式执行次数的低计算复杂度的快速帧间预测模式判决的方法。基于相邻帧的相同位置编码单元(CU)的预测单元(PU)模式上的时域相关性,跳过当前PU模式选择过程中一些冗余的AMVP模式的计算,以此来降低编码的复杂度。实验结果表明,在编码效率和峰值信噪比(PSNR)损失很小的情况下,比现有HEVC帧间预测算法减少了33.04%的编码时间。     

利用运动信息及率失真代价的HEVC帧间快速算法

针对高效视频编码（HEVC）帧间预测过程所引入较高的复杂度,分别提出提前决策skip模式,编码单元（CU）提前终止分割以及变换单元（TU）提前终止分割。首先,根据自然视频序列多采用skip模式,利用当前块和空间相邻块的已编码信息提前决定skip模式;其次,为了避免编码不必要的深度,利用先前已编码块的率失真代价（rdcost）决策[CU]提前终止分割;最后,利用当前预测残差块的纹理复杂度决策TU的提前终止分割。实验结果表明,提出的算法最终可以节省编码时间43.78%,同时造成bj?ntegaard delta bit rate（BDBR）的损失为1.675%。通过实验数据的比较,在对视频质量的影响忽略不计的情况下,能够很大程度上减少复杂度。     

高效率视频编码快速帧内预测算法

针对高效率视频编码(HEVC)帧内预测过程中,编码单元四叉树划分算法计算复杂度极高的问题,提出一种基于多重纹理特征的HEVC帧内编码单元快速划分算法,该算法能够缩小划分的深度区间。首先,使用自定义的纹理提取方法提取出编码单元中的多重纹理特征;其次,使用支持向量机(SVM)对多重纹理特征参数进行训练,得出决策函数;最后,根据决策函数,跳过前面不必要的划分和提前终止划分。实验结果表明,同原始HM 12.0相比,快速划分算法编码时间平均减少43.23%,码率平均增加0.84%,明显提高了帧内编码效率。此外,所提算法容易与其他算法进行融合,进一步降低HEVC的帧内计算复杂度。     

面向CPU-GPU平台的HEVC编码器优化

针对CPU-GPU平台提供了一种能显著降低高效视频编码(high efficiency video coding,简称HEVC)复杂度的优化方案.根据编码器的复杂度分布及不同模块的特点,针对帧内预测、帧间预测以及环路滤波分别进行了优化.在帧内预测中,基于相邻编码单元(coding unit,简称CU)之间的相关性,提出了一种CU的深度决策方法以及一种减少率失真优化(RDO)的模式数量的方法,降低了帧内编码的复杂度.在帧间预测中,提出将耗时最大的运动估计模块完善在图形处理单元(GPU)上,通过中央处理单元(CPU)和GPU的流水线工作获得了明显的加速,并基于预测残差的能量提出了一种编码单元提前终止划分的方法,有效降低了帧间编码复杂度.在环路滤波中,提出了一种GPU端的自适应样本点补偿(sample adaptive offset,简称SAO)参数决策方法及去块滤波方法,有效分担了CPU端的复杂度.上述优化实现在HM16.2上,实验结果表明,提出的优化方案可以获得高达68%的编码复杂度节省,而平均性能损失仅为0.5%.     

基于纹理特性与空域相关的高效视频编码帧内分级快速算法

为了降低高效视频编码(HEVC)标准的编码复杂度,提出一种基于纹理特性与空域相关性的帧内分级快速算法。首先,采用最大编码单元(LCU)级的快速算法,通过利用相邻LCU的编码深度值加权预测得到当前LCU的预测深度,并利用块标准差和自适应阈值策略确定当前LCU的纹理复杂度,将当前LCU的预测深度和纹理复杂度相结合来预测当前LCU的最有可能深度范围(MPDR);其次,采用编码单元(CU)级的深度判决快速算法(CUDD-FA),将基于边缘图的CU深度预判策略和基于率失真(RD)代价相关性的CU提前中止策略相结合,实现了CU级深度的提前确定,进一步降低了帧内编码复杂度。与原始HEVC算法相比,所提算法在全I帧编码模式下编码时间平均减少41.81%,BD-rate(Bjøntegaard Delta bit rate)仅上升0.74%,BDPSNR(Bjøntegaard Delta Peak Signal-to-Noise Rate)仅降低0.038 dB;与代表性文献算法相比,所提算法在编码时间节省更多的情况下率失真性能更好。实验结果表明,在率失真性能损失可以忽略不计的前提下,所提算法能有效降低HEVC帧内编码复杂度,特别是高分辨率视频序列,有利于HEVC的实时视频应用。     

Fast CU size decision and mode decision algorithm for intra prediction in HEVC

In the intra prediction process, High Efficiency Video Coding (HEVC) provides a quadtree-based coding unit (CU) block partitioning structure and up to 35 kinds of prediction modes to improve the coding performance. These technologies improve the coding efficiency significantly while the coding complexity is simultaneously increased rapidly as well. In this paper, a novel fast CU size decision and mode decision algorithm is proposed for the intra prediction of HEVC. The overall algorithm consists of two processes, the fast CU size decision and fast mode decision. In the fast CU size decision process, we adopt an adaptive discretization total variation (DTV) threshold-based CU size determination algorithm to skip some specific depth levels. In the fast mode decision process, an orientation gradient-based mode decision is proposed to reduce the candidate modes involved in the rough mode decision (RMD) and the rate distortion optimization (RDO) process. The experimental results on the HEVC reference software HM demonstrate that the proposed algorithm can significantly reduce the coding time with negligible performance loss.     

An Effective CU Depth Decision Method for HEVC Using Machine Learning

This paper presents an effective machine learning-based depth selection algorithm for CTU (Coding Tree Unit) in HEVC (High Efficiency Video Coding). Existing machine learning methods are limited in their ability in handling the initial depth decision of CU (Coding Unit) and selecting the proper set of input features for the depth selection model. In this paper, we first propose a new classification approach for the initial division depth prediction. In particular, we study the correlation of the texture complexity, QPs (quantization parameters) and the depth decision of the CUs to forecast the original partition depth of the current CUs. Secondly, we further aim to determine the input features of the classifier by analysing the correlation between depth decision of the CUs, picture distortion and the bit-rate. Using the found relationships, we also study a decision method for the end partition depth of the current CUs using bit-rate and picture distortion as input. Finally, we formulate the depth division of the CUs as a binary classification problem and use the nearest neighbor classifier to conduct classification. Our proposed method can significantly improve the efficiency of inter-frame coding by circumventing the traversing cost of the division depth. It shows that the mentioned method can reduce the time spent by 34.56% compared to HM-16.9 while keeping the partition depth of the CUs correct.