联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

Motion and disparity vectors early determination for texture video in 3D-HEVC

3D-HEVC is the state-of-the-art video coding standard for 3D video, and it is an extension of high efficiency video coding (HEVC) standard. Besides the original HEVC coding tools, 3D-HEVC adopts some advanced coding tools, such as disparity vector (DV), inter-view prediction and inter-component prediction. However, these advanced tools lead to extremely high encoding complexity at the same time, thus it cannot be well applied in real-time multimedia systems. In this paper, we propose a motion and disparity vectors early determination algorithm to reduce 3D-HEVC computational complexity. First, based on the statistical analyses, the spatial and temporal motion vector (MV) candidates are adaptively reduced for the prediction unit (PU) with the Merge mode. Then, for the PU with the Inter mode, the combination of spatial and temporal candidates is used to early determine the final MV. Finally, an adaptive optimization algorithm is adopted to select the valid inter-view disparity vectors (DV) candidates. Moreover, if the difference between candidate vectors is within a conditional range, current PU will be encoded with the Merge mode to skip unnecessary coding process. Experimental results show that for the texture views encoding, the proposed algorithm achieves an average of 33.03% encoding time saving, and an average of 0.47% BD-Rate increases.

     

3D-HEVC深度图像快速帧内编码方法

目的 新一代3D视频采用了多视点加深度图像的格式,其编码测试模型3D-HEVC(3D高效视频编码)为深度图像引入了一些新的编码技术,包括深度模型模式、分段直流(DC)残差编码模式和帧内跳过模式等,但是同时也显著地增加了帧内编码器的复杂度,严重制约了3D视频的实时应用,因此本文提出了一种深度图像帧内模式选择方法。方法 首先,分析在分层编码结构中,父层帧内模式和子层帧内模式的关系,并依据父层的帧内模式对子层的候选模式进行修剪;其次,通过分析粗略候选帧内模式,把当前块分为平滑块、方向块和边界块,并根据不同块进行候选帧内模式的选择。结果 与高效3D视频编码标准的测试模型相比,本文的深度图像帧内模式选择方法可以节省约44%的编码时间。本文方法有效地减少了计算率失真代价的候选帧内模式数目,从而降低了帧内编码器的复杂度。结论 该方法能在保证虚拟视点质量的前提下,有效地降低深度图像帧内编码的复杂度。     

3D-HEVC深度图帧内快速模式决策算法

3D-HEVC是多视点纹理加深度视频（MVD）的最新编码标准。针对3D-HEVC中深度图帧内编码过程计算复杂度高的问题,提出了一种减少帧内候选模式数目的快速模式决策算法。该算法基于最佳预测模式与粗选模式列表首位模式与之间的相关性,选择成为最佳预测模式概率较高的几种HEVC帧内预测模式加入到粗选模式列表中。实验结果表明,与原始HTM13.0相比,该算法使得深度图的编码时间减少26.35%,而引起的合成视点的失真忽略不计。     

Complexity scalability for real-time HEVC encoders

The high efficiency video coding (HEVC) standard achieves improved compression efficiency in comparison to previous standards at the cost of much higher computational complexity and consequently longer processing times, which may compromise real-time software-based video encoding, especially at high resolutions. This article addresses the problem of enabling complexity scalability in HEVC encoders by trading-off processing time for rate–distortion (R–D) performance in a controlled manner. The proposed method is based on dynamic constraining of HEVC coding treeblocks (CTBs) by limiting the prediction block (PB) shapes and the maximum tree depth used in each CTB, to decrease the number of R–D evaluations performed in the optimization process. The complexity-scalable encoder is capable of adjusting the processing time used in each group of pictures, according to a predefined target. The results show that processing times can be scaled down to 50 % with negligible R–D performance losses and down to 20 % at a maximum BD-PSNR decrease of 1.41 dB, which is acceptable in many applications and in power constrained devices. The simplicity of the scaling algorithm and the possibility of continuous adjustment of the scaling factor make it amenable to control real-time software-based HEVC video encoders.     

3D-HEVC深度图帧内预测快速算法

目的 多视点纹理加深度视频（MVD）格式逐渐成为立体视频的主流表现形式之一。新一代高效率立体视频编码（3D-HEVC）继承了HEVC的编码结构并引入一些新的编码技术,导致深度图帧内编码过程具有较高的计算复杂度。针对这一问题,提出了一种深度图帧内编码快速算法。方法 本文算法利用深度图的特征分别对CU分割过程和粗略模式选择（RMD）过程进行优化。首先在四叉树编码结构上,利用基于纹理元的图像分析方法计算编码单元的梯度矩阵,若梯度矩阵中的梯度值之和小于给定的阈值,则终止该CU的分割进程。同时,对大尺寸的PU和小尺寸的PU分别利用纹理特征与粗略模式选择过程中Planar和DC进行低复杂度率失真计算后的最小率失真代价,跳过RMD中角度模式的检查过程。结果 实验结果表明,与原始算法相比,本文算法平均节省40.64%的深度图编码时间,而合成视点的平均比特率仅仅增加了0.17%。本文算法不仅能对平坦的CU跳过不必要的深度决策过程,而且有效地减少了RMD中需要遍历的模式数目,提高了编码器的效率。结论 该算法对CU分割进程和粗略模式选择过程都进行优化,在合成视点的视频质量几乎不变的前提下,有效降低了深度图的帧内编码复杂度。     

基于纹理特性与空域相关的高效视频编码帧内分级快速算法

为了降低高效视频编码(HEVC)标准的编码复杂度,提出一种基于纹理特性与空域相关性的帧内分级快速算法。首先,采用最大编码单元(LCU)级的快速算法,通过利用相邻LCU的编码深度值加权预测得到当前LCU的预测深度,并利用块标准差和自适应阈值策略确定当前LCU的纹理复杂度,将当前LCU的预测深度和纹理复杂度相结合来预测当前LCU的最有可能深度范围(MPDR);其次,采用编码单元(CU)级的深度判决快速算法(CUDD-FA),将基于边缘图的CU深度预判策略和基于率失真(RD)代价相关性的CU提前中止策略相结合,实现了CU级深度的提前确定,进一步降低了帧内编码复杂度。与原始HEVC算法相比,所提算法在全I帧编码模式下编码时间平均减少41.81%,BD-rate(Bjøntegaard Delta bit rate)仅上升0.74%,BDPSNR(Bjøntegaard Delta Peak Signal-to-Noise Rate)仅降低0.038 dB;与代表性文献算法相比,所提算法在编码时间节省更多的情况下率失真性能更好。实验结果表明,在率失真性能损失可以忽略不计的前提下,所提算法能有效降低HEVC帧内编码复杂度,特别是高分辨率视频序列,有利于HEVC的实时视频应用。     

基于梯度的H.265/HEVC帧内预测硬件加速算法研究

HEVC即H.265,是目前最新的视频编码标准。相比于前一代视频编码标准,H.265/HEVC虽然能够明显改善视频压缩效率,但是却带来了更高的计算复杂度,尤其是在帧内预测过程中。为了解决这个问题,提出一种基于梯度的帧内预测硬件加速算法来跳过一些帧内预测模式和划分深度的预测过程,从而达到减少计算的目的。利用图像梯度信息来粗略估计编码单元的纹理方向和纹理复杂度,其中纹理方向用来估计编码单元的最优帧内预测方向,纹理复杂度用来判断是否跳过当前划分深度的预测编码过程。实验表明,相比于H.265/HEVC测试模型HM16.18,本文提出的算法能够减少6059%的编码时间,仅造成0.38 dB的BD PSNR减少和8.52%的BD-Rate增加。     

一种HEVC帧内预测模式快速选择算法

针对HEVC帧内预测模式选择过程计算较为复杂的问题,提出了一种帧内预测模式快速选择算法。在统计实验数据的基础上,针对64[×]64、32[×]32、16[×]16较大尺寸的预测单元类型,采用阈值法筛选掉粗选后可能性较小的预测模式,针对8[×]8、4[×]4较小尺寸的预测单元类型,根据代价值的分布情况,直接筛减或者采用模式梯度直方图法筛选掉粗选后可能性较小的预测模式,从而减少最后进行率失真代价精密计算的帧内预测模式数量,降低帧内编码复杂度。实验结果表明,在保证图像质量和编码码率的情况下,该算法能有效提高HEVC的编码速度,有利于实时应用。     

基于HEVC的帧内预测模式决策和编码单元划分快速算法

针对高效视频编码（HEVC）帧内预测过程中的高计算复杂度问题,提出一种基于纹理特征的预测模式选择和编码单元划分的快速帧内预测算法。利用每一深度层纹理方向强度判断编码单元是否需要进行分割,并且减少候选模式数量。首先,在每一深度层编码单元上结合像素方差,以像素点为单位计算相应的纹理方向强度,确定其纹理复杂度并结合阈值策略预测最终划分深度;其次,比较垂直和水平方向强度关系及统计预测候选模式概率分布,以减少预测模式数量,确定最优候选模式子集,进一步降低编码复杂度。所提算法与平台HM15.0相比,编码时间平均节省51.997%,BDPSNR（Bjontegaard Delta Peak Signal-to-Noise Rate）仅降低0.059 dB,BDBR（Bjontegaard Delta Bit Rate）仅上升了1.018%。实验数据表明,在保证信噪比和比特率基本不变的同时,所提算法能有效降低编码复杂度,利于HEVC的实时视频应用。     

高效视频编码帧内快速深度决策算法

针对新一代高效视频编码（HEVC）帧内预测中编码单元（CU）的编码深度选择过程中计算复杂度较高的问题,提出了一种基于空域相关性的帧内快速深度决策算法。首先,利用相邻已编码树单元（CTU）的深度通过线性加权得到当前CTU深度估计值;然后,对当前CTU深度估计值设置较为合适的深度双阈值提前终止编码树单元的划分或跳过CTU的某些深度,来缩小当前CTU的深度范围,从而减少不必要的深度计算。实验结果表明：与HM12.0相比,所提算法对比较简单的视频序列编码时间的减少比较明显,在亮度峰值信噪比（Y-PSNR）几乎不变的情况下（平均降低0.02 dB）,编码时间平均减少了34.6%。此外,所提算法容易与其他算法进行融合,能进一步降低HEVC的帧内计算复杂度,最终达到实时传送高清视频的目的。     

Real-time scalable hardware architecture for 3D-HEVC bipartition modes

This article presents a real-time scalable hardware architecture for the bipartition modes of 3D high-efficiency video coding (3D-HEVC) standard, which includes the depth modeling modes 1 (DMM-1) and 4 (DMM-4). A simplification of the DMM-1 algorithm was done, removing the refinement step. This simplification causes a small BD-rate increase (0.09 %) with the advantage of better using our hardware resources, reducing the necessary memory required for storing all DMM-1 wedgelet patterns by 30 %. The scalable architecture can be configured to support all the different block sizes supported by the 3D-HEVC and also to reach different throughputs, according to the application requirements. Then, the proposed solution can be efficiently used for several encoding scenarios and many different applications. Synthesis results considering a test case show that the designed architecture is capable of processing HD 1080p videos in real time, but with other configurations, higher resolutions are also possible to be processed.     

一种HEVC帧内编码的快速算法

针对高效视频编码（HEVC）帧内预测复杂度高和耗时长的缺点,提出一种HEVC帧内编码的快速算法。首先根据相邻编码单元的时空域相关性,缩小编码单元深度遍历范围,提前中止或跳过不必要的深度,同时在选择当前编码单元的最佳模式时,根据Planar模式是否可为最佳模式,分别采取不同的方案减少预测模式数量。实验结果表明,与HM10.0相比,提出的算法能在保持编码性能的同时将编码时间减少约30%,加快了帧内编码的速度,具有很好的实用性。     

HEVC帧内预测算法加速设计与实现

新一代视频编码标准获得了较高的编码效率,但同时也增加了计算量。HEVC(High Efficiency Video Coding)并行算法能够提高编码速度,开发适用于多核处理器的并行编码算法对于满足高清视频实时传输和大规模实时共享具有十分重要的意义。分析帧内预测算法在处理像素过程中数据之间的依赖关系,进行基于预测模式的细粒度并行性的设计。块与块之间采用流水线处理,减少帧内预测算法的执行时间。利用动态可编程可重构视频阵列处理器,对帧内预测算法进行验证。实验结果表明,相比于HM16.0官方测试标准,信噪比提高了10%,算法的执行时间减少了大约70%。     

基于边缘建模的纹理深度联合快速三维编码

HEVC的三维视频编码扩展部分（3D-HEVC）引入了视间预测和纹理深度联合预测的工具对相关性较强的纹理、深度视点进行高效编码,同时它沿用了HEVC中的四叉树编码结构和率失真优化来选择最优预测模式和块划分模式,这样导致计算量很大。在3D视频中,纹理图像、深度图像中存在大片较为平坦的纹理区域,深度图像中的平坦区域占比更是达到85%,然而对于平坦区域进行计算量极大的率失真过程是冗余的,针对此问题提出一种基于边缘建模的纹理深度联合快速编码算法。该方法对纹理图像以及深度图像进行边缘建模,对其中的编码单元进行平坦性分析,通过边缘模型中的平坦性和方向性对编码过程进行指导,从而有效地避免了一些冗余的CU深度以及块划分模式的遍历。实验结果表明,在随机访问配置（RA）的情况下,该方法平均降低59.0%的编码时间,而仅在合成视点端带来3.8%性能下降。     

HEVC快速帧内模式决策算法

在高效视频编码(HEVC)标准中,为降低编码单元和预测单元算法的计算复杂度,提出一种基于编码单元纹理和预测单元模式决策的快速帧内预测算法。通过统计编码单元的纹理复杂度,分析编码单元纹理的相关性,设定合理的纹理阈值,快速地决策当前编码单元的大小。改进预测单元模式决策算法,利用三步搜索方法,减少候选模式数量和帧内模式预测时间。算法结合了编码单元和预测单元的特点,仿真结果表明,与HEVC参考软件HM8.0相比,在增加较少码率,降低较少峰值信噪比的情况下,该算法的编码时间平均缩减40.9%,降低了编码复杂度。     

H.264帧内快速模式选择算法

帧内编码是H.264标准的一个重要组成部分,针对原标准的全搜索算法运算复杂度高,不能支持实时视频需要的问题,提出了一种基于模板和双阈值的快速算法,可以有效地减少计算复杂度。实验结果表明该算法可以在信噪比和码率变化不大的情况下,使编码时间平均减少42%。     

Optimization algorithm based on texture feature and frame correlation in HEVC

Newly proposed video standard High Efficiency Video Coding (HEVC) achieves higher compression performance than previous ones. In this paper, we propose a novel algorithm for intra prediction, which scales the complexity of pictures’ texture to perform different levels of simplification on Most Probable Mode(MPM) selection. And the proposed algorithm for inter prediction initializes current Coding Unit(CU) depth information with that information of temporally adjacent frame’s co-located CU. These two proposed algorithms, utilizing the texture feature and correlation of adjacent frames, reduce the computational complexity to improve the efficiency of encoder. The proposed algorithms decrease more than 30 % of encoding time with nearly negligible increment in bit-rate, especially work well when encoding sequences with high definition.     

HEVC快速编码深度选择算法

高效视频编码（High Efficiency Video Coding,HEVC）作为下一代新的视频编码标准,旨在有限网络带宽下传输高质量的网络视频。与现有的视频编码标准相比,高效视频编码具有更高的灵活性和压缩率。编码单元（Coding Unit,CU）是视频编码处理的基本单元,原有的算法通过四叉树递归获取最佳CU深度,在提高视频压缩性能的同时引入了较高的计算复杂度。针对该问题,提出了一种快速编码深度选择算法,该算法利用相邻CU的深度信息计算一个深度预测特征值,通过该特征值进行深度选择,以避免不必要的计算,降低计算复杂度。实验结果表明,该算法在保证视频压缩效果的同时有效降低了计算复杂度。     

Boundary correlation-based intracoding for SHVC algorithm and its efficient VLSI architecture

Scalable high-efficiency video coding (SHVC) can provide variable video quality according to terminal devices. However, a computational complexity of SHVC is increased by introducing new techniques based on high-efficiency video coding (HEVC). In this paper, a hardware-oriented low complexity algorithm is proposed for the reference software of SHVC (SHM11.0). In our proposed algorithm, an optimal coding unit depth is determined by analyzing the boundary correlation in a coding tree unit before encoding starts. Simulation results show that the proposed algorithm can achieve over 62% computation complexity reduction comparing to the original SHM11.0. Compared with other related work, over 11% time saving has been achieved without PSNR loss. Moreover, to confirm the efficacy of the proposed algorithm, a hardware architecture is designed targeting on the CU depth decision algorithm. Synthesis results show that the hardware cost is about 1.8K gate and achieve a scalable working clock frequency in the case of FPGA (CycloneV) implementation.