联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

基于纹理特性与空域相关的高效视频编码帧内分级快速算法

为了降低高效视频编码(HEVC)标准的编码复杂度,提出一种基于纹理特性与空域相关性的帧内分级快速算法。首先,采用最大编码单元(LCU)级的快速算法,通过利用相邻LCU的编码深度值加权预测得到当前LCU的预测深度,并利用块标准差和自适应阈值策略确定当前LCU的纹理复杂度,将当前LCU的预测深度和纹理复杂度相结合来预测当前LCU的最有可能深度范围(MPDR);其次,采用编码单元(CU)级的深度判决快速算法(CUDD-FA),将基于边缘图的CU深度预判策略和基于率失真(RD)代价相关性的CU提前中止策略相结合,实现了CU级深度的提前确定,进一步降低了帧内编码复杂度。与原始HEVC算法相比,所提算法在全I帧编码模式下编码时间平均减少41.81%,BD-rate(Bjøntegaard Delta bit rate)仅上升0.74%,BDPSNR(Bjøntegaard Delta Peak Signal-to-Noise Rate)仅降低0.038 dB;与代表性文献算法相比,所提算法在编码时间节省更多的情况下率失真性能更好。实验结果表明,在率失真性能损失可以忽略不计的前提下,所提算法能有效降低HEVC帧内编码复杂度,特别是高分辨率视频序列,有利于HEVC的实时视频应用。     

基于深度信息的多视点视频快速模式选择算法

针对多视点视频编码原始模式选择算法编码复杂度极高的问题,分析多视点视频加深度视频中宏块模式与深度信息间的关系,提出一种基于深度信息的多视点视频快速模式选择算法。结合深度值将三维空间分成远、近、中3个区域分别处理。针对复杂度最高的中距离区域,将全局视差矢量指向的参考视点对应块及其周边宏块采用率最高的模式作为候选模式,提前分离出可能采用大块模式的宏块,利用基于运动信息的深度平坦度动态阈值判定方法确定最终的宏块预测模式。实验结果表明,该算法在基本保证率失真性能的情况下,与全搜索算法相比,可平均节省71.70%的搜索点数,明显降低了编码复杂度。     

结合随机森林的FVC帧内编码单元快速划分

目的 未来视频编码（FVC）是在高效视频编码标准（HEVC）的基础上提出的新一代编码技术,复杂度极高。针对现有的基于HEVC的快速编码方法不适用于FVC中的四叉树加二叉树编码结构或节省时间有限的问题,提出了一种结合随机森林的FVC帧内编码单元（CU）快速划分算法。方法 针对FVC中的四叉树加二叉树结构进行优化。首先,提取视频编码过程中的各CU的图像纹理特征和划分结果;然后,分别使用各划分深度下的纹理特征和划分结果进行在线训练,建立多个随机森林模型,不同深度的CU对应不同的模型;最后,使用模型对视频其余帧的CU进行划分结果预测,从而减少了划分模式遍历和率失真代价计算的次数,节省了编码时间。结果 实验结果表明,与原始平台算法相比,本文算法能够节省44.1%的时间,在相同峰值信噪比的情况下,比特率仅上升2.6%;与当前先进的方法相比,能进一步节省20%以上的时间。结论 通过提取图像的纹理特征,建立随机森林模型,对CU划分结果进行预测,在保证编码率失真性能的前提下,有效地降低了FVC的帧内CU划分复杂度。     

基于纹理特征的HEVC帧内编码快速算法

为了降低高效视频编码（HEVC）帧内编码的复杂度,提出了一种基于编码块纹理特征的帧内编码快速算法.首先,对当前编码单元（CU）进行预处理,获取CU的纹理复杂程度和方向特性.其次,根据纹理复杂度决定部分CU是否划分,跳过率失真代价计算,减少不必要的划分与裁剪.然后,根据纹理方向减少帧内预测模式的数量,降低帧内预测过程的复杂度.实验结果表明,在全I帧模式下快速算法与HM10.0相比,码率（BR）上升0.649%,峰值信噪比（PSNR）降低0.059 dB,帧内编码时间平均减少56.18%.     

基于图形信息的HEVC帧间预测快速算法

由于最新的视频编码标准HEVC（high efficiency video coding）应用四叉树的递归结构进行编码单元的划分,使得帧间预测的过程极为复杂,编码的时间效率比较低下。针对HEVC帧间预测过程,提出了一种基于纹理信息和稳定区域检测的快速算法,旨在检测出相对平坦的区域和随时间变化较稳定的区域,来提前终止四叉树的编码单元的划分。这些平坦或者稳定的区域用较大的编码预测单元就能进行比较准确的运动估计和预测,不需要再进行更小编码预测单元的划分,因此HEVC编码器的时间复杂度大幅度降低。实验结果表明,改进后的算法编码时间平均节省了34%左右,并且造成的视频质量损失非常低,有0.038 dB的PSNR下降和0.56%的码率增加。     

基于纹理四叉树的快速HEVC帧内编码算法

针对高效视频编码(HEVC)中编码单元(CU)进行四叉树递归遍历时间较长的问题,提出一种基于纹理四叉树的快速HEVC帧内编码算法。采用Sobel算子对当前视频图像提取边缘,利用最大类间方差法剔除弱边缘并保留强边缘。通过递归方式对边缘图中的每个64×64单元建立纹理四叉树,使用视频图像的纹理四叉树结构对CU最优分割组合进行预测。对于不同大小的分割单元,无需完全递归遍历所有的CU深度,从而缩小CU搜索范围,节省编码时间。实验结果表明,与HEVC标准算法相比,该算法亮度分量的码率平均增加了0.50%,信噪比和编码时间分别减少了0.03d B和28.70%。     

基于梯度的H.265/HEVC帧内预测硬件加速算法研究

HEVC即H.265,是目前最新的视频编码标准。相比于前一代视频编码标准,H.265/HEVC虽然能够明显改善视频压缩效率,但是却带来了更高的计算复杂度,尤其是在帧内预测过程中。为了解决这个问题,提出一种基于梯度的帧内预测硬件加速算法来跳过一些帧内预测模式和划分深度的预测过程,从而达到减少计算的目的。利用图像梯度信息来粗略估计编码单元的纹理方向和纹理复杂度,其中纹理方向用来估计编码单元的最优帧内预测方向,纹理复杂度用来判断是否跳过当前划分深度的预测编码过程。实验表明,相比于H.265/HEVC测试模型HM16.18,本文提出的算法能够减少6059%的编码时间,仅造成0.38 dB的BD PSNR减少和8.52%的BD-Rate增加。     

基于宏块多相关性的多视点视频编码方法

为降低多视点视频编码( MVC)中过高的计算量,提出基于宏块多相关性的多视点视频编码视间预测与Direct模式提前终止算法。分析MVC参考模型( JMVC)中时域预测和视间预测的特点及Direct模式的分布情况。基于当前宏块的时间和视点之间率失真代价的大小关系判断是否进行视间预测。利用先前已编码宏块的编码模式信息确定是否跳过Direct模式。实验结果表明,同JMVC的全搜索算法相比,该算法能降低编码的计算复杂度,平均可达75.62%,同时保持几乎相同的编码率失真性能。     

3D-HEVC深度图帧内快速模式决策算法

3D-HEVC是多视点纹理加深度视频（MVD）的最新编码标准。针对3D-HEVC中深度图帧内编码过程计算复杂度高的问题,提出了一种减少帧内候选模式数目的快速模式决策算法。该算法基于最佳预测模式与粗选模式列表首位模式与之间的相关性,选择成为最佳预测模式概率较高的几种HEVC帧内预测模式加入到粗选模式列表中。实验结果表明,与原始HTM13.0相比,该算法使得深度图的编码时间减少26.35%,而引起的合成视点的失真忽略不计。     

3D-HEVC深度图帧内预测快速算法

目的 多视点纹理加深度视频（MVD）格式逐渐成为立体视频的主流表现形式之一。新一代高效率立体视频编码（3D-HEVC）继承了HEVC的编码结构并引入一些新的编码技术,导致深度图帧内编码过程具有较高的计算复杂度。针对这一问题,提出了一种深度图帧内编码快速算法。方法 本文算法利用深度图的特征分别对CU分割过程和粗略模式选择（RMD）过程进行优化。首先在四叉树编码结构上,利用基于纹理元的图像分析方法计算编码单元的梯度矩阵,若梯度矩阵中的梯度值之和小于给定的阈值,则终止该CU的分割进程。同时,对大尺寸的PU和小尺寸的PU分别利用纹理特征与粗略模式选择过程中Planar和DC进行低复杂度率失真计算后的最小率失真代价,跳过RMD中角度模式的检查过程。结果 实验结果表明,与原始算法相比,本文算法平均节省40.64%的深度图编码时间,而合成视点的平均比特率仅仅增加了0.17%。本文算法不仅能对平坦的CU跳过不必要的深度决策过程,而且有效地减少了RMD中需要遍历的模式数目,提高了编码器的效率。结论 该算法对CU分割进程和粗略模式选择过程都进行优化,在合成视点的视频质量几乎不变的前提下,有效降低了深度图的帧内编码复杂度。     

Motion and disparity vectors early determination for texture video in 3D-HEVC

3D-HEVC is the state-of-the-art video coding standard for 3D video, and it is an extension of high efficiency video coding (HEVC) standard. Besides the original HEVC coding tools, 3D-HEVC adopts some advanced coding tools, such as disparity vector (DV), inter-view prediction and inter-component prediction. However, these advanced tools lead to extremely high encoding complexity at the same time, thus it cannot be well applied in real-time multimedia systems. In this paper, we propose a motion and disparity vectors early determination algorithm to reduce 3D-HEVC computational complexity. First, based on the statistical analyses, the spatial and temporal motion vector (MV) candidates are adaptively reduced for the prediction unit (PU) with the Merge mode. Then, for the PU with the Inter mode, the combination of spatial and temporal candidates is used to early determine the final MV. Finally, an adaptive optimization algorithm is adopted to select the valid inter-view disparity vectors (DV) candidates. Moreover, if the difference between candidate vectors is within a conditional range, current PU will be encoded with the Merge mode to skip unnecessary coding process. Experimental results show that for the texture views encoding, the proposed algorithm achieves an average of 33.03% encoding time saving, and an average of 0.47% BD-Rate increases.

     

Fast intra prediction algorithm based on texture analysis for 3D-HEVC encoders

The advances in display technologies and the growing popularity of 3D video systems have attracted more consumers for 3D viewing experiences, and, consequently, the demand for storage and transmission of 3D video content is increasing. To cope with this demand, a 3D video extension of high-efficiency video coding (HEVC) standard is being developed and near the final standardization stage. The upcoming 3D-HEVC standard is expected to provide higher encoding efficiency than its predecessors, supporting multiple views with high resolution, at a cost of considerable increase in computational complexity, which can be an obstacle to its use in real-time applications. This article proposes a novel complexity reduction algorithm developed to optimize the 3D-HEVC intra mode decision targeting real-time video processing for consumer devices with limited computational power, such as 3D camcorders and smartphones equipped with multiple cameras and depth acquisition capabilities. The proposed algorithm analyzes the texture frames and depth maps to estimate the orientation of edges present in the prediction unit data, speeding up the intra prediction process and reducing the 3D-HEVC encoding processing time. Experimental results demonstrate that the proposed algorithm can save 26 % in computational complexity on average with negligible loss of encoding efficiency. This solution contributes to make more feasible the compression of 3D videos targeting real-time applications in power-constrained devices.     

3D-HEVC深度图像快速帧内编码方法

目的 新一代3D视频采用了多视点加深度图像的格式,其编码测试模型3D-HEVC(3D高效视频编码)为深度图像引入了一些新的编码技术,包括深度模型模式、分段直流(DC)残差编码模式和帧内跳过模式等,但是同时也显著地增加了帧内编码器的复杂度,严重制约了3D视频的实时应用,因此本文提出了一种深度图像帧内模式选择方法。方法 首先,分析在分层编码结构中,父层帧内模式和子层帧内模式的关系,并依据父层的帧内模式对子层的候选模式进行修剪;其次,通过分析粗略候选帧内模式,把当前块分为平滑块、方向块和边界块,并根据不同块进行候选帧内模式的选择。结果 与高效3D视频编码标准的测试模型相比,本文的深度图像帧内模式选择方法可以节省约44%的编码时间。本文方法有效地减少了计算率失真代价的候选帧内模式数目,从而降低了帧内编码器的复杂度。结论 该方法能在保证虚拟视点质量的前提下,有效地降低深度图像帧内编码的复杂度。     

Energy-aware scheme for the 3D-HEVC depth maps prediction

This paper presents an energy-aware scheme to reduce the energy consumption on the 3D high-efficiency video coding (3D-HEVC) depth maps prediction. Besides, a qualitative discussion is presented for intra- and inter-frame predictions that conduced to the proposition of a simple energy-aware scheme. Through our analysis, the HEVC intra-prediction is applied over homogeneous regions, whereas bipartition modes are preferred to encode edge regions. Based on this fact, the Simplified Edge Detector (SED) is proposed to employ a fast intra-mode decision. The SED anticipates the blocks that are likely to be better predicted by the HEVC intra-prediction, avoiding evaluations of bipartition modes. On inter-prediction, the TZ Search (TZS) is employed in the 3D-HEVC reference software (HTM) to encode both texture frames and depth maps. However, considering the depth maps properties, lightweight fast algorithms should be considered instead of TZS. Thus, fast algorithms such as Diamond Search, Small Diamond Search (SDSP), and One-at-a-Time Search were evaluated in this paper, aiming to reduce the complexity and energy, whereas sustaining good coding efficiency. By analyzing the depth channel, this scheme (considering intra- and inter-predictions) is able to provide an encoding time reduction of 21.2–23.1 %. As drawback, the combined solution increases the BD-rate in 0.62–0.87 %, in the synthesized views. When considering general-purpose processors, our solution is capable of providing a reduction in the energy consumption ranging between 9.85 and 10.41 %, according to our software analysis using the running average power limit. By using the SDSP combined of SED algorithm instead of HTM-10.2 baseline solution, it is possible to achieve a reduction of about 54 % in the energy consumption, and about 1.8 times in the power dissipation, when running on a dedicated hardware design. Considering that depth maps are only used for view synthesis, a subjective quality assessment was performed using synthesized views, and the results demonstrate that our solution presents minimum quality losses.     

利用运动信息及率失真代价的HEVC帧间快速算法

针对高效视频编码（HEVC）帧间预测过程所引入较高的复杂度,分别提出提前决策skip模式,编码单元（CU）提前终止分割以及变换单元（TU）提前终止分割。首先,根据自然视频序列多采用skip模式,利用当前块和空间相邻块的已编码信息提前决定skip模式;其次,为了避免编码不必要的深度,利用先前已编码块的率失真代价（rdcost）决策[CU]提前终止分割;最后,利用当前预测残差块的纹理复杂度决策TU的提前终止分割。实验结果表明,提出的算法最终可以节省编码时间43.78%,同时造成bj?ntegaard delta bit rate（BDBR）的损失为1.675%。通过实验数据的比较,在对视频质量的影响忽略不计的情况下,能够很大程度上减少复杂度。     

高效率视频编码快速帧内预测算法

针对高效率视频编码(HEVC)帧内预测过程中,编码单元四叉树划分算法计算复杂度极高的问题,提出一种基于多重纹理特征的HEVC帧内编码单元快速划分算法,该算法能够缩小划分的深度区间。首先,使用自定义的纹理提取方法提取出编码单元中的多重纹理特征;其次,使用支持向量机(SVM)对多重纹理特征参数进行训练,得出决策函数;最后,根据决策函数,跳过前面不必要的划分和提前终止划分。实验结果表明,同原始HM 12.0相比,快速划分算法编码时间平均减少43.23%,码率平均增加0.84%,明显提高了帧内编码效率。此外,所提算法容易与其他算法进行融合,进一步降低HEVC的帧内计算复杂度。