基于深度预测的HEVC编码单元快速划分算法

高效视频编码HEVC(High Efficiency Video Coding)采用计算复杂度较高的率失真优化方法对编码单元CU(Coding Unit)划分进行判决,具有较高的时间复杂度,编码所需时间较长。为降低HEVC编码复杂度,加快编码速度,提出一种基于深度预测的CU快速划分算法。首先依据当前CU与周围相邻CU和参考帧中当前位置CU的深度相关性,预测当前CU的最优深度,然后使用相邻相关分割法或依据当前CU深度和预测深度的关系对当前CU进行递归划分。为减少预测带来的误判,在CU深度级别由2级到3级的划分中,使用率失真或百分比的方式进行二次判定。实验结果表明,该算法与原始的HEVC编码方法相比,在亮度峰值信噪比减小0.07 d B,编码比特率增加0.88%的情况下,整体编码单元划分时间缩短37.7%,具有较高的时间效率。     

基于背景帧的监控和会议视频帧间快速算法

为降低高性能视频编码（High Efficiency Video Coding,HEVC）中监控和会议视频的编码复杂度,减少编码时间,提出了一种基于虚拟背景帧的监控和会议视频帧间编码的快速编码单元（Coding Unit,CU）划分和预测单元（Prediction Unit,PU）模式选择算法。对原始视频序列进行像素统计分析生成虚拟背景帧,利用生成的虚拟背景帧对CU分类。通过分析不同类别的CU继续划分的比例和其纹理复杂度,快速决策当前CU的划分和PU的模式类型。这种利用虚拟背景帧做判决的算法通过减少CU深度和PU模式遍历而降低编码复杂度,达到快速帧间编码的效果。实验结果表明,与HM16.9相比,该算法在峰值信噪比（Peak Signal-to-Noise Ratio,PSNR）平均下降0.07 dB和码率平均增加1.93%的情况下,能平均减少33.31%的编码时间。     

HEVC快速编码深度选择算法

高效视频编码（High Efficiency Video Coding,HEVC）作为下一代新的视频编码标准,旨在有限网络带宽下传输高质量的网络视频。与现有的视频编码标准相比,高效视频编码具有更高的灵活性和压缩率。编码单元（Coding Unit,CU）是视频编码处理的基本单元,原有的算法通过四叉树递归获取最佳CU深度,在提高视频压缩性能的同时引入了较高的计算复杂度。针对该问题,提出了一种快速编码深度选择算法,该算法利用相邻CU的深度信息计算一个深度预测特征值,通过该特征值进行深度选择,以避免不必要的计算,降低计算复杂度。实验结果表明,该算法在保证视频压缩效果的同时有效降低了计算复杂度。     

针对HEVC编码单元的二分深度划分算法

为了降低高效率视频编码（HEVC）的编码单元（CU）进行四叉树递归遍历的时间,提出一种改进的编码单元快速划分算法.首先,利用帧间时间域的相关性,提取前一帧相同位置CU的最优划分结构,以预测当前CU的划分深度;然后通过改进编码CU结构划分遍历的算法,减少CTU （Coding Tree Unit）四叉树结构的遍历,即从二分深度开始遍历,在每一步遍历之前,判断是否提前终止遍历.实验表明,与HM15.0中的基准划分算法相比,本文算法能够在保证编码性能的同时,降低了55.4%的编码时间,提高了HEVC的编码效率.     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

利用深度学习的HEVC帧内编码单元快速划分算法

新一代视频编码标准高效视频编码(High Efficiency Video Coding,HEVC)中编码单元(Coding Unit,CU)大小不同的特性使得编码效率得到显著提升,但同时带来了极高的计算复杂度.为了去除CU划分中多余的计算从而降低编码复杂度,本文提出了一种利用深度学习的编码单元快速划分算法.首先使用原始视频亮度块及编码信息建立了一个HEVC中CU划分的数据库,用于接下来本文深度学习神经网络的训练.然后,为了更好地贴合编码单元划分的层级结构,本文提出了一种基于Inception模块的神经网络结构,使之内嵌于HEVC编码框架中对编码单元的划分进行提前预测,有效地去除了All Intra配置下中冗余的CU划分计算.实验结果表明,本文提出的算法与HEVC官方测试模型(HM16.12)相比,编码时间平均降低了61.31%,而BD-BR与BD-PSNR仅为1.86%和-0.13dB.     

基于随机森林分类的HEVC帧内CU快速划分算法

针对HEVC帧内编码中递归式四叉树编码单元（Coding Unit,CU）划分引起的高计算复杂度问题,提出了基于随机森林分类（Random Forest Classifier,RFC）的CU快速划分算法。该算法包括模型离线训练和CU快速编码算法两部分。在模型离线训练中,将CU最佳划分结果（+1,－1）作为分类标签,将当前CU的对比度、逆差矩和熵信息作为特征属性,训练RFC模型。在编码时,提取当前CU的特征属性值,利用训练好的RFC模型快速预测当前CU的划分结果。实验结果表明,该算法与HEVC的标准算法相比,在保证编码质量的前提下,平均可以节约45.18%的编码时间。     

基于运动特性的HEVC帧间模式快速决策算法

针对高性能视频编码采用四叉树结构大大增加了编码复杂度的问题,提出了一种基于运动特性的帧间模式快速决策算法。首先,对不同运动区域下的编码单元（Coding Unit,CU）块,利用当前CU与空时域相邻CU深度相关性减少当前CU深度的遍历范围;然后,依据当前CU与其时空域相邻CU及上一深度CU对应的预测单元（Prediction Unit,PU）在空间划分上的相似性,减少PU模式的遍历范围,加速帧间预测过程。实验结果表明,相比于HM16.9,在不同编码接入方式下该算法可平均降低54%左右的编码时间,且输出比特率增加较少。     

基于纹理特征的HEVC帧内编码快速算法

为了降低高效视频编码（HEVC）帧内编码的复杂度,提出了一种基于编码块纹理特征的帧内编码快速算法.首先,对当前编码单元（CU）进行预处理,获取CU的纹理复杂程度和方向特性.其次,根据纹理复杂度决定部分CU是否划分,跳过率失真代价计算,减少不必要的划分与裁剪.然后,根据纹理方向减少帧内预测模式的数量,降低帧内预测过程的复杂度.实验结果表明,在全I帧模式下快速算法与HM10.0相比,码率（BR）上升0.649%,峰值信噪比（PSNR）降低0.059 dB,帧内编码时间平均减少56.18%.     

利用时空相关性的HEVC帧内编码块快速划分

目的 为了提升高效视频编码（HEVC）的编码效率,使之满足高分辨率、高帧率视频实时编码传输的需求。由分析可知帧内编码单元（CU）的划分对HEVC的编码效率有决定性的影响,通过提高HEVC的CU划分效率,可以大大提升HEVC编码的实时性。方法 通过对视频数据分析发现,视频数据具有较强的时间、空间相关性,帧内CU的划分结果也同样具有较强的时间和空间相关性,可以利用前一帧以及当前帧CU的划分结果进行预判以提升帧内CU划分的效率。据此,本文给出一种帧内CU快速划分算法,先根据视频相邻帧数据的时间相关性和帧内数据空间相关性初步确定当前编码块的编码树单元（CTU）形状,再利用前一帧同位CTU平均深度、当前帧已编码CTU深度以及对应的率失真代价值决定当前编码块CTU的最终形状。算法每间隔指定帧数设置一刷新帧,该帧采用HM16.7模型标准CU划分以避免快速CU划分算法带来的误差累积影响。结果 利用本文算法对不同分辨率、不同帧率的视频进行测试,与HEVC的参考模型HM16.7相比,本文算法在视频编码质量基本不变,视频码率稍有增加的情况下平均可以节省约40%的编码时间,且高分辨率高帧率的视频码率增加幅度普遍小于低分辨率低帧率的视频码率。结论 本文算法在HEVC的框架内,利用视频数据的时间和空间相关性,通过优化帧内CU划分方法,对提升HEVC编码,特别是提高高分辨率高帧率视频HEVC编码的实时性具有重要作用。     

结合随机森林的FVC帧内编码单元快速划分

目的 未来视频编码（FVC）是在高效视频编码标准（HEVC）的基础上提出的新一代编码技术,复杂度极高。针对现有的基于HEVC的快速编码方法不适用于FVC中的四叉树加二叉树编码结构或节省时间有限的问题,提出了一种结合随机森林的FVC帧内编码单元（CU）快速划分算法。方法 针对FVC中的四叉树加二叉树结构进行优化。首先,提取视频编码过程中的各CU的图像纹理特征和划分结果;然后,分别使用各划分深度下的纹理特征和划分结果进行在线训练,建立多个随机森林模型,不同深度的CU对应不同的模型;最后,使用模型对视频其余帧的CU进行划分结果预测,从而减少了划分模式遍历和率失真代价计算的次数,节省了编码时间。结果 实验结果表明,与原始平台算法相比,本文算法能够节省44.1%的时间,在相同峰值信噪比的情况下,比特率仅上升2.6%;与当前先进的方法相比,能进一步节省20%以上的时间。结论 通过提取图像的纹理特征,建立随机森林模型,对CU划分结果进行预测,在保证编码率失真性能的前提下,有效地降低了FVC的帧内CU划分复杂度。     

利用运动信息及率失真代价的HEVC帧间快速算法

针对高效视频编码（HEVC）帧间预测过程所引入较高的复杂度,分别提出提前决策skip模式,编码单元（CU）提前终止分割以及变换单元（TU）提前终止分割。首先,根据自然视频序列多采用skip模式,利用当前块和空间相邻块的已编码信息提前决定skip模式;其次,为了避免编码不必要的深度,利用先前已编码块的率失真代价（rdcost）决策[CU]提前终止分割;最后,利用当前预测残差块的纹理复杂度决策TU的提前终止分割。实验结果表明,提出的算法最终可以节省编码时间43.78%,同时造成bj?ntegaard delta bit rate（BDBR）的损失为1.675%。通过实验数据的比较,在对视频质量的影响忽略不计的情况下,能够很大程度上减少复杂度。     

基于局部边界特性的HEVC帧内快速预测算法

HEVC(High Efficiency Video Coding)的编码性能足可以达到H.264/AVC的两倍。在帧内编码方面HEVC的性能提高主要来自于更精准的预测模式和更灵活的分块大小,同时带来了巨大的计算复杂度。为了大幅降低编码复杂度,提出的算法利用视频的局部纹理特性,首先用索贝尔算子提取当前编码单元CU(Coding Unit)的局部边界信息。分析边界信息后,停止不包含明显边界的CU的子块划分,对包含明显边界的CU快速选择预测方向为边界纹理方向。实验结果证明,提出的算法可以在视频质量基本不变的情况下,使帧内编码复杂度降低近一半。     

高效视频编码帧内快速深度决策算法

针对新一代高效视频编码（HEVC）帧内预测中编码单元（CU）的编码深度选择过程中计算复杂度较高的问题,提出了一种基于空域相关性的帧内快速深度决策算法。首先,利用相邻已编码树单元（CTU）的深度通过线性加权得到当前CTU深度估计值;然后,对当前CTU深度估计值设置较为合适的深度双阈值提前终止编码树单元的划分或跳过CTU的某些深度,来缩小当前CTU的深度范围,从而减少不必要的深度计算。实验结果表明：与HM12.0相比,所提算法对比较简单的视频序列编码时间的减少比较明显,在亮度峰值信噪比（Y-PSNR）几乎不变的情况下（平均降低0.02 dB）,编码时间平均减少了34.6%。此外,所提算法容易与其他算法进行融合,能进一步降低HEVC的帧内计算复杂度,最终达到实时传送高清视频的目的。     

基于时空域相关性的屏幕内容帧间快速编码算法

针对屏幕内容视频帧间编码的高复杂度问题,提出了一种基于时空域特性的帧间快速编码算法。首先,根据运动静止检测算法将待编码帧分为静止帧和运动帧;然后,对运动和静止帧分别采用不同的编码策略。对于静止帧,在统计分析时域对应编码单元（CU）分割深度和预测模式的基础上,确定CU最佳分割深度和最优预测模式。对于运动帧中的静止最大编码单元（LCU）,利用时域相关特性提前终止CU分割,模式选取则只针对大尺寸模式进行预测;对于运动帧中的运动LCU,根据其相邻LCU的运动静止特性确定CU分割深度以及预测模式。实验结果表明,所提算法相比原始编码平台,在BDBR平均上升3.65%的情况下,编码时间平均节省46.40%。所提算法在率失真性能损失可接受的前提下,有效地降低了屏幕内容视频帧间编码复杂度,有利于屏幕内容视频的实时应用。     

基于多尺度特征融合网络的HEVC帧内编码单元快速划分研究

高效视频编码HEVC显著提高了编码效率，但同时增加了编码复杂度，在基于四叉树结构的编码单元(CU)划分过程中尤为明显，因此研究CU快速划分具有重要意义。多尺度特征融合的网络可以实现HEVC编码单元快速划分。为此，结合U-Net和CU划分特性设计了UcuNet网络，同时为加强不同尺度像素的特征提取，采用了非对称卷积AC和CBAM注意力机制。为更好地训练深度学习模型，收集了不同分辨率的原始视频和对应的编码信息构建出大规模的数据集。最后将模型嵌入到HEVC编码架构中，提前预测CU划分的结果，跳过了原始CU划分方法中递归的率失真优化(RDO)计算过程，从而有效降低CU划分带来的编码复杂度。实验结果表明，对比HEVC官方测试模型(HM16.20),UcuNet在BD-BR仅损失2.63%的情况下，使平均编码时间缩短了68.13%。     

基于提前终止编码单元划分的快速帧内预测算法

为了降低高效视频编码HEVC(High Efficiency Video Coding)帧内预测过程的计算复杂度,提出一种提前终止编码单元(CU)划分的快速帧内预测算法。首先,针对HEVC编码结构,提出一种纹理复杂度测度的方法(即像素亮度方差值)。然后,分析不同纹理特性对帧内预测编码单元层次结构的影响,提出一种基于像素亮度方差值统计的提前终止编码单元的方法。对不同层次结构的编码单元进行像素亮度方差值统计,同时结合平均像素代价值统计,设置合理的阈值,自适应提前终止编码单元的划分,从而降低了帧内预测的编码复杂度。实验结果表明,在保证信噪比和比特率不变的情况下,该算法与HEVC参考软件HM10.0相比,编码时间平均节省32%。     

划分层次限制的快速帧间预测算法

通用视频编码（Versatile Video Coding,VVC）是正在探索中的下一代视频编解码标准,在新标准的制定过程中,加入了许多新技术,在提升编码性能的同时,增加了编码复杂度。针对这种情况,通过对新标准编码过程中帧间预测单元划分算法的研究发现,在VVC进行帧间单元划分时,进行了多余的更深层次的划分,从而提高了编码复杂度。因此提出了一种划分层次限制的快速帧间预测算法,使单元划分提前结束,避免了多余的划分层次。实验结果表明,新算法在RA配置下,在增加1.58%的压缩率,损失0.036 2的图像失真度的情况下,编码复杂度降低了46.39%,从而验证了优化算法能有效降低编码复杂度。     

帧内微块复制的屏幕图像编码算法

针对现有的帧内块复制（IBC）算法不能很好地适应屏幕图像具有各种不同大小和形状样图的问题,为了进一步提高屏幕图像的编码效率,提出了一种帧内微块复制（IMBC）算法。该算法首先将当前编码单元（CU）划分成L个微块。然后以每个微块作为最小的匹配和复制单元,采用匹配微块组选择算法,在参考像素集合R中找到与当前微块最匹配的“参考微块”。用L个位移矢量（DV）来表示“参考微块”所在位置与当前CU所在位置的位移关系。最后,对L个位移矢量应用预测算法以消除位移矢量之间的相关性后进行熵编码。对于屏幕图像标准测试数据集合中的视频序列,IMBC算法与IBC算法相比,在编码复杂度增加较低的前提下,在全帧内（AI）、随机接入（RA）、低延迟（LB）三种编码配置中,有损BD-rate降低率分别达3.4%、2.9%、2.6%,无损Bit-rate降低率分别达9.5%、5.2%、5.1%,能有效提高屏幕图像的编码效率。     

基于决策树的HEVC编码单元划分算法

为了有效降低高效视频编码标准HEVC编码过程中的计算复杂度,提出了一种基于决策树的编码单元划分算法。该算法将编码单元划分问题归为分类问题,提取编码单元的划分信息到决策树模型中进行学习,得到决策树分类器。利用分类器对满足分类条件的编码单元进行划分,跳过了率失真计算,从而降低了视频编码的计算复杂度。实验结果表明,本算法在保证视频质量的同时有效降低了编码计算复杂度。