自适应阈值AVS帧间模式快速选择算法

为降低AVS视频编码标准中帧间模式选择算法的复杂度,提出自适应阈值帧间模式快速选择算法。利用相邻宏块模式之间的相关性和预测模式统计分布规律预测当前宏块最可能预测模式,根据相邻宏块率失真代价的相关性自适应地调整判决阈值,如果帧间最可能预测模式率失真代价满足阈值判决准则,则最可能预测模式为最佳模式,提前退出模式搜索。实验结果表明,该算法在基本保持AVS原有编码性能的前提下编码速度得到较大提高。     

3D-HEVC深度图帧内预测快速算法

目的 多视点纹理加深度视频（MVD）格式逐渐成为立体视频的主流表现形式之一。新一代高效率立体视频编码（3D-HEVC）继承了HEVC的编码结构并引入一些新的编码技术,导致深度图帧内编码过程具有较高的计算复杂度。针对这一问题,提出了一种深度图帧内编码快速算法。方法 本文算法利用深度图的特征分别对CU分割过程和粗略模式选择（RMD）过程进行优化。首先在四叉树编码结构上,利用基于纹理元的图像分析方法计算编码单元的梯度矩阵,若梯度矩阵中的梯度值之和小于给定的阈值,则终止该CU的分割进程。同时,对大尺寸的PU和小尺寸的PU分别利用纹理特征与粗略模式选择过程中Planar和DC进行低复杂度率失真计算后的最小率失真代价,跳过RMD中角度模式的检查过程。结果 实验结果表明,与原始算法相比,本文算法平均节省40.64%的深度图编码时间,而合成视点的平均比特率仅仅增加了0.17%。本文算法不仅能对平坦的CU跳过不必要的深度决策过程,而且有效地减少了RMD中需要遍历的模式数目,提高了编码器的效率。结论 该算法对CU分割进程和粗略模式选择过程都进行优化,在合成视点的视频质量几乎不变的前提下,有效降低了深度图的帧内编码复杂度。     

融合视觉感知特性的HEVC率失真优化

目的 高效视频编码(HEVC)采用率失真优化技术选择最佳的编码参数,实现编码比特率和视频图像失真之间的平衡。失真度量通常采用均方误差和绝对误差和,这些方法并没有考虑人眼的主观感受。为了提高视频编码的主观感知质量,提出一个融合视觉感知特性的率失真优化算法,并应用于帧间率失真优化过程中。方法 首先定义了一个视觉感知因子,该因子考虑了人类视觉系统对视频图像的空域活动性区域、纹理区域、时域运动性区域和亮度的感知特性,然后以编码树单元为单位对拉格朗日乘子进行自适应调整,最后根据拉格朗日乘子与量化参数之间的关系,对量化参数做进一步的修正。结果 与HEVC参考软件相比,本文算法明显提高了率失真性能,对于相同的结构相似度(SSIM)分值,本文算法在随机访问和低延时配置下平均分别节省3.1%,4.9%的码率,最高能节省9.0%的码率。与代表性文献算法相比,对于相同的SSIM,本文算法在随机访问和低延时配置下平均分别增加了0.7%,2.2%的码率节省。结论 本文率失真优化策略能够根据图像不同的视觉特性自适应的调整率失真优化过程中的拉格朗日乘子,在保持编码质量基本不变的情况下,节省了码率,提高了HEVC的编码性能。     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

结合随机森林的FVC帧内编码单元快速划分

目的 未来视频编码（FVC）是在高效视频编码标准（HEVC）的基础上提出的新一代编码技术,复杂度极高。针对现有的基于HEVC的快速编码方法不适用于FVC中的四叉树加二叉树编码结构或节省时间有限的问题,提出了一种结合随机森林的FVC帧内编码单元（CU）快速划分算法。方法 针对FVC中的四叉树加二叉树结构进行优化。首先,提取视频编码过程中的各CU的图像纹理特征和划分结果;然后,分别使用各划分深度下的纹理特征和划分结果进行在线训练,建立多个随机森林模型,不同深度的CU对应不同的模型;最后,使用模型对视频其余帧的CU进行划分结果预测,从而减少了划分模式遍历和率失真代价计算的次数,节省了编码时间。结果 实验结果表明,与原始平台算法相比,本文算法能够节省44.1%的时间,在相同峰值信噪比的情况下,比特率仅上升2.6%;与当前先进的方法相比,能进一步节省20%以上的时间。结论 通过提取图像的纹理特征,建立随机森林模型,对CU划分结果进行预测,在保证编码率失真性能的前提下,有效地降低了FVC的帧内CU划分复杂度。     

H.266/VVC帧内预测模式快速判决方法

为降低新一代高效视频编码标准H.266/VVC的编码复杂度,提出一种快速的帧内预测模式判决方法。从率失真理论的角度出发,分析变换域残差的分布特性,根据标量量化技术对码率的影响推导出编码码率预测模型。结合帧内预测原理,利用当前块预测残差、参考块预测残差及其编码失真提出编码失真预测模型,并根据率失真代价确定最优的帧内预测模式。实验结果表明,该判决方法在保证编码效率的同时约节省了31%的编码时间。     

3D-HEVC深度图像快速帧内编码方法

目的 新一代3D视频采用了多视点加深度图像的格式,其编码测试模型3D-HEVC(3D高效视频编码)为深度图像引入了一些新的编码技术,包括深度模型模式、分段直流(DC)残差编码模式和帧内跳过模式等,但是同时也显著地增加了帧内编码器的复杂度,严重制约了3D视频的实时应用,因此本文提出了一种深度图像帧内模式选择方法。方法 首先,分析在分层编码结构中,父层帧内模式和子层帧内模式的关系,并依据父层的帧内模式对子层的候选模式进行修剪;其次,通过分析粗略候选帧内模式,把当前块分为平滑块、方向块和边界块,并根据不同块进行候选帧内模式的选择。结果 与高效3D视频编码标准的测试模型相比,本文的深度图像帧内模式选择方法可以节省约44%的编码时间。本文方法有效地减少了计算率失真代价的候选帧内模式数目,从而降低了帧内编码器的复杂度。结论 该方法能在保证虚拟视点质量的前提下,有效地降低深度图像帧内编码的复杂度。     

基于纹理特性与空域相关的高效视频编码帧内分级快速算法

为了降低高效视频编码(HEVC)标准的编码复杂度,提出一种基于纹理特性与空域相关性的帧内分级快速算法。首先,采用最大编码单元(LCU)级的快速算法,通过利用相邻LCU的编码深度值加权预测得到当前LCU的预测深度,并利用块标准差和自适应阈值策略确定当前LCU的纹理复杂度,将当前LCU的预测深度和纹理复杂度相结合来预测当前LCU的最有可能深度范围(MPDR);其次,采用编码单元(CU)级的深度判决快速算法(CUDD-FA),将基于边缘图的CU深度预判策略和基于率失真(RD)代价相关性的CU提前中止策略相结合,实现了CU级深度的提前确定,进一步降低了帧内编码复杂度。与原始HEVC算法相比,所提算法在全I帧编码模式下编码时间平均减少41.81%,BD-rate(Bjøntegaard Delta bit rate)仅上升0.74%,BDPSNR(Bjøntegaard Delta Peak Signal-to-Noise Rate)仅降低0.038 dB;与代表性文献算法相比,所提算法在编码时间节省更多的情况下率失真性能更好。实验结果表明,在率失真性能损失可以忽略不计的前提下,所提算法能有效降低HEVC帧内编码复杂度,特别是高分辨率视频序列,有利于HEVC的实时视频应用。     

基于SATD准则的HEVC快速帧内预测算法

相比于H.264/AVC视频编码标准,高效视频编码（HEVC）具有更大的压缩率和计算复杂度。HEVC更多的帧内预测模式显著地提升了编码器的率失真性能,但更高的算法复杂度使得编码时间大大增加。通过对典型序列编码的统计分析,提出一种基于变换残差绝对值和（SATD）的帧内预测模式快速选择算法,以降低HEVC帧内预测过程的计算复杂度。所提算法通过比较SATD来加速帧内预测模式的判决,避免了耗时的率失真代价（RD-Cost）计算,并且选择性地降低候选预测模式的数量,以减少总体编码时间。通过与现有其他HEVC快速算法进行比较测试,结果表明,所提算法平均减少了12.90%~19.89%的编码时间（编码器不进行任何优化）,而BD-Rate码率指标仅增加了0.5%~0.96%,几种算法的率失真性能基本一致。     

分布式视频编码中关键帧丢失错误保护

目的 分布式视频编码较其传统视频编码具有编码简单、误码鲁棒性高等特点,可以很好地满足如无人机航拍、无线监控等新型视频业务的需求。在分布式视频编码中,视频图像被交替分为关键帧和Wyner-Ziv帧,由于受到信道衰落和干扰等因素的影响,采用传统帧内编码方式的关键帧的误码鲁棒性远不如基于信道编码的Wyner-Ziv帧。关键帧能否正确传输和解码对于Wyner-Ziv帧能否正确解码起着决定性的作用,进而影响着整个系统的压缩效率和率失真性能。为此针对关键帧在异构网络中的鲁棒性传输问题,提出一种基于小波域的关键帧质量可分级保护传输方案。方法 在编码端对关键帧同时进行传统的帧内视频编码和基于小波域的Wyner-Ziv编码,解码端将经过错误隐藏后的误码关键帧作为基本层,Wyner-Ziv编码产生的校验信息码流作为增强层。为了提高系统的分层特性以便使系统的码率适应不同的网络条件,进一步将小波分解后图像的各个不同层的低频带和高频带组合成不同的增强层,根据不同信道环境,传输不同层的Wyner-Ziv校验数据。同时对误码情况下关键帧的虚拟噪声模型进行了改进,利用第1个增强层已解码重建的频带与其对应边信息来获得第2个和第3个增强层对应频带的更加符合实际的虚拟信道模型的估计。结果 针对不同的视频序列在关键帧误码率为1%20%时,相比较于传统的帧内错误隐藏算法,所提方案可以提高视频重建图像的主观质量和整体系统的率失真性能。例如在关键帧误码率为5%时,通过传输第1个增强层,不同的视频序列峰值信噪比（PSNR）提升可达25 dB左右;如果继续传输第2个增强层的校验信息,视频图像的PSNR也可以提升0.51.6 dB左右;如果3个增强层的校验信息都传输的话,基本上可以达到无误码情况下关键帧的PSNR。结论 本文所提方案可以很好地解决分布式视频编码系统中的关键帧在实际信道传输过程中可能出现的误码问题,同时采用的分层传输方案可以适应不同网络的信道情况。     

H.264/AVC中基于决策树的P帧快速模式选择

目的 H.264/AVC帧间预测编码需要对所有可能编码模式计算并比较率失真代价,众多的模式类型导致了P帧编码的计算复杂度非常高。为此提出一种针对P帧的基于决策树的快速候选模式选择算法。方法在对宏块进行16×16的帧间运动估计后,首先根据残差宏块中4×4全零系数块个数对部分宏块直接选择出候选模式;然后使用16个4×4块的变换域系数绝对值之和(SATD)值,采用决策树分类方法对其余宏块选择候选模式。结果由于只需对候选模式进行编码,因此有效降低了编码器的计算复杂度。实验结果表明,与原始全搜索编码算法相比,该算法对不同运动程度的视频序列获得了较一致的编码时间的节省,同时平均峰值信噪比的损失和平均比特率的增加均较少。结论新的P帧帧间预测候选模式选择算法,根据帧间运动估计后的残差宏块信息,采用决策树方法对候选模式集进行分类。实验结果表明,该算法能在保证视频编码质量的前提下,有效地降低编码过程中的计算量,缩短编码时间。     

Joint Source-Channel Rate-Distortion Optimization for H.264 Video Coding Over Error-Prone Networks

For a typical video distribution system, the video contents are first compressed and then stored in the local storage or transmitted to the end users through networks. While the compressed videos are transmitted through error-prone networks, error robustness becomes an important issue. In the past years, a number of rate-distortion (R-D) optimized coding mode selection schemes have been proposed for error-resilient video coding, including a recursive optimal per-pixel estimate (ROPE) method. However, the ROPE-related approaches assume integer-pixel motion-compensated prediction rather than subpixel prediction, whose extension to H.264 is not straightforward. Alternatively, an error-robust R-D optimization (ER-RDO) method has been included in H.264 test model, in which the estimate of pixel distortion is derived by simulating decoding process multiple times in the encoder. Obviously, the computing complexity is very high. To address this problem, we propose a new end-to-end distortion model for R-D optimized coding mode selection, in which the overall distortion is taken as the sum of several separable distortion items. Thus, it can suppress the approximation errors caused by pixel averaging operations such as subpixel prediction. Based on the proposed end-to-end distortion model, a new Lagrange multiplier is derived for R-D optimized coding mode selection in packet-loss environment by taking into account of the network conditions. The rate control and complexity issues are also discussed in this paper     

H.264帧内4×4块预测模式选择快速算法研究

在H．264视频编码过程中，编码时间受诸多因素的影响，如帧间／帧内模式选择、运动估计（ME）、率失真优化（RDO）等。为了以较快速度和较好质量进行编码，针对H．264帧内模式选择，提出了一种适用于H．264帧内4×4块预测的模式选择快速算法。该算法利用帧内4×4块最优预测模式与和它相邻的预测模式之间率失真代价（RDCost）的高相关性，以及绝对变换误差和（SATD）与率失真（RD）性能之间的强相关性，有效地跳过一些不太可能的预测模式，从而使帧内4×4块模式选择过程只需进行4次率失真代价计算即可。实验结果显示，该算法在编码性能和编码速度之间取得了很好的折衷。     

一种H.264帧内预测模式的快速选择算法

H.264/AVC视频编码标准采用码率—失真度最优化(RDO)算法,以保证更高的压缩效率和更好的图像质量,但同时也大大增加了编码器的复杂度和运算负担。本文提出了一种新型的帧内预测模式的快速选择算法,该算法基于图像内部信息的变化剧烈程度进行判断,并通过方向矢量来减少候选帧内预测模式。试验结果表明,该算法可以将整个编码时间减少到原来采用RDO算法时的40%~50%,而且和RDO算法比较,最终压缩后的视频图像质量基本没有下降。     

H.264/AVC中基于决策树的P帧快速模式选择（HHME2013第61号论文）

目的：H.264/AVC帧间预测编码需要对所有可能编码模式计算并比较率失真代价,众多的模式类型导致了P帧编码的计算复杂度非常高。本文提出了一种针对P帧的基于决策树的快速选择候选模式算法。方法：在对宏块进行16×16的帧间运动估计后,首先根据残差宏块中4×4全零系数块个数对部分宏块直接选择出候选模式;然后使用16个4×4块的SATD值,采用决策树分类方法对其余宏块选择候选模式。结果：由于只需对候选模式进行编码,因此有效降低了编码器的计算复杂度。实验结果表明,与原始全搜索编码算法相比,该算法对不同运动程度的视频序列获得了较一致的编码时间节省,同时平均峰值信噪比的损失和平均比特率的增加均较少。结论：本文提出了一种新的P帧帧间预测候选模式选择算法,根据帧间运动估计后的残差宏块信息,采用决策树方法对候选模式集进行分类。实验结果表明,该算法能在保证视频编码质量的前提下,有效地降低编码过程中的计算量,缩短编码时间。     

Fast block mode decision algorithm in H.264/AVC using a filter bank of Kalman filters for high definition encoding

In this paper, we propose a fast mode decision algorithm using a filter bank of Kalman filters for H.264/ AVC. For the highest coding efficiency in H.264/AVC, a macroblock can be coded with seven different block sizes for motion compensation in an inter mode and various spatial prediction modes in an intra mode. The conventional encoder employs a complex technique for mode decision based on a rate-distortion (RD) cost of all possible modes. Hence, for the purpose of selecting the best block mode with the minimum RD cost, the conventional procedure requires much computational burden and a very complex encoding structure. In order to reduce the complexity, we propose a fast algorithm for mode decision based on Kalman filtering to estimate RD cost of a specific block mode. Furthermore, we propose an optimized structure of H.264/AVC encoder to implement the proposed algorithm. Without considerable performance degradation, using SIMD technology, the computer simulation shows that the proposed methods are dramatically faster than the original JM 9.6 encoder.     

Motion mapping and mode decision for MPEG-2 to H.264/AVC transcoding

This paper describes novel transcoding techniques aimed for low-complexity MPEG-2 to H.264/AVC transcoding. An important application for this type of conversion is efficient storage of broadcast video in consumer devices. The architecture for such a system is presented, which includes novel motion mapping and mode decision algorithms. For the motion mapping, two algorithms are presented. Both efficiently map incoming MPEG-2 motion vectors to outgoing H.264/AVC motion vectors regardless of the block sizes that the motion vectors correspond to. In addition, the algorithm maps motion vectors to different reference pictures, which is useful for picture type conversion and prediction from multiple reference pictures. We also propose an efficient rate-distortion optimised macroblock coding mode decision algorithm, which first evaluates candidate modes based on a simple cost function so that a reduced set of candidate modes is formed, then based on this reduced set, we evaluate the more complex Lagrangian cost calculation to determine the coding mode. Extensive simulation results show that our proposed transcoder incorporating the proposed algorithms achieves very good rate-distortion performance with low complexity. Compared with the cascaded decoder-encoder solution, the coding efficiency is maintained while the complexity is significantly reduced.

Decoder-driven mode decision in a block-based distributed video codec

Distributed Video Coding (DVC) is a video coding paradigm in which the computational complexity is shifted from the encoder to the decoder. DVC is based on information theoretic results suggesting that, under ideal conditions, the same rate-distortion performance can be achieved as for traditional video codecs. In practice however, there is still a significant performance gap between the two coding architectures. One of the main reasons for this gap is the lack of multiple coding modes in current DVC solutions. In this paper, we propose a block-based distributed video codec that supports three coding modes: Wyner–Ziv, skip, and intra. The mode decision process is entirely decoder-driven. Skip blocks are selected based on the estimated accuracy of the side information. The choice between intra and Wyner–Ziv coding modes is made on a rate-distortion basis, by selecting the coding mode with the lowest rate while assuring equal distortion for both modes. Experimental results illustrate that the proposed block-based architecture has some advantages over classical bitplane-based approaches. Introducing skip and intra coded blocks yields average bitrate gains of up to 33.7% over our basic configuration supporting Wyner–Ziv mode only, and up to 29.7% over the reference bitplane-based DISCOVER codec.     

H.264中基于多分辨率高效帧间预测算法

针对H.264视频编码标准,提出一种帧间编码的快速模式选择和运动搜索算法。此算法基于多分辨率运动估计方案和新率失真模型进行预测模式快速选择,并结合带提前退出准则的快速搜索算法来加速搜索过程。新算法能使运动估计的计算复杂度大幅降低。实验结果表明,同全搜索算法相比,在编码效率略微下降条件下,编码速度提高60到120倍。