一种基于漏预测技术的FGS视频编码框架*

精细粒度可伸缩性（fine granularity scalability,FGS）视频编码是MPEG4标准的视频流化框架中的关键技术。以FGS编码框架为基础,针对FGS编码效率较低的特点,提出一种基于漏预测技术的视频编码框架。在改进的FGS编码框架中,通过引入漏预测因子,利用增强层参考和基本层的重构图像自适应形成增强层的时域预测信息,从而达到控制误差漂移,提高FGS的编码效率的目的。实验证明,改进的编码框架编码效率比FGS在同等条件下提高大约4 dB。     

渐进、精细的可伸缩性视频编码

精细的可伸缩性的视频编码FGS（Fine Granular Scalable)是MPEG-4标准的视频流化框架中的关键性编码技术,由于在FGS编码方案中运动补偿是参考一个最低质量的重构层,因而编码效率较低。在这篇文章中,我们首先提出了一个渐进的精细可伸缩性的视频编码框架,简称为PFGS（Progressive Fine Granular Scalable),与MEPG-4中的FGS相比,PFGS编码框架试图在增强层的编码过程中采用多个高质量的参考来提高编码效率,这是因为高质量的参考可使运动预测更准确。但是,高质量的参考也会带来一些问题,首先,增加多个参考会使得PFGS编码需要更多的内存,同时也会增加其计算复杂性,因而在这篇文章中,首先将PFGS编码框架简化为只需采用一个额外的缓存来存储参考图像,而得到的编码效率几乎和原来多个参考一样,其次,在编码过程中,由于转换参考图像会造成增强层间编码系数的振荡,从而部分地抵消了采取高质量参考的优势。文中同时提出了一个有效的消除振荡的方法,即采用高质量的参考对所有增强层进行编码而用低质量的参考来重构以解决误差传播问题。实验结果表明,我们所提出的PFGS编码框架的编码效率能比MPGE-4中的FGS提高1dB以上,同时保留了FGS所有的优点,比如精细可调性,自适应网络带宽变化和差错恢复能力等。     

精细粒度分层编码技术综述

随着Internet上流视频应用的增加，对于视频编码的要求也与以往有了变化，视频编码方法正经历了从单层到分层编码，再到嵌入式精细粒度分层编码（FGS）的变化，目前FGS技术已吸引了众多从事视频应用的公司和科研机构的注意，它有望成流视频的核心编码技术，本文主要介绍视频精细分层编码技术的产生，并分析了主要算法及其未来的发展趋势。     

基于MPEG-4 FGS编码视频流的网络方案

针对精细可扩展性编码FGS的特点,该文提出了已编码数据三层分级存储的思想,并给出了一个相应的端到端的网络架构,同时给出了一个简单实用的基于速率的TCP友好协议TLCTFP和相应的启发式速率调整算法。利用编码与传输分离达到服务器发送端低开销、同时利用视频数据分层和网络带宽的有效利用尽量保证和优化视频图像质量,并保持了与TCP的友好相处。     

一种基于单环结构的扩展基本层FGS视频编码方法

可分级编码是解决Internet流视频应用中网络带宽不断波动的一种有效方法，所以MPEG-4标准中采用了FGS(fine granularity scalability)编码方法来获得精细颗粒可分级能力，但其代价是编码效率的下降。为解决此问题，现提出在增强层中采用运动补偿的MC加FGS(motion compensation加FGS)结构，用于去除FGS方案中增强层在时域上的冗余，以提高FGS方案编码效率的双环和单环两种方法。在比较了两种结构各自的优缺点后，选定了一种复杂度小、实现简单、效率高的单环结构，并提出了对单环结构的缺陷进行改善的方法。实验结果表明，该方法的编码性能优于MPEG-4 FGS方法。     

一种改进的精细可伸缩视频编码方法

精细的可伸缩FGS(Fine Granular Scalability)视频编码方案中,运动补偿是参考一个最低质量的重构图像,因而编码效率较低。提出了改进的FGS编码方案,在增强层的编码中,以高质量的参考做预测,并且引入漏预测技术,通过漏预测因子α(0≤α≤1)来控制误差的累积和传播,使得累积的误差进行递归衰减。实验结果显示,方案能有效地消除误差的传递和累积,也能提高编码效率。     

基于单环和肤色选择的FGS视频编码

提出了一种在增强层中引入肤色选择的检测算法,利用该算法定位出人脸区域,并将其作为感兴趣区域,进行位平面提升、优先编码和传输。由于该算法会在一定程度上降低整体的编码效率,因此在基本层上引入了单环算法来提高整体的编码效率。试验结果表明,基于单环和肤色选择的FGS视频编码算法能够很好地改善视频的主观质量,也能够较大程度地提高FGS的编码效率。     

可分级视频编码技术的研究

该文重点研究精细粒度可分级视频编码。首先,详细介绍了它支持的时域、空域、SNR粗粒度可分级(CGS)和SNR精细粒度可分级(FGS)编码的原理和实现;最后,对视频可分级编码技术的应用前景进行了总结。     

MPEG-4 FGS架构的视频编码器的研究与应用

文章介绍了一种基于MPEG-4的精细的可伸缩性编码(FGS)架构的视频编码器的软硬件架构。MPEG-4的FGS是为Internet视频流应用的需要最近发展出来的一种有效的视频编码方案。并结合FGS算法的特点,选择FGS算法中最适当的数据存储类型,节省了大量的外存带宽。     

精细可伸缩性视频编码算法的研究

在MPEG-4的视频流化框架中提出了精细可伸缩性视频编码FGS(FineGranularityScalable)算法,增强了码流对带宽的适应性和抗误码能力,但是在FGS增强层编码中使用的是栅格扫描方式,当大多数宏块被解码时,整帧图像的质量能够得到有效的提高,但是当某一层的码流不可用时,只有图象帧的上边缘区域得到增强,而不能有效地增强图象帧的感兴趣区域—图像的中间部分,该文提出了一种水环扫描方式(WaterRingScanning),先编码图像帧的感兴趣区域,然后再编码图像的其它部分,这样就能有效地提高解码后图像的主观质量,而且保留了FGS原有的各种优良性能。     

Scalable protection for MPEG-4 fine granularity scalability

The newly adopted MPEG-4 fine granularity scalability (FGS) video coding standard offers easy and flexible adaptation to varying network bandwidths and different application needs. Encryption for FGS should preserve such adaptation capabilities and enable intermediate stages to process encrypted data directly without decryption. In this paper, we propose two novel encryption algorithms for MPEG-4 FGS that meet these requirements. The first algorithm encrypts an FGS stream (containing both the base and the enhancement layers) into a single access layer and preserves the original fine granularity scalability and error resilience performance in an encrypted stream. The second algorithm encrypts an FGS stream into multiple quality layers divided according to either peak signal-to-noise ratio (PSNR) or bit rates, with lower quality layers being accessible and reusable by a higher quality layer of the same type, but not vice versa. Both PSNR and bit-rate layers are supported simultaneously so a layer of either type can be selected on the fly without decryption. The base layer for the second algorithm may be unencrypted to allow free view of the content at low-quality or content-based search of a video database without decryption. Both algorithms are fast, error-resilient, and have negligible compression overhead. The same approach can be applied to other scalable multimedia formats.     

精细分级视频码流传输和容错性能的研究

精细分级编码是解决网络异构性的有效方法之一。编码输出码流的容错性能是衡量编码技术性能的重要指标。该文实现了一个支持精细分级编码的H.264编解码器,并对精细分级码流在IP网上的传输性能进行了研究。提出了一种精细分级码流容错传输打包策略。实验结果表明,该方案具有良好的容错性能。     

Unequal packet loss resilience for fine-granular-scalability video

Several embedded video coding schemes have been recently developed for multimedia streaming over IP. In particular, fine-granular-scalability (FGS) video coding has been recently adopted by the MPEG-4 standard as the core video-compression method for streaming applications. From its inception, the FGS scalability structure was designed to be packet-loss resilient especially under unequal packet-loss protection (UPP). However, since the introduction of FGS, there has not been a comprehensive study evaluating its packet-loss resilience under unrecoverable packet losses that are common in Internet streaming applications. In this paper, we evaluate two important aspects of FGS packet-loss resilience. First, we study the impact of applying UPP between the base- and enhancement-layers on FGS-based streams, and we compare equal packet-loss protection (EPP) with UPP scenarios. Second, we introduce the notion of fine-grained loss protection (FGLP), which is suitable for the FGS enhancement-layer, and we develop an analytical framework for evaluating FGLP bounds. Based on these bounds, we show the impact of applying fine-grained protection to the FGS enhancement-layer for different types of video sequences and over a wide range of bit-rates and packet-loss ratios. As illustrated by our extensive simulation results, applying 1) UPP between the base- and enhancement-layers and 2) FGLP for the FGS enhancement-layer can provide significant resilience under moderate-to-high packet-loss ratios (e.g., 5-10%). Furthermore, the merits of this new packet-loss protection technique go beyond the FGS coding scheme, because FGLP can be successfully applied to improve the resilience to packet-losses of other embedded video coding techniques     

FGS码流在Internet上的鲁棒性传输研究

研究了在存在丢包的Internet环境下FGS(精细粒度可分级)码流的鲁棒性传输。分析了应用于网络视频流的FGS视频编码方案在存在丢包环境下的鲁棒性，并与不分级编码方案比较；利用FGS的分级特点，设计合适的数据包保护策略来增强它的传输鲁棒性，实验结果表明使用不等数据包保护策略，FGS比不分级编码方案有更好的传输鲁棒性。     

A context adaptive bit-plane coder with maximum-likelihood-based stochastic bit-reshuffling technique for scalable video coding

In this paper, we propose a context adaptive bit-plane coding (CABIC) with a stochastic bit reshuffling (SBR) scheme to deliver higher coding efficiency and better subjective quality for fine granular scalable (FGS) video coding. Traditional bit-plane coding in FGS algorithm suffers from poor coding efficiency and subjective quality. To improve coding efficiency, our CABIC constructs context models based on both the energy distribution in a block and the spatial correlations in the adjacent blocks. Moreover, it exploits the context across bit-planes to save side information. To improve subjective quality, our SBR reorders the coefficient bits by their estimated rate-distortion performance. Particularly, we model transform coefficients with Laplacian distributions and incorporate them into the context probability models for content-aware parameter estimation. Moreover, our SBR is implemented with a dynamic priority management that uses a low-complexity dynamic memory organization. Experimental results show that our CABIC improves the PSNR by 0.5/spl sim/1.0 dB at medium and high bit rates. While maintaining similar or even higher coding efficiency, our SBR improves the subjective quality.     

一种基于中间视点的多视点立体视频FGS可分级方案

基于MPEG-4标准FGS可分级技术,提出一种将FGS可分级、视点可分级相结合的多视点立体视频可分级算法。该算法中,中间视点作为基本层进行编码,各视点均预测自中间视点,并产生各相应视点的FGS增强层。编码器结构中,分为I、P、B帧三种情况进行讨论,并针对这三种情况进行改进。所提方案具有灵活、广泛的可分级性能,能适应多种不同的传输需求。实验结果验证了该方案的多视点可分级性。     

基于MPEG-4 FGS视频的流式多播传输

根据流体流量控制机制和MPEG-4 FGS编码视频流精细分级的特点,提出了流式多播方法,该方法中数据不用分层组织且没有加入实验,极大地减少了网络开销.同时,针对视频图像组帧间编码的依赖关系,修正了视频质量PSNR的计算公式,较好地评价视频网络传输质量.对分层多播和流式多播的对比仿真实验表明,流式多播的性能稳定、扩展灵活,便于大规模扩展应用.     

基于感兴趣区域的可伸缩性容错编码

为了在低带宽的条件下提高视频质量并获得更高的编码效率,提出一种基于感兴趣区域(ROI)实现可伸缩容错编码的方法.在编码时结合基于ROI对象的动态FMO,满足了编码效率和容错性能的折衷.同时,结合FMO特性实现对增强层的感兴趣区域的优先传输,提高了视频质量和码流的可伸缩性.实验结果表明,该方法对于带宽受限条件下的图像传输具有很好的差错鲁棒性,图像PSNR可以提高2.5 dB左右,能为图像感兴趣区域提供有效保护,提高图像质量.