基于场景检测的自适应Intra帧差错掩盖算法

为了减小视频传输中的错误对解码端重建视频质量的影响,提出了一种基于场景检测的自适应Intra帧差错掩盖算法。该算法利用H.264/AVC的帧内预测模式分布差异检测Intra帧的场景切换,对非场景切换的Intra帧进行空时域掩盖的失真度估算,在此基础上进行自适应的空时域掩盖。实验结果表明,该算法充分利用了Intra帧的时域相关性,与已有的Intra帧差错掩盖算法比较,该算法恢复的视频序列平均峰值信噪比提高了1~2 dB,具有更好的差错掩盖效果。     

Novel error concealment method with adaptive prediction to the abrupt and gradual scene changes

In this paper, the impact of scene change on the conventional error concealment method is addressed and a novel error concealment method is proposed to improve the insufficiency of the conventional temporal error concealment algorithm due to the occurrence of scene change. Combining with the low complexity scene change detection algorithm using macroblock type information, the corrupt blocks resulting from bit errors are concealed either temporally or spatially depending on whether or not an abrupt scene change is found. In the case of gradual scene change, a novel error concealment method of interpolation and extrapolation is proposed to utilize the linear property of gradual scene change sequence, and effectively reduce the concealment error in comparison with the conventional algorithm. A great improvement of about 3 to 5 dB PSNR on average and 6 to 8 dB in some cases is obtained with very little memory and computation overhead.     

Concealment of Whole-Picture Loss in Hierarchical B-Picture Scalable Video Coding

H.264/AVC scalable video coding (H.264/AVC SVC), as the scalable extension of H.264/AVC, offers the flexible adaptivity in terms of spatial, temporal and SNR scalabilities for the generated bitstream. However, such compressed video still suffers from the bad playback quality when packet loss occurs over unreliable networks. In this paper, we present an error concealment algorithm to tackle the whole-picture loss problem in H.264/AVC SVC when hierarchical B-picture coding is used to support temporal scalability. In the proposed algorithm, by taking advantage of the temporal relationship among the adjacent video pictures, the motion information of the lost picture is derived simply and efficiently based on the principle of temporal direct mode. Utilizing the derived motion information, the lost picture is concealed by performing motion compensation on the correctly received temporally previous and future video pictures. The experimental results demonstrate that as a post-processing tool, the proposed error concealment algorithm is able to significantly improve both the objective and subjective qualities of the decoded video pictures in the presence of packet losses when compared to the error concealment algorithm used in H.264/AVC SVC reference software. The proposed method can also be applied to H.264/AVC with hierarchical B-picture coding for error concealment.     

结合运动搜索的混合域I帧错误隐藏

在数字广播电视,移动视频终端和视频电话中错误恢复是一个必须的部分。最新的视频压缩标准H.264/AVC为一系列视频消费电子应用提供更高的编码效率。但是H.264的视频流仍然容易发生传输错误。根据H.264的编码特性和网络特性众多的错误隐藏方法已经被提出。在H.264中I帧的错误隐藏尤为重要,因为I帧的错误会通过运动估计传播到后续的P帧或B帧中。结合时域和空域错误隐藏算法,本文提出一种用于I帧的低复杂度自适应空域/时域运动估计算法。实验结果显示,本文提出的算法的视觉效果和PSNR都优于原算法。     

Concealment of whole-frame losses for wireless low bit-rate video based on multiframe optical flow estimation

In low bit-rate packet-based video communications, video frames may have very small size, so that each frame fills the payload of a single network packet; thus, packet losses correspond to whole-frame losses, to which the existing error concealment algorithms are badly suited and generally not applicable. In this paper, we deal with the problem of concealment of whole frame-losses, and propose a novel technique which is capable of handling this very critical case. The proposed technique presents other two major innovations with respect to the state-of-the-art: i) it is based on optical flow estimation applied to error concealment and ii) it performs multiframe estimation, thus optimally exploiting the multiple reference frame buffer featured by the most modern video coders such as H.263+ and H.264. If data partitioning is employed, by e.g., sending headers, motion vectors, and coding modes in prioritized packets as can be done in the DiffServ network model, the algorithm is capable of exploiting the motion vectors to improve the error concealment results. The algorithm has been embedded in the H.264 test model software, and tested under both independent and correlated packet loss models with parameters typical of the wireless environment. Results show that the proposed algorithm significantly outperforms other techniques by several dBs in peak signal-to-noise ratio (PSNR), provides good visual quality, and has a rather low complexity, which makes it possible to perform real-time operation with reasonable computational resources.     

一种适用于H.264的时域差错掩盖改进算法

视频压缩码流在信道传输时 ,由于受到信道带宽或者稳定性的影响 ,容易发生数据的损坏或者丢失 ,这样不仅会对当前的视频帧产生影响 ,而且差错会延续到随后的视频帧 ,因此 ,需要采用某种技术来降低差错的影响。针对这一问题 ,在对最新视频压缩标准 H.2 6 4研究的基础上 ,基于 H.2 6 4标准的框架 ,对已有的差错掩盖算法进行了改进 ,提出了适合 H.2 6 4编码标准的时域子块匹配差错掩盖算法。该算法首先采用 8× 8的子块代替 16× 16的宏块 ,作为差错掩盖的运算单元 ,然后对不同的子块采用不同的边界像素 ,利用边界匹配算法 ,并通过改进的 1/ 4像素精度菱形搜索法在参考帧内找到最佳匹配块。实验结果证明 ,由于该算法有效地利用了 H.2 6 4压缩码流里的信息 ,因此 ,同传统的时域差错掩盖算法相比 ,对差错信号有更好的恢复效果。     

基于人脸五官特征的空域差错掩盖算法

目前可视电话等应用对人脸图像质量要求很高,为了解决这一问题,提出一种基于人脸五官特征的空域差错掩盖(FFSEC)算法.首先利用边缘检测技术对丢失块进行分类,以完成初步差错掩盖;然后使用肤色分割技术提取肤色区域;最后利用模式识别技术获取眼睛的具体位置,根据五官的相对位置以及具体特征对其进行插值差错掩盖.采用H.264的JM11模型对算法进行仿真验证,实验结果表明,FFSEC算法相对于现有的基于人脸特征的自适应差错掩盖算法(BFASEC),在丢包率较大的情况下,峰值信噪比(PSNR)提升了约0.5～1.5 dB,视觉效果提升明显.     

基于Newton-Thiele有理插值的误码隐藏

低速率的视频传输必然要求对视频信号进行高效压缩,而高效压缩后的视频码流对传输中产生的误码非常敏感.一旦传输中出现了误码,不仅影响该误码数据的恢复,还会影响与之相关的其他数据的恢复,造成误码扩散,误码隐藏是解决这个问题的一种有效方法.在对最新视频压缩标准H.264研究的基础上,针对H.264中相邻运动矢量具有高度相关性的特性,提出了一种基于Newton-Thiele型有理插值的误码隐藏算法,仿真结果显示,提出的误码隐藏算法可以有效地改善解码图像的视觉质量,并且能够满足实时视频传输的要求.     

一种改进的H.264自适应空域错误掩盖算法

对H.264视频码流的帧内编码帧(I帧)进行空域错误掩盖时，单纯使用加权像素平均插值算法或方向插值算法不能得到满意的效果。因此，使用一种基于方向熵的自适应选择算法，根据丢失宏块周围的边缘信息自适应地选择加权像素平均插值算法或者该文提出的一种方向插值算法进行空域掩盖。该文提出方向插值算法，使用“双圈法”精确估计丢失宏块内的边缘方向，计算周围8个宏块中此方向上的边缘强度，根据边缘强度将丢失宏块划分成不同的区域分别进行方向插值。实验结果表明，该算法不仅提高了方向插值的精确性，也避免了虚假边缘的产生，有效地提高了错误图像的掩盖效果。     

H.264的差错控制与错误隐藏技术研究

针对无线应用中的传输错误和IP网络拥塞导致的视频数据包丢失,H.264采用了一系列的技术。介绍了H.264所使用的差错控制和错误隐藏技术,重点讨论了基于灵活宏块重排（Flexible Macroblock Ordering,FMO）的差错控制技术,及基于整帧丢失的帧拷贝（Frame Copy）和运动矢量拷贝（Motion Copy）错误隐藏技术和基于宏块丢失的帧内隐藏和帧间隐藏技术。在此基础上,利用ITU-T的误码模型（Error Pattern）对H.264的差错隐藏的性能进行了仿真,并对错误隐藏的效果进行了定量分析。     

基于H．264的立体视频右图像整帧丢失错误隐藏算法

当H．264编码立体视频流在Internet上传输时，由于信道错误所引起的数据丢失常常会造成整帧图像的丢失。为了恢复丢失的整帧立体视频右图像，提出了一种基于H．264的立体视频右图像整帧丢失错误隐藏算法，该算法依据立体视频编码特点进行相关性分析，首先确定丢失帧中每个宏块的预测方式，然后采用运动补偿或视差补偿对其进行恢复，进而重现丢失帧。实验结果表明，该算法能够在较低的计算复杂度下，获得较高质量的立体视频图像。     

基于DCT系数的自适应误码掩盖算法

提出一种改进的误码掩盖算法,即自适应地选择加权插值和区域匹配方法恢复丢失块.不同于以往只利用平滑性的误码掩盖算法,该算法利用平滑信息和纹理信息,在可用的相邻宏块中基于DCT系数计算能量函数总和,自动分析图像的平滑性和纹理性,然后自适应地选择加权插值或区域匹配的结果恢复丢失块.该算法已在H.264的参考软件JM86上进行实验.实验结果表明,与H.264中只采用加权插值或只采用区域匹配相比,该算法能取得较好的峰值信噪比(PSNR)和主观质量.     

多纹理方向空域错误隐藏算法

视频压缩码流在差错信道中传输时容易发生损坏或丢失,为提高视频压缩码流在Internet网络丢包信道中传输的抗误码性能,针对现有空域错误隐藏算法的不足,提出了改进算法-"多纹理方向插值算法".通过仿真实验表明,本文提出的算法不仅提高了方向插值的精确性,也避免了虚假边缘的产生,使隐藏图像的主客观质量有较大的提高.     

一种新的H.264视频场景切换检测算法

H.264/AVC QCIF视频场景切换检测是视频应用中一个极具挑战性的研究课题,只利用宏块信息很难得到满意的检测效果,为此提出了一种采用动态阈值和AC相似度的H.264/AVC视频场景切换检测算法,考虑编码预测模式和DCT系数等信息,提出基于编码比特数的动态阈值和基于AC能量的AC图像相似性两个判决准则,据此进行视频场景切换检测。实验结果表明,在高速运动及场景切换频繁的视频上场景切换检测率得到提高,性能也优于现有的算法。     

针对H.264/AVC的时域错误隐藏算法

H.264/AVC采用了新的编码特征工具,充分利用它们能有效地改进错误隐藏的性能。树型结构的可变分块大小运动估计,使得与错误宏块直接相邻的分块数最多可达16个。本文提出一种基于平面拟合的时域错误隐藏算法。通过把与受损宏块直接相邻的每个分块的运动矢量定义为3维空间的一个点,采用平面拟合的方法表征小范围内相邻运动矢量的变化趋势,拟合得到受损宏块的运动矢量实现时域错误隐藏。对多种视频序列的仿真实验结果表明,相对于典型的错误隐藏算法,主观视觉质量和客观质量评价都有一定的提高。     

相似性约束人脸区域的H.264视频流自适应错误隐藏研究

针对H.264视频压缩码流在信道传输过程中易发生丢包和误码错误,以及视频图像解码重建后人脸区域模糊等问题,提出了一种基于相似性约束人脸区域的自适应错误隐藏算法,对错误块进行两次错误隐藏。首先利用自适应方向插值空域错误隐藏算法对错误块中每个像素点根据其纹理方向进行自适应方向插值运算并恢复,实现第一次错误隐藏,然后提取错误块视频图像的前景目标,采用肤色分割的方法定位出可能的人脸区域,再基于相似性约束方法确定用于覆盖错误块人脸区域的目标人脸区域,通过仿射变换后,将目标人脸区域的梯度信息覆盖错误块的人脸区域,实现第二次错误隐藏。改进的方法能够更加精确的确定插值方向且更好的恢复人脸区域,重建后的视频平滑性有一定的改善。采用JM8.6平台仿真结果表明,与现有基于人脸五官特征的空域差错掩盖算法相比,视频图像隐藏效果在主观视觉上有一定改善,计算出的峰值信噪比(PSNR)提高了1.21dB。     

基于数据嵌入的H.264/AVC错误隐藏算法

为了改进和完善H.264/AVC的错误隐藏性能,提出了一种基于数据嵌入的错误隐藏算法。算法在编码端提取能用于错误隐藏的特征数据,用奇偶嵌入法,通过宏块交织的方式将数据嵌入到下一帧中。当解码器没有正确接收到宏块时,在该宏块下一帧相应位置提取特征信息进行错误隐藏。实验结果表明,在同等应用环境下,与JM10自带的错误隐藏方法相比,此方案错误隐藏的主观和客观效果均有显著提高。     

H.264高清视频解码实时错误掩盖算法

针对IP网络丢包条件下的H.264高清视频实时解码问题,分析高清视频码流的特点,提出一种实时错误掩盖算法。该算法利用丢失片的边缘宏块信息,以垂直距离为权值加权平均预测得到错误宏块的运动矢量,进而完成错误掩盖。实验表明,与Joint模型中的错误掩盖算法相比,该算法提升了重建图像的主观质量和客观质量,计算复杂度较低,错误掩盖效果较好,适用于高清实时解码。     

一种新的图像分场描述编码错误掩盖算法

针对信道中数据丢失导致图像恢复质量严重受损问题,提出将方向插值引入到基于图像分场描述编码的错误掩盖算法。每帧图像分为两场独立编码传输,丢失一场数据时,通过改进Sobel算子计算正确接收的另一场图像内部边缘,沿边缘方向插值恢复出丢失的场。实验结果表明,应用这种基于像素行交织的错误掩盖算法后,图像主观恢复质量和峰值信噪比均较现有方法有显著提高。算法计算复杂度低,与H.264编码标准兼容,适于实际工程应用。     

H.264基线档次中的错误隐藏实现

本文详细分析了基于H.264基线档次的误码丢包解决方案.基于实际应用的情况,提出了一种易于实现的错误定位和错误隐藏方案,能有效解决无线传输中的乱序和丢包问题.最后给出了测试结果和结论.