基于自适应叠加的H.264时域错误隐藏算法

为了减小视频传输错误对解码端重建视频质量的影响,根据H.264标准的特点,提出一种基于多模式自适应叠加的时域错误隐藏算法。该算法以不同分割模式对丢失宏块进行4次隐藏,得到4个隐藏块,并计算各模式的绝对帧差和,使该值最小的2个隐藏块自适应加权叠加作为最终的替代块。仿真结果表明,与传统方法相比,该算法的错误隐藏性能得到较大提高。     

基于AVS-P2的自适应时空域错误隐藏方法

错误隐藏技术是视频传输中保证重建质量的重要技术,可以有效恢复传输过程中因传输环境恶劣等原因造成的信息丢失和错误,为了增强AVS-P2的抗传输差错能力,提出了一种基于冗余运动矢量的自适应时空域错误隐藏算法。对I帧中的受损宏块采用空域错误隐藏方法,利用受损宏块周围已正确解码像素值进行加权插值来恢复;而对非I帧中的受损宏块则采用时域错误隐藏方法,根据宏块的运动剧烈程度分别选择AVS-P2中通用的错误隐藏方法和基于冗余运动矢量的错误隐藏方法。最后,在AVS-P2 RM52_20080721平台上实现了该算法,大量仿真实验结果表明,所提方法相比原有方法,解码视频图像的客观质量和主观效果均得到了一定提升。因此,所提方法可以有效保证AVS-P2解码端接收视频的主观质量,增强了其抗传输差错能力。     

基于宏块模式预测的时域错误隐藏算法

针对压缩视频码流在无线信道传输过程中由于数据丢失或错误而导致的重构图像质量的问题,提出一种时域错误隐藏方法。在对边界匹配函数改进的基础上,根据H.264视频标准具有灵活的宏块分割模式的特点,利用受损宏块与其周围宏块的相关性预测分块模式进行运动矢量估计。实验结果表明,在相同的RTP包丢失率情况下,该算法与其他算法相比,能恢复出更高质量的图像。     

基于平面拟合恢复运动矢量的错误隐藏算法

针对压缩视频码流在无线信道传输过程中由于运动矢量失配导致重构图像质量的问题,提出了一种基于平面拟合恢复运动矢量的错误隐藏算法。首先,根据H.264视频标准具有多参考帧且相邻宏块间的相关性的特点,通过把与受损宏块直接相邻的每个分块的运动矢量定义为一个点,采用平面拟合方法表征小范围内相邻运动矢量的变化趋势,对受损宏块运动矢量进行重建,然后利用改进的边界匹配函数,选取最优运动矢量对受损图像进行恢复。实验结果表明,该算法不仅避免了AIC算法产生的块效应,而且在不同的RTP丢包概率下,该算法比AIC算法得到的峰值信噪比有0.3~2.5 dB的提升。     

高效的I帧分区错误隐藏方法

针对现有I帧错误隐藏方法不能平衡恢复图像质量与算法复杂度的问题,提出了一种高效的I帧分区错误隐藏方法。首先,利用视频帧之间的运动相关性将丢失宏块分为运动宏块和静止宏块。对于静止宏块,采用帧拷贝法进行掩盖;对于运动宏块,再根据其周围正确解码宏块的纹理信息将其分为平滑块和纹理块。对平滑块采用双线性插值法进行恢复;对纹理块利用比较精细的指数分布权重的加权模板匹配(WTE)法进行掩盖。实验结果表明,与WTE算法相比,所提方法的峰值信噪比(PSNR)平均提高了2.6 dB,计算复杂度平均降低了90%。对于场景连续的具有不同特征和分辨率的视频序列,所提方法都具有一定的适用性。     

一种改进的自适应增强型时域错误隐藏算法

考虑到错误块的处理次序对隐藏图像质量的影响,提出了一种改进的自适应增强型时域错误隐藏算法。该算法利用相邻正确信息或隐藏后的信息,不断估算错误宏块（MB）的次序值,每次选择恢复次序值最大的错误MB。在隐藏错误MB时,首先判断其分割模式及其子宏块（SMB）的隐藏顺序,再根据帧内平均运动矢量大小,自适应地选择基于纹理的单边重叠边界匹配算法（TBSS-OBMA）或基于纹理的双边重叠边界匹配算法（TBDS-OBMA）,从候选运动矢量（MV）中找出该MB或SMB的最佳恢复MV。通过性能比较和具体实验效果分析,此算法能够在高误码率下更好地提高错误图像质量,就PSNR来说,比参考软件JM12.2中采用的隐藏算法可提高1.16dB。     

基于H．264的立体视频右图像整帧丢失错误隐藏算法

当H．264编码立体视频流在Internet上传输时，由于信道错误所引起的数据丢失常常会造成整帧图像的丢失。为了恢复丢失的整帧立体视频右图像，提出了一种基于H．264的立体视频右图像整帧丢失错误隐藏算法，该算法依据立体视频编码特点进行相关性分析，首先确定丢失帧中每个宏块的预测方式，然后采用运动补偿或视差补偿对其进行恢复，进而重现丢失帧。实验结果表明，该算法能够在较低的计算复杂度下，获得较高质量的立体视频图像。     

高清立体视频的传输失真估计模型

针对高清立体视频序列分辨率大、宏块信息量少以及网络传输易出现差错的特点,提出一种能够估计高清立体视频端到端传输的失真模型。该模型能够考虑到丢包对后续帧的错误扩散以及立体视频左右视点帧之间的时空相关性,采用递归算法准确地估计失真,并运用时域帧拷贝的错误隐藏方法降低解码端的复杂度。仿真结果表明,失真模型的平均预测误差能控制在6%以内,对于不同特性和分辨率的立体视频序列,在不同网络环境下传输失真估计均有一定的适用性。     

基于宏块编码的MSE计算模型

在分析率失真理论的基础上,提出帧内编码宏块模式、帧间编码宏块模型的新思想,并建立均方差失真计算模型。该方法能够全局最优地求得在误码环境下,率失真曲线上的最佳控制点,不仅能够在给定的网络带宽下自适应地调整量化参数,而且可以根据当前网络丢包概率进行帧内宏块刷新,起到较好地抵抗信道误码的效果,对于无线环境中的视频鲁棒编码传输及资源分配,具有较好的参考价值。     

H.264的差错控制与错误隐藏技术研究

针对无线应用中的传输错误和IP网络拥塞导致的视频数据包丢失,H.264采用了一系列的技术。介绍了H.264所使用的差错控制和错误隐藏技术,重点讨论了基于灵活宏块重排（Flexible Macroblock Ordering,FMO）的差错控制技术,及基于整帧丢失的帧拷贝（Frame Copy）和运动矢量拷贝（Motion Copy）错误隐藏技术和基于宏块丢失的帧内隐藏和帧间隐藏技术。在此基础上,利用ITU-T的误码模型（Error Pattern）对H.264的差错隐藏的性能进行了仿真,并对错误隐藏的效果进行了定量分析。     

分布式视频编码中关键帧丢失错误保护

目的 分布式视频编码较其传统视频编码具有编码简单、误码鲁棒性高等特点,可以很好地满足如无人机航拍、无线监控等新型视频业务的需求。在分布式视频编码中,视频图像被交替分为关键帧和Wyner-Ziv帧,由于受到信道衰落和干扰等因素的影响,采用传统帧内编码方式的关键帧的误码鲁棒性远不如基于信道编码的Wyner-Ziv帧。关键帧能否正确传输和解码对于Wyner-Ziv帧能否正确解码起着决定性的作用,进而影响着整个系统的压缩效率和率失真性能。为此针对关键帧在异构网络中的鲁棒性传输问题,提出一种基于小波域的关键帧质量可分级保护传输方案。方法 在编码端对关键帧同时进行传统的帧内视频编码和基于小波域的Wyner-Ziv编码,解码端将经过错误隐藏后的误码关键帧作为基本层,Wyner-Ziv编码产生的校验信息码流作为增强层。为了提高系统的分层特性以便使系统的码率适应不同的网络条件,进一步将小波分解后图像的各个不同层的低频带和高频带组合成不同的增强层,根据不同信道环境,传输不同层的Wyner-Ziv校验数据。同时对误码情况下关键帧的虚拟噪声模型进行了改进,利用第1个增强层已解码重建的频带与其对应边信息来获得第2个和第3个增强层对应频带的更加符合实际的虚拟信道模型的估计。结果 针对不同的视频序列在关键帧误码率为1%20%时,相比较于传统的帧内错误隐藏算法,所提方案可以提高视频重建图像的主观质量和整体系统的率失真性能。例如在关键帧误码率为5%时,通过传输第1个增强层,不同的视频序列峰值信噪比（PSNR）提升可达25 dB左右;如果继续传输第2个增强层的校验信息,视频图像的PSNR也可以提升0.51.6 dB左右;如果3个增强层的校验信息都传输的话,基本上可以达到无误码情况下关键帧的PSNR。结论 本文所提方案可以很好地解决分布式视频编码系统中的关键帧在实际信道传输过程中可能出现的误码问题,同时采用的分层传输方案可以适应不同网络的信道情况。     

H.264中基于多宏块模式的时域误码掩盖算法

视频压缩码流在信道传输时,由于受到信道带宽或者稳定性的影响,容易发生数据的损坏或者丢失,这样不仅会对当前的视频帧产生影响,而且差错会延续到随后的视频帧,因此,需要采用某种技术来降低差错的影响.新一代视频压缩标准H.264支持多种分块大小的运动补偿,分块大小范围从16×16到4×4,因此,在H.264中一个宏块最多可能有16个运动矢量,这些信息都可以用于时域的误码掩盖.为此,提出了一种基于多宏块分割模式的时域误码掩盖算法,根据相邻宏块的分割模式,每个丢失宏块被自适应的划分为大小不同的子块进行掩盖.实验结果表明,该算法可以得到比传统算法更好的视频质量.     

视频对象自动分割算法

提出了一种基于小波变换和运动边缘检测的自动视频对象分割方法。该方法对相邻帧分别进行二维小波变换，在小波域进行变化检测和Canny边缘提取，返回空间域后得到鲁棒的相邻帧差分边缘模板。结合当前帧边缘、背景边缘和前一帧的运动边缘，检测出当前帧对象的运动边缘，从而实现对视频对象的提取。通过实验验证，该算法对目标的整体运动和局部形变都有较强的适应性。此外，算法还具有快速、简便、准确性高的特点。     

基于时域统计变化检测实时分割头肩视频序列

分析了头肩视频序列的特点，提出了基于时域统计变化检测、利用多帧运动信息实时分割视频对象的方法。先选取包括当前帧在内的前连续2N帧图像，将奇数帧与偶数帧图像作差值，形成长度为Ⅳ的帧差图像序列；对每个象素点时域上的Ⅳ个帧差样本值进行分布显著性检验，判断象素点是否发生了变化；对得到的二值图像进行形态学处理，得到完整的分割结果。试验结果表明，该算法能够自动实时的分割视频对象。     

Analytical model for MPEG video frame loss rates and playback interruptions on packet networks

This paper presents and studies objective video quality evaluation techniques for a network where frame losses can be considered independent, for example a best effort not heavy loaded packet switching network. The total or partial loss of a frame’s information affects the quality of video playback, as the frame cannot be decoded and other frames that depend on it cannot be correctly decoded too. Therefore, during some time the video playback has errors in the image and the user will perceive them as interruptions. In this paper, the total number of decoded frames and the video playback interruptions duration will be considered important parameters to quantify the video quality. The analytical formulation for them will be presented and the importance of considering them together will be highlighted.     

基于Ad hoc网络的联合多描述分层编码新方法*

提出了一种基于Ad hoc网络中视频传输的自适应插入过渡帧的联合多描述分层编码(AFI-MDLC)新方法.该方法根据相邻帧的相对运动自适应地插入过渡帧,然后将视频序列分成两个描述子,描述子独立分层编码后,生成各自的基本层和增强层,每个描述子具有独立的预测环路.多路径传输策略用于AFI-MDLC数据传输,同时利用ARQ反馈信道状态,实时调整传输策略.实验结果袁明,该方法与以往方法相比,能够有效地缓解误匹配问题,帮助解码器快速从随机错误或突发错误中恢复,提供更加稳定的重建视频质量.     

基于概率估计的分层视频传输算法

针对可扩展视频编码在无线网络中的自适应传输问题,提出一种基于概率估计的分层视频传输算法。通过分析前一帧的实际传输速率,预测后一帧可能的传输速率,从而选择合适的层进行传输,以达到在有效利用网络带宽的同时减少丢帧的目的。仿真结果表明,该算法能保证传输视频具有较高的图像质量和较低的丢帧率。     

利用时空相关性的HEVC帧内编码块快速划分

目的 为了提升高效视频编码（HEVC）的编码效率,使之满足高分辨率、高帧率视频实时编码传输的需求。由分析可知帧内编码单元（CU）的划分对HEVC的编码效率有决定性的影响,通过提高HEVC的CU划分效率,可以大大提升HEVC编码的实时性。方法 通过对视频数据分析发现,视频数据具有较强的时间、空间相关性,帧内CU的划分结果也同样具有较强的时间和空间相关性,可以利用前一帧以及当前帧CU的划分结果进行预判以提升帧内CU划分的效率。据此,本文给出一种帧内CU快速划分算法,先根据视频相邻帧数据的时间相关性和帧内数据空间相关性初步确定当前编码块的编码树单元（CTU）形状,再利用前一帧同位CTU平均深度、当前帧已编码CTU深度以及对应的率失真代价值决定当前编码块CTU的最终形状。算法每间隔指定帧数设置一刷新帧,该帧采用HM16.7模型标准CU划分以避免快速CU划分算法带来的误差累积影响。结果 利用本文算法对不同分辨率、不同帧率的视频进行测试,与HEVC的参考模型HM16.7相比,本文算法在视频编码质量基本不变,视频码率稍有增加的情况下平均可以节省约40%的编码时间,且高分辨率高帧率的视频码率增加幅度普遍小于低分辨率低帧率的视频码率。结论 本文算法在HEVC的框架内,利用视频数据的时间和空间相关性,通过优化帧内CU划分方法,对提升HEVC编码,特别是提高高分辨率高帧率视频HEVC编码的实时性具有重要作用。     

一种适用于无线视频传输I帧的稳健容错算法

在没有服务质量保证的无线传输环境中，按照传统视频编码标准压缩的码流很容易遭到破坏，这在I帧中尤为突出。因此需要对传统视频压缩标准加以改进以提高在无线传输环境中的自身容错性能。针对这一问题提出了一种用于提高视频流I帧容错能力的算法。该算法首先对视频流中不同部分对发生在自身的码位错误所引起误差传播的敏感度进行分析，然后以此分析结果和I帧重建中码流信息的不同重要性作为决定I帧码流中重要信息的原则，最终通过对这些I帧中的重要信息加以保护、提取和集中，以减少发生帧内误差传播范围。通过H.263＋baseline测试码流在加性高斯白噪声无线信道仿真实验的结果可以证明，该算法在增加少量冗余信息和计算复杂度的情况下，相比参考算法在主观和客观质量上都有较大幅度的提高。     

Transmission distortion estimation for real-time video delivery over hybrid channels with bit errors and packet erasures

We study transmission distortion of video delivery over hybrid channels with bit errors and packet erasures. Hybrid channels have been prone to suffering from transmission error in the forms of packet erasures due to congestion at wired networks, as well as bit errors caused by the wireless interference or fading on wireless links. We present a recursion approach to transmission distortion estimation over hybrid channels in successive frames with the prediction mode. This approach is feasible for video transmission applications as it is capable of online estimation of transmission distortion on received decoded video. Our extensive simulation results on six well-known video sequences demonstrate that our proposed approach is accurate and robust.