支持IPTV高清码流连续平滑播放的多级缓冲区设计与实现

把流媒体系统作为一个复杂的控制系统进行研究,给出支持多级反馈控制机制的系统框图,重点分析媒体播放器从流接收到播放的全过程.同时,为了提高用户体验质量,实现音视频流在接收端的连续平滑播放,设计了多级缓冲机制以减少IP网络抖动和丢包产生的影响,实现了根据接收端的解码能力,自适应地选择解码层次和调整帧播放速率.最终采用多线程技术实现了MPEG-2 TS复用H.264高清视频流的解码播放,并给出试验结果.     

一种基于优先级区分的视频流传输控制算法

视频流传输控制对于提高网络服务质量具有重要意义.分析了MPEG视频流编码和传输特性,通过引入流间优先级和流内优先级机制,提出了一种基于优先级区分的视频流传输控制算法(PDVT),对不同类型的帧标记上不同的优先级,并进行优先级区分的调度.采用流间优先级机制区分MPEG流和其它网络流量,采用流内优先级机制区分MPEG视频流中不同类型帧的优先级.仿真实验表明,提出的PDVT算法能够向不同优先级流提供区分服务,大大提高了视频流传输质量,从而验证了算法的有效性.     

基于DCS的WMSN多视角视频编解码

为了有效解决无线多媒体传感器网络中多视角视频监控传输数据量大以及网络能量、资源受限的问题,提出了一种基于分布式压缩感知的高压缩率多视角视频编解码方法.对多视角视频序列进行分组处理,并将图像组分为关键帧和非关键帧;对关键帧采用基于压缩感知(compressed sensing,CS)的编解码方法进行处理;而在非关键帧的编码端采用联合稀疏表示方法对残差图像稀疏表示,解码端利用帧间时间相关性和多视角空间相关性预测生成当前视频帧,并借助差异补偿方法进一步提高预测准确性,同时提高了重构效果.实验结果表明,该方法取得较高的压缩率,重构出的图像质量比参考方法更高,且PSNR值得到了较大的提高.     

基于Ad hoc网络的联合多描述分层编码新方法*

提出了一种基于Ad hoc网络中视频传输的自适应插入过渡帧的联合多描述分层编码(AFI-MDLC)新方法.该方法根据相邻帧的相对运动自适应地插入过渡帧,然后将视频序列分成两个描述子,描述子独立分层编码后,生成各自的基本层和增强层,每个描述子具有独立的预测环路.多路径传输策略用于AFI-MDLC数据传输,同时利用ARQ反馈信道状态,实时调整传输策略.实验结果袁明,该方法与以往方法相比,能够有效地缓解误匹配问题,帮助解码器快速从随机错误或突发错误中恢复,提供更加稳定的重建视频质量.     

一种嵌入视频流的丢包自测量方法

现有的丢包主动测量方法是通过探测流的丢包信息去推测网络的丢包特性,进而推测特定应用流的丢包,测量结果不能准确获知某一给定应用流的丢包情况.由于丢包通常属于短时间、小概率事件,要更加准确地测量丢包就意味着需延长测量时间,或者提高探测流的发送速率以及时发现丢包,这将不可避免地增加网络的额外负载.分析了不同类型帧损伤的影响,并以MPEG-4,H264 视频为研究对象,通过对其码流结构特点及RTP 封装策略的分析,提出一种将测量信息嵌入到视频用户数据域(User_Data)的丢包测量方法PLBU(packet loss measurement based on User_Data).该方法利用视频码流信息完成对丢包的探测,不影响视频的正常播放,不需要注入新的探测流,极大地降低了因测量而引入的额外负载.NIST Net 及Planetlab 等实验结果表明,该算法不仅丢包测量准确性高,且可提供丢包所属视频帧类型等信息,如视频中I,P,B 帧的数据包丢失的情况.借助该测量方法,服务提供商可评测网络视频流丢包,并分析视频体验质量(QoE)变化情况,且不受视频流在网络传输中的优先级影响.     

一种基于小波域规则三角形网格运动补偿的可扩展视频编码方法

可扩展视频编码是指已编码码流在解码端能够进行部分解码,且重构图像的质量与接收到的信息量成比例变化,同时空域分辨率和时域分辨率可以根据解码端的要求改变。为了提供小波编码视频码流的高度可扩展性,提出了一种基于小波域规则三角形网格运动补偿的可扩展视频编码方法。该方法首先对参考帧使用冗余离散小波变换(RDWT)进行分解,并在RDWT小波域使用网格运动模型进行运动补偿,以提高运动补偿效率;其次在编码阶段则采用基于子带扫描顺序的改进SPIHT技术来保障码流的可扩展特性。实验表明,该方法在获得较高编码效率的同时,还提供了码流的高度可扩展特性。     

一种自适应的视频流化前向纠错算法

网络视频应用经常会受到数据包丢失或错误以及网络带宽资源不足的干扰.相关研究表明:在多数情况下,动态变化的网络带宽和丢包率是影响视频流化质量的关键因素.因此,为了保证视频质量,可以采用前向纠错(forward error correction,简称FEC)编码来提高视频数据传输的可靠性;同时,为了适应网络状态的变化,发送端可以调节视频数据的发送速率,并在视频源数据与FEC数据之间合理分配网络传输带宽.首先通过对视频流结构的分析,在充分考虑帧之间的依赖关系和帧类型的基础上提出了一种帧的解码模型.在此基础上,建立了用于在视频源数据和FEC数据之间分配网络带宽资源的优化算法.实验表明,该模型可以有效地适应网络状态的变化,并通过优化分配网络带宽资源来使接收端获得最大的可播放帧率.     

简单的4×4块帧内模式选择算法

帧内预测的模式选择问题是H.264帧内编码中的瓶颈问题。参考算法中对每个4×4子块的9种预测模式进行遍历运算寻找最佳模式,耗费了极大的计算量,不利于实现实时编码。文章提出了一种快速帧内预测4×4子块模式选择算法。该算法采用子抽样模型和边界纹理信息提取技术,按照“足够好就停止”原则,提前中止算法,减小备选模式数量,简化模式选择过程,降低了模式选择的复杂度。实验结果表明:对全I帧序列,与H.264参考代码中模式遍历算法相比较,该算法的帧内模式选择计算复杂度减小56%～78%,由于不同序列内容不同,在不同QP参数下,该部分代码运行时间节约不等(1%～30%),而同时保证图像质量下降在可接受范围之内。     

高清立体视频的传输失真估计模型

针对高清立体视频序列分辨率大、宏块信息量少以及网络传输易出现差错的特点,提出一种能够估计高清立体视频端到端传输的失真模型。该模型能够考虑到丢包对后续帧的错误扩散以及立体视频左右视点帧之间的时空相关性,采用递归算法准确地估计失真,并运用时域帧拷贝的错误隐藏方法降低解码端的复杂度。仿真结果表明,失真模型的平均预测误差能控制在6%以内,对于不同特性和分辨率的立体视频序列,在不同网络环境下传输失真估计均有一定的适用性。     

无线传输以太网音视频流的帧重组方法

针对煤矿井下利用无线传感网技术传输音视频流存在着丢包严重的问题,提出了一种基于FPGA实现的对以太网数据帧进行拆/组的方法,即在发送端将一个以太网帧拆分成若干个小的数据包进行传输,在接收端将小数据包组合成以太网帧,并对丢失或损坏的数据进行一定的处理,最后对接收到的数据帧重新计算帧校验序列(FCS)。该方法有效利用了丢失部分数据的以太网帧,提高了有效数据的利用率,减小了音视频流中数据丢失对接收端收到的音视频流质量造成的影响。     

分布式视频编码中关键帧丢失错误保护

目的 分布式视频编码较其传统视频编码具有编码简单、误码鲁棒性高等特点,可以很好地满足如无人机航拍、无线监控等新型视频业务的需求。在分布式视频编码中,视频图像被交替分为关键帧和Wyner-Ziv帧,由于受到信道衰落和干扰等因素的影响,采用传统帧内编码方式的关键帧的误码鲁棒性远不如基于信道编码的Wyner-Ziv帧。关键帧能否正确传输和解码对于Wyner-Ziv帧能否正确解码起着决定性的作用,进而影响着整个系统的压缩效率和率失真性能。为此针对关键帧在异构网络中的鲁棒性传输问题,提出一种基于小波域的关键帧质量可分级保护传输方案。方法 在编码端对关键帧同时进行传统的帧内视频编码和基于小波域的Wyner-Ziv编码,解码端将经过错误隐藏后的误码关键帧作为基本层,Wyner-Ziv编码产生的校验信息码流作为增强层。为了提高系统的分层特性以便使系统的码率适应不同的网络条件,进一步将小波分解后图像的各个不同层的低频带和高频带组合成不同的增强层,根据不同信道环境,传输不同层的Wyner-Ziv校验数据。同时对误码情况下关键帧的虚拟噪声模型进行了改进,利用第1个增强层已解码重建的频带与其对应边信息来获得第2个和第3个增强层对应频带的更加符合实际的虚拟信道模型的估计。结果 针对不同的视频序列在关键帧误码率为1%20%时,相比较于传统的帧内错误隐藏算法,所提方案可以提高视频重建图像的主观质量和整体系统的率失真性能。例如在关键帧误码率为5%时,通过传输第1个增强层,不同的视频序列峰值信噪比（PSNR）提升可达25 dB左右;如果继续传输第2个增强层的校验信息,视频图像的PSNR也可以提升0.51.6 dB左右;如果3个增强层的校验信息都传输的话,基本上可以达到无误码情况下关键帧的PSNR。结论 本文所提方案可以很好地解决分布式视频编码系统中的关键帧在实际信道传输过程中可能出现的误码问题,同时采用的分层传输方案可以适应不同网络的信道情况。     

基于无线环境的错误隐藏算法

在无线环境下压缩的视频序列对信道干扰非常敏感。传输错误不仅会影响当前帧而且会扩散到后续各帧。目前大多数利用时间和空间冗余特性的后处理错误隐藏方法并不能有效地对这种传输错误进行修复,它们忽视了被修复宏块的邻居宏块在无线环境下极易丢失这个事实,仅在当前帧中进行错误隐藏,因而限制了修复的效果。该文提出一种适用于无线环境的错误隐藏算法,该算法计算量较小,在当前帧和后续的B帧和P帧中都可达到较佳的图像质量。仿真结果证明,在无线环境下,该算法在图像质量和计算负载方面都是一种较优的错误隐藏方法。     

一种FGS视频网络传输的差错控制方法

根据FGS编码的特点，提出了一种应用于FGS解码器的错误恢复方法，并在该方法的基础上，提出了一种针对FGS编码视频流网络传输的差错控制方法。有效提高了FGS编码码流抵抗网络丢包的能力，同时对抵抗网络的突发连续丢包也有很好的作用。最后的实验结果证明，该方法可行有效。     

Analytical model for MPEG video frame loss rates and playback interruptions on packet networks

This paper presents and studies objective video quality evaluation techniques for a network where frame losses can be considered independent, for example a best effort not heavy loaded packet switching network. The total or partial loss of a frame’s information affects the quality of video playback, as the frame cannot be decoded and other frames that depend on it cannot be correctly decoded too. Therefore, during some time the video playback has errors in the image and the user will perceive them as interruptions. In this paper, the total number of decoded frames and the video playback interruptions duration will be considered important parameters to quantify the video quality. The analytical formulation for them will be presented and the importance of considering them together will be highlighted.     

高效的I帧分区错误隐藏方法

针对现有I帧错误隐藏方法不能平衡恢复图像质量与算法复杂度的问题,提出了一种高效的I帧分区错误隐藏方法。首先,利用视频帧之间的运动相关性将丢失宏块分为运动宏块和静止宏块。对于静止宏块,采用帧拷贝法进行掩盖;对于运动宏块,再根据其周围正确解码宏块的纹理信息将其分为平滑块和纹理块。对平滑块采用双线性插值法进行恢复;对纹理块利用比较精细的指数分布权重的加权模板匹配(WTE)法进行掩盖。实验结果表明,与WTE算法相比,所提方法的峰值信噪比(PSNR)平均提高了2.6 dB,计算复杂度平均降低了90%。对于场景连续的具有不同特征和分辨率的视频序列,所提方法都具有一定的适用性。     

Recovering Connected Error Region Based on Adaptive Error Concealment Order Determination

Parts of compressed video streams may be lost or corrupted when being transmitted over bandwidth limited networks and wireless communication networks with error-prone channels. Error concealment (EC) techniques are often adopted at the decoder side to improve the quality of the reconstructed video. Under the conditions of a high rate of data packets that arrives at the decoder corrupted, it is likely that the incorrectly decoded macro-blocks (MBs) are concentrated in a connected region, where important spatial reference information is lost. The conventional EC methods usually carry out the block concealment following a lexicographic scan (from top to bottom and from left to right of the image), which would make the methods ineffective for the case that the corrupted blocks are grouped in a connected region. In this paper, a temporal error concealment method, adaptive error concealment order determination (AECOD), is proposed to recover connected corrupted regions. The processing order of an MB in a connected corrupted region is adaptively determined by analyzing the external boundary patterns of the MBs in its neighborhood. The performances, on several video sequences, of the proposed EC scheme have been compared with those obtained by using other error concealment methods reported in the literature. Experimental results show that the AECOD algorithm can improve the recovery performance with respect to the other considered EC methods.      

分形图像编码中解码图像质量的预测

对于分形图像编码算法,提出一种解码图像质量的预测方法。通过大量实验观察,发现分形图像编码中Range块的平均拼贴误差与解码图像质量峰值信噪比（PSNR）值之间存在类似指数函数的对应关系。将该对应关系进行曲线拟合,计算Range块的平均拼贴误差,根据平均拼贴误差进行解码图像质量预测。实验结果表明,对于不同R块尺寸和快速分形图像编码算法,该算法均能够对解码图像质量进行较好的预测。     

一种新的图像分场描述编码错误掩盖算法

针对信道中数据丢失导致图像恢复质量严重受损问题,提出将方向插值引入到基于图像分场描述编码的错误掩盖算法。每帧图像分为两场独立编码传输,丢失一场数据时,通过改进Sobel算子计算正确接收的另一场图像内部边缘,沿边缘方向插值恢复出丢失的场。实验结果表明,应用这种基于像素行交织的错误掩盖算法后,图像主观恢复质量和峰值信噪比均较现有方法有显著提高。算法计算复杂度低,与H.264编码标准兼容,适于实际工程应用。     

精细可伸缩性视频编码算法的研究

在MPEG-4的视频流化框架中提出了精细可伸缩性视频编码FGS(FineGranularityScalable)算法,增强了码流对带宽的适应性和抗误码能力,但是在FGS增强层编码中使用的是栅格扫描方式,当大多数宏块被解码时,整帧图像的质量能够得到有效的提高,但是当某一层的码流不可用时,只有图象帧的上边缘区域得到增强,而不能有效地增强图象帧的感兴趣区域—图像的中间部分,该文提出了一种水环扫描方式(WaterRingScanning),先编码图像帧的感兴趣区域,然后再编码图像的其它部分,这样就能有效地提高解码后图像的主观质量,而且保留了FGS原有的各种优良性能。