一种网络丢包的无参考视频质量评估方法

针对网络视频质量评估需要满足实时性高、资源开销小等要求,在研究不同类型帧的丢包对视频质量影响的基础上,提出一种不需要对视频解码的无参考网络视频质量评估模型．该方法不必对接收到的码流解码,只通过码流的包头分析即可得到视频的时域复杂度; 并通过研究不同帧类型的丢失对视频质量的影响,提出一种无参考的网络视频质量评价模型来预测网络失真视频质量．该方法不仅考虑到人眼视觉系统的空域掩盖效应和时域掩盖效应对视频质量的影响,而且也考虑了不同类型的帧的丢包对视频质量的影响．提出的模型不需要对视频进行完全解码,具有资源开销小、实时性好的特点,适合对实时传输的视频流进行质量评估．实验结果表明,使用该视频质量评估方法测得的视频丢包失真质量评分与其主观质量评分有很好的一致性,相比于国际标准G.1070中的丢包视频质量评价模型,无参考的网络视频质量评价模型与主观质量评价的相关性平均提高了6.96％．     

无线传感器网络MDC视频传输的跨层多径路由协议

将网络协议栈的跨层优化设计思想应用于多媒体无线传感器网络,提出一种基于视频编码峰值信噪比最优的跨层多径路由协议.在跨层多径路由模型中,以最大化应用层的多描述编码(MDC)峰值信噪比作为优化目标,通过物理层的丢包率测量和MDC层的信道容量估计联合确定网络层的多径路由属性,MDC的每个描述被映射到多条链路独立的路径上分别传输,最终在Sink节点进行汇聚.对随机生成的网络拓扑求取最小跳数节点的独立两路径路由和跨层多径路由,将Foreman视频分割成2个描述编码视频沿不同路由进行传输,仿真结果验证了跨层多径路由能够降低丢包率和提高平均PSNR.跨层多径路由协议能够提高MDC视频在无线传感器网络中的传输质量.     

H.264／AVC网络视频的丢包失真评估

针对新一代压缩编码标准H.264／AVC所使用的新编码技术在网络传输时误码对视频质量的影响,提出一种无参考的H.264／AVC网络视频的丢包失真评估方法．首先对信道误码引起的视频失真进行了分析,然后确定H.264／AVC编码新特性对空时域误码传播及误码掩盖的影响,进而提出一种无参考的H.264／AVC网络视频的丢包失真评估方法．该方法计算复杂度低,适合对实时传输的视频进行质量监控．实验结果表明,使用该方法得到视频序列的MSE(mean square error)与使用全参考视频质量评估方法得到视频序列的MSE具有很好的一致性,相关性超过0.85．     

IP网络视频会议系统中视频子系统的研究与实现

研究了IP网络视频会议系统中视频子系统设计中的采样信号前处理、视频编解码与数据包传输等问题.介绍了每个问题产生的背景,并对提出的算法原理和算法步骤进行了详细描述.针对传输丢包现象和视频多点处理器的运算能力限制,对每个问题在解决方法上都有所改进或创新.研究成果应用到实际的SIP视频会议系统中,显著地提高了系统的视频性能技术指标.     

基于视频统计特征的差错敏感度模型

针对传统的丢包对视频质量影响研究的局限性,提出一种差错敏感度模型。对每个受损块提取周围块的丢失情况、纹理复杂度、运动矢量和梯度等可用的统计特征;对丢包视频进行差错隐藏,计算出差错敏感度;利用机器学习技术,建立统计特征和差错敏感度的关系模型。试验结果表明,相比于现有评价方法,该模型可以比较准确地预测视频帧局部差异性对不同丢包情况的敏感程度,尤其对于运动缓慢的视频序列,预测精度明显优于其他方法。     

受限带宽下医疗机器人视频自适应传输的实现

本文针对受限带宽下,医疗机器人视频传输存在的问题,在分析已有算法的基础上,提出了一种基于端到端消息反馈的自适应码率视频传输算法.算法根据接收端反馈的网络状况因子,判断当前网络状况,从而自适应调整发送端的视频传输码率.实验结果表明,算法能够保证视频在受限带宽下进行传输时,仍具有较高的视频质量和较低的丢包率,而且解决了消息延迟的隐患,可应用于受限带宽下的实时视频通话.     

立体视频信号丢帧的误差分析模型

基于立体视频编码的预测结构,在理论分析和实验的基础上,提出了一种多点视频编码(MVC)在丢帧情况下的误差分析模型。该模型考虑了视点间的误差传播,并且具有良好的可扩展性。实验结果表明,该模型可准确地估计出在视频序列中帧丢失引起的误差。     

质量均衡的FGS率优化分配策略

为了保证在带宽约束信道下的视频传输能够获得最小的失真,同时降低接收端的视频失真波动,提出了一种精细粒度可扩展编码（FGS）率优化鲁棒传输策略.该策略首先根据网络可用带宽和丢包特性对FGS视频增强层进行率分配,然后根据FGS视频增强层之间存在的不同重要性,采用不均等前向冗余纠错(FEC)方法进行错误保护.在率分配和FEC非均等保护这两个步骤中,都考虑了网络丢包对视频质量波动的影响.试验结果表明,该方法能够有效减小接收端因丢包引起的视频质量失真,同时能大幅度降低视频质量的波动.     

基于TCP OVER UDP技术的机器人遥操作系统中视频传输的研究

针对机器人遥操作系统中采用传统网络传输协议传输实时数据的局限性,比较分析TCP和UDP协议的传输特点,提出了在UDP协议上传输TCP服务的TCPOVERUDP技术,详细阐述了TCPOVERUDP技术的实现细节,在应用层实现了TCPOVERUDP传输技术,并把TCPOVERUDP技术应用到机器人遥操作系统的视频传输中。实验结果表明TCP OVER UDP技术在降低视频数据传输丢包率和传输时延两个方面都具有良好的性能。     

基于光栅的手机自由立体显示视差调整方法

由于移动终端本身屏幕尺寸的限制,原有基于大屏幕显示的多视点立体视频显示方法应用于移动终端上时立体视频会出现模糊、清晰度降低的现象。在分析移动终端上多视点立体视频模糊现象的产生原因和解决方案的基础上,结合立体视频与视差的关系,提出了一种视差调整方法。该方法以立体视频视差的适当减小来换取清晰度的提高,使立体视频观看效果更为清晰和舒适,从而保证了移动终端等小屏幕设备上立体视频显示整体效果。     

带宽约束下FGS视频传输非均等错误保护

为了在带宽约束的丢包信道下获得最小的视频传输失真，提出一种基于MPEG-4精细粒度可扩展（FGS）编码的非均等错误保护（ULP）策略.该策略采用前向冗余纠错（FEC）方法进行错误保护，并根据FGS视频增强层之间存在的不同重要性, 对不同的增强层分配不同速率的冗余数据.重要性高的层获得更强的错误保护，而重要性低的层获得较弱的错误保护.建立了平均网络丢包概率和FGS视频率失真之间的关系模型，设计了优化的FEC数据分配算法.在网络仿真器（NS-2）中的模拟结果表明，该错误保护策略可以有效地减少视频失真以及视频质量波动，在10%的平均丢包概率下，可以获得1.5dB的质量提高.     

分级视频码流的三维精细粒度排序方法

为了降低网络延时、带宽变化以及信道丢包对视频传输的影响,提高视频重建质量,提出了一种基于三维精细粒度的可分级视频码流的排序方法．该方法以图像组为单位,通过计算空域、时域和信噪比域分层码流的失真,并依次选择失真较小的分层码流来完成对可分级视频码流的排序,保证接收端能够从收到的一定数量的数据包中恢复出最佳质量的图像．采用细化分层和改进迭代的方法,克服了已有算法当分层码流对应码率变化较大时失真计算不精确的问题,进而能够提供更加精细的分层码流排序特性．仿真结果表明,同已有方法相比,该方法能够有效地提高可分级码流的重建图像质量．     

用户驱动的交互式立体视频流传输系统

提出并实现了一种在现有网络带宽条件下即可实现的交互式立体视频流传输系统.该系统首先采用人脸检测与跟踪技术确定用户的位置信息,并将该信息实时反馈到服务器端,服务器端根据客户的位置信息自适应选择与用户观看角度最匹配的两路立体视频流数据发送至客户端.在现有的网络带宽条件下,该系统可为用户提供高质量的立体视频,还能为用户提供自主选择观看视角的能力,保证用户总能以最佳的角度观看立体视频.     

基于多维矢量矩阵的多视角视频编码

针对现行视频压缩编码标准对多视角视频编码(MVC)的支持与扩展存在一定的局限性这一问题,结合多维矢量矩阵理论,对先前研究中提出的针对单一视角彩色视频流的一整套压缩编码方案加以扩展,将其应用于八个视角的视频编码中,包括多维分块、多维重组、多维矢量DCT正交变换、多维量化、差分编码、多维扫描及行程编码。通过对实验数据的分析,验证了这一整套方案在多视角视频编码中的可行性,为多维矢量矩阵以及多视角视频编码的进一步研究奠定了基础。     

Network-aware perceptual error concealment method for H.264 video with side information

In order to improve the video quality of transmission with data loss, a spatial and temporal error concealment method was proposed, which considered both the state information of the network and the perceptual weight of the video content. The proposed method dynamically changed the reliability weight of the neighboring macroblock, which was used to conceal the lost macroblocks according to the packet loss rate of the current channel state. The perceptual weight map was utilized as side information to do weighted pixel interpolation and side-match based motion compensation for spatial and temporal error concealment, respectively. And the perceptual weight of the neighboring macroblocks was adaptively modified according to the perceptual weight of the lost macroblocks. Compared with the method used in H.264 joint model, experiment results show that the proposed method performs well both in subjective video quality and objective video quality, and increases the average peak signal-to-noise ratio (PSNR) of the whole frame by about 0.4 dB when the video bitstreams are transmitted with packets loss.     

高维变换域中的系数集中分析及研究

针对多视角视频中包含巨大的数据信息,考虑到对存储和传输造成的困难,第一次推导了多视角视频的傅里叶变换(FT)以及多维矢量矩阵离散余弦变换(MVM-DCT)公式。结合多维矢量矩阵可以将多视角视频表示在一个多维的数学模型中以及DCT正交性的优点,推导出的MVM-DCT能够很好地去除空间、帧间和视角间的相关性。导出公式表明,高维变换域中的系数能量主要集中在一个沿时间维度和视角维度均衰减的折叠平面体上,通过仿真实验证明了理论推导的正确性。该公式推导的意义在于揭示了运动矢量,角度变量与高维变换域中系数集中分布的关系。并研究有关运动分析的最小化补充准则。这些将为多视角视频编码系统的进一步压缩提供了理论上的指导。     

Parametric-planning model combining the transmission characteristics of network video service

To evaluate the network video quality, a parametric-planning model is presented. Combining the characteristics of the channel and video sequence, the proposed model evaluates the video distortion caused by packet loss. It can be applied to effective network design and optimization on the premise of the quality of the video services. Firstly, by a detailed analysis of the packet loss behaviors and the characteristics of the video coding, a sequence distortion factor and a frame distortion factor are derived by combining the probability distributions of the packet loss event, which can reflect the video distortion from the perspective of the sequence impairment and frame impairment. Utilizing these factors, the video distortion caused by packet loss is evaluated and finally the parametric planning model is established. Experimental results show that compared with G.1070 and T-V models, the proposed model gets an increment of about 0.042 and 0.064 in Pearson Correlation Coefficient (PCC) and a decrement of about 0.043 and 0.055 in Root Mean Squared Error (RMSE).