基于HTC Vive的全景视频显示质量评估

近年来,科技界掀起一场"虚拟现实"风暴,给人们带来了前所未有的视听体验。全景视频作为虚拟现实的主要构造方式之一,凭借其良好的用户体验与人机交互性被广泛应用于医疗、娱乐、教育以及工业设计等诸多领域,在一定程度上改变了原有的生产设计方式。与此同时,用户对于全景视频视觉体验的要求也日益增长,如何为用户提供良好的全景视频视觉体验已成为近年来相关领域的研究热点。本文以HTC Vive平台为基础,结合虚拟现实技术相关指标以及用户对于全景视频视觉体验的要求,搭建了全景视频显示系统,并在此平台上通过主观实验分析了渲染全景视频时的球体网格面片数与全景视频主观质量之间的关系。实验结果表明,对于分辨率为720P、1 080P以及4K的视频,当面片数小于64时,视频的主观质量与面片数量成正相关关系;当面片数超过64后,视频主观质量方可由其自身参数所决定。本文中所搭建的全景视频显示系统以及文中相关结论可为后续有关全景视频的研究与应用开发提供有效的建议。     

H.323同步控制实现研究

提出并实现了一种H.323多媒体通信系统音视频同步控制算法,算法以正常语音播放为基准,利用H.263码流语法信息,通过调整视频播放帧率实现媒体间同步, 不增加通信冗余度。实际测试结果表明,算法有效地提高了多媒体通信系统音视频媒体同步性能和多媒体的感知服务质量,并已应用于实际多媒体通信系统。     

利用H·264/AVC数据分割实现GOP级视频传输的方法

H.264/AVC中slice的各个数据分割部分和GOP内不同编码类型的帧对视频恢复质量影响不同.根据这一特性,提出一种度量GOP内不同帧中各个数据分割部分重要性的失真推导算法,再利用所得的重要性提出一种与视频内容和信道条件都自适应适配的GOP级视频传输方法.度量重要性所使用的失真推导算法考虑了由误码扩散和误码掩盖引入的失真.实验结果表明,使用推导算法计算所得的失真与仿真所得的失真基本吻合,与基于slice数据分割的视频传输方法相比,所提出的GOP级视频传输方法提高了视频恢复质量,最好可提高2dB以上.     

基于OpenGL的交互式全景视频显示系统

随着虚拟现实和多媒体通信技术的快速发展,全景视频作为一种新兴的数字媒体,凭借其良好的临场感和沉浸感在影视娱乐、教育教学、工业仿真、医学研究等众多领域取得广泛应用。为了更好地开展全景视频的相关研究,建立交互式的全景视频显示系统成为了优化和完善全景视频业务的重要前提。本文基于OpenGL渲染技术,结合用户对于全景视频交互操作的需求,搭建了交互式全景视频显示系统,并在该系统上通过实验分析了本系统的交互时延和视频分辨率、帧率的关系。实验结果表明,交互产生的时延和视频分辨率、帧率的大小呈正相关关系。在本平台的设置下,交互产生的时延不超过0.02s,为用户提供了良好的交互性和视觉体验,为全景视频的相关研究与应用开发提供了稳定的平台。     

视频编码算法在多媒体电路上的优化

随着DSP技术的发展，使得基于DSP的视频编解码成为可能，要想进一步提高编解码速度，必须针对特定DSP的特点对编解码器进行优化。本在对视频编码器核心算法进行详细分析的基础上，结合TMl300适合处理多媒体数据的软硬件结构，在代码级和函数级对核心算法进行了优化，极大地提高了编码速度。     

考虑包内容特性的网络语音质量评价模型

丢包是引起网络语音质量下降的主要因素,其影响程度不仅与丢失包的个数有关,而且与丢失包的内容特性有关.考虑丢失包的内容特性,提出了一种无参考的网络语音质量评价模型.首先,利用话音激活检测技术和未丢帧的电平来判断丢失包的内容特性,然后统计语音包的丢失率,进而提出一种无参考的网络语音质量评价模型来预测网络失真语音质量.实验结果表明,相比于国际标准G.1070中的语音质量评价模型,无参考的网络语音质量评价模型与主观质量评价的相关性平均提高了8.4%.     

基于轻量级全连接网络的H.266/VVC分量间预测

新一代视频编码标准H.266/VVC引入分量间线性模型(CCLM)预测提高压缩效率。针对亮度色度分量存在相关性却难以建模的问题,提出基于神经网络的分量间预测算法。该算法根据待预测像素与参考像素的亮度差遴选出相关性强的参考像素构成参考子集,然后将参考子集送入轻量级全连接网络获得色度预测值。实验结果表明,与H.266/VVC测试模型版本10.0(VTM10.0)相比,所提算法可提高色度预测准确度,在Y、Cb和Cr上可分别节省0.27%、1.54%和1.84%的码率。所提算法具有不同块尺寸和编码参数均可使用统一网络结构的优点。     

有效降低方块效应的DCT系数量化方法

方块效应是基于块的混合视频编码算法产生的重要特征失真,严重影响了压缩后视频的主观质量。分析产生方块效应的根本原因,在此基础上提出一种有效降低方块效应的DCT系数量化方法。该方法通过调整量化过程,减小量化误差在块边界处的变化,增强相邻块间量化误差的相关性,从而降低了压缩后视频的方块效应。实验结果表明该方法能够有效降低方块效应,改善视频帧的主观质量。另外,该算法计算复杂度较低,并且与视频压缩标准兼容,具有实用性。     

网络视频质量评估技术研究现状及发展动向

网络视频质量评估是保证网络视频业务质量的关键技术.依据对网络视频码流的介入程度,客观网络视频质量评估模型可分为参数规划模型、分组层评价模型、比特流层评价模型、媒体层评价模型及混合评价模型5大类.首先介绍了网络视频质量评估方法的各种分类及应用场景,并基于影响网络视频质量的重要因素,分别详细综述了各模型的特点、关键技术、最新研究成果及标准化进程     

利用曲率分析的三维网格质量评估方法

由于顶点的曲率能够很好地反映3维网格的视觉特征,该文提出了一种利用曲率分析的3维网格质量评估方法。该方法首先估算各顶点的曲率,然后在每个顶点的邻域内构建一个曲率矩阵,并根据原始网格和失真网格对应曲率矩阵的奇异值差异评估顶点位置的失真,最后通过对这些局部失真的加权联合得到网格的整体失真。实验结果表明,相比于其他方法,该文提出的方法不但能够更准确地评估3维网格的质量,而且具有更好的鲁棒性。