基于强化学习的立体全景视频自适应流

针对当前立体全景视频传输缺少有效的流自适应方法,且传统全景视频流自适应策略传输双目立体全景视频使得传输数据加倍,所需带宽巨大的问题,该文提出一种基于多智能体强化学习的立体全景视频非对称传输自适应流方法,以实时应对网络带宽波动。首先,根据人眼对视频显著性区域的偏爱,左右视点中每个瓦片(tile)对立体视频的感知质量的贡献度不同,提出一个基于tiles的左右视点观看概率预测方法。其次,设计了一种基于策略-评价(Actor-Critic)的多智能体强化学习框架,对左右视点进行联合码率控制。最后,根据模型结构和双目抑制原理,设计合理的奖励函数。实验结果表明,与传统流自适应传输策略相比,该文所提方法更加适用于基于tiles的立体全景视频传输,实现在有限带宽下提高用户的体验质量(QoE),为立体全景视频联合码率控制提供了一种全新的方法和思路。     

基于OpenGL的交互式全景视频显示系统

随着虚拟现实和多媒体通信技术的快速发展,全景视频作为一种新兴的数字媒体,凭借其良好的临场感和沉浸感在影视娱乐、教育教学、工业仿真、医学研究等众多领域取得广泛应用。为了更好地开展全景视频的相关研究,建立交互式的全景视频显示系统成为了优化和完善全景视频业务的重要前提。本文基于OpenGL渲染技术,结合用户对于全景视频交互操作的需求,搭建了交互式全景视频显示系统,并在该系统上通过实验分析了本系统的交互时延和视频分辨率、帧率的关系。实验结果表明,交互产生的时延和视频分辨率、帧率的大小呈正相关关系。在本平台的设置下,交互产生的时延不超过0.02s,为用户提供了良好的交互性和视觉体验,为全景视频的相关研究与应用开发提供了稳定的平台。     

全景视频QoE评价研究进展

随着5G移动通信技术、高性能计算、传感技术的不断进步,全景视频受到了越来越多的关注。全景视频通过头戴显示设备,可以为用户提供远超于平面视频的逼真的立体视觉感知,具有良好的发展前景。为用户提供良好的体验质量(Quality of Experience,QoE)是视频服务提供商吸引和留住用户,在激烈的市场竞争中取得成功的关键。与平面视频相比,全景视频的数据量倍增,对视频数据的采集、编码、传输和存储均提出了更高的要求。因此,如何在网络传输带宽、存储资源有限的情况下,保证用户的QoE就成为工业界和学术界共同关注的研究热点问题。本文对全景视频QoE评价进行了综述,首先对全景视频在采集、拼接、投影、编码、传输、解码、反投影、渲染等各个环节可能存在的失真进行分析,总结归纳了用户QoE的各种影响因素,如人的因素、系统因素、情境上下文和视频内容特性等;在此基础上,从影响因素和建模方法等多个方面归纳了全景视频QoE评价模型的研究进展,及其在码率自适应、资源优化分配和码率控制等方面的应用情况;最后,介绍了具有代表性的全景视频QoE评价数据集以及常见的QoE模型性能评价准则,并探讨了QoE评价模型目前存在的问...     

面向网络视频的三维全景展示技术*

针对当前网络视频形式单一、缺乏多元化的视频形式展示的问题,结合三维全景展示技术,提出了面向网络视频的三维全景展示技术系统方案。重点分析了系统方案中的全景图拼接技术以及基于Flash视频技术的三维全景展示技术,并给出了一个具体的网络视频的三维全景展示示例,实现在互联网上逼真的展示三维场景。该方法能通过Flash脚本编程将图片、视频、音频等有机地结合起来,为网络视频用户提供三维全景与用户交互,使用户获得更好的网络视频体验。     

多视点立体视频传输系统与错误隐藏算法设计

针对多视点立体视频数据量大、网络带宽受限等问题,提出了一种分组传输多路复用的多视点立体视频实时传输系统。系统将多视点数据通过H.264/AVC压缩编码后,在两个IP链路中进行分组复用,实现了立体视频在带宽受限网络中的实时传输;同时,为了解决IP网络传输中的丢包问题,提出一种联合时域视点间预测的错误隐藏算法。最后通过实验表明,本文错误隐藏算法可以提高多视点立体视频的解码质量。     

基于HTC Vive的全景视频显示质量评估

近年来,科技界掀起一场"虚拟现实"风暴,给人们带来了前所未有的视听体验。全景视频作为虚拟现实的主要构造方式之一,凭借其良好的用户体验与人机交互性被广泛应用于医疗、娱乐、教育以及工业设计等诸多领域,在一定程度上改变了原有的生产设计方式。与此同时,用户对于全景视频视觉体验的要求也日益增长,如何为用户提供良好的全景视频视觉体验已成为近年来相关领域的研究热点。本文以HTC Vive平台为基础,结合虚拟现实技术相关指标以及用户对于全景视频视觉体验的要求,搭建了全景视频显示系统,并在此平台上通过主观实验分析了渲染全景视频时的球体网格面片数与全景视频主观质量之间的关系。实验结果表明,对于分辨率为720P、1 080P以及4K的视频,当面片数小于64时,视频的主观质量与面片数量成正相关关系;当面片数超过64后,视频主观质量方可由其自身参数所决定。本文中所搭建的全景视频显示系统以及文中相关结论可为后续有关全景视频的研究与应用开发提供有效的建议。     

分布式多视点视频编码中的立体边信息生成

新兴的分布式多视点视频编码通过在解码端使用立体边信息可充分挖掘传统单视点的时间相关性和多视点特有的视间相关性.研究了一种多视点运动预测的立体边信息生成算法,提出了近似视差估计和编码端掩模融合算法.实验证明,解码端采用近似的视差矢量,编码端传递某些先验信息,都能有效提高立体边信息精度,降低计算复杂度.     

3D多视点立体显示及其关键技术

作为基于 DTV/HDTV 的二维(2D)显示之后的下一代视频显示技术,三维(3D)多视点立体显示已成为国际上的研究热点之一.为建立多视点立体显示系统,阐述了相关的关键技术,包括:光场表示模型和光场获取系统、高效的与现行视频标准兼容的多视点编码和传输方法、解码端任意位置视点的高效绘制方法、3D显示技术以及多视点自由立体显示.针对上述关键技术,分析了当前国际上的发展趋势及存在的问题,同时提出了一种基于交互式自由立体显示的 3D 视频处理系统的解决方案.     

基于多视点视频的差错控制技术

多视点视频数据量巨大,除了有效的压缩编码外,解决其在不可靠的信道如Internet和无线网络上传输的差错控制问题也是一个研究热点。针对多视点视频的三种编码结构,初步探讨了目前已经出现或正在研究中的多视点视频差错控制技术,主要集中在其编码端的差错复原编码和解码端的错误隐藏。     

江苏卫视2021澳门跨年演唱会IPTV 4K直播系统的设计与搭建

2021江苏卫视跨年演唱会采用了超高清制作,并在江苏电信IPTV 4K专区开设窗口进行"4K HDR/SDR+全景声"现场直播,给用户带来一场5个小时的视觉与听觉的盛宴.本文对此次IPTV 4K直播系统的设计与搭建方案进行了具体介绍.     

虚拟现实视频的制作和应用场景分析

目前,我国科技水平已经上升到了前所未有的高度,同时也推动了现代信息技术的飞速发展,许多先进的信息传输技术和图像处理技术都得到了质的飞跃。在大数据时代背景下,虚拟现实技术得到了全面推广,并在各个领域都得到了极大的突破,随着虚拟现实视频的引入,为观赏者带来了前所未有的视觉盛宴,让用户体验可交互式视频体验。我国当前的虚拟现实视频包括全景3D视频、非全景3D视频、局部全景3D视频、VR全景视频以及全景3D交互视频等,按照交互体验来看,又分为强交互视频与若交互视频。虚拟现实视频是基于虚拟现实技术为基础,通过不同场景视频的制作,在影视、直播、综艺等多个领域中都有着广泛的应用。主要针对虚拟显示视频的制作和应用场景进行探究。     

基于光学多传感器场景信息的视觉辅助驾驶技术

为满足坦克、装甲车辆等军用车辆的闭舱、无窗驾驶需求,研制了一套新型辅助驾驶系统。系统将分布于车辆四周的多路光学传感器获取车辆近身场景,通过全景拼接算法得到车辆近身360°的全景鸟瞰视频,该视频显示于车载显示屏,用于车辆通过窄道、有障碍物等特殊路段,或倒车时,驾驶员观看。同时,在车辆通过常规路段时,上述视频可根据驾驶员头部扭转角度,裁选出符合人眼观察视角的车外场景视频,传输至驾驶员显示头盔上,供驾驶员观看。如遇特殊情况,车载显示屏会报警,驾驶员将回归车载显示屏的观看。其中,驾驶员头部位置确定方法采用了红外LED光源图像定位技术和MEMS惯性器件定位技术。在实验室,搭建模型小车,验证全景鸟瞰视频生成技术和头盔自由视点观察技术。此外,还使用真实车辆进行了跑车实验。实验结果表明,上述系统可满足闭舱无窗车辆在常规路况下行驶,速度可达40 km/h,同时可辅助车辆窄道行车、障碍物绕行和倒车等事项顺利进行。     

一种基于CAVE的交互式全景视频显示方法

为了实现全景视频的沉浸式显示,开发了一个基于CAVE的交互式全景视频显示系统.本系统成功地实现了pgr全景视频文件在CAVE上的播放.首先,将全景视频中的每一帧全景图像映射到一个虚拟球面上;其次,使用五个虚拟相机对该球面的四面及顶面进行拍摄,调整各相机的参数使所得各幅图像覆盖整个球面区域,并能够无缝拼接;最后,将所得五幅图像分别投影到CAVE系统中各投影幕中;另外,实现通过鼠标、手柄等输入设备调整CAVE中各投影幕的画面.     

一种多摄像机全景视频图像快速拼接算法

针对多摄像机全景成像系统在近距离观测时全景图像存在视差失真和拼接费时的问题,提出了一种自适应调整相邻图像间变换矩阵的快速拼接算法。算法根据相邻图像重叠区域的匹配程度,采用快速自适应优化调整算法确定最佳变换矩阵参数,从而实现全景视频图像的无缝拼接。实验结果表明:本文提出的算法可以快速实现多摄像机全景视频图像的光滑拼接,满足近距离全景视频观测的实际要求。     

An efficient bit rate allocation algorithm for motion JPEG2000 transport in tile encoding

An efficient bit rate allocation algorithm for video sequence transmission in motion JPEG2000 is presented. In many cases, the moving portions of video are often the interested regions. Based on tile encoding of JPEG2000, the important regions are discerned by two parameters. One is the complexity of a tile; the other is the motion activity of a tile. Thus an adaptive rate-allocation is realized in a lower complexity and the perceptive quality of a frame is improved. Experimental results show the effectiveness of this algorithm.     

基于视角方向的全景虚拟视图合成

针对3DOF+视频搭建了一套基于视角方向的全景视频虚拟视图合成系统,利用极少视点位置的视频信息即可准确渲染任意视点位置的视频内容,从而为用户提供真实的观看体验。将所合成的新视点位置视图与相机采集的真实视图进行比较。实验结果表明,所合成的虚拟视图平均客观指标PSNR为23dB左右,主观质量良好,较为真实且能够提供良好的交互性与视觉体验。     

基于Harris图像拼接的全景视频稳像算法

对于背景变换和抖动分量比较小的视频序列,传统稳像算法不能直接适用,本文提出一种基于Harris图像拼接的全景稳像算法。首先采用Prewitt算子提取出图像的边缘信息,在此基础上进行分区的Harris特征点检测;然后结合NCC（normalized cross correlation）算法与RANSAC（random sample consensus）算法实现图像间的特征点精确匹配,接着利用加权平均融合的方法进行图像融合;最后对融合后的全景图像进行剪裁,完成图像补偿,输出稳定的视频序列。实验结果表明:改进的Harris算法提高了算法效率以及正确特征点数量,并且本文稳像算法实时性较好,能够有效消除视频抖动并输出稳定的视频序列。