360度视频技术研究

360度视频是目前虚拟现实领域的热点研究课题,梳理了360度视频的发展过程,对360度视频编码的国内外研究现状进行了研究和总结.重点总结了360度视频的投影变换方法以及投影填充方式和质量评估方法,并对不同投影方式的性能进行了详细的对比说明,根据当前最新研究成果为下一步研究提供参考性的建议.     

360度视频与视口预测方法综述

360度视频是获取沉浸式虚拟现实体验的便捷媒介之一,近年来受到了广泛关注。视口预测技术是缓解360度视频高网络带宽要求的重要手段。聚焦视口预测技术,首先介绍360度视频的基本概念、背景和360度视频流式框架,对比常用的球面到平面投影方法、视频编解码标准;分析360度视频高网络资源消耗的原因,体现视口预测技术对360度视频流式的重要作用;介绍360度注意力数据集,总结主流公开数据集;将现有的视口预测方法,分为基于用户历史轨迹的方法和基于视频内容的方法,进行系统性的综述,梳理视口预测方法的发展脉络,介绍视口预测方法的最新工作,比较不同方法的特点、优势和不足,并简略介绍了360度显著性检测,360度显著性检测是基于视频内容的视口预测方法中的重点。最后进行总结,分析了现阶段视口预测方法面临的问题,展望了包括视口预测方法在内的360度视频相关技术的未来发展趋势。     

一种面向多投影显示的全景视频分块编码方法

近年来虚拟现实技术快速发展,全景视频内容生成技术不断进步。内容呈现方面,多投影显示设备可通过集群驱动解决单机性能有限的问题,具有视角广、分辨率高、支持多人参与的优点。针对多投影显示设备的特点,设计并实现了一套全景视频分块编码格式及其相应的转码工具。该格式以现有的JPEG图像序列编码研究为基础,添加对立体全景视频分块编码的支持,实现双分辨率视频流动态适配机制,保证视角变化时视频的流畅播放,并添加非均匀分块编码的支持以针对实际需求定制分块参数,优化播放性能。实验结果表明,该方法可以有效提升多投影显示设备中高分辨率全景视频播放的流畅度。     

基于精细可扩展编码的多视角视频编码研究

多视角视频几倍于目前普通视频的数据量,如果不采用有效的压缩编码技术,其有效的传输和存储将是不可能的,也成为制约多视角视频广泛应用的瓶颈．因此,进行高性能多视角视频编码技术的研究是十分必要的．尤其是随着网络的发展,能提供交互的多视角视频技术越来越受到关注．如何有效地通过网络传输多视角视频信号的问题显得更加重要．针对这一问题,采用精细可扩展编码(FGS)的思想设计了多视角视频编码器．实验表明,方案在保证了高编码效率的同时能较好地解决多视角视频的网络传输问题．     

视频分割技术的发展

随着MPEG－4和MPEG－7的研究发展以及最近几年数字视频图书馆技术的崛起,基于内容编码和面向对象的存取和操纵技术日益受到人们的重视,视频分割技术迅速成为当前视频研究领域的热点。视频分割是新一代视频编码、视频检索、互联网多媒体交互等新兴领域的关键技术。介绍了视频分割的主要技术,对其算法和性能进行了比较和评述,并分析了当前视频分割技术的研究现状、尚存在的问题和研究前景。     

VR全景视频传输研究进展

VR全景视频作为一种沉浸式虚拟现实技术,其高分辨率及低延迟的严格要求为视频传输带来了严峻挑战。全景视频传输在全景视频的系统构建中起到了关键作用,并与其他重要技术紧密衔接。为了分析全景视频传输的研究现状和发展趋势,首先对映射格式、视频编码、质量评估等全景视频传输相关技术进行阐述,从不同视角对相关研究领域和方法进行分类归纳。而后详细探讨了全景视频传输技术的传输协议、三类主要传输方法及视口预测,并对各部分梳理了一些比较具有代表性的研究方法。最后就关键性技术对全景视频传输的未来研究进行展望,旨在为研究人员快速全面了解该领域提供帮助。     

视频编码技术的若干新进展

对数字视频编码技术的新进展进行了综述。先对传统视频编码方法进行了分析,指出其存在的不足,然后对基于压缩感知理论的视频编码、分布式视频编码、基于视觉特性的视频编码和可分级视频编码这四种视频编码技术的新进展进行了介绍,最后对未来可能的发展方向进行了展望,可为视频编码技术的相关研究提供参考。     

三维视频编码技术的发展与挑战

介绍了三维视频编码的核心技术。首先比较了纯视频格式和深度增强格式三维视频编码技术的发展方向及面临的挑战,其中重点分析了深度估计技术和视点合成技术的研究思路;然后概括了国际3DV/FTV标准的制定现状;最后对三维视频编码技术进行了总结和展望。     

基于多观测矢量和LDPCA的分布式视频编码

分布式视频编码与压缩感知技术都有助于将计算复杂度从编码端向解码端迁移,已有研究显示两者的结合可能提高分布式视频编码系统的性能.基于传统分布式视频编码框架,借助多观测矢量稀疏重建技术,设计了一种混合压缩感知和LDPCA的分布式视频编码系统.首先根据稀疏度对频带数据进行划分,再分模式进行编码表示,其中非零系数较多的低频频带使用LDPCA技术进行压缩;而对稀疏度较高的高频频带,使用多观测矢量的压缩感知技术以求进一步利用频带间的相关性.仿真结果表明,系统的性能优于LDPCA的变换域分布式视频编码系统.     

多媒体技术环境下嵌入式网络视频监控系统研究

随着视频技术、网络技术与数字技术的飞速发展,多媒体混合应用向数字化与网络化转变。嵌入式网络与多媒体技术二者相结合的优势愈加明显。现代日常生活工作中,视频监控系统已成为保障生活、工作、学习安全、维护正常秩序的重要组成部分。传统的视频监控系统采用原始的视频编码与网络传输技术,存在视频数据噪点高、数据源封装包资源大、网络交互资源消耗大、延迟高等问题,不利于多群组大面积监控系统架构。根据问题产生的原因,提出多媒体技术环境下嵌入式网络视频监控系统的研究。通过采用视频编码单元、网络编码单元与储存压缩算法,对传统视频监控系统进行整体修复改进。仿真实验表明,提出的多媒体技术环境下嵌入式网络视频监控系统研究方法,具有视频清晰度高、视频源封装资源小、网络传输速度快、延迟小的优点。     

Utility-oriented resource allocation for 360-degree video transmission over heterogeneous networks

Immersive media streaming, especially virtual reality (VR)/360-degree video streaming which is very bandwidth demanding, has become more and more popular due to the rapid growth of the multimedia and networking deployments. To better explore the usage of resource and achieve better video quality perceived by users, this paper develops an application-layer scheme to jointly exploit the available bandwidth from the LTE and Wi-Fi networks in 360-degree video streaming. This newly proposed scheme explores the saliency of video contents, prediction of users' view and channel status information to maximize the system's utility in a multi-RAN environment. It also determines the optimal association of users with multiple Wi-Fi access points (APs). Besides, a novel buffer strategy is proposed to mitigate the influence of short-time prediction problem for transmitting 360-degree videos in time-varying networks. The promising performance and low complexity of the proposed scheme and algorithms are validated in simulations with various 360-degree videos.     

Intra prediction based on geometry padding for omnidirectional video coding

Multimedia Tools and Applications - Omnidirectional videos or 360 degree videos play an important role in virtual reality (VR) applications. In order to employ the existing video coding standards,...     

CSCW支撑环境—基于调度算法的360度组播视频子系统研究实现

文章研究实现了一个基于视频流进程调度算法的CSCW视频子系统。系统特点采用了Winsock2实现视频组播通信,应用了360度全景成像技术和H.263视频编解码方案等。     

Adaptive QP offset selection algorithm for virtual reality 360-degree video based on CTU complexity

Multimedia Tools and Applications - Virtual reality 360-degree video requires ultra-high resolution to provide realistic feeling and dynamic perspective. Huge data volume brings new challenges to...     

全景视频的信息组织和实现方法

全景视频不是一般意义的虚拟现实，它提供了一种新型的时空信息组织形式。这种基于实景图像的全景视频，具有广阔的应、用前景和研究价值．本文介绍了全景视频的概念和表现方式，以及利用全景视频技术来构造虚拟现实环境的方法，并提出了实现全景视频的具体方法步骤。     

360-Degree Video Based on Regular Dodecahedron: Technology and Methods of Implementation in Virtual Environment Systems

Programming and Computer Software - This paper proposes new technology and methods to implement panoramic 360-degree video based on virtual environment projection onto a regular dodecahedron. The...     

交互式三维视频系统研究进展

交互式三维视频是多媒体技术领域中的研究热点和难点.文中针对交互式三维视频系统,从系统实现的角度就视频编码、虚拟视点绘制等关键技术进行了分析与综述,并对目前已有的实际多视点视频系统及在此基础上建立起来的交互式三维视频系统进行了分类,对其优缺点进行了分析.最后,就交互式三维视频系统的进一步发展提出了若干技术与理论的展望.