交互式三维视频系统研究进展

交互式三维视频是多媒体技术领域中的研究热点和难点.文中针对交互式三维视频系统,从系统实现的角度就视频编码、虚拟视点绘制等关键技术进行了分析与综述,并对目前已有的实际多视点视频系统及在此基础上建立起来的交互式三维视频系统进行了分类,对其优缺点进行了分析.最后,就交互式三维视频系统的进一步发展提出了若干技术与理论的展望.     

可扩展多视点视频编码技术研究

文章设计了一种结合Multi-view Video Coding（MVC）和Scalable Video Coding（SVC）技术的多视点视频编码方案,通过下采样原始图像进行MVC编码形成码率低的基本层,增强层由基本层解码单路图像预测生成其全空域图像。通过实验比较,该方案能获得与MVC相当的编码效率,单路视点的解码代价比SVC方案高出0.5~1.5dB的收益,码流具有可扩展性,能在不同的级别上完整地表述原始视频。     

多视点视频编码技术研究

作为一种即将出现的交互式多媒体应用,多视点视频的提出体现了下一代多媒体应用网络化、交互性和真实感的发展方向.本文对多视点视频编码的一些关键技术:视差估计、预测编码、中间视图合成进行了介绍,并分析了基于MPEG4和基于H.264的多视点视频编码技术,最后给出了多视点视频编码的应用前景.     

分布式信源编码在视频编码中的应用研究

分布式视频编码对编码器的功耗、复杂度、存储能力和传输能力都有较高的要求,而分布式信源编码理论正好适应了这一需求。为了使人们对这一技术有所了解,首先阐述了分布式视频编码的基本原理与其应用研究现状。并针对多视点分布式视频编码的Wyner—Ziv编解码器设计、虚拟“相关信道”建模、辅助边信息生成等几项关键技术存在的问题及最新研究进展进行分析和实验,最后总结了分布式信源编码理论在多视点视频编码的发展与研究方向。     

三维视频压缩研究进展

信息压缩是信息传输过程中的一个关键环节,随着三维显示和三维视频技术的发展和完善,未来的视频传输将不仅限于二维视频。但是,三维视频的数据量很大,这就给三维视频的传输带来了阻碍。因此,设计出高压缩比、高压缩效率的三维视频压缩技术,不但可以解决三维视频的传输问题,而且有利于促进三维视频及三维显示领域的进一步发展。本文系统地讨论了目前三维视频压缩技术的研究进展,在对各种技术特点研究的基础上,提出了进一步的研究和发展方向。     

多视点视频编码混合快速搜索算法

EPZS是联合多视点视频编码(JMVC,Joint Multi-view Video Coding)运动估计中采用的一种预测搜索算法,其搜索速度慢.针对EPZS算法的性能不足,我们在预测矢量集合、搜索模型、阈值设置和搜索策略四个方面进行改进,提出了一种混合快速搜索算法.在联合多视点视频编码测试平台JMVC8.3中,对三个由平行摄像机采集的多视点视频测试序列BallRoom、Exit和Vassar进行测试.实验结果表明:在保证视频重建质量和码率的前提下,与Jmvc中的EPZS算法相比,编码速度平均提高了55.66％ ～69.62％,改进算法的效果明显,编码效率得以提高.     

基于depth-map和分布式视频编码的多视点视频传输方法

针对多视点视频传输系统数据量庞大的问题,提出一种基于深度图(depth-map)和分布式视频编码(DVC)的不等错误保护(UEP)传输方法。该方法首先基于多个视点提取深度图;然后,在传输过程中传输一个视点及其深度图;最后,经过网络传输,在解码端由一个视点图及其深度图生成其他视点。由于视点图和深度图在解码端的重要程度不同,对需要传输的视点图和深度图采用不同的分布式视频编码方法,进行不平等的错误保护。仿真实验结果表明,所提传输方法比传统的分布式多视点视频编码传输系统具有更好的抗误码性能,提高了传输可靠性,图像的峰值信噪比(PSNR)约提高1.5dB。     

一种基于中间视点的多视点立体视频FGS可分级方案

基于MPEG-4标准FGS可分级技术,提出一种将FGS可分级、视点可分级相结合的多视点立体视频可分级算法。该算法中,中间视点作为基本层进行编码,各视点均预测自中间视点,并产生各相应视点的FGS增强层。编码器结构中,分为I、P、B帧三种情况进行讨论,并针对这三种情况进行改进。所提方案具有灵活、广泛的可分级性能,能适应多种不同的传输需求。实验结果验证了该方案的多视点可分级性。     

多视点视频编码的研究进展

多视点视频编码是针对新一代多媒体的核心技术之一和现阶段多媒体领域的研究热点之一.本文主要从多视点视频的原理、四种多视点视频编码的方法和虚拟视点图像合成这三个方面入手,结合多视点视频领域多年来的技术发展,对多视点视频编码方法进行了全面的描述,并对多视点视频领域出现的新技术、新方法进行了扼要的介绍,最后对未来多视点视频编码的发展做出展望.     

多视点视频编码模式决策快速算法

多层循环的多参考帧选择算法和运动估计搜索等算法提高了模式选择精度,但导致多视点视频编码复杂度急剧增加.我们在运动估计快速搜索算法的基础上,结合采用信息重用技术的多参考帧选择算法,提出一种模式决策快速算法.其中信息重用技术通过模式集合划分思想,根据模式尺寸块大小和编码特点将所有编码模式划分成三个集合,在同一集合中小尺寸块重用大尺寸块的最佳参考帧索引和最佳编码方向以减少多参考帧循环搜索次数.实验结果表明:与JMVC8.3.1原算法相比能减少70%-90%的编码复杂度,峰值信噪比(PSNR)下降在0.1d B以内,码率增加幅度少于6%.     

分布式视频编码关键技术及研究进展

系统地阐述了分布式视频编码(distributed video coding,DVC)技术框架的基本原理和近五年的发展历程;列举了国内外多个研究小组的基本思想研究现状;分析了分布式视频编码技术的发展趋势;揭示了技术的关键和研究热点;展望了该技术在信息安全、可伸缩编码、多描述编码以及光场编码中的应用前景.     

一种三维小波视频编码方法

基于三维小波变换的视频编码技术成为当今研究的热点。研究了一种时间轴小波分解的改进结构,给出了时间轴分解后各帧的重要性分析,在此基础上提出了一种结合运动补偿的三维小波视频编码新方法。该算法首先将视频序列按帧序的奇偶性分成两组,对各组分别进行改进的时间轴小波分解,然后对两组中的低频帧进行运动补偿,可以进一步减少数据量。在所要达到的目标码率条件下,对各帧根据其重要性分配最优的压缩码率,并利用SPIHT算法进行压缩。实验结果表明,该方法可以获得较好的压缩效果。     

基于区域划分的深度视频快速编码算法

多视点彩色视频与深度视频作为多媒体系统中主流3D场景表示方式,吸引了越来越多人的关注。深度视频反映场景的几何信息,如何对其进行快速编码尤为重要。提出了一种基于区域划分的深度视频快速编码算法。首先,根据深度视频的边缘和运动属性把深度视频分为四个区域;然后,深入分析不同区域内宏块模式分布比例以及参考帧选择特性,设计了不同的宏块模式选择和参考帧搜索策略来提高编码速度;最后,测试提出算法的编码时间、码率以及合成虚拟视点的质量。实验结果表明,提出算法在保证虚拟视点图像质量和编码码率基本不变的情况下,节约了85.73%～91.06%的编码时间。     

多模式3维视频形状编码

目的 具有立体感和高端真实感的3D视频正越来越受到学术界和产业界的关注和重视,未来在3D影视、机器视觉、远程医疗、军事航天等领域将有着广泛的应用前景。对象基3D视频是未来3D视频技术的重要发展趋势,其中高效形状编码是对象基3D视频应用中的关键问题。但现有形状编码方法主要针对图像和视频对象,面向3D视频的形状编码算法还很少。为此,基于对象基3D视频的应用需求,提出一种基于轮廓和链码表示的高效多模式3D视频形状编码方法。方法 对于给定的3D视频形状序列逐帧进行对象轮廓提取并预处理后,进行对象轮廓活动性分析,将形状图像分成帧内模式编码图像和帧间预测模式编码图像。对于帧内编码图像,基于轮廓内链码方向约束和线性特征进行高效编码。对于帧间编码图像,采用基于链码表示的轮廓基运动补偿预测、视差补偿预测、联合运动与视差补偿预测等多种模式进行编码,以充分利用视点内对象轮廓的帧间时域相关性和视点间对象轮廓的空域相关性,从而达到高效编码的目的。结果 实验仿真结果显示所提算法性能优于经典和现有的最新同类方法,压缩效率平均能提高9.3%到64.8%不等。结论 提出的多模式3D视频形状编码方法可以有效去除对象轮廓的帧间和视点间冗余,能够进行高效编码压缩,性能优于现有同类方法,可广泛应用于对象基编码、对象基检索、对象基内容分析与理解等。     

Fast motion and disparity estimation for multiview video coding

Multiview video involves a huge amount of data, and as such, efficiently encoding each view is a critical issue for its wider application. In this paper, a fast motion and disparity estimation algorithm is proposed, utilizing the close correlation between temporal and inter-view reference frames. First, a reliable predictor is found according to the correlation of motion and disparity vectors. Second, an iterative search process is carried out to find the optimal motion and disparity vectors. The proposed algorithm makes use of the prediction vector obtained in the previous motion estimation for the next disparity estimation and achieves both optimal motion and disparity vectors jointly. Experimental results demonstrate that the proposed algorithm can successfully save an average of 86% of computational time with a negligible quality drop when compared to the joint multiview video model (JMVM) full search algorithm. Furthermore, in comparison with the conventional simulcast coding, the proposed algorithm enhances the video quality and also greatly increases coding speed.     

基于SPIHT的立体视频编码及其TMS320DM642实现

根据立体视频的特点,提出基于SPIHT的双通道立体视频编码方案,并在TI公司的多媒体器件TMS320DM642上进行了实验。实验表明,该设计方案具有实时可行性,并较有效地减少了运算复杂性。     

3D-HEVC深度图像快速帧内编码方法

目的 新一代3D视频采用了多视点加深度图像的格式,其编码测试模型3D-HEVC(3D高效视频编码)为深度图像引入了一些新的编码技术,包括深度模型模式、分段直流(DC)残差编码模式和帧内跳过模式等,但是同时也显著地增加了帧内编码器的复杂度,严重制约了3D视频的实时应用,因此本文提出了一种深度图像帧内模式选择方法。方法 首先,分析在分层编码结构中,父层帧内模式和子层帧内模式的关系,并依据父层的帧内模式对子层的候选模式进行修剪;其次,通过分析粗略候选帧内模式,把当前块分为平滑块、方向块和边界块,并根据不同块进行候选帧内模式的选择。结果 与高效3D视频编码标准的测试模型相比,本文的深度图像帧内模式选择方法可以节省约44%的编码时间。本文方法有效地减少了计算率失真代价的候选帧内模式数目,从而降低了帧内编码器的复杂度。结论 该方法能在保证虚拟视点质量的前提下,有效地降低深度图像帧内编码的复杂度。     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

电影2D/3D转换技术概述

3D电影能够比传统电影带来更好的视觉体验,并在近年来得到了快速的发展,但是片源不足成为制约这一产业兴起的主要瓶颈.在当前电影产业朝3D化方向蓬勃发展的趋势下,将2D电影转为3D电影是解决此问题的有效途径.文中对电影2D?3D转换技术进行了总结,按摄像机和场景相对运动的4种不同类型,介绍了其中几种基本的转换方法,并在此基础上进一步介绍了几种重要的高级转换方法,最后提出了今后的研究方向.