基于自适应参考帧模式选择的多视点视频编码方法

基于多视点视频序列相关性,提出独立片的概念,进而提出一种采用自适应参考帧模式选择的多视点视频编码方法.在保证高率失真性能的前提下,应用独立片、自适应算法有效地降低了多视点视频编码计算复杂度,将多种性能进行有机结合,可以根据用户外部设置的参数调整自适应模式.实验结果表明,该方法在保证高压缩效率的前提下,能有效地降低计算复杂度,并改善随机访问性能.     

基于H.264标准的多视点视频编码方案的研究

为研究一种新的高效的多视点视频编码方法,提高编码效率,并有效地提高视点间随机切换访问的能力,利用H.264中的新技术多参考帧、SP/SI帧、分层B帧编码等,根据时空预测编码结构的方法,提出了一种基于分层B帧并有利于视点间随机切换访问的多视点视频编码方案.实验结果表明,该方案在提高了编码效率的同时,在视点较多的情况下能够有效地提高视点间随机切换访问的能力.     

一种改进预测结构的多视点视频编码

多视点视频编码是视频编码的研究热点之一。针对联合多视点视频编码（Joint Multi-view Video Coding,JMVC）采用的分层B帧预测结构编码复杂度高,随机访问性能较差等缺点,提出了一种改进的预测结构。所提出的预测结构对B视点中以前一帧作为其时间参考的帧仅采用时间预测,对所有P视点的非关键帧均不进行视点间预测,有效地降低了计算复杂度,提高了随机访问性能。通过选取合适的I视点位置,以减少结构简化带来的编码效率损失。实验结果表明,与分层B帧预测结构相比,所提出的预测结构在保证编码效率损失不大的情况下,显著降低了平均编码时间。改进的预测结构也具有更好的随机访问性能。     

灵活的多视点视频编码预测结构

多视点视频的时空相关性不仅随着序列的变化而改变,而且视频序列内的相关性特征随着时间的推移也会发生变化,固定的预测结构难以适应复杂情况下多视点视频编码的各种要求。在分析分层B帧预测结构和多视点视频图像中当前帧及其参考帧之间时间相关性和视点间相关性的基础上,提出一种灵活的预测编码结构,根据该多视点视频的时间及视点间相关关系和当前帧与其时间参考帧之间的距离来确定该帧是否采用耗时的视点间预测。实验结果表明,与分层B帧的改进算法——可扩展性预测结构多视点编码算法相比,本文算法在保证编码效率基本不变的前提下,编码复杂度降低了约45%,随机访问性能提高28%,解码图像缓冲区要求降低46%左右。     

基于视差估计算法的多视点视频预测方案

多视点视频编码是立体视频的关键技术,视差估计是目前多视点视频编码中常用的方法之一.探讨了多视点视频编码中的视差估计算法原理,对当前应用视差估计算法的几种典型预测结构进行了深入分析,提出一种结合分级B图与视点相关性的多视点编码方案,该方案在H.264/AVC的编码模型JM下实现.实验表明,该方案在兼顾随机访问性能的同时,实现了较高的编码效率,尤其适合视点间相关性较高的运动图像序列.     

多模式3维视频形状编码

目的 具有立体感和高端真实感的3D视频正越来越受到学术界和产业界的关注和重视,未来在3D影视、机器视觉、远程医疗、军事航天等领域将有着广泛的应用前景。对象基3D视频是未来3D视频技术的重要发展趋势,其中高效形状编码是对象基3D视频应用中的关键问题。但现有形状编码方法主要针对图像和视频对象,面向3D视频的形状编码算法还很少。为此,基于对象基3D视频的应用需求,提出一种基于轮廓和链码表示的高效多模式3D视频形状编码方法。方法 对于给定的3D视频形状序列逐帧进行对象轮廓提取并预处理后,进行对象轮廓活动性分析,将形状图像分成帧内模式编码图像和帧间预测模式编码图像。对于帧内编码图像,基于轮廓内链码方向约束和线性特征进行高效编码。对于帧间编码图像,采用基于链码表示的轮廓基运动补偿预测、视差补偿预测、联合运动与视差补偿预测等多种模式进行编码,以充分利用视点内对象轮廓的帧间时域相关性和视点间对象轮廓的空域相关性,从而达到高效编码的目的。结果 实验仿真结果显示所提算法性能优于经典和现有的最新同类方法,压缩效率平均能提高9.3%到64.8%不等。结论 提出的多模式3D视频形状编码方法可以有效去除对象轮廓的帧间和视点间冗余,能够进行高效编码压缩,性能优于现有同类方法,可广泛应用于对象基编码、对象基检索、对象基内容分析与理解等。     

支持空域随机访问的多视点视频编码方法

基于H.264/AVC编码框架,提出一种支持空域随机访问功能的多视点视频编码方法,以满足快速虚拟视点绘制的需求.首先采用灵活的GOP时空划分来构建独立时空体,从而在每个时空体内通过限制帧间预测范围来增强解码的独立性,实现压缩域内某一帧特定区域数据的快速定位;进而通过调整预测空间来改善空域随机访问和整帧编码性能之间的关系.实验结果表明,该方法不仅在整帧压缩效率和快速空域随机访问灵活性方面达到了很好的平衡,而且能够通过传输部分码流的方式节省传输带宽.     

一种多视点视频系统中随机访问的解码路径计算新方法

在多视点视频系统中,用户端的随机访问性能是表征交互能力的一个重要指标。当用户进行随机访问时,需要快速确定相应的解码路径,以快速有效地获得相应视点与时刻的图像帧。针对H.264多视点视频系统中随机访问效率不高这个情况,分析了传统多视点视频系统随机访问解码路径的计算方法,讨论了其中存在的非最优解码路径问题,提出帧等级矩阵的概念。然后,提出针对HBP（hierarchical B pictures) 这种具有代表性的多视点视频编码预测结构的解码路径计算快速算法。实验结果表明,所提算法能获得较优解码路径,从而有效地提高随机访问性能,降低解码复杂度。     

基于宏块多相关性的多视点视频编码方法

为降低多视点视频编码( MVC)中过高的计算量,提出基于宏块多相关性的多视点视频编码视间预测与Direct模式提前终止算法。分析MVC参考模型( JMVC)中时域预测和视间预测的特点及Direct模式的分布情况。基于当前宏块的时间和视点之间率失真代价的大小关系判断是否进行视间预测。利用先前已编码宏块的编码模式信息确定是否跳过Direct模式。实验结果表明,同JMVC的全搜索算法相比,该算法能降低编码的计算复杂度,平均可达75.62%,同时保持几乎相同的编码率失真性能。     

基于随机访问的多视点视频编码模式评价模型

运用随机图论、超空间等方法,首先提出了针对编码预测结构的随机访问性能评价函数,对解码端和服务器端的随机访问支持代价进行评价.进而根据实际应用中的带宽、交互限制等多种目标建立了编码策略评价的多目标非线性数学模型,对编码策略在多种性能参数约束条件下如何实现最优策略进行了讨论.利用该非线性多目标规划模型对多视点视频编码策略进行了优化设计,可以获得较好的随机访问性能.     

Network-driven low complexity coding for wireless multi-view video system

For wireless multi-view video system, which has very limited capability for storage and computation at the encoder, it is essential to design a video coding scheme with low complexity. Wyner-Ziv (WZ) coding scheme shifts large computational complexities to decoder with side information reconstruction, however, its encoding efficiency is not high enough. To obtain higher encoding efficiency and lower encoding complexity for wireless multi-view video applications, a network-driven low complexity video coding method is proposed in the paper. The proposed method is designed to implement color correction, motion vector extrapolation and disparity extraction at the central node of network, so as to reduce large computational complexities of motion estimation at the encoder and disparity estimation at the decoder. Experimental results show that encoding efficiency of the proposed method is higher than those of WZ coding and H.264 intraframe coding methods. The encoding complexity of the proposed method is greatly decreased and the decoded views are of color consistency, which is favorable to high quality view rendering at the decoder.     

基于相关性分析的MVC比特分配算法

针对目前尚未深入研究多视点视频编码（Multi—view Video Coding,MVC）码率控制的问题,提出了一种基于相关性分析的多视点视频编码码率控制算法。该算法的核心是先根据视差预测和运动预测的结构关系,将所有图像分成6种类型的编码帧,并改进二项式率失真模型,然后根据多视点视频相关性分析在各个视点之间进行合理的码率分配,将码率控制分成4层结构进行多视点视频编码的码率控制。其中,帧层码率控制考虑分层B帧等因素分配码率,基本单元层码率控制根据宏块的内容复杂度采用不同的量化参数。实验结果表明该码率控制算法实际码率与目标码率平均误差能控制0．6％。     

可扩展多视点视频编码技术研究

文章设计了一种结合Multi-view Video Coding（MVC）和Scalable Video Coding（SVC）技术的多视点视频编码方案,通过下采样原始图像进行MVC编码形成码率低的基本层,增强层由基本层解码单路图像预测生成其全空域图像。通过实验比较,该方案能获得与MVC相当的编码效率,单路视点的解码代价比SVC方案高出0.5~1.5dB的收益,码流具有可扩展性,能在不同的级别上完整地表述原始视频。     

Content-Aware Prediction Algorithm With Inter-View Mode Decision for Multiview Video Coding

3-D video will become one of the most significant video technologies in the next-generation television. Due to the ultra high data bandwidth requirement for 3-D video, effective compression technology becomes an essential part in the infrastructure. Thus multiview video coding (MVC) plays a critical role. However, MVC systems require much more memory bandwidth and computational complexity relative to mono-view video coding systems. Therefore, an efficient prediction scheme is necessary for encoding. In this paper, a new fast prediction algorithm, content-aware prediction algorithm (CAPA) with inter-view mode decision, is proposed. By utilizing disparity estimation (DE) to find corresponding blocks between different views, the coding information, such as rate-distortion cost, coding modes, and motion vectors, can be effectively shared and reused from the coded view channel. Therefore, the computation for motion estimation (ME) in most view channels can be greatly reduced. Experimental results show that compared with the full search block matching algorithm (FSBMA) applied to both ME and DE, the proposed algorithm saves 98.4–99.1% computational complexity of ME in most view channels with negligible quality loss of only 0.03–0.06 dB in PSNR.      

Efficient two-stage early SKIP mode termination for depth video coding

The video plus depth format has been widely-used in multi-view video systems. Therefore, low complexity depth video coding becomes very essential. For that, an efficient two-stage early SKIP mode termination (TESMT) algorithm is proposed in this paper. First, by using texture-depth correlation, our approach first checks whether current macroblock (MB) is motionless or slow-motion based on motion activity of corresponding region in texture video. If so, SKIP mode is selected as optimal mode and mode decision process is early terminated. Otherwise, our approach further checks whether the rate-distortion cost of SKIP mode is below an adaptive threshold, which is derived by exploiting spatial-temporal correlation between current MB and its adjacent MBs in depth video. Experimental results show that proposed algorithm significantly reduces computational complexity while keeping almost the same coding efficiency of depth video and quality of synthesized view, compared with exhaustive mode decision in multi-view video coding.     

多视点视差估计中基于图像块特征矢量和相似尺度的参考视点选择方法

在多视点视频处理中，采用多参考视点的视差估计方法能够在很大程度上消除各个视点间的冗余性，达到对多视点视频数据有效编码压缩的目的。研究了多视点信号处理中视差估计的多参考视点选择问题，采用快速Walsh变换谱构造图像块特征矢量，并提出了基于图像块特征和相似尺度的多参考视点选择方法。实验结果证明，本文方法能在保证编码质量的前提下，减少视差估计的计算复杂度。