基于相关性分析的多模式多视点视频编码

多视点视频编码方法除需具有较高编码效率外,还必须支持视点或时间的随机访问、低延时编解码、视点可分级等性能.多视点视频信号的时间、视点间相关性随相机密度、光照、对象运动等因素不同而变化.文中提出基于多视点视频信号相关性分析的多模式多视点视频编码方法,改变传统单一预测模式的多视点编码结构,将多种性能优良的预测编码模式有机结合,根据多视点视频相关性分析灵活选择合适的预测编码模式,以获得优异的编码综合性能.实验结果表明,所提出的多模式多视点视频编码方法在保证高压缩效率的前提下,可进一步降低复杂度,提高随机访问性能.     

一种基于视点相似度的参考视点选择方法*

研究多视点视频处理中视差估计的多参考视点问题,提出了一种基于视点相似度准则的多参考视点选择策略。实验证明本算法能在保证编码质量的前提下,减少视差估计的计算复杂度。     

一种宏块帧间预测模式的快速选择算法

人们对视频质量和内容的多样性要求越来越高,传统的二维(2D)图像/视频无法满足人们的需求,能够提供三维(3D)视觉的立体/多视点视频技术越来越受到学术界和工业界的重视。多视点视频编码技术已经成为当前视频研究领域的热点之一。与单视点视频相比,多视点视频可以更加生动地再现现实场景,给人们提供身临其境的感觉,与此同时,巨大的数据量成为制约其广泛应用的瓶颈。因此,如何提高多视点视频的压缩编码效率成为多视点视频编码技术的主要目标,其中,由HHI组织提出的JMVM编码方案采用了视点间预测和时域预测相结合的预测结构,取得了出色的编码效率,这种预测结构被JVT选为MVC的参考预测结构。然而,采用多视点视频(MVC)参考预测结构的JMVM方案的计算复杂度很高,为了能够有效地降低MVC的计算复杂度,该文提出了一种高效的MVC预测方法,主要从宏块预测模式快速选择来降低MVC的计算复杂度。该方法对帧间8×8预测模式,16×8、8×16预测模式进行了快速的选择。     

一种改进预测结构的多视点视频编码

多视点视频编码是视频编码的研究热点之一。针对联合多视点视频编码（Joint Multi-view Video Coding,JMVC）采用的分层B帧预测结构编码复杂度高,随机访问性能较差等缺点,提出了一种改进的预测结构。所提出的预测结构对B视点中以前一帧作为其时间参考的帧仅采用时间预测,对所有P视点的非关键帧均不进行视点间预测,有效地降低了计算复杂度,提高了随机访问性能。通过选取合适的I视点位置,以减少结构简化带来的编码效率损失。实验结果表明,与分层B帧预测结构相比,所提出的预测结构在保证编码效率损失不大的情况下,显著降低了平均编码时间。改进的预测结构也具有更好的随机访问性能。     

多视点视差估计中基于图像块特征矢量和相似尺度的参考视点选择方法

在多视点视频处理中，采用多参考视点的视差估计方法能够在很大程度上消除各个视点间的冗余性，达到对多视点视频数据有效编码压缩的目的。研究了多视点信号处理中视差估计的多参考视点选择问题，采用快速Walsh变换谱构造图像块特征矢量，并提出了基于图像块特征和相似尺度的多参考视点选择方法。实验结果证明，本文方法能在保证编码质量的前提下，减少视差估计的计算复杂度。     

一种多视点视频系统中随机访问的解码路径计算新方法

在多视点视频系统中,用户端的随机访问性能是表征交互能力的一个重要指标。当用户进行随机访问时,需要快速确定相应的解码路径,以快速有效地获得相应视点与时刻的图像帧。针对H.264多视点视频系统中随机访问效率不高这个情况,分析了传统多视点视频系统随机访问解码路径的计算方法,讨论了其中存在的非最优解码路径问题,提出帧等级矩阵的概念。然后,提出针对HBP（hierarchical B pictures) 这种具有代表性的多视点视频编码预测结构的解码路径计算快速算法。实验结果表明,所提算法能获得较优解码路径,从而有效地提高随机访问性能,降低解码复杂度。     

灵活的多视点视频编码预测结构

多视点视频的时空相关性不仅随着序列的变化而改变,而且视频序列内的相关性特征随着时间的推移也会发生变化,固定的预测结构难以适应复杂情况下多视点视频编码的各种要求。在分析分层B帧预测结构和多视点视频图像中当前帧及其参考帧之间时间相关性和视点间相关性的基础上,提出一种灵活的预测编码结构,根据该多视点视频的时间及视点间相关关系和当前帧与其时间参考帧之间的距离来确定该帧是否采用耗时的视点间预测。实验结果表明,与分层B帧的改进算法——可扩展性预测结构多视点编码算法相比,本文算法在保证编码效率基本不变的前提下,编码复杂度降低了约45%,随机访问性能提高28%,解码图像缓冲区要求降低46%左右。     

多视点视频中基于局部直方图匹配的亮度和色差校正

由于相机性能的差异,多视点视频序列之间总是存在亮度和颜色的差异,为降低这种差异对多视点系统中各种后续处理效果的影响,提出了一种基于部分重叠局部直方图匹配的亮度和色差校正算法。该直方图匹配算法先通过原图像直方图和参考图像直方图的匹配建立映射函数,然后使用该映射函数来校正原图像的亮度和色差值。根据映射函数的计算方法不同,直方图匹配可以分为全局直方图匹配和局部自适应直方图匹配。在全局直方图匹配算法中,由于整幅图像是使用统一的映射函数,因此校正性能较差。而局部自适应直方图匹配算法则是利用局部信息为每个像素建立唯一的映射函数,因此能够准确地校正图像不同区域的差异,但是算法的复杂度非常高。该部分交叠的局部直方图匹配方法中,一小块范围内的像素是使用同样的局部直方图来建立映射函数,然后使用条件去块滤波器去除可能存在的块效应。与自适应局部直方图匹配算法相比,该算法不仅可减少计算直方图和映射函数的次数,而且在降低计算复杂度的同时,还能够自适应地校正图像不同区域的差异。该算法可作为多视点视频系统中的预处理技术,实验结果表明,该算法能够提高后续压缩过程的性能。     

基于宏块多相关性的多视点视频编码方法

为降低多视点视频编码( MVC)中过高的计算量,提出基于宏块多相关性的多视点视频编码视间预测与Direct模式提前终止算法。分析MVC参考模型( JMVC)中时域预测和视间预测的特点及Direct模式的分布情况。基于当前宏块的时间和视点之间率失真代价的大小关系判断是否进行视间预测。利用先前已编码宏块的编码模式信息确定是否跳过Direct模式。实验结果表明,同JMVC的全搜索算法相比,该算法能降低编码的计算复杂度,平均可达75.62%,同时保持几乎相同的编码率失真性能。     

新的多视点视频编码优化算法

分析研究了多视点视频编码中的TZSearch算法的性能与不足,并针对平行摄像机采集的多视点视频序列,提出一种新的多视点视频编码优化算法。主要从搜索模型选取、搜索策略、自适应阈值设置三个方面进行算法优化,以减少算法计算复杂度。在多视点视频软件测试平台——JMVC4.0上进行验证,结果表明:在保证重建视频质量在容忍度内,同时编码开销可控的前提下,优化算法与原始算法相比,算法平均编码时间减少75%左右,大大提高了编码的实时性。     

H.264/SVC mode decision based on mode correlation and desired mode list

Design of video encoders involves implementation of fast mode decision (FMD) algorithm to reduce computation complexity while maintaining the performance of the coding. Although H.264/scalable video coding (SVC) achieves high scalability and coding efficiency, it also has high complexity in implementing its exhaustive computation. In this paper, a novel algorithm is proposed to reduce the redundant candidate modes by making use of the correlation among layers. A desired mode list is created based on the probability to be the best mode for each block in base layer and a candidate mode selection in the enhancement layer by the correlations of modes among reference frame and current frame. Our algorithm is implemented in joint scalable video model (JSVM) 9.19.15 reference software and the performance is evaluated based on the average encoding time, peak signal to noise ration (PSNR) and bit rate. The experimental results show 41.89% improvement in encoding time with minimal loss of 0.02 dB in PSNR and 0.05% increase in bit rate.     

基于区域划分的深度视频快速编码算法

多视点彩色视频与深度视频作为多媒体系统中主流3D场景表示方式,吸引了越来越多人的关注。深度视频反映场景的几何信息,如何对其进行快速编码尤为重要。提出了一种基于区域划分的深度视频快速编码算法。首先,根据深度视频的边缘和运动属性把深度视频分为四个区域;然后,深入分析不同区域内宏块模式分布比例以及参考帧选择特性,设计了不同的宏块模式选择和参考帧搜索策略来提高编码速度;最后,测试提出算法的编码时间、码率以及合成虚拟视点的质量。实验结果表明,提出算法在保证虚拟视点图像质量和编码码率基本不变的情况下,节约了85.73%～91.06%的编码时间。     

基于块运动信息的视频分割算法

提出一种视频对象分割的新算法.该算法利用块的运动信息作为分割依据,同时兼顾算法的计算复杂度和精度需求.一方面,对象分割的计算量开销与DCT运算相比可以忽略.另一方面,算法的分割精度能够满足提高无线视频编码传输质量的要求.实验验证该算法能有效提高无线视频应用的效率和鲁棒性.     

计算资源受限的视频编码多模式决策

由于视频编码技术趋向于采用越来越复杂的分块模式,多模式决策技术也随之成为一种非常重要的编码技术.多模式决策的优劣不仅会大幅度地影响视频编码的计算消耗,而且也对编码性能的高低起到关键的作用.为使多模式决策在计算能力相差悬殊的平台上都能获得优化的率失真性能,给出一种计算复杂度自适应的优化多模式决策算法.首先,利用视频序列中不同宏块模式间的时空相关性,预测这些宏块多模式决策后的拉格朗日代价和计算复杂度的斜率(Lagrangian cost and complexity slope,简称J-C slope).J-C slope越大,说明在该宏块上的模式决策消耗每单位的计算资源可以获取的率失真收益越多.在计算资源有限的情况下,多模式决策应该按照J-C slope的大小顺序执行,也就是性价比优先的顺序,以便保证计算资源优先分配给率失真收益大的宏块.另外,还通过建立J-C slope阈值与实际计算复杂度的关系模型,设计了一种根据给定计算约束自适应调整计算复杂度的算法.根据实验结果,该方法不仅可以准确地控制多模式决策的计算复杂度,而且还能在不同的计算约束下获得优化的率失真性能.     

联合深度视频增强的3D-HEVC帧内编码快速算法

目的 针对高效3维视频编码标准（3D-HEVC）深度视频编码复杂度高和获取不准确的两个问题,现有算法单独进行处理,并没有进行联合优化。为了同时提升深度视频编码速度和编码效率,提出一种联合深度视频增强处理和帧内快速编码的方法。方法 首先,引入深度视频空域增强处理,消除深度视频中的虚假纹理信息,增强其空域相关性,为编码单元（CU）划分和预测模式选择提供进一步优化的空间;然后,针对增强处理过的深度视频的空域特征,利用纹理复杂度将CU进行分类,提前终止平坦CU的分割过程,减少了CU分割次数;最后,利用边缘强度对预测单元（PU）进行分类,跳过低边缘强度PU的深度模型模式。结果 实验结果表明,与原始3D-HEVC的算法相比,本文算法平均节省62.91%深度视频编码时间,并且在相同虚拟视点质量情况下节省4.63%的码率。与当前代表性的帧内低复杂度编码算法相比,本文算法深度视频编码时间进一步减少26.10%,相同虚拟视点质量情况下,编码码率节省5.20%。结论 该方法通过深度视频增强处理,保证了虚拟视点质量,提升了编码效率。对深度视频帧内编码过程中复杂度较高的CU划分和预测模式选择分别进行优化,减少了率失真代价计算次数,有效地降低了帧内编码复杂度。     

基于高清编码的自适应Slice划分算法

对于多核高清视频实时编码系统,提出一种自适应Slice划分算法。该算法基于码率控制和熵编码复杂度模型,通过Intra预测得到当前编码图像的纹理复杂度分布,预测编码图像的计算复杂度分布,通过自适应Slice划分实现多核间计算复杂度均匀分配,从而提高多核并行编码效率。实验结果表明,与固定宏块数的Slice划分算法相比,该算法能更有效地提高并行加速比。     

帧内预测编码的模式抉择与复杂度分级方法

本文提出了一种帧内预测模式抉择方法，利用视频图像的时间相关性和空间相关性，选择部分预测模式对图像块进行帧内预测处理和编码，减少编码的计算复杂度，保持其原有的编码效率。同时提出了一种复杂度分级方法，通过准确控制帧内预测的复杂度，以匹配通信终端有限的计算资源。最后该方法在AVS-M平台中得到了验证。