视觉感知编码方法综述

本文给出了视觉感知编码方法的综述。首先介绍了人类视觉系统（HVS）的特性,然后根据视觉感知编码方法所利用的视觉特性不同将其分为三类,并分别介绍各类方法的研究现状。最后展望视觉感知编码的应用前景和发展方向。     

基于深度学习的多视点视频编码方法综述

在当今这个数据爆炸增长的时代,深度学习强大的非线性建模能力进一步提高了多视点视频编码的率失真性能.对此,介绍多视点视频的特点及应用,重点对深度学习背景下现有的多视点视频编码方法进行介绍和总结,并展望多视点视频编码未来的发展趋势,旨在进一步发挥深度学习的能力,为用户提供更佳的观看体验.     

基于全局运动矢量的多视点视频编码方法

由于多视点视频中两帧之间大部份背景的相似性,本文提出了一种基于全局运动矢量的编码方法,对每帧都进行全局运动估计得出一个运动矢量,对编码效率有一定的提高.     

基于感知的多视点视频编码宏块模式选择快速算法

多视点视频编码(MVC)采取可变块模式选择技术和 多参考帧技术显著提高了编码的压缩效率,但同时带来了巨大的 编码计算复杂度。为了降低MVC的计算复杂度,提出基于感知的快速MVC宏块模式选择 算法。基于人眼视觉感知的特点,利用视觉恰可察觉失真(JND)的概念建立MVC宏块的最优模 式和JND的联系,并利用该联系确定早期结束最优宏块模式选择过程的阈值,根据当前编码 宏块的JND与阈值的 关系自适应地减少每个编码宏块的模式搜索次数,进而减少MVC的方向搜索和参考帧搜索的 次数,以降 低编码的复杂度,提高MVC速度。实验结果显示,对于不同运动特性、内容、纹理信息、相 机间距和图像 尺寸的测试序列,提出的快速算法在率失真性能几乎不变的情况下平均节约76.00% 编码时间。     

多视点与深度视频编码技术研究综述

多视点与深度视频(MVD)可以有效表示自由视点视频,减少了需传输视点的个数,该表达形式正受到越来越多的关注,如何对MVD进行高效编码尤为重要.介绍了自由视点视频的发展现状及国内外研究概况,详细讨论了深度图像的高效编码技术及多视点与深度联合编码技术,并对多视点与深度视频编码技术进行了总结及展望.     

基于压缩感知理论的视频编解码器

结合压缩感知理论和传统的视频编解码技术,提出了一种基于压缩感知理论的视频编解码器.其编码过程可看成是将高维信号投影到低维空间的过程,解码过程不再是传统方式下的编码的逆过程,而可看作是求解欠定方程组的过程.该编解码器结构比较简单,不仅所需图像的样本数很少,样本数可根据不同的编码模式进行选择,而且能获得较高的压缩比和较好的重构图像质量.     

沉浸式视频编码技术综述

随着虚拟现实、增强现实等沉浸式媒体技术的发展,沉浸式视频的表示、存储、传输和显示等各个环节都受到了科研及产业界的广泛关注。沉浸式视频更复杂的视频特性和庞大的数据量,对传统视频编码技术提出了挑战,新的编码技术应运而生。该文从视频自由度(DoF)出发,分别从3DoF和6DoF两个方面介绍沉浸式视频编码技术的最新成果。3DoF视频相关编码技术包括投影模型、运动估计模型和3DoF视频编码标准。6DoF视频相关编码技术包括视频表示形式、虚拟视点合成技术、6DoF视频编码技术及运动图像专家组沉浸式视频(MPEG, MIV)编码标准。最后,对沉浸式视频及其编码技术的发展进行总结和展望。     

应用于VVC视频编码的感知率失真优化算法

视频编码中,率失真优化是提升编码性能的重要环节。在新一代视频编码标准——多功能视频编码（Versatile Video Coding,VVC）中,率失真优化关键参数λ的确定仍是基于与量化参数（Quantization Parameter,QP）之间相对固定的映射关系模式,而人眼对于视频内容特征的感知并未得到充分考虑,因此提出了用于多功能视频编码标准VVC的感知率失真优化算法。首先提取视频帧中编码树单元（Coding Tree Unit,CTU）的纹理和运动特征,其次结合人眼对于纹理复杂度和运动程度的不同感知,对用于CTU编码的拉格朗日乘子λ进行自适应调节。在VVC标准测试软件VTM12.0平台的低延时P帧配置下,采用多尺度结构相似性和峰值信噪比作为视频质量评价指标,在保持视频质量不变的情况下,码率平均节省0.15%和0.09%,VVC编码器率失真性能得以提升。     

多视点视频编码的研究现状及其展望

阐述了多视点视频编码(MVC)的主要研究问题.其中首先介绍了MVC的体系结构和发展过程;然后详细讨论了MVC的研究内容,包括预测结构、提高MVC编码效率的技术和高层语法;最后在总结MVC研究现状的基础上,提出了MVC在3D视频应用中的研究思路.     

基于3D混合树和视觉特性的视频可分级编码算法

分析了视频数据的3D小波系数分布特性,提出了一种基于混合3D树型结构和HVS特性的视频可分级编码算法.首先,依据小波低、高频系数的自相关性,确定相应的树型结构来扫描和处理时间维上的低、高频系数,明显减少了用于定位重要系数的同步信息;其次,依据人类视觉系统对各频率子带敏感程度的不同,对各子带系数进行加权,使得重构视频的重要系数得以排在码流前端,从而在很大程度上提高了中低码率下视频的重构质量.对多种标准测试视频的仿真实验验证了本文算法的有效性,与非对称树型结构编码方案和单一时空方向树结构方案相比,该算法解码图像的Y、U和V 3个分量的均峰值信噪比分别高出0.65dB、1.75dB、1.77dB和0.23dB、2.11dB、1.72dB.此外,算法有效抑制了振铃效应,并获得了更好的主观效果.     

Perceptual watermarking using a new Just-Noticeable-Difference model

In this paper, a new watermarking scheme based on Human Visual System (HVS) modeling is proposed. The approach consists in building computational models which take into account the most common properties of the HVS that can be exploited for watermarking. Two schemes for embedding and controlling the transparency of the watermark are presented, namely the implicit and the explicit schemes. Both schemes are designed in the framework of the pyramidal decomposition which has been shown to be a powerful tool for analyzing image through a multi-scale representation. For the first approach, a multi-scale visibility map is used to optimize the watermark embedding process. The second approach makes use of HVS properties in an explicit and more sophisticated manner that consists in tuning the watermark strength just beneath the visual detection threshold. A new JND (Just-Noticeable-Difference) model for determining this threshold is then proposed and evaluated. The obtained results provide a strong support for this new JND model.     

面向3G环境下的移动视频编码技术

 随着移动通信迈入3G时代,在众多的3G增值业务中,移动视频业务无疑将会成为3G业务的核心应用,以视频编码技术为代表的多媒体技术是支撑移动业务运营的基础技术。本文首先介绍了面向3G环境下的移动视频业务的发展现状及其面临的技术问题;然后从可分级编码、视频转码、多描述编码、基于视觉特性的编码几个方面论述了针对移动视频的编码技术;最后对面向3G环境下的移动视频编码技术进行了总结和展望。     

MPEG-2标准的码率控制算法

在ＴＭ５算法的基础上，提出了一种ＭＰＥＧ－２码率控制算法。仿真实验表明，算法对有场景切换连续序列解码后的图象主客观质量有明显改善。     

Depth video spatial and temporal correlation enhancement algorithm based on just noticeable rendering distortion model

Spatial and temporal inconsistency of depth video deteriorates encoding efficiency in three dimensional video systems. A depth video processing algorithm based on human perception is presented. Firstly, a just noticeable rendering distortion (JNRD) model is formulated by combining the analyses of the influence of depth distortion on virtual view rendering with human visual perception characteristics. Then, depth video is processed based on the JNRD model from two aspects, spatial and temporal correlation enhancement. During the process of spatial correlation enhancement, depth video is segmented into edge, foreground, and background regions, and smoothened by Gaussian and mean filters. The operations of the temporal correlation enhancement include temporal–spatial transpose (TST), temporal smoothing filter and inverse TST. Finally, encoding and virtual view rendering experiments are conducted to evaluate the proposed algorithm. Experimental results show that the proposed algorithm can greatly reduce the bit rate while it maintains the quality of virtual view.     

Perceptually lossless coder for volumetric medical image data

With the development of modern imaging techniques, every medical examination would result in a huge volume of image data. Analysis, storage and/or transmission of these data demands high compression without any loss of diagnostically significant data. Although, various 3-D compression techniques have been proposed, they have not been able to meet the current requirements. This paper proposes a novel method to compress 3-D medical images based on human vision model to remove visually insignificant information. The block matching algorithm applied to exploit the anatomical symmetry remove the spatial redundancies. The results obtained are compared with those of lossless compression techniques. The results show better compression without any degradation in visual quality. The rate-distortion performance of the proposed coders is compared with that of the state-of-the-art lossy coders. The subjective evaluation performed by the medical experts confirms that the visual quality of the reconstructed image is excellent.