低码率下基于ROI与JND的分级量化方法北大核心

传统基于人眼感兴趣区域(ROI)的分级量化模型,将视频帧划分为ROI区域和非ROI区域,对相应区域用不同的量化参数(QP)进行量化,以提升视频的主观质量。而该模型没有考虑ROI区域的内部特性,不能很好地符合人眼视觉特性(HVS)。针对低码率条件下以人脸为主体的桌面视频、手持终端等场景,提出一种基于ROI和恰可观测失真(JND)的分级量化方法。JND模型表明边界区域相对平滑区域能够隐藏更多的失真,利用该属性检测出ROI区域(即人脸)中人眼更感兴趣的边界部分(例如眼睛、鼻子、嘴巴等),据此建立基于ROI与JND的分级量化模型,指导各区域的量化。实验结果表明,针对低码率视频的应用,与传统分级量化方法相比,本文所提方法在相同码率条件下能明显提升视频的主观质量。     

一种低码率下视频分级B帧量化参数的分配方法

分级B帧编码结构是H.264/AVC和可伸缩视频编码中实现时域可分级所采用的高效编码方法。在低码率下,按照提案JVT-P014中的分级B帧量化参数(QP)分配方案进行编码会产生较大的视频质量波动,严重影响视频的主观质量。针对这一问题,提出一种新的分级B帧QP分配方法。该方法考虑了人眼视觉暂留特性,能够有效减小低码率下视频帧之间的质量波动。实验结果证明在低码率编码条件下,该算法与JVT-P014方案相比减少视频质量波动10%以上,并能同时维持整体率失真编码性能基本不变。     

改进的JND模型及其在图像编码中的应用

对现有的DCT域恰可察觉失真(Just-Noticeable-Distortion,JND)模型进行改进,首先对JND模型中的亮度自适应因子进行准确化,其次在考虑纹理掩盖效应时引入平均边缘权重系数对图像进行分块,使JND模型更加符合人眼的视觉特性.并将改进的JND模型应用于图像编码中.实验结果表明,改进的JND模型和人眼特性的吻合性更好,在保证图像主观质量一定的情况下,与现有JND模型相比,可以容忍更多的失真,而基于改进JND模型的图像编码方法能够大大地提高编码效率.     

基于感兴趣区域的自适应帧内更新编码算法

针对视频压缩码流对信道差错异常敏感的问题,提出了一种基于感兴趣区域的自适应帧内更新编码算法。该算法利用人眼的视觉感知特性设计感兴趣区域提取模型,根据信道差错累积情况自适应调整帧内更新编码策略,将更少的失真分配给人眼感兴趣区域,提高差错信道下传输视频图像的主客观质量。实验结果表明,与基于端到端失真的帧内更新算法相比,在不同的信道丢包条件下,所提算法可以获得更好的主客观质量,感兴趣区域的峰值信噪比(PSNR)平均提高0.87 dB左右,提高了差错信道下视频通信的鲁棒性。     

基于视频时域感知特性的恰可察觉失真模型

现有的时域恰可察觉失真(just noticeable distortion,JND)模型对时域特征参量的作用刻画尚不够充分,导致空时域JND模型精度不够理想。针对此问题,提出能准确刻画视频时域特性的特征参量以及异质特征参量同质化融合方法,并基于此改进时域JND模型。关注前景/背景运动、时域持续时间、时域预测残差波动强度、帧间预测残差等特征参量,用来刻画视频内容的时域特征;基于人眼视觉系统(human visual system,HVS)特性探索感知概率密度函数,将异质特征参量统一映射到自信息和信息熵尺度上,实现同质化融合度量;从能量分配的角度探究视觉注意与掩蔽的耦合方法,并据此构建时域JND权重模型。在空域JND阈值的基础上,融合时域权重以得到更加准确的空时域JND模型。为了评估空时域JND模型的性能,进行了主观质量评估实验,与现有的JND模型相比,在感知质量接近的情况下,提出的空时域JND模型能够容忍更多失真,具有更强的掩藏噪声的能力。     

一种基于立体视觉显著性的多视点视频比特分配方法

针对多视点立体视频压缩编码,提出了一种基于立 体视觉显著性的比 特分配方法。研究综合利用多视点立体视频数据中场景的运动、深度以及深度边缘信息提取 人眼感兴趣区 域(ROI)的方法;然后根据ROI的划分结果优化区域比特分配。实验结果表 明,本文提出的算法能有效提 高ROI区域的编码性能,同时整体视频的率失真性能有一定程度的提高。     

基于低码率传输的红外视频编码方法研究

为了满足低速数据链下目标识别的需求,把感兴趣区域(Region of Interest,ROI)编码策略引入红外视频编码。在H.264视频编/解码框架的基础上,通过增加ROI编码的处理,构建基于ROI的视频编/解码框架,并在码率控制过程中调整ROI宏块与非ROI宏块的量化参数,优化了ROI量化模型。实验结果表明,该方法能够节省有限码率,增加ROI目标的细节,提高ROI对象的清晰度,可从整体上提高主观视觉的质量。     

一种基于人脸区域的图像质量客观评价算法

提出了一种基于人脸区域的图像质量客观评价模型算法,该算法将整个图像区域划分为感兴趣区域(人脸区域)和不感兴趣区域,对这两个区域内的图像损伤,在计算中分别赋予不的权重,以体现人眼的感知兴趣.实验证明通过该模型算法得到的客观评价结果与人眼的主观感觉具有更好的一致性.     

基于JND与梯度显著度的HDR视频编码方法

高动态范围(High Dynamic Range,HDR)成像能够呈现更加真实的画面,由于其庞大的数据量,如何结合视觉感知实现其高效编码十分重要。提出一种基于恰可察觉失真(Just Noticeable Difference,JND)与梯度显著度(Gradient Saliency,GS)的HDR视频编码方法。首先,依据最大熵定理分割HDR视频帧得到高亮、低暗与中间亮度区域,根据分割结果计算并修正针对HDR视觉内容的JND阈值。然后,出于不同复杂程度的纹理信息对于人眼显著性不同的考虑,使用GS作为人眼获取视觉信息的影响因素。最后,将GS协同JND通过感知模型,进而指导HDR视频编码的率失真优化过程,实现在HDR视频编码中更加符合视觉感知的码率分配并降低码率。实验结果表明,所提方法能够有效提高HDR视频编码性能。     

双目立体视频最小可辨失真模型及其在质量评价中的应用

该文针对目前最小可辨失真(JND)模型只能应用于评价单视点视频的问题,探索一种以双眼亮度关系为基本出发点的双目立体视频的JND模型。首先根据立体视频特性引入双眼亮度关系模型,然后考虑了背景亮度掩盖、纹理掩盖、帧间掩盖、空间时间对比灵敏度、眼睛运动等因素,提出了双目JND模型,最后将该双目JND模型应用到立体视频质量评价方法中。实验结果表明该文提出的质量评价方法符合人类的视觉感知特性,更接近于主观测试结果。     

基于纹理分解的变换域JND模型及图像编码方法

为了提高变换域JND模型的精度,在计算对比度掩盖因子时只对纹理分量滤波并判断区域类型的方法避免了JND低估的问题。将改进的JND模型用于图像编码,考虑到辅助信息对编码效率的影响,把经过调整后的JND模型结合到量化过程中,能去除更多的视觉冗余并保持兼容性。仿真结果表明,纹理分解的方法提高了JND阈值,改进的编码方法在相似的视觉质量下能节省更多的码率并且不需要增加额外的比特开销,该编码思路也适用于视频编码。     

Human centered perceptual adaptation for video coding

Traditional visual saliency based video compression methods try to encode the image with higher quality in the region of saliency. However, the saliency feature changes according to persons, viewpoints, and distances. In this paper, we propose to apply a technique of human centered perceptual computation to improve video coding in the region of human centered perception. To detect the region of interest (ROI) of human body, upper body, frontal face, and profile face, we construct Harr and histogram of oriented gradients features based combo of detectors to analyze a video in the first frame (intra-frame). From the second frame (inter-frame) onward, the optical flow image is computed in the ROI area of the first frame. The optical flow in human centered ROI is then used for macroblock (MB) quantization adjustment in H.264/AVC. For each MB, the quantization parameter (QP) is optimized with density value of optical flow image. The QP optimization process is based on a MB mapping model, which can be calculated by an inverse of the inverse tangent function. The Lagrange multiplier in the rate distortion optimization is also adapted so that the MB distortion at human centered region is minimized. We apply our technique to the H.264 video encoder to improve coding visual quality. By evaluating our scheme with the H.264 reference software, our results show that the proposed algorithm can improve the visual quality of ROI by about 1.01 dB while preserving coding efficiency.     

一种基于视觉显著度模型的无线视频码率控制算法(英文)

In order to further improve the efficiency of video compression, we introduce a perceptual characteristics of Human Visual System (HVS) to video coding, and propose a novel video coding rate control algorithm based on human visual saliency model in H.264/AVC. Firstly, we modifie Itti's saliency model. Secondly, target bits of each frame are allocated through the correlation of saliency region between the current and previous frame, and the complexity of each MB is modified through the saliency value and its...     

面向头肩序列图像的质量可精细扩展视频编码方法

FGS编码方法具有细粒度的可扩展能力,能很好地适应网络带宽的动态变化,被认为是一种适合于网络视频传输的编码方案.但现有的MPEG-4 FGS编码标准效率低,限制了其进一步的推广应用.因此,本文面向视频应用中常见的头肩序列图像,实现了一种质量可精细扩展的视频编码方法.该方法采用H.26L对基本层进行编码,采用基于DCT变换的SPIHT方法对原始图像与基本层重建图像之间的残差进行编码得到增强层的码流.然后将复杂背景下的人脸检测与跟踪技术与选择性增强技术结合起来,对人脸区域优先编码.实验结果表明,该方法不仅编码效率高于现有的MPEG-4 FGS标准,码流具有可精细扩展的特性,还可以选择性地提高人脸区域重建图像的主观感受水平.     

面向HEVC的恰可察觉编码失真模型

为进一步提高现有视频编码技术的压缩效率及解 码重建图像的主观视觉感知质量,在现有人眼恰可 察觉失真(JND,just noticeable distortion)模型的基础上, 提出了恰可察觉编码失真(JNCD,just noticeable coding dist ortion)模型。首先,通过主观实验,对恰可察觉梯 度幅值差异(JNGD,just noticeable gradient difference)进 行了研究,分析其变化规律并建立JNGD模型。使用全变 分(TV,total variation)方法将图像分解为结构图和纹理图后,分别求 取其梯度信息得到结构梯度图和纹理梯度图, 利用JNGD模型分别滤除结构梯度图和纹理梯度图中的人眼不可察觉的梯度幅值 ;其后,分析了人眼感知对于不同 梯度幅值的编码失真敏感性,设计了梯度幅值与JNCD值的主观实验,得到两者的关系模型; 最后,考虑人眼对图 像中的边缘、平坦和纹理3类区域失真感知程度的差异性,利用滤波后的结构梯度和纹理梯 度信息将图像划分为上 述3类区域,最终建立整幅图像的JNCD模型。为验证本文提出的JNCD模型的可靠性,在高效 视频编码(HEVC)标准测试平台上进行的模型验证结果表明,在本模 型指导下的编码其解码重建 图像获得了较好的主观视觉效果,可为人眼视觉感知冗余的分析及感知编码的改 进提供依据。     

Adaptive Block-size Transform based Just-Noticeable Difference model for images/videos

In this paper, we propose a novel Adaptive Block-size Transform (ABT) based Just-Noticeable Difference (JND) model for images/videos. Extension from 8×8 Discrete Cosine Transform (DCT) based JND model to 16×16 DCT based JND is firstly performed by considering both the spatial and temporal Human Visual System (HVS) properties. For still images or INTRA video frames, a new spatial selection strategy based on the Spatial Content Similarity (SCS) between a macroblock and its sub-blocks is proposed to determine the transform size to be employed to generate the JND map. For the INTER video frames, a temporal selection strategy based on the Motion Characteristic Similarity (MCS) between a macroblock and its sub-blocks is presented to decide the transform size for the JND. Compared with other JND models, our proposed scheme can tolerate more distortions while preserving better perceptual quality. In order to demonstrate the efficiency of the ABT-based JND in modeling the HVS properties, a simple visual quality metric is designed by considering the ABT-based JND masking properties. Evaluating on the image and video subjective databases, the proposed metric delivers a performance comparable to the state-of-the-art metrics. It confirms that the ABT-based JND consists well with the HVS. The proposed quality metric also is applied on ABT-based H.264/Advanced Video Coding (AVC) for the perceptual video coding. The experimental results demonstrate that the proposed method can deliver video sequences with higher visual quality at the same bit-rates.     

基于视觉关注度的无线视频帧内刷新算法

针对人眼对图像不同区域的关注度存在的差异,本文提出了基于人眼视觉关注度的率失真优化帧内宏块刷新算法,该算法采用端到端的全局率失真理论,对图像中关注度不同的区域采用不同的处理方式,使高关注度区域的宏块能得到更及时的帧内刷新。由于受到码率的限制,必须对不同区域采用不同的码率分配机制。最后,在JVT的JM12．2平台上实现该算法。大量实验结果表明,与传统的基于率失真优化的帧内刷新算法相比,基于视觉关注度的率失真优化帧内刷新算法在高关注度区域能够取得更好的主观质量。并且在保证关注度区域主观质量的同时整个码率有所降低．因此非常适合无线网络上的视频传输．