低码率下基于ROI与JND的分级量化方法

传统基于人眼感兴趣区域(ROI)的分级量化模型,将视频帧划分为ROI区域和非ROI区域,对相应区域用不同的量化参数(QP)进行量化,以提升视频的主观质量.而该模型没有考虑ROI区域的内部特性,不能很好地符合人眼视觉特性(HVS).针对低码率条件下以人脸为主体的桌面视频、手持终端等场景,提出一种基于ROI和恰可观测失真(JND)的分级量化方法.JND模型表明边界区域相对平滑区域能够隐藏更多的失真,利用该属性检测出ROI区域(即人脸)中人眼更感兴趣的边界部分(例如眼睛、鼻子、嘴巴等),据此建立基于ROI与JND的分级量化模型,指导各区域的量化.实验结果表明,针对低码率视频的应用,与传统分级量化方法相比,本文所提方法在相同码率条件下能明显提升视频的主观质量.     

一种低码率下视频分级B帧量化参数的分配方法

分级B帧编码结构是H.264/AVC和可伸缩视频编码中实现时域可分级所采用的高效编码方法。在低码率下,按照提案JVT-P014中的分级B帧量化参数(QP)分配方案进行编码会产生较大的视频质量波动,严重影响视频的主观质量。针对这一问题,提出一种新的分级B帧QP分配方法。该方法考虑了人眼视觉暂留特性,能够有效减小低码率下视频帧之间的质量波动。实验结果证明在低码率编码条件下,该算法与JVT-P014方案相比减少视频质量波动10%以上,并能同时维持整体率失真编码性能基本不变。     

改进的JND模型及其在图像编码中的应用

对现有的DCT域恰可察觉失真(Just-Noticeable-Distortion,JND)模型进行改进,首先对JND模型中的亮度自适应因子进行准确化,其次在考虑纹理掩盖效应时引入平均边缘权重系数对图像进行分块,使JND模型更加符合人眼的视觉特性.并将改进的JND模型应用于图像编码中.实验结果表明,改进的JND模型和人眼特性的吻合性更好,在保证图像主观质量一定的情况下,与现有JND模型相比,可以容忍更多的失真,而基于改进JND模型的图像编码方法能够大大地提高编码效率.     

基于感兴趣区域的自适应帧内更新编码算法

针对视频压缩码流对信道差错异常敏感的问题,提出了一种基于感兴趣区域的自适应帧内更新编码算法。该算法利用人眼的视觉感知特性设计感兴趣区域提取模型,根据信道差错累积情况自适应调整帧内更新编码策略,将更少的失真分配给人眼感兴趣区域,提高差错信道下传输视频图像的主客观质量。实验结果表明,与基于端到端失真的帧内更新算法相比,在不同的信道丢包条件下,所提算法可以获得更好的主客观质量,感兴趣区域的峰值信噪比(PSNR)平均提高0.87 dB左右,提高了差错信道下视频通信的鲁棒性。     

基于视频时域感知特性的恰可察觉失真模型

现有的时域恰可察觉失真(just noticeable distortion,JND)模型对时域特征参量的作用刻画尚不够充分,导致空时域JND模型精度不够理想。针对此问题,提出能准确刻画视频时域特性的特征参量以及异质特征参量同质化融合方法,并基于此改进时域JND模型。关注前景/背景运动、时域持续时间、时域预测残差波动强度、帧间预测残差等特征参量,用来刻画视频内容的时域特征;基于人眼视觉系统(human visual system,HVS)特性探索感知概率密度函数,将异质特征参量统一映射到自信息和信息熵尺度上,实现同质化融合度量;从能量分配的角度探究视觉注意与掩蔽的耦合方法,并据此构建时域JND权重模型。在空域JND阈值的基础上,融合时域权重以得到更加准确的空时域JND模型。为了评估空时域JND模型的性能,进行了主观质量评估实验,与现有的JND模型相比,在感知质量接近的情况下,提出的空时域JND模型能够容忍更多失真,具有更强的掩藏噪声的能力。     

双目立体视频最小可辨失真模型及其在质量评价中的应用

该文针对目前最小可辨失真(JND)模型只能应用于评价单视点视频的问题,探索一种以双眼亮度关系为基本出发点的双目立体视频的JND模型。首先根据立体视频特性引入双眼亮度关系模型,然后考虑了背景亮度掩盖、纹理掩盖、帧间掩盖、空间时间对比灵敏度、眼睛运动等因素,提出了双目JND模型,最后将该双目JND模型应用到立体视频质量评价方法中。实验结果表明该文提出的质量评价方法符合人类的视觉感知特性,更接近于主观测试结果。     

基于低码率传输的红外视频编码方法研究

为了满足低速数据链下目标识别的需求,把感兴趣区域(Region of Interest,ROI)编码策略引入红外视频编码。在H.264视频编/解码框架的基础上,通过增加ROI编码的处理,构建基于ROI的视频编/解码框架,并在码率控制过程中调整ROI宏块与非ROI宏块的量化参数,优化了ROI量化模型。实验结果表明,该方法能够节省有限码率,增加ROI目标的细节,提高ROI对象的清晰度,可从整体上提高主观视觉的质量。     

一种基于立体视觉显著性的多视点视频比特分配方法

针对多视点立体视频压缩编码,提出了一种基于立 体视觉显著性的比 特分配方法。研究综合利用多视点立体视频数据中场景的运动、深度以及深度边缘信息提取 人眼感兴趣区 域(ROI)的方法;然后根据ROI的划分结果优化区域比特分配。实验结果表 明,本文提出的算法能有效提 高ROI区域的编码性能,同时整体视频的率失真性能有一定程度的提高。     

视觉加权的率失真优化死区调整算法

提出了一种基于人眼视觉模型加权的率失真优化自适应调整量化器死区算法。该算法应用率失真优化技术自适应地调整量化器死区的大小,提高量化器的编码性能,改进后的量化器在高码率下增益可以达到1dB以上。通过将人眼视觉模型引入率失真代价值的计算,进一步提高了量化器的主观性能。在H.264上的软件模拟结果表明,该算法不但能有效提高视频的主观视觉质量,而且在相同主观质量条件下平均能够节约10%的码率。     

基于人眼视觉特性的ROI渐进编码算法

一般基于感兴趣区域(ROI)的图像编码算法都没有充分考虑人眼视觉特性,在分析了JPEG2000中感兴趣区域编码的优缺点后,利用小波变换的特点并结合人眼视觉的掩蔽效应,提出了一种改进的ROI图像编码算法。首先将图像小波域中的所有低频系数进行移位处理,而对于小波域中的高频系数,仅对其属于ROI区域的系数进行移位处理,再利用等级树集合分割(SPIHT)算法进行编码传输。仿真实验证明了该算法比原有算法的图像主观质量更好。     

基于JND与梯度显著度的HDR视频编码方法

高动态范围(High Dynamic Range,HDR)成像能够呈现更加真实的画面,由于其庞大的数据量,如何结合视觉感知实现其高效编码十分重要。提出一种基于恰可察觉失真(Just Noticeable Difference,JND)与梯度显著度(Gradient Saliency,GS)的HDR视频编码方法。首先,依据最大熵定理分割HDR视频帧得到高亮、低暗与中间亮度区域,根据分割结果计算并修正针对HDR视觉内容的JND阈值。然后,出于不同复杂程度的纹理信息对于人眼显著性不同的考虑,使用GS作为人眼获取视觉信息的影响因素。最后,将GS协同JND通过感知模型,进而指导HDR视频编码的率失真优化过程,实现在HDR视频编码中更加符合视觉感知的码率分配并降低码率。实验结果表明,所提方法能够有效提高HDR视频编码性能。     

低码率应用中的一种视频码率控制方法

针对低码率视频应用,该文根据信源的线性模型,在满足码率约束的条件下,提出一种使宏块量化参数集中的优化策略。通过该方法,可以使宏块失真度分布更加集中,图像质量更加均匀,更符合人眼视觉特性;同时减少了编码码流中用于表征宏块间量化参数变化的句法比特数。仿真表明,在低码率及甚低码率的视频应用中,该方法能改善主客观视觉质量。     

一种基于人脸区域的图像质量客观评价算法

提出了一种基于人脸区域的图像质量客观评价模型算法,该算法将整个图像区域划分为感兴趣区域(人脸区域)和不感兴趣区域,对这两个区域内的图像损伤,在计算中分别赋予不的权重,以体现人眼的感知兴趣.实验证明通过该模型算法得到的客观评价结果与人眼的主观感觉具有更好的一致性.     

基于内容感知的可分级视频码流排序方法

为了提高传输效率,改善视频播出质量,提出一种基于内容感知的可分级视频码流排序方法。根据人眼对运动变化场景的主观感受,自适应加权前、背景运动矢量,建立描述视频动态特性的模型,结合频编码结构和率失真模型,对帧级别的数据包重要性进行标记并按照优先级进行排序。实验结果表明,该方法能准确描述视频动态性,有效提高视频播出质量,尤其对于运动场景复杂的视频,该方法能明显改善人眼主观感受。      

结合像素域JND阈值空间相关性与图像块类型的残差滤波算法

为了更好地将人眼视觉感知特性应用于视频压缩系统,从而去除视频的视觉冗余成分,在利用像素域的恰可察失真(Just Noticeable Distortion,JND)阈值的基础上,结合JND阈值的空间相关性与图像块类型,提出了一种改进的残差滤波算法。该算法首先在像素域计算出每个像素的JND阈值,然后在变换单元(Transform Unit,TU)中挖掘每个像素JND阈值与其周围邻近像素JND阈值之间的空间相关性,再利用索贝儿(Sobel)边缘检测算子将TU分成不同类型的图像块,并且计算出对应的复杂度因子,最后结合上述像素JND阈值的空间相关性和TU复杂度因子对TU残差进行滤波。提出的算法模型可以嵌入到高效率视频编码(High Efficiency Video Coding,HEVC)框架。实验结果表明,在全I帧配置下,提出的算法与标准算法HM16.0相比,在人眼主观感知质量基本一致的情况下,平均可节省16.1%的码率。     

面向HEVC的恰可察觉编码失真模型

为进一步提高现有视频编码技术的压缩效率及解 码重建图像的主观视觉感知质量,在现有人眼恰可 察觉失真(JND,just noticeable distortion)模型的基础上, 提出了恰可察觉编码失真(JNCD,just noticeable coding dist ortion)模型。首先,通过主观实验,对恰可察觉梯 度幅值差异(JNGD,just noticeable gradient difference)进 行了研究,分析其变化规律并建立JNGD模型。使用全变 分(TV,total variation)方法将图像分解为结构图和纹理图后,分别求 取其梯度信息得到结构梯度图和纹理梯度图, 利用JNGD模型分别滤除结构梯度图和纹理梯度图中的人眼不可察觉的梯度幅值 ;其后,分析了人眼感知对于不同 梯度幅值的编码失真敏感性,设计了梯度幅值与JNCD值的主观实验,得到两者的关系模型; 最后,考虑人眼对图 像中的边缘、平坦和纹理3类区域失真感知程度的差异性,利用滤波后的结构梯度和纹理梯 度信息将图像划分为上 述3类区域,最终建立整幅图像的JNCD模型。为验证本文提出的JNCD模型的可靠性,在高效 视频编码(HEVC)标准测试平台上进行的模型验证结果表明,在本模 型指导下的编码其解码重建 图像获得了较好的主观视觉效果,可为人眼视觉感知冗余的分析及感知编码的改 进提供依据。     

低码率下实时高清视频压缩方案

在低码率的条件下,H.264视频压缩很容易产生失真并且基于这一标准的高清实时编码具有较高复杂度,在硬件中很难实现。提出一种解决方案,在低码率的条件下,可以在TI TMS320C6455 DSP上实现720p@25 f/s高清格式视频的实时编码。该方案通过在整数变换和量化前采取全零块预测方法,同时使用视频抽样、DSP优化和插值处理来降低编码复杂度,达到高速实时压缩的目的。实验结果表明,该方案在低码率下,编码速度能满足实时视频的要求,在客观峰值信噪比指标(PSNR)及人眼视觉特性上都远优于原标准。     

一种基于最小可察觉失真的立体图像质量客观评价方法

立体图像质量是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效的评价是目前的研究难点。本文通过分析最小可察觉失真(JND,just noticeable distortion)视觉感知模型,并结合反映图像结构信息的奇异值矢量,提出了一种基于JND的立体图像质量客观评价方法。评价方法由图像质量评价和深度感知评价两部分组成,首先提取反映图像质量和深度感知的特征信息作为立体图像特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过支持向量回归(SVR,support vector Regression)预测得出立体图像质量的客观评价值。实验结果表明,采用本文提出的客观评价方法对立体数据测试库进行评价,在不同失真类型或混合失真评价结果中,Pearson线性相关系数(CC)值均在0.94以上,Spearman等级相关系数(SROCC)值均在0.92以上,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

基于粒子滤波目标跟踪的FGS编码﹡

针对感兴趣区域优先编码的问题,提出了基于粒子滤波目标跟踪的精细可分级视频编码(FGS,Fine Granularity Scalable),该方法结合开源计算机视觉库(OpenCV),在增强层引入粒子滤波运动跟踪算法,人为定义出一个感兴趣的区域,对此区域进行跟踪,提取,位平面提升,优先传输和编码,并控制优先编码的位平面数,控制预测漂移,从而改善视频解码后的主观视觉效果.同时,在基本层引入单环算法来提高编码效率.实验结果表明,提出的算法在一定的码率范围内感兴趣区域(ROI)的PSNR值高于整体区域的PSNR值.     

基于Hi3516的监控视频自适应ROI编码

介绍了基于感兴趣区域（ROI）的智能视频监控编码传输基本原理,以及基于单芯片SoC Hi3516的自适应ROI编码软硬件实现方案。在对Hi3516硬件特性进行介绍同时,也给出了利用运动侦测功能和其他手段对ROI进行自动检测,以及利用硬件编码通道进行基于H.264的ROI编码和传输方法。实验结果表明,该系统能实时检测视频中的运动目标并进行ROI编码,使得系统在低码率下也能获得很好的图像重建效果。