基于RDO和SSIM的AVS帧内模式选择算法

AVS帧内模式选择算法中,常采用率失真优化(RDO)方法作为最后模式选择的代价函数来对帧内的5种预测模式进行选择.虽然该方法可以选出相较绝对误差和(SAD)方法更优的预测模式,但是仍不能很好地满足人眼视觉系统的主观性.结构相似度(SSIM)作为一种新的图像质量评价方法,不仅算法简单且包含符合人眼视觉感知的结构信息,故更优于传统的PSNR等评价方法.对原有帧内模式选择算法进行改进,将SSIM和RDO结合在一起共同作为帧内模式选择的代价函数.实验结果表明,该新的模式选择算法获得了更好的编码质量和更高的编码效率.     

基于SSIM和SAD的AVS帧内预测模式改进算法

在AVS帧内预测模式的选择过程中,以绝对误差和(SAD)作为失真度量,通过相应的i_sad代价函数进行选择,但是这种方法被证明不能很好地符合人眼视觉(HVS).由于结构相似度(SSIM)算法相对简单,准确性好,优于传统的PSNR等方法,因此提出了将SSIM和SAD作为帧内预测模式选择的标准.实验表明,将SSIM和SAD用于AVS帧内预测模式选择,获得了比原AVS更好的重建图像质量和更高的编码压缩率.     

基于宏块相关性的帧间预测模式选择策略

视频编码中,相邻帧之间的景物存在一定相关性,因此各宏块帧间预测模式存在一定相关性。在AVS标准中,帧间预测模式选择是单纯地从代价值大小的角度进行判断,忽略了当前帧与参考帧之间的相关性以及人眼视觉的感官性。为使宏块的预测模式更加合理、更能反映主观质量,提出了基于宏块相关性的帧间预测模式选择策略。在大量实验基础上得出阈值κ来调节率失真代价值与宏块相关性间的平衡关系。综合考虑代价值与阈值κ得出当前块的帧间预测模式。实验结果表明:该算法不仅能提高信噪比PSNR与结构相似度SSIM,而且能使码率略微降低。     

基于SSE和SSIM的H.264帧内预测模式选择改进算法

在H.264的帧内预测模式选择过程中,率失真优化(RDO)的失真测度用当前编码块和预测块之间的平方误差和(SSE)或绝对误差和(SAD)来度量,而这两种失真测度被证明不能很好地符合人眼视觉(HVS)。该文参考软件JM16.2,提出了联合SSE和结构相似度(SSIM)作为失真测度用于RDO的方法(CSSRDO)。算法首先找到SSIM和码率的近似关系, 然后综合以SSE作为失真测度的RDO函数,并结合人眼视觉特性,建立了联合SSE和SSIM作为失真测度的RDO模型。实验表明,将CSSRDO用于H.264帧内预测模式选择获得了比JM16.2更高的编码效率和更好的重建图像质量。     

基于感兴趣区域的自适应帧内更新编码算法

针对视频压缩码流对信道差错异常敏感的问题,提出了一种基于感兴趣区域的自适应帧内更新编码算法。该算法利用人眼的视觉感知特性设计感兴趣区域提取模型,根据信道差错累积情况自适应调整帧内更新编码策略,将更少的失真分配给人眼感兴趣区域,提高差错信道下传输视频图像的主客观质量。实验结果表明,与基于端到端失真的帧内更新算法相比,在不同的信道丢包条件下,所提算法可以获得更好的主客观质量,感兴趣区域的峰值信噪比(PSNR)平均提高0.87 dB左右,提高了差错信道下视频通信的鲁棒性。     

基于运动和视差信息的立体视频质量客观评价

在研究人类 立体视觉特性及现有立体图像/视频质量评价算法的基础上,提出了一种基于运动信息和视 差信息的立 体视频质量的客观评价方法。方法包括视频质量评价(VQA)和视频立体感评价(VSSA)两个指 标,其中VQA的估计基于梯度的结构相似度(GSSIM) 算法,并充分考虑了帧内的亮度信息和结构信息、帧间运动信息以及人眼的感知特性对视频 质量的影响, 特别是根据人类的视觉特性,对左右视点的质量赋予了不同的权重;VSSA的估计 是通过计算参考 视频的绝对差值图和降质视频的绝对差值图之间的峰值信噪比(PSNR)而得到。实验结果表明,本文方法对基于H.264 编码的失真视频的评价结果与主观测试有较高的一致性,很好地体现人眼的视觉特性。     

基于反馈的自适应参考帧选择的率失真优化分析

为了提高数字视频实时传输的容差能力,该文提出了一种基于反馈的自适应参考帧选择方法。在传统参考帧选择优点的基础上,设计了一种新的通过率失真技术优化选择参考帧的帧间帧预测结构,分析了选择不同参考帧编码时的编码码率以及它对编码失真的影响。引入了信道代价均值的概念,探讨了信道误差的扩散过程及其对信道失真的影响。在联合信源和信道的率失真优化框架内,选择使得率失真代价最小的候选参考帧作为当前帧编码的参考帧,有效地改善了视频传输质量,并减少了编/解码器所需缓存的参考帧。仿真实验显示自适应参考帧选择的PSNR性能在不同码率和丢包率下均优于经典的ACK和NACK参考帧选择方法。     

应用于VVC视频编码的感知率失真优化算法

视频编码中,率失真优化是提升编码性能的重要环节。在新一代视频编码标准——多功能视频编码（Versatile Video Coding,VVC）中,率失真优化关键参数λ的确定仍是基于与量化参数（Quantization Parameter,QP）之间相对固定的映射关系模式,而人眼对于视频内容特征的感知并未得到充分考虑,因此提出了用于多功能视频编码标准VVC的感知率失真优化算法。首先提取视频帧中编码树单元（Coding Tree Unit,CTU）的纹理和运动特征,其次结合人眼对于纹理复杂度和运动程度的不同感知,对用于CTU编码的拉格朗日乘子λ进行自适应调节。在VVC标准测试软件VTM12.0平台的低延时P帧配置下,采用多尺度结构相似性和峰值信噪比作为视频质量评价指标,在保持视频质量不变的情况下,码率平均节省0.15%和0.09%,VVC编码器率失真性能得以提升。     

基于人眼视觉的小波域结构相似性图像质量客观评价方法

针对空域结构相似性评价方法在几何失真图像及噪声污染图像的质量评价中存在的不足,在考虑人眼视觉特性前提下,研究了一种基于人眼视觉的小波域结构相似度的图像质量评价方法(WDSSIM),该方法首先将参考图像和失真图像进行小波变换,以获取不同尺度和频带的子带图像,并根据人眼视觉JND模型,获取人眼视觉对参考图像的带间敏感度和各子带的带内敏感度;然后,以带内敏感度因子为权值分别求取参考图像和失真图像同一尺度和频带的子带图像之间的结构相似度;最后,以带间敏感度因子为权值对各子带对的结构相似度进行加权归一化,获得整幅图像的结构相似度.     

利用纹理结构的HEVC快速帧内模式选择算法

高性能视频编码（HEVC）是刚确立的最新一代的视频编码标准。对于帧内编码,HEVC最大的特点是采用了从64×64至8×8的编码单元划分和35种帧内预测模式,HEVC通过遍历所有的分块和帧内预测模式,选取最优的预测方式,这种帧内预测方式在提高预测精度的同时也大大增加了编码的计算复杂度。为了降低帧内预测的计算复杂度,HM2.0版以上的HEVC测试软件采用一种基于两步预测的快速帧内模式选择算法。在此基础上本文首先提出了一种基于纹理方向的快速粗选方案,减少参与计算的粗选模式数,进而提出基于结构相关的决策方法,利用同质图像区域的纹理相似性,减少参与率失真代价函数计算的候选模式数量,进一步降低了帧内预测计算复杂度。实验结果表明,本文所提出的快速算法,在保持编码质量基本不变的条件下,可以使基于两步预测的快速帧内模式选择时间缩短25%。      

基于HVS的结构相似性的视频质量评价

近年来,基于结构相似性的视频质量的客观评价方法得到了广泛的关注,它建立在人眼对结构失真较为敏感这一假设之上,实验表明其性能优于峰值信噪比。该方法并没有考虑人眼视觉系统对不同的频率分量和对不同视频区域的敏感程度不同。基于人眼视觉系统的特点和结构相似性,提出了一种改进的视频质量评价方法,实验表明它与主观视频质量的相关性明显好于峰值信噪比和结构相似性。     

利用HSSIM和残差比阈值的3维激光扫描图像去噪

为了更好地实现3维激光扫描图像的去噪,提出一种融合直方图结构相似度(HSSIM)和残差比阈值的改进稀疏去噪算法。利用初始化过完备字典进行稀疏分解,以相似因子代替重构误差作为保真项,利用残差比阈值作为正交匹配追踪算法的迭代终止条件对图像进行去噪,获得了去噪后图像的峰值信噪比及HSSIM指标。结果表明,与基于db2小波变换、多尺度曲波变换和离散余弦变换的去噪方法相比,该算法能获得更好的峰值信噪比和HSSIM数据。在有效去除图像噪声的同时还能更有效地保留图像的细节特征。     

基于人眼对比度敏感视觉特性的图像质量评价方法

结合传统采用的均方误差和峰值信噪比评价灰度图像质量的统计方法和色差描述彩色图像差异的特点,提出了一种基于人眼视觉特性的色差均方误差和色差峰值信噪比统计参数的评价彩色图像质量的方法,并通过实验进行了验证。实验结果与德克萨斯大学奥斯汀分校的LIVE图像库中的图像主观评价结果基本符合,表明所提出的方法不仅从统计意义上有效地反映了局部甚至像点间的差别,而且由于该统计方法同时考虑了人眼视觉特性,提高了客观评价与主观评价的一致性。     

A new resource allocation scheme based on a PSNR criterion forwireless video transmission to stationary receivers over Gaussianchannels

A new resource allocation scheme is proposed for video service over a Gaussian channel. For video quality rating, we introduce a suitable metric: the average peak signal-to-noise ratio (PSNR) or the average channel-induced PSNR degradation. Then, we model the end-to-end distortion considering the error propagation effect caused by motion compensation. On the basis of this model, we propose an efficient resource allocation scheme for real video service. Unlike conventional schemes, the new scheme satisfies the PSNR requirement of each video user by adjusting the bit-error rate level with the changes of image characteristics. Simulation results show that the proposed scheme utilizes the bandwidth more efficiently than conventional schemes     

A new perceptual quality metric for compressed video based on mean squared error

A full reference objective quality metric that predicts perceived quality of compressed video is proposed. The metric estimates the mean opinion score (MOS) based on spatio-temporal activity and the mean squared error (MSE) between original and compressed video sequences. The proposed metric has been tested on multimedia sequences of common intermediate format (CIF) resolution compressed at a wide range of bit rates using the H264/AVC coding standard. This metric shows a higher correlation with subjective quality ratings (MOS) than popular metrics such as peak signal to noise ratio (PSNR), video structural similarity metric (VSSIM), national telecommunication and information administration’s video quality metric (NTIA/ITS VQM) and PSNRplus. This algorithm is particularly useful for real-time quality estimation of multimedia sequences compressed using block-based video coding schemes and all the parameters of the metric can be calculated automatically with a modest amount of processing overhead.     

Structural similarity image quality reliability: Determining parameters and window size

The need to obtain objective values of the quality of distorted images with respect to the original is fundamental in multimedia and image processing applications. It is generally required that this value correlates well with the human vision system (HVS). In spite of the properties and the general use of the mean square error (MSE) measurement, this has a poor correlation with HSV, which has led to the development of methods such as structural similarity (SSIM). This metric improves the correlation with respect to the classic MSE and PSNR (peak signal to noise ratio). However, its behavior depends on the values assigned to constants and on the windows size selected. These values are usually assigned arbitrarily and there have been no studies on how they affect the SSIM. In this work, we have analyzed empirically the most appropriate values for the different constants used in the SSIM equations. We have also analyzed the importance of window size in the calculation of MSSIM, and propose a method for determining the window size based on image complexity. Using the values selected and the window size defined, the correlation between SSIM and DMOS (differential mean opinion score) is significantly improved by around 17% with respect to the values commonly used.     

一种时域质量稳定的三维小波视频编码率控制技术

三维小波视频编码提供了分辨率、时域和质量的可伸缩性。在三维小波编码中，如何调整各小波频带间的码率分配以达到最佳的码率控制至关重要。就小波变换和反变换的结构而言，常规的三维小波视频编码方法会导致解码视频帧沿时间方向播放质量的周期振荡，这种周期的振荡会影响了观看质量。本文研究了重建信号与小波频带间失真分布的关系，提出了一种具有稳定的时域解码质量的率控制方法，实验结果表明该算法在保证播放质量稳定的同时，还具有与常规三维小波视频编码方法近似的平均解码质量。     

基于人眼视觉特性的彩色图像质量评价

图像处理系统的性能优劣的评判往往需要一个合理迅速的图像质量评价算法作为支撑.传统的图像质量评价算法由于没有充分考虑人眼的视觉特性,使得质量评价结果与实际图像的人眼感知质量不符.根据人眼对图像边缘信息非常敏感这一人眼视觉特性,提出一种综合图像边缘和背录相似度的算法(EBS)来评价彩色图像质量,即通过比较失真彩色图像与原始参考图像的边缘以及除边缘之外的背景相似程度最终确定失真图像的质量.应用于由779幅包含五种类型失真的图像质量评价库的实验结果表明,该算法的评价结果相比PSNR,MSSIM,IFC以及基于像素域的VIF等算法与图像的主观评价结果(由DMOS值表示--将背景不同的一组观察者对失真图像的评分进行统计平均后所得到的评价结果)更一致,也即该算法的评价结果更接近图像的实际视觉感知质量.     

Perceptual Color Image Coding With JPEG2000

A perceptual color image coder (PCIC) is presented for the $YC_{b}C_{r}$ color space within the framework of JPEG2000. This coder employs a vision model based perceptual distortion metric (PDM) to approximate perceived error for rate-distortion (R-D) optimization in order to maximize the visual quality of coded images. The vision model employed in the PCIC is structurally based on an existing monochromatic multichannel vision model, which is extended for color image coding. Subjective tests with 30 viewers show that the PCIC provides superior picture quality at low to intermediate bitrates in comparison with a JPEG2000 compliant coder employing the mean squared error (MSE) and the visual distortion metric (Cvis) as distortion measures, respectively.      

结构相似度在AVS帧间模式选择中的应用

传统的音视频编码标准(AVS)率失真优化(RDO)算法在帧间模式选择中使用偏差平方和(SSD)作为失真度量,不能很好符合人的主观视觉,而最近提出的结构相似度(SSIM)图像质量评价方法更符合人眼视觉系统(HVS)的特性.为了有效地提高编码效率,本文将SSIM引入拉格朗日代价函数,对失真度量的表示进行修正,并在大量实验的...