一种基于最小可察觉失真的立体图像质量客观评价方法

立体图像质量是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效的评价是目前的研究难点。本文通过分析最小可察觉失真(JND,just noticeable distortion)视觉感知模型,并结合反映图像结构信息的奇异值矢量,提出了一种基于JND的立体图像质量客观评价方法。评价方法由图像质量评价和深度感知评价两部分组成,首先提取反映图像质量和深度感知的特征信息作为立体图像特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过支持向量回归(SVR,support vector Regression)预测得出立体图像质量的客观评价值。实验结果表明,采用本文提出的客观评价方法对立体数据测试库进行评价,在不同失真类型或混合失真评价结果中,Pearson线性相关系数(CC)值均在0.94以上,Spearman等级相关系数(SROCC)值均在0.92以上,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

基于支持向量回归的立体图像客观质量评价模型

立体图像质量评价是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效评价是目前的研究难点。该文根据图像奇异值有较强稳定性的特点,结合立体图像的主观视觉特性,提出了一种基于支持向量回归(Support Vector Regression, SVR)的立体图像客观质量评价模型。该模型通过分析立体图像的视觉特性,提取左右图像的奇异值作为立体图像的特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过SVR预测得到立体图像质量的客观评价值。实验结果表明,采用该文提出的客观评价模型对立体数据测试库进行评价,Pearson线性相关系数值在0.93以上,Spearman等级相关系数值在0.94以上,均方根误差值接近6,异常值比率值为0.00%,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

基于视差空间图的立体图像质量客观评价方法

立体图像质量评价是评价立体视频系统性能的有 效途径,而如何利用人类视觉特性对立体图像质量 进行有效评价是目前的研究难点。本文提出了一种基于视差空间图(DSI) 的立体图像质量客观评价方法。首先, 分别构造原始立体图像和失真立体图像的DSI图;然后,通过三维离散余弦变换(3D-DCT)提取出反映图像质量 和深度感知的特征信息,并采用主成分分析(PCA)进行特征降维,形成立体图像特征信息; 最后,通过支持向量 回归(SVR)建立立体图像特征与主观评价值的关系,从而预测得到立体图像质量的客观评价 值。实验表明, 对于对称立体图像库,Pearson线性相关系数(PLCC)和Spe arman等级相关系数(SROCC)值均达到0.94以上;对于非 对称立体图像库,PLCC和SROCC值分别达到0.94以上。结果表明,本文方法能够很好地预测人眼对立体图像的主观感 知。     

基于三维结构张量的立体图像质量客观评价方法

根据梯度结构张量能够表示图像结构信息的特点,提出了一种基于三维结构张量的立体图像客观质量评价方法。首先分别求取原始和失真的立体图像水平、垂直和视点方向的梯度信息,以及敏感区域,并构造出立体图像中每个像素的三维结构张量矩阵;然后,提取三维结构张量矩阵的特征值和特征向量信息;最后,根据特征值和特征向量预测得到立体图像质量的客观评价值。实验结果表明,采用本文提出的客观评价方法对立体图像测试库进行评价,总体评价的Pearson线性相关系数(PLCC)和Spearman等级相关系数(SROCC)值均在0.92左右,Kendall相关系数(KROCC)值接近0.80,均方根误差(RMSE)值均在6.00左右;与其他方法相比,本方法具有较高的预测精确性。     

基于三维结构张量的立体图像质量客观评价方法

根据梯度结构张量能够表示图像结构信息的特点, 提出了一种基于三维结构张 量的立体图像客观质量评价方法。首先分别求取原始和失真的立体图像水平、垂直和 视点方向的梯度信息,以及敏感区域,并构造出立体图像中每个像素的三维结构张量矩 阵;然后,提 取三维结构张量矩阵的特征值和特征向量信息;最后,根据特征值和特征向量预测得到立体 图像质量的客 观评价值。实验结果表明,采用本文提出的客观评价方法对立体图像测试库进行评价,总体 评价的Pearson 线性相关系数(PLCC)和Spearman等级相关系数(SROCC)值均在0.92左右,Kendall相关系数 (KROCC)值 接近0.80,均方根误差(RMSE)值均在6.00左右;与其他方法相 比,本方法具有较高的预测精确性。     

基于人类视觉的感知立体图像质量评价方法

为了实现对不同失真类型的立体图像进行质量评 价,提出了一种基于人类视觉的立体图像 质量客观评价方法,分别从图像清晰度与立体感两方面进行评价。图像清晰度方面,将原始 与失真立体图 像分解为5个带通图像后利用对比度敏感度函数(CSF)优化各失真带通图像,并模拟掩 盖效应,通过整合各原始 带通图像,综合感知误差,构造信噪比(SNR)作为评价图像 清晰度的性能指标;立体感方面,对绝对差值图像进 行视觉感知模拟,建立SNR指标评价立体感的优劣。实验结 果表明,对不同失真类型立体图像的评价 结果表明,Pearson线性相关系数(PLCC)与Spearman等级 相关系数(SRCC)均优于现有评价方法。     

基于B样条概率密度估计的纹理图像分类

通过模拟人脑视觉神经接收视觉信息形成表面感知 的处理机制,提出一种基于大脑层状皮质模型的全参考立体图像的图像质量评价(IQA)方法 。首先, 分析大脑形成表面感知的过程,提出可运用于立体图像的IQA的层状皮质模型;然后依据 模型得到各层的响应输出,构建感知特征向量;最后利用机器学 习算法,建立 特征和质量的关系模型,预测立体图像质量。实验结果表明,本文方法在对称立体图像库上 的Pearson线 性相关系数(PLCC)和Spearman等级系数(S ROCC)高于 0.91,在非对称库上高于0.93。与现有的相关方法相比 ,本文方法与主观评价更加吻合,更适合立体图像的评价和优化。     

极端学习四元数小波特征的立体图像质量评价

为了有效、实时地对各种类型失真立体图像质量 进行评价,提出了一种基于极端学习(ELM) 和四元数小波交换(QWT)的无参考(NR)立体图像质量评价方法。首先利用SSI M密度立体匹 配模型生成相关的视差图、差异度可信图和右视图差异补偿图3D映射图;然后分别对左右视 图、视差图和差异度可信图进行 QWT,计算图像QWT第3相位系数相位幅值加权标准差和能量;再计算右视图 差异补偿图统 计特征熵和中值;最后将所提取的所有特征输入到基于核映射ELM 学习,预测失真立体图像 质量。在LIVE 3D图像质量评价数据库上的实验结果表明,本方法与人类主观质量评分具有较好的一致性 。在LIVE 3D图 像质量库I(Phase I)和库II(Phase II)上的斯皮尔曼相关系数(SROCC) 分别达到0.926和0.914     

基于双目特征联合的无参考立体图像质量评价

通过模拟人类视觉系统(HVS)的双目视觉行为,提 出一种基于双目特征联合的无参考立 体图像质量评价(NR-SIQA)方法。首先分析立体视觉感知中的双目联合行为,提出 可应用于立体图像质量预 测的双目联合模型;然后采用学习和统计分析的方法,分别提取局部和全局特征并联合作 为感知特征; 最后采用机器学习算法,建立特征和质量的关系模型,并结合基于特征的双目联合模型预测 立体图像质量。实验结果表明,本文方法在对称立体图像库上的Pearson线性相关系数(PLCC)和Spearman等级系数(SRCC)高于0.93,在非对称库上高于0.87,优 于现有评价方法。     

结合空间域与变换域特征提取的盲立体图像质量评价

针对立体图像质量预测准确性不足的问题,该文提出了一种结合空间域和变换域提取质量感知特征的无参考立体图像质量评价模型。在空间域和变换域分别提取输入的左、右视图的自然场景统计特征,并在变换域提取合成独眼图的自然场景统计特征,然后将其输入到支持向量回归(SVR)中,训练从特征域到质量分数域的预测模型,并以此建立SIQA客观质量评价模型。在4个公开的立体图像数据库上与一些主流的立体图像质量评价算法进行对比,以在LIVE 3D Phase I图像库中的性能测试为例,Spearman秩相关系数、皮尔逊线性相关系数和均方根误差分别达到0.967,0.946和5.603,验证了所提算法的有效性。     

No-reference Stereoscopic Image Quality Assessment Using Binocular Self-similarity and Deep Neural Network

Quality assessment of three-dimensional (3D) images is more challenging than that of 2D images. The quality of 3D visual experience is one of the most challenging areas of human binocular perception and is affected by multiple factors such as asymmetric stereo image/video compression, depth perception, visual discomfort, and single view quality. In this paper, we propose a new no-reference quality assessment method for stereoscopic images based on Binocular Self-similarity (BS) and Deep Neural Networks (DNN). To be more specific, a BS index is defined and computed according to binocular rivalry and suppression based on the depth image-based rendering technique. Then, a DNN is trained in an opinion unaware way to predict local quality. Binocular integration (BI) index is calculated by using the trained DNN, accounting for binocular integration behaviors. Finally, the final quality score of stereoscopic image is obtained by combining the BS and BI indexes together. Experimental results on four public 3D image quality assessment databases demonstrate that compared with existing methods, the proposed method can achieve high consistency with subjective perception on stereoscopic images with both symmetric and asymmetric distortions.     

CNN Based No-Reference HDR Image Quality Assessment

Motivated by the problems of non-universality and over-reliance on the original reference image in High dynamic range (HDR) Image quality assessment (IQA), a convolutional neural network-based algorithm for no-reference HDR image quality assessment is proposed. The Salience detection by self-resemblance (SDSR) algorithm which extracts the salient regions of the HDR image, is used to simulate the human visual attention mechanism. Then a visual quality perception network for training quality prediction models is designed according to the visual characteristics of luminance and contrast sensitivity. And this network consists of an Error estimation network (Error-net), a Perceptual resistance network (PR-net) and a mixing function. The experimental results indicate that the method proposed has high consistency with subjective perception, and the value of assessment metrics Spearman rank-order correlation coefficient (SROCC), Pearson product-moment correlation coefficient (PLCC) and Root mean square error (RMSE) correspondingly reaches 0.941, 0.910 and 8.176 as well. It is comparable with classic full-reference HDR IQA methods.     

基于局部离散小波变换的无参考模糊图像质量评价方法

构造模糊图像的参考图像,使无参考(NR)图像质 量评价转变为一种全参考(FR)图像质量评价,提出一种基于 局部离散小波变换的NR模糊图像质量评价方法。首先,采用低通滤波的方 法构造原始模糊图 像的参考图像;然后,通过局部离散小波变换提取出原始模糊图像和参考图像的高频能量图 ;最后计 算两幅高频能量图的相似度,得到原始模糊图像的质量。在LIVE、TID2008和CSIQ 3个数据 库上的实验结果表明, 本文算法的评 价性能较优,相较其他常用的4个清晰度评价算法,在与主观评价的单调性和一致性上有明 显提高,在LIVE 数据库上的SROCC值达到0.9598,在CISQ数 据库上的SROCC值达到0．9104 ,与主观评价平均意见成绩(MOS)值拟合的散点图拟合度为最优。实验数据 结果表明,本文算法性能稳定,符合人类视觉系统。     

No-reference image quality assessment based on spatial and spectral entropies

We develop an efficient general-purpose no-reference (NR) image quality assessment (IQA) model that utilizes local spatial and spectral entropy features on distorted images. Using a 2-stage framework of distortion classification followed by quality assessment, we utilize a support vector machine (SVM) to train an image distortion and quality prediction engine. The resulting algorithm, dubbed Spatial–Spectral Entropy-based Quality (SSEQ) index, is capable of assessing the quality of a distorted image across multiple distortion categories. We explain the entropy features used and their relevance to perception and thoroughly evaluate the algorithm on the LIVE IQA database. We find that SSEQ matches well with human subjective opinions of image quality, and is statistically superior to the full-reference (FR) IQA algorithm SSIM and several top-performing NR IQA methods: BIQI, DIIVINE, and BLIINDS-II. SSEQ has a considerably low complexity. We also tested SSEQ on the TID2008 database to ascertain whether it has performance that is database independent.