一种基于最小可察觉失真的立体图像质量客观评价方法

立体图像质量是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效的评价是目前的研究难点。本文通过分析最小可察觉失真(JND,just noticeable distortion)视觉感知模型,并结合反映图像结构信息的奇异值矢量,提出了一种基于JND的立体图像质量客观评价方法。评价方法由图像质量评价和深度感知评价两部分组成,首先提取反映图像质量和深度感知的特征信息作为立体图像特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过支持向量回归(SVR,support vector Regression)预测得出立体图像质量的客观评价值。实验结果表明,采用本文提出的客观评价方法对立体数据测试库进行评价,在不同失真类型或混合失真评价结果中,Pearson线性相关系数(CC)值均在0.94以上,Spearman等级相关系数(SROCC)值均在0.92以上,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

基于人眼视觉特性的彩色图像质量评价

图像处理系统的性能优劣的评判往往需要一个合理迅速的图像质量评价算法作为支撑.传统的图像质量评价算法由于没有充分考虑人眼的视觉特性,使得质量评价结果与实际图像的人眼感知质量不符.根据人眼对图像边缘信息非常敏感这一人眼视觉特性,提出一种综合图像边缘和背录相似度的算法(EBS)来评价彩色图像质量,即通过比较失真彩色图像与原始参考图像的边缘以及除边缘之外的背景相似程度最终确定失真图像的质量.应用于由779幅包含五种类型失真的图像质量评价库的实验结果表明,该算法的评价结果相比PSNR,MSSIM,IFC以及基于像素域的VIF等算法与图像的主观评价结果(由DMOS值表示--将背景不同的一组观察者对失真图像的评分进行统计平均后所得到的评价结果)更一致,也即该算法的评价结果更接近图像的实际视觉感知质量.     

基于边缘及特征点匹配的立体图像质量评价

为了实现对立体图像质量的精确预测,提出了一种基于边缘和特征点匹配的立体图像客观质量评价方法。首先,对图像的质量进行评价,在基于结构相似度的质量评价方法的基础上,考虑了边缘信息对人眼视觉特性的重要性,加入了边缘结构相似度指标;然后,对图像的立体感进行评价,采用特征点匹配的方法提取立体感指标。最后,根据总体视差失真法将图像质量和立体感指标拟合为一个综合指标。实验结果表明,采用本文提出的方法对立体图像测试库进行评价,总体评价的PLCC(Pearson Linear Correlation Coefficient)均在0.94以上;与其他方法相比,本方法具有较高的预测精确性。     

基于小波变换的多尺度SSIM算法

提出一种基于小波变换的多尺度结构相似度的图像质量评价(WWMS-SSIM)算法。首先对原始图像和失真图像分别进行小波变换,在对应的低频子带图像中比较亮度和相关度差异,在对应高频子带图像中比较对比度、相关度和结构差异,然后赋予不同子带图像不同的视觉加权值,最后得到归一化的图像质量评价值。通过对不同失真类型图像以及Live数据库图像的评价,证明了提出的算法(WWMS-SSIM)相对均方误差、峰值信噪比、结构相似度以及改进的结构相似度评价算法更符合人类的主观视觉感受。     

基于小波分析的图像稀疏保真度评价

该文针对传统的图像质量评价方法无法有效模拟人类视觉系统(HVS)存在的不足,提出基于小波分析的加权稀疏保真度(Weighting Sparse Fidelity, WSF)图像评价算法。算法以模拟人类视觉系统的神经网络为切入点,对图像进行一阶小波分解得到4个不同方向的子带图像,然后将子带图像分成88大小的图像块,采用快速独立分量分析(FastICA)的方法对各个图像块进行训练并提取图像特征检测矩阵,根据特征检测矩阵计算各子带图像块的稀疏特征值并建立稀疏保真度质量评价模型。在此基础上,根据细节信息的不同对低频子带图像进行区间划分并设置视觉权重,使之更加接近人眼的主观视觉。实验中对LIVE库中所有图像进行算法验证,其结果表明,所提方法能很好地对各种失真类型的图像进行评价。基于小波分析的稀疏保真度评价算法能够有效模拟人类视觉系统的多频特性和视觉皮层感知机制,弥补现有图像质量评价方法在此方面的不足。     

基于运动和视差信息的立体视频质量客观评价

在研究人类 立体视觉特性及现有立体图像/视频质量评价算法的基础上,提出了一种基于运动信息和视 差信息的立 体视频质量的客观评价方法。方法包括视频质量评价(VQA)和视频立体感评价(VSSA)两个指 标,其中VQA的估计基于梯度的结构相似度(GSSIM) 算法,并充分考虑了帧内的亮度信息和结构信息、帧间运动信息以及人眼的感知特性对视频 质量的影响, 特别是根据人类的视觉特性,对左右视点的质量赋予了不同的权重;VSSA的估计 是通过计算参考 视频的绝对差值图和降质视频的绝对差值图之间的峰值信噪比(PSNR)而得到。实验结果表明,本文方法对基于H.264 编码的失真视频的评价结果与主观测试有较高的一致性,很好地体现人眼的视觉特性。     

基于人眼视觉的小波域结构相似性图像质量客观评价方法

针对空域结构相似性评价方法在几何失真图像及噪声污染图像的质量评价中存在的不足,在考虑人眼视觉特性前提下,研究了一种基于人眼视觉的小波域结构相似度的图像质量评价方法(WDSSIM),该方法首先将参考图像和失真图像进行小波变换,以获取不同尺度和频带的子带图像,并根据人眼视觉JND模型,获取人眼视觉对参考图像的带间敏感度和各子带的带内敏感度;然后,以带内敏感度因子为权值分别求取参考图像和失真图像同一尺度和频带的子带图像之间的结构相似度;最后,以带间敏感度因子为权值对各子带对的结构相似度进行加权归一化,获得整幅图像的结构相似度.     

基于稀疏表示的立体图像客观质量评价方法

提出了一种基于稀疏表示的立体图像质量评价方法 ,分为训练和测试两个部分。在训练部 分,通过训练不同频带的立体图像获得立体图像的稀疏字典;在测试部分,根据稀疏字典计 算得到立体图 像的稀疏特征,定义了稀疏特征相似度衡量原始和失真图像信息的差异,并根据稀疏字典计 算了频带增益和左右视点的融合权值,最后融合稀疏特征相似度作为立体图像质量的 客观评价值。在立体图像测试库上的实验结果表明,本文方法的评价结果与主观评价结果有 较好的相关性,符合人类视觉系统的感知。     

一种基于HWD的图像质量评价测度

提出了一种新的图像质量评价测度.首先对图像进行Hybrid Wavelets and Directional Filter Banks (HWD)分解,得到相应的尺度和方向子带信息.然后对各个子带进行对比敏感度掩模,使不同尺度和方向子带的信息具有相同的灵敏度.根据人类视觉感知特性设定视觉感知阈值,获得相应的视觉感知系数并归一化.利用参考图像和失真图像视觉感知系数差值的变化得到相应的图像质量评价测度.实验结果表明本测度与主观感知有很好的一致性,能准确地反映人眼对图像的视觉感知.     

基于支持向量回归的立体图像客观质量评价模型

立体图像质量评价是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效评价是目前的研究难点。该文根据图像奇异值有较强稳定性的特点,结合立体图像的主观视觉特性,提出了一种基于支持向量回归(Support Vector Regression, SVR)的立体图像客观质量评价模型。该模型通过分析立体图像的视觉特性,提取左右图像的奇异值作为立体图像的特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过SVR预测得到立体图像质量的客观评价值。实验结果表明,采用该文提出的客观评价模型对立体数据测试库进行评价,Pearson线性相关系数值在0.93以上,Spearman等级相关系数值在0.94以上,均方根误差值接近6,异常值比率值为0.00%,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

基于三维感知的立体虚拟视点图像质量评价方法

为了评价立体虚拟视点图像的质量,提出了一种基 于三维感知的客观评价方法。综合考虑了立体虚拟视点图像两大最主要失真类型:单视点绘 制失真和立体视点不匹配失真。针对单视点绘制失真,先提取 当前视点失真图与无失真图的差异性区域,再针对该差异性区域计算平均结构相似度(MSSIM ),最后将左 右视点平均池化作为单目纹理特征值;针对立体视点不匹配失真,先对左右视点失真图分别 进行视差映射, 再提取映射图与该视点失真图的差异区域作为双目不匹配区域,然后针对不匹配区域计算MS SIM 值,最 后将左右视点平均池化作为双目竞争特征值;最终将两个特征值幂次融合,作为最终的立体 虚拟视点图像 质量评价客观指标。实验结果表明本方法有效匹配主观打分的DMOS值,皮尔森线性相关系数 和斯皮尔曼 秩相关系数分别为0.911和0.900,正确反映了 立体虚拟视点图像质量。     

No-reference image quality assessment using visual codebooks

The goal of no-reference objective image quality assessment (NR-IQA) is to develop a computational model that can predict the human-perceived quality of distorted images accurately and automatically without any prior knowledge of reference images. Most existing NR-IQA approaches are distortion specific and are typically limited to one or two specific types of distortions. In most practical applications, however, information about the distortion type is not really available. In this paper, we propose a general-purpose NR-IQA approach based on visual codebooks. A visual codebook consisting of Gabor-filter-based local features extracted from local image patches is used to capture complex statistics of a natural image. The codebook encodes statistics by quantizing the feature space and accumulating histograms of patch appearances. This method does not assume any specific types of distortions; however, when evaluating images with a particular type of distortion, it does require examples with the same or similar distortion for training. Experimental results demonstrate that the predicted quality score using our method is consistent with human-perceived image quality. The proposed method is comparable to state-of-the-art general-purpose NR-IQA methods and outperforms the full-reference image quality metrics, peak signal-to-noise ratio and structural similarity index on the Laboratory for Image and Video Engineering IQA database.     

基于双目能量响应的无参考立体图像质量评价

为了实现对不同失真类型立体图像的质量评价,提出了一种基于双目能量响应的无参考立体图像质量评价(NR-IAQ)方法。首先,通过对各失真图像进行Gabor滤波,提取出不同频率、不同方向、不同视差响应下的局部特征矢量,作为立体图像特征信息;然后,利用支持向量回归(SVR)建立立体图像特征与主观评价值的关系,从而预测得到立体图像质量的客观评价值。实验结果表明,对于NBU-3D测试库,Pearson线性相关系数值在0.92以上,Spearman等级相关系数值在0.93以上;对于LIVE-3D测试库,Pearson线性相关系数值在0.96以上,Spearman等级相关系数值在0.96以上;与现有的全参考(FR)和(NR)质量评价方法相比,本方法得到的客观评价值与主观评价结果有较好的相关性,更加符合人眼视觉系统。     

基于三维结构张量的立体图像质量客观评价方法

根据梯度结构张量能够表示图像结构信息的特点, 提出了一种基于三维结构张 量的立体图像客观质量评价方法。首先分别求取原始和失真的立体图像水平、垂直和 视点方向的梯度信息,以及敏感区域,并构造出立体图像中每个像素的三维结构张量矩 阵;然后,提 取三维结构张量矩阵的特征值和特征向量信息;最后,根据特征值和特征向量预测得到立体 图像质量的客 观评价值。实验结果表明,采用本文提出的客观评价方法对立体图像测试库进行评价,总体 评价的Pearson 线性相关系数(PLCC)和Spearman等级相关系数(SROCC)值均在0.92左右,Kendall相关系数 (KROCC)值 接近0.80,均方根误差(RMSE)值均在6.00左右;与其他方法相 比,本方法具有较高的预测精确性。     

No-reference Stereoscopic Image Quality Assessment Using Binocular Self-similarity and Deep Neural Network

Quality assessment of three-dimensional (3D) images is more challenging than that of 2D images. The quality of 3D visual experience is one of the most challenging areas of human binocular perception and is affected by multiple factors such as asymmetric stereo image/video compression, depth perception, visual discomfort, and single view quality. In this paper, we propose a new no-reference quality assessment method for stereoscopic images based on Binocular Self-similarity (BS) and Deep Neural Networks (DNN). To be more specific, a BS index is defined and computed according to binocular rivalry and suppression based on the depth image-based rendering technique. Then, a DNN is trained in an opinion unaware way to predict local quality. Binocular integration (BI) index is calculated by using the trained DNN, accounting for binocular integration behaviors. Finally, the final quality score of stereoscopic image is obtained by combining the BS and BI indexes together. Experimental results on four public 3D image quality assessment databases demonstrate that compared with existing methods, the proposed method can achieve high consistency with subjective perception on stereoscopic images with both symmetric and asymmetric distortions.     

AdaBoost neural network and cyclopean view for no-reference stereoscopic image quality assessment

Stereoscopic imaging is widely used in many fields. In many scenarios, stereo images quality could be affected by various degradations, such as asymmetric distortion. Accordingly, to guarantee the best quality of experience, robust and accurate reference-less metrics are required for quality assessment of stereoscopic content. Most existing stereo no-reference Image Quality Assessment (IQA) models are not consistent with asymmetrical distortions. This paper presents a new no-reference stereoscopic image quality assessment metric using a human visual system (HVS) modeling and an advanced machine-learning algorithm. The proposed approach consists of two stages. In the first stage, cyclopean image is constructed considering the presence of binocular rivalry in order to cover the asymmetrically distorted part. In the second stage, gradient magnitude, relative gradient magnitude, and gradient orientation are extracted. These are used as a predictive source of information for the quality. In order to obtain the best overall performance against different databases, Adaptive Boosting (AdaBoost) idea of machine learning combined with artificial neural network model has been adopted. The benchmark LIVE 3D phase-I, phase-II, and IRCCyN/IVC 3D databases have been used to evaluate the performance of the proposed approach. Experimental results have demonstrated that the proposed metric performance achieves high consistency with subjective assessment and outperforms the blind stereo IQA over various types of distortion.     

Color image quality assessment based on sparse representation and reconstruction residual

Image quality assessment (IQA) is a fundamental problem in image processing. While in practice almost all images are represented in the color format, most of the current IQA metrics are designed in gray-scale domain. Color influences the perception of image quality, especially in the case where images are subject to color distortions. With this consideration, this paper presents a novel color image quality index based on Sparse Representation and Reconstruction Residual (SRRR). An overcomplete color dictionary is first trained using natural color images. Then both reference and distorted images are represented using the color dictionary, based on which two feature maps are constructed to measure structure and color distortions in a holistic manner. With the consideration that the feature maps are insensitive to image contrast change, the reconstruction residuals are computed and used as a complementary feature. Additionally, luminance similarity is also incorporated to produce the overall quality score for color images. Experiments on public databases demonstrate that the proposed method achieves promising performance in evaluating traditional distortions, and it outperforms the existing metrics when used for quality evaluation of color-distorted images.     

利用梯度奇异值分解的图像结构相似度评价

针对传统的图像质量评价方法中对图像结构信息的表征能力不足的问题,在研究了基于结构相似度和奇异值分解的两种图像评价方法的基础上,结合其不同特点提出了基于奇异值分解的结构相似度质量评价方法.该算法分别将参考图像和失真图像的梯度图像分成8×8大小的图像块,并对每一个图像块进行奇异值分解后计算对应图像块的奇异值相似性和各图像块局部方差分布的相似性,最后结合各图像块的奇异值相似性和图像的局部方差分布的相似来表征图像的畸变程度.对LIVE库中包括5种失真类型的982幅图像进行验证,其结果表明该评价方法能很好地对各种失真类型的图像进行评价,比峰值信噪比(PSNR)、结构相似度(SSIM)等算法的主客观一致性更好,更加符合人眼的视觉特性.