New feature selection algorithms for no-reference image quality assessment

No reference image quality assessment (NR-IQA) is a challenging task since reference images are usually unavailable in real world scenarios. The performance of NR-IQA techniques is vastly dependent on the features utilized to predict the image quality. Many NR-IQA techniques have been proposed that extract features in different domains like spatial, discrete cosine transform and wavelet transform. These NR-IQA techniques have the possibility to contain redundant features, which result in degradation of quality score prediction. Recently impact of general purpose feature selection algorithms on NR-IQA techniques has shown promising results. But these feature selection algorithms have the tendency to select irrelevant features and discard relevant features. This paper presents fifteen new feature selection algorithms specifically designed for NR-IQA, which are based on Spearman rank ordered correlation constant (SROCC), linear correlation constant (LCC), Kendall correlation constant (KCC) and root mean squared error (RMSE). The proposed feature selection algorithms are applied on the extracted features of existing NR-IQA techniques. Support vector regression (SVR) is then applied to selected features to predict the image quality score. The fifteen newly proposed feature selection algorithms are evaluated using eight different NR-IQA techniques over three commonly used image quality assessment databases. Experimental results show that the proposed feature selection algorithms not only reduce the number of features but also improve the performance of NR-IQA techniques. Moreover, features selection algorithms based on SROCC and its combination with LCC, KCC and RMSE perform better in comparison to other proposed algorithms.     

基于色彩空间自然场景统计的无参考图像质量评价

RGB色彩空间中各色彩分量间存在强相关性, 图像发生失真会改变各分量间的相关性. 基于此, 本文提出了一种新的通用无参考图像质量评价方法. 首先, 根据人类视觉对RGB色彩空间中绿色分量更为敏感的颜色感知特性, 提取了G分量MSCN系数及其4方向邻域系数的统计特征; 其次, 在分析RGB色彩空间中R、G及B分量间相关性的基础上, 分别计算RGB色彩空间各色彩分量及其纹理、相位间的互信息, 利用互信息作为统计特征来描述其各分量间的相关性; 进而, 结合上述统计特征, 分别利用SVR和SVC构建无参考图像质量评价模型和图像失真类型识别模型; 最后, 在LIVE、CSIQ 及TID2008图像质量评价数据库上进行了算法与DMOS (Different mean opinion score)的相关性、失真类型识别及计算复杂性等方面的实验. 实验结果表明, 本文方法的评价结果与人类主观评价具有高度的一致性, 在LIVE 数据库上的斯皮尔曼等级相关系数和皮尔逊线性相关系数均在0.942以上; 而且, 图像失真类型识别模型的识别准确率也高达93.59%, 明显高于当今主流无参考图像质量评价方法.     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异。通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型。利用生成对抗网络产生与失真图像相对应的视觉感知差异图像,并将其与失真图像输入质量评价网络以进一步学习图像的失真信息,从而达到评估图像质量的目的。在TID2008和TID2013数据库上的实验结果表明,与CNN、SOM、CORNIA等模型相比,该模型能够使失真图像质量预测准确度提升1个百分点以上,且对不同种类失真也表现出良好的预测性能。     

基于边缘相似度的全参考图像质量评价算法

客观图像质量评价(IQA)方法旨在利用计算模型自动实现与主观感知一致的图像质量评估,是当前计算机视觉领域和图像处理领域的研究热点.由于图像的边缘信息对理解图像语义信息至关重要,提出一种基于边缘信息的图像质量客观评价方法.通过比较参考图像和失真图像的多方向边缘强度、边缘强度对比度及亮度信息等特征的相似性,实现图像质量的客观评价.利用国外的LIVE2、TID2008及CSIQ等多个图形数据库计算结果证明,本算法能实现对多种失真类型的图像的质量预测,并且在预测准确性、鲁棒性和主观评价一致性方面与当前大多数方法相比都有明显优势.     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

Blind quality assessment for screen content images by combining local and global features

Recently, several no-reference image quality assessment (NR-IQA) metrics have been developed for the quality evaluation of screen content images (SCIs). While, most of them are opinion-aware methods, which are limited by the subjective opinion scores of training data. Hence, in this paper, we propose a novel opinion-unaware method to predict the quality of SCIs without any prior information. Firstly, an union feature is proposed by considering the local and global visual characteristics of human visual system simultaneously. Specifically, a local structural feature is extracted from the rough and smooth regions of SCIs by leveraging a sparse representation model. As a supplement, a global feature is obtained by combining the luminance statistical feature and local binary pattern (LBP) feature of entire SCIs. Secondly, to get rid of the limitation of subjective opinion scores, a new large-scale training dataset contained 80,000 distorted SCIs is constructed, and the quality labels of those distorted SCIs are derived by an advanced full-reference IQA metric. Thirdly, a regression model between image features and image quality labels is learned from the training dataset by employing a learning-based framework. And then, the quality scores of test SCIs can be predicted by the pre-trained regression model. The experimental results on two largest SCI-oriented databases show that the proposed method is superior to the state-of-the-art NR-IQA metrics.     

Image quality assessment method based on nonlinear feature extraction in kernel space

To match human perception, extracting perceptual features effectively plays an important role in image quality assessment. In contrast to most existing methods that use linear transformations or models to represent images, we employ a complex mathematical expression of high dimensionality to reveal the statistical characteristics of the images. Furthermore, by introducing kernel methods to transform the linear problem into a nonlinear one, a full-reference image quality assessment method is proposed based on high-dimensional nonlinear feature extraction. Experiments on the LIVE, TID2008, and CSIQ databases demonstrate that nonlinear features offer competitive performance for image inherent quality representation and the proposed method achieves a promising performance that is consistent with human subjective evaluation.     

融合梯度信息与HVS滤波器的无参考清晰度评价

目的 目前无参考图像质量评价算法的性能存在较大的提升空间,为了提高清晰度评价技术,提出了一种基于梯度信息与HVS滤波器的无参考清晰度评价算法(GI-F)。方法 该算法首先利用梯度算子计算各像素点的梯度信息,再通过HVS滤波器得到加权和作为图像的清晰度指标。结果 在公开数据库LIVE、TID2008和CSIQ上进行的实验,GI-F与S3(Spectral and Spatial Sharpness)、CPBD(Cumulative Probability of Blur Detection)和LPC-SI(Local Phase Coherence-based Sharpness Index)相比,性能指标RMSE(Root Mean Squared Error)、PLCC(Pearson Linear Correlation Coefficient)和SROCC(Spearman Rank-Order Correlation Coefficient)分别提升了20.66%、4.61%和3.33%;同时GI-F还具有更低的计算复杂度,即使与目前最好的BRISQUE(Blind/Referenceless Image Spatial QUality Evaluator)算法相比,耗时也降低了79.72%。结论 该算法只需耗费更少的时间即可计算出与人眼感知更加接近的客观清晰度指标,可广泛用于无参考图像情况下的清晰度指标计算场合,同时还可以通过并行计算进一步降低其计算时间。     

图像质量评价研究综述——从失真的角度

随着多媒体技术的快速发展及广泛应用,图像质量评价因其在多媒体处理中的重要作用得到越来越多的关注,其作用包括图像数据筛选、算法参数选择与优化等。根据图像质量评价应用时是否需要参考信息,它可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价,前两类分别需要全部参考信息和部分参考信息,而第3类不需要参考信息。无论是全参考、半参考还是无参考图像质量评价,图像失真对图像质量评价的影响均较大,主要体现在图像质量评价数据库构建和图像质量评价模型设计两方面。本文从图像失真的角度,主要概述2011—2021年国内外公开发表的图像质量评价模型,涵盖全参考、半参考和无参考模型。根据图像的失真类型,将图像质量评价模型分为针对合成失真的图像质量评价模型、针对真实失真的图像质量评价模型和针对算法相关失真的图像质量评价模型。其中,合成失真是指人工添加噪声,如高斯噪声和模糊失真,通常呈现均匀分布;真实失真是指在图像的获取中,由于环境、拍摄设备或拍摄操作不当等因素所引入的失真类型。相对合成失真,真实失真更为复杂,可能包括一种或多种失真,数据收集难度更大;算法相关失真是指图像处理算法或计算机视觉算法在处理图像时,由于算法本身的缺陷或性能不足等原因而出现在结果图像中的降质,相对合成失真和真实失真,算法相关失真的显著特点是该类型失真呈现非均匀分布。本文介绍现有的图像质量评价数据库,包括图像数据来源和数据库构建细节等;然后重点介绍图像质量评价模型的设计思想。最后总结了介绍的图像质量评价模型,并指出未来可能的发展方向。     

基于轮廓波数字水印的JPEG图像质量评价方法

半参考图像质量评价方法是一种利用原始图像的部分信息对失真图像进行质量预测的方法,提出了一种基于轮廓波变换数字水印的JPEG图像压缩半参考质量评价方法。首先参考人类视觉系统（Human Visual System,HVS）的思想,选取轮廓波变换的低频区域作为水印嵌入区域,从而生成半脆弱数字水印。然后根据已嵌入水印图像与原始图像之间的结构相似度（Structural Similarity,SSIM）的值,设计自适应水印嵌入系统,以保证水印的不可见性。最后分别在LIVE图像数据库2和TID2008图像数据库中,根据已嵌入水印图像进行数据库重建,并测试该算法的性能。实验结果对比显示,该算法与其他算法相比较,具有较好的准确性、单调性以及一致性,能够较好地反应JPEG失真图像的质量。     

无参考图像质量评价研究进展

图像质量评价一直是图像处理和计算机视觉领域的一个基础问题,图像质量评价模型也广泛应用于图像/视频编码、超分辨率重建和图像/视频视觉质量增强等相关领域。图像质量评价主要包括全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价和半参考图像质量评价分别指预测图像质量时参考信息完全可用和部分可用,而无参考图像质量评价是指预测图像质量时参考信息不可用。虽然全参考和半参考图像质量评价模型较为可靠,但在计算过程中必须依赖参考信息,使得应用场景极为受限。无参考图像质量评价模型因不需要依赖参考信息而有较强的适用性,一直都是图像质量评价领域研究的热点。本文主要概述2012—2020年国内外公开发表的无参考图像质量评价模型,根据模型训练过程中是否需要用到主观分数,将无参考图像质量评价模型分为有监督学习和无监督学习的无参考图像质量评价模型。同时,每类模型分成基于传统机器学习算法的模型和基于深度学习算法的模型。对基于传统机器学习算法的模型,重点介绍相应的特征提取策略及思想;对基于深度学习算法的模型,重点介绍设计思路。此外,本文介绍了图像质量评价在新媒体数据中的研究工作及图像质量评价的应用。最后对介绍的无参考图像质量评价模型进行总结,并指出未来可能的发展方向。     

多层感知分解的全参考图像质量评估

目的 图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法 首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果 针对传统方法PSNR（peak signal-to-noise ratio）、SSIM（structure similarity）、MS-SSIM（multi-scale structure similarity）及FSIM（feature similarity）进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC（Spearman rank order correlation coefficient）、KRCC（Kendall rank order correlation coefficient）、PLCC（Pearson linear correlation coefficient）和RMSE（root mean squared error）客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0.02、0.07、0.06和0.04的提升。结论 本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。     

Blind image quality assessment with improved natural scene statistics model

No-reference (NR)/blind image quality assessment (IQA) metrics play an important role in the area of image processing. Natural scene statistics (NSS) model assumes that natural images possess certain regular statistical properties and is widely used in NR IQA metrics. Most existing NSS-based NR algorithms are achieved by measuring the variation of image statistics, which are characterized by the fitting parameters of NSS model, across different distortions. However, distortions not only change the image statistics, but also disturb the statistical regularity held by natural images. As a result, the distribution of distorted images can not well follow the NSS model. There exists fitting error between the real distribution of the distorted image and the fitted one under certain NSS model. In this paper, the statistical distributions of the distorted images are discussed in detail. We suggest to take the fitting errors into account as well as the fitting parameters for feature extraction, and propose a novel NR IQA algorithm. Experimental results on several image databases demonstrate that the proposed metric performs highly consistent with human visual perception.     

Feature comparison and analysis for new challenging research fields of image quality assessment

Nowadays, objective image quality assessment (IQA) issue becomes increasingly important for both the practical application and scientific research in digital image processing systems. In this paper, we conduct feature comparison and analysis on new challenging research fields including contrast-distorted, screen content, multiply-distorted, tone-mapped, Depth Image Based Rendering (DIBR) and authentically distorted IQA. We describe the performance criteria, design rationale, and benchmark databases for validating IQA metrics in accordance with human perceptions. Then we provide some important conclusions of feature selection in terms of different IQA problems. In this work, our goal is dominantly towards judging the robustness of mainstream features used in the IQA field, which can help current and emerging researchers for better and faster grasping the speciality of each of novel IQA directions reported.     

图像与视频质量评价综述

图像/视频的获取及传输过程中,由于物理环境及算法性能的限制,其质量难免会出现无法预估的衰减,导致其在实际场景中的应用受到限制,并对人的视觉体验造成显著影响。因此,作为计算机视觉领域的一项重要任务,图像/视频质量评价应运而生。其目的在于通过构建计算机数学模型来衡量图像/视频中的失真信息以判断其质量的好坏,达到自动预测质量的效果。在城市生活、交通监控以及多媒体直播等多个场景中具有广泛的应用前景。图像/视频质量评价研究取得了长足的发展,为计算机视觉领域中其他任务提供了一定的便利。本文在广泛调研前人研究的基础上,回顾了整个图像/视频质量评价领域的发展历程,分别列举了传统方法和深度学习方法中一些具有里程碑意义的算法和影响力较大的算法,然后从全参考、半参考和无参考3个方面分别对图像/视频质量评价领域的一些文献进行了综述,具体涉及的方法包含基于结构信息、基于人类视觉系统和基于自然图像统计的方法等;在LIVE(laboratory for image & video engineering)、CSIQ(categorical subjective image quality database)、TID2013等公开数据集的基础上,基于SROCC(Spearman rank order correlation coefficient)、PLCC(Pearson linear correlation coefficient)等评价指标,对一些具有代表性算法的性能进行了分析;最后总结当前质量评价领域仍存在的一些挑战与问题,并对其进行了展望。本文旨在为质量评价领域的研究人员提供一个较全面的参考。     

Image quality assessment via multiple features

Multimedia devices are indispensable in the information society. And, image quality highly impacts user experience of multimedia equipment. Therefore, measuring image quality accurately has great application value. The existing image quality assessment (IQA) methods have demonstrated the natural sense statistics and image structural information can measure the degradation of image. However, the generalization ability of individual IQA method is limited. In this paper, we propose a novel no-reference IQA method which is based on multiple features. For each image, we first extract natural sense statistic feature, global structural feature and local structural feature, respectively. Second, we train the quality prediction model via different features, and obtain different quality prediction scores by the models. Third, the prediction scores are collected and transformed to feature vectors. Subsequently, the IQA model is trained by support vector regression, and the input variables are the obtained feature vectors and subjective scores. The experimental results on the public databases demonstrate the proposed method can accurately predict the quality of both natural image and screen content image, and the performance is competitive with prevalent methods.

     

色彩熵在图像质量评价中的应用

目的 由于色彩空间包含了图像的大量信息,而且Lab色彩空间更接近于人眼视觉,因此提出一种改进的无参考图像质量评价算法IQALE(image quality assessment using Lab color space and entropy),通过在SSEQ(spatial-spectral entropy-based quality)算法中加入Lab色彩空间a通道和b通道的特征来提高算法精度。方法 信息熵是近几年研究较多的图像特征,并且能较好地运用在图像质量评价研究中。该文在色彩空间和灰度空间同时提取信息熵特征,通过支持向量机(SVM)对图像特征和MOS值进行训练和测试。结果 在LIVE、TID2008、MICT、CSIQ和IVC这5个常用数据库上的实验结果表明:在算法中加入Lab色彩空间信息可以提高算法精度,并且本文算法IQALE的效果优于目前流行的无参考图像质量评价算法。为了验证算法的可扩展性,该文还在这5个数据库上进行了数据库独立性实验。结论 从实验结果来看,本文提出的IQALE算法通过加入色彩熵特征使得算法具有较高且较稳定的精度,数据库独立性实验也体现了算法较好的鲁棒性,对于各种失真类型都具有较好的普适性。     

基于视差图和复数轮廓波变换的无参考立体图像质量评价

现有的2D图像质量评价方法并不能很好地应用于立体图像质量评价中。为了有效评价不同失真立体图像的质量,提出了一种基于视差图和复数轮廓波变换的无参考图像质量评价方法。首先提取了能够反映3D信息的视差图,然后对左右失真图像和视差图进行复数轮廓波变换,计算能量和能量差特征,最后通过支持向量回归SVR模型训练学习,预测图像质量分数。实验结果表明,此方法优于当前文献报道的立体图像质量评价方法。     

基于多元特征的立体图像质量评价方法

立体图像质量评价（SIQA）是评估立体成像系统性能的一种有效方法。考虑到深度信息是立体图像的重要特征,提出一种结合卷积神经网络（CNN）与立体图像深度显著性特征的无参考SIQA方法。分别利用改进显著特征检测模型和高斯差分滤波器提取立体图像的显著特征和深度特征,并通过小波变换融合两者得到深度显著性特征。在此基础上,将深度显著性特征、对比度特征和亮度系数归一化特征作为输入特征对CNN进行模型训练,从而预测图像的质量分数。该方法在LIVE 3D IQA Phase Ⅰ、Phase Ⅱ、NBU 3D IQA图像库上的皮尔森线性相关系数分别为0.948、0.962、0.943,斯皮尔曼秩相关系数分别为0.937、0.961、0.902,在Phase II、NBU 3D IQA跨数据库上的斯皮尔曼秩相关系数分别为0.832、0.673。实验结果表明,该方法预测的质量分数符合人类主观感知,且具有较好的适用性和鲁棒性。     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能,参考先进的深度生成对抗网络（GAN）研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟“参考图”,进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。