通用型无参考图像质量评价算法综述

图像质量评价可有效评估图像采集和传输过程引起的失真或退化,在数字多媒体领域具有广阔的应用前景,无参考图像质量评价算法由于不需要参考图像先验知识,近年来成为图像质量评价领域研究的热点。在对国内外文献进行广泛调研的基础上,从评价算法原理和性能比较两个方面,系统综述了BIQI、DIIVINE、BLIINDS、BLIINDS-II、BRISQUE、NIQE和GRNN等当前性能较优的几种无参考图像质量评价算法。介绍了各种算法的特征提取和质量评价原理,在LIVE数据库上对上述评价方法进行仿真评估,并分析和比较了各种算法的评价性能和执行速度,提出了无参考评价方法的进一步研究方向。综述的几种无参考图像质量评价算法虽然已具有很好的效果,但在评价时严重依赖数据库中的主观评价数据,并且在评价精度和算法复杂度方面还存在一些不足,需要进行深入研究。     

无参考屏幕内容图像质量评价

随着多客户端交互多媒体应用的快速发展,屏幕内容图像（Screen content image,SCI）的分发和处理与日俱增.图像质量评价课题的研究是其它许多应用的基础,至今图像质量评价课题研究的重点是传统自然图像,因此针对屏幕图像质量评价的研究就变的非常迫切和必要.客观图像质量评价算法的提出的基础建立在标准图像质量评价数据库上.本文首先构建了一个大规模的屏幕内容图像质量评价数据库（Immersive Media Laboratory screen content image quality database,IML-SCIQD）.IML-SCIQD数据库包含参考图像25张以及经过10种失真处理的1250张失真图像.以建立的IML-SCIQD数据库为基础,考虑到屏幕内容图像图像区域和文本区域的视觉感知差异,在基于自然场景统计的无参考方法的启发下,本文提出了针对屏幕内容图像的无参考评价算法（Natural Scene Statistics based No Reference Screen Content Image Quality Assessment metric,NSNRS）.NSNRS算法首先分别计算图像区域和文本区域的质量分数,再将这两个区域的质量分数结合起来得到整幅失真图像的质量分数.该算法与其它12种经典的客观评价算法,包括全参考算法,部分参考算法与无参考算法,在IML-SCIQD数据库和SIQAD数据库上进行了性能测试和对比,结果表明本文提出的算法优于经典的的无参考评价算法;就整个数据库而言,本文提出的算法可以达到与全参考方法相当的性能.     

面部美化图像质量无参考评价方法

针对目前面部美化已被广泛研究,然而缺乏有效美化图像质量评价方法限制美化技术进一步发展的问题,提出一种面部美化图像质量的无参考评价方法。该方法结合面部美感的认知与感知和面部美化技术以挖掘美化图像的质量表示,首先构建面部美化图像数据库,将面部图像分解为皮肤、眼睛和嘴巴三种区域,然后从肤色、光滑度、光照、灰度差和清晰度等五个方面提取面部美学特征,最后用支持向量回归（SVR）训练面部美化质量模型并预测美化图像的质量。实验结果表明,所提方法在构建的数据库上Pearson线性相关系数和Spearman等级相关系数分别达到0.920 5和0.900 9,优于BIQI（Blind Image Quality Indices）、NIQE（Natural Image Quality Evaluation）图像质量评价方法。     

基于颜色与结构失真的色域映射图像无参考质量评价算法

为了预测色域映射图像客观质量,通过分析不同色域映射算法的映射原理发现色域映射图像中主要存在颜色失真与结构失真的情况.基于此,提出了一种基于颜色与结构失真的色域映射图像无参考质量评价算法.在颜色失真方面,计算色调异常率和图像R、G、B三个分量的统计分布与理想均匀分布之间的相对熵;在结构退化方面,提取图像的信息熵与四阶矩,并对图像亮度与饱和度进行统计建模,提取参数特征.随后,将以上提取的数据作为质量感知特征与图像的主观分数值输入后向传播神经网络进行回归训练得到针对色域映射图像的质量评价模型.最后,在三个公开的色域映射图像数据库上进行性能验证.实验结果表明,该算法在预测色域映射图像质量方面优于现有的无参考算法.     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价(NR-IQA)方法的性能,参考先进的深度生成对抗网络(GAN)研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟"参考图",进而可以像全参考图像质量评价(FR-IQA)方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。     

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价（NR-IQA）算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法,与人类主观感知表现一致。     

基于显著性深层特征的无参考图像质量评价算法

针对通用型无参考图像质量评价（NR-IQA）算法,提出一种基于伪参考图像显著性深层特征的评价算法。首先,在失真图像的基础上,利用微调的ConSinGAN模型生成相应的伪参考图像作为失真图像的补偿信息,弥补NRIQA算法缺少真实参考信息的不足;然后,提取伪参考图像的显著性信息,将伪参考显著性图像与失真图像输入到VGG16网络中提取深层特征;最后,融合二者的深层特征并将其映射到由全连接层组成的回归网络中,从而产生与人类视觉一致的质量预测。为了验证算法的有效性,在四个大型公开的图像数据集TID2013、TID2008、CSIQ与LIVE上进行实验,结果显示所提算法在TID2013数据集上的斯皮尔曼秩相关系数（SROCC）比H-IQA算法提升了5个百分点,比RankIQA算法提升了14个百分点,针对单一失真类型也具有稳定的性能。实验结果表明,所提算法总体表现优于现有主流全参考图像质量评价（FR-IQA）和NR-IQA算法,与人类主观感知表现一致。     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能，参考先进的深度生成对抗网络（GAN）研究成果，提出一种基于增强型对抗学习的无参考图像质量评价算法，即通过改进损失函数、网络模型结构来增强对抗学习强度，输出更可靠的模拟“参考图”，进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先，利用数据集中失真的图像和未失真的原图像作为输入，从而基于增强对抗学习来训练网络模型；然后，利用该模型输出待测图像的模拟仿真图，提取仿真图的深度卷积特征；最后，将仿真图和待测失真图的卷积特征相融合，并输入到训练好的图像质量评价回归网络，输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明，所提算法在图像质量上的总体客观评价性能优于当前的主流算法，与人的主观评价表现出的性能相一致。     

基于深度学习的无参考图像质量评价综述

图像质量评价是图像处理、图像/视频编码等领域的基础性问题,用于评估图像的失真程度,被广泛应用于算法设计与分析、系统性能评估等方面.无参考图像质量评价(又称为盲图像质量评价)是一种重要的客观质量评价方法.因为无须原始的参考图像,因此具有广泛的应用前景.近年来,随着深度学习技术的不断发展,人们提出了多种基于深度学习的无参考...     

基于视差信息的无参考立体图像质量评价

近年来,随着深度学习在图像质量评价领域的快速发展,平面图像质量评价得到了有效的改善,但是立体图像质量评价还有待提高。为此,文中结合三分支卷积神经网络,提出了基于视差信息的无参考立体图像质量评价方法,并分析了不同视差图对模型性能的影响。该方法将左右视图以及视差图小块作为输入,自动提取特征,通过训练得到回归模型,从而实现对立体图像的预测。文中使用了5种不同立体匹配算法来生成视差图,实验结果表明使用SAD算法得到的效果最好。在立体图像库LIVE3D和MCL3D上的实验结果表明,该方法不仅适用于评估对称失真图像,还适用于非对称失真的立体图像评价。该方法在总体失真上的结果优于其他对比算法,尤其是在MCL3D图像库上,所提方法的PLCC和SROCC比其他方法高出1%和4%。实验数据表明,所提模型提高了立体图像质量评价的性能,与人类主观感知高度一致。     

色彩熵在图像质量评价中的应用

目的 由于色彩空间包含了图像的大量信息,而且Lab色彩空间更接近于人眼视觉,因此提出一种改进的无参考图像质量评价算法IQALE(image quality assessment using Lab color space and entropy),通过在SSEQ(spatial-spectral entropy-based quality)算法中加入Lab色彩空间a通道和b通道的特征来提高算法精度。方法 信息熵是近几年研究较多的图像特征,并且能较好地运用在图像质量评价研究中。该文在色彩空间和灰度空间同时提取信息熵特征,通过支持向量机(SVM)对图像特征和MOS值进行训练和测试。结果 在LIVE、TID2008、MICT、CSIQ和IVC这5个常用数据库上的实验结果表明:在算法中加入Lab色彩空间信息可以提高算法精度,并且本文算法IQALE的效果优于目前流行的无参考图像质量评价算法。为了验证算法的可扩展性,该文还在这5个数据库上进行了数据库独立性实验。结论 从实验结果来看,本文提出的IQALE算法通过加入色彩熵特征使得算法具有较高且较稳定的精度,数据库独立性实验也体现了算法较好的鲁棒性,对于各种失真类型都具有较好的普适性。     

No-reference image quality assessment based on localized discrete cosine transform for JPEG compressed images

In this paper, we propose a new no-reference image quality assessment for JPEG compressed images. In contrast to the most existing approaches, the proposed method considers the compression processes for assessing the blocking effects in the JPEG compressed images. These images have blocking artifacts in high compression ratio. The quantization of the discrete cosine transform (DCT) coefficients is the main issue in JPEG algorithm to trade-off between image quality and compression ratio. When the compression ratio increases, DCT coefficients will be further decreased via quantization. The coarse quantization causes blocking effect in the compressed image. We propose to use the DCT coefficient values to score image quality in terms of blocking artifacts. An image may have uniform and non-uniform blocks, which are respectively associated with the low and high frequency information. Once an image is compressed using JPEG, inherent non-uniform blocks may become uniform due to quantization, whilst inherent uniform blocks stay uniform. In the proposed method for assessing the quality of an image, firstly, inherent non-uniform blocks are distinguished from inherent uniform blocks by using the sharpness map. If the DCT coefficients of the inherent non-uniform blocks are not significant, it indicates that the original block was quantized. Hence, the DCT coefficients of the inherent non-uniform blocks are used to assess the image quality. Experimental results on various image databases represent that the proposed blockiness metric is well correlated with the subjective metric and outperforms the existing metrics.

     

一种针对高斯模糊图像的无参质量评价方法

针对模糊图像高频分量的特性,提出了一种针对高斯模糊图像的无参质量评价方法。该方法利用小波变换对模糊图像提取高频分量,在高频分量功率谱上构造评价指标。实验结果表明提出的评价指标优于PSNR和SSIM,其客观评价分数与主观评价分数具有更好的一致性。     

基于尺度不变性的无参考图像质量评价

现有的通用型无参考图像质量评价方法大多是利用失真图像及其主观值来训练回归模型预测图像质量指标,然而这种方法需要消耗大量的时间进行训练,并且评价效果依赖于训练图像库中的失真类型,通用性较差,很难应用到实际场合中。为了解决数据库依赖问题,提出一种归一化的基于图像尺度不变性的无参考图像质量评价方法。该方法不依赖外部数据,将图像的统计特性及边缘结构特性作为图像质量评价的有效特征,利用图像多尺度不变性计算多尺度间的整体特征差异,从而预测图像质量。实验结果表明,所提方法对混合失真图像质量评价效果好,运行效率高,与目前现有的无参考图像质量评估方法相比具有较好的综合性能,具有较好的应用价值。     

一种针对图像模糊的无参考质量评价指标

在成像模型的基础上,分析了图像模糊的原因,提出了一种为图像构造参考图像的方法,进而将结构相似度(SSIM)评价方法引入到无参考图像质量评价中,提出一种无参考结构清晰度(NRSS)的新的无参考图像质量评价方法,将其用于对模糊图像的质量评价。该方法通过低通滤波器来构造参考图像,通过计算原始图像与参考图像的结构相似度值来评价原始图像质量,很好地结合了成像系统的数学模型和结构相似度评价方法的优势,实验结果表明无参考结构清晰度评价指标能够给出和主观评价方法以及其余有参考评价方法一致的结果。     

基于切比雪夫矩无参考模糊图像质量评价

提出了一种新的基于Tchebichef矩的无参考模糊图像质量评价方法。将模糊图像通过低通滤波得到再模糊图像;将模糊图像和再模糊图像分别进行8×8分块并计算每一图像块的Tchebichef矩;根据Tchebichef矩块的值将原始图像块分为平滑块,纹理块和边缘块,计算原始图像和再模糊图像对应块之间的Tchebichef矩向量相似度,得到三类图像块的局部平均相似度;进行融合得到原始图像的最终评价质量。实验结果表明,该方法优于其他算法,与主观评分有更好的一致性,能够更准确地评价模糊图像质量。     

改进融合策略下透明度引导的逆光图像增强

目的 针对传统的逆光图像增强算法存在的曝光正常区域与逆光区域间阈值计算复杂、分割精度不足、过度曝光以及增强不足等问题,提出一种改进融合策略下透明度引导的逆光图像增强算法。方法 对逆光图像在HSV(hue, saturation, value)空间中的亮度分量进行亮度提升和对比度增强,然后通过金字塔融合策略对改进的亮度分量进行分解和重构,恢复逆光区域的细节和颜色信息。此外,利用深度抠图网络计算透明度蒙版,对增强的逆光区域与源图像进行融合处理,维持非逆光区域亮度不变。通过改进融合策略增强的图像在透明度引导下既有效恢复了逆光区域又避免了曝光过度的问题。结果 实验在多幅逆光图像上与直方图均衡算法、MSR (multi-scale Retinex)、Zero-DEC (zero-reference deep curve estimation)、AGLLNet (attention guided low-light image enhancement)和LBR (learning-based restoration) 5种方法进行了比较,在信息熵(information entropy,IE)和盲...     

基于小波高频结构相似的无参考高斯图像质量评价

针对传统无参考图像质量评价方法计算复杂、难以应用的问题,提出一种简单、直接的小波高频结构相似性的无参考高斯图像质量评价方法。该方法根据自然图像同尺度高频子带间结构相似度(SSIM)随着失真程度的增加而降低的性质,利用小波变换获取图像的同尺度不同方向的三个高频分量,通过分别计算图像高频子带间的峰值信噪比(PSNR)与结构相似度得出图像高频结构差异作为最终的图像客观评价指数。通过与三个公开图像数据库实验验证可知,提出的方法与主观评价具有较好的一致性,并且算法结合了物理意义明确的峰值信噪比与结构相似度,比传统方法算法运行更为简单快捷,评价一幅图像只需0.2s左右,具有良好的实用性。