无参考图像质量评价研究进展

图像质量评价一直是图像处理和计算机视觉领域的一个基础问题,图像质量评价模型也广泛应用于图像/视频编码、超分辨率重建和图像/视频视觉质量增强等相关领域。图像质量评价主要包括全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价和半参考图像质量评价分别指预测图像质量时参考信息完全可用和部分可用,而无参考图像质量评价是指预测图像质量时参考信息不可用。虽然全参考和半参考图像质量评价模型较为可靠,但在计算过程中必须依赖参考信息,使得应用场景极为受限。无参考图像质量评价模型因不需要依赖参考信息而有较强的适用性,一直都是图像质量评价领域研究的热点。本文主要概述2012—2020年国内外公开发表的无参考图像质量评价模型,根据模型训练过程中是否需要用到主观分数,将无参考图像质量评价模型分为有监督学习和无监督学习的无参考图像质量评价模型。同时,每类模型分成基于传统机器学习算法的模型和基于深度学习算法的模型。对基于传统机器学习算法的模型,重点介绍相应的特征提取策略及思想;对基于深度学习算法的模型,重点介绍设计思路。此外,本文介绍了图像质量评价在新媒体数据中的研究工作及图像质量评价的应用。最后对介绍的无参考图像质量评价模型进行总结,并指出未来可能的发展方向。     

超分辨图像质量评价综述

全面综述了超分辨图像质量评价的研究进展。超分辨图像质量评价是以人眼的主观质量评价结果为依据,利用算法模型对重建的超分辨图像进行评价。该评价方法对超分辨重建算法的优化和模型参数的选择具有重要的指导意义。首先对超分辨图像的主观评价方法进行阐述;其次对现有超分辨图像客观评价方法按照全参考型、部分参考型和无参考型进行了分类阐述,特别详细介绍了几种具有代表性的无参考质量评价的主要思想;接着从定量和定性两方面分别介绍了评价超分辨图像质量评价方法有效性的指标,并对评价算法的主要实验方法进行了简要阐述;最后对超分辨图像质量评价方法未来的发展趋势进行了展望。     

图像质量评价研究综述——从失真的角度

随着多媒体技术的快速发展及广泛应用,图像质量评价因其在多媒体处理中的重要作用得到越来越多的关注,其作用包括图像数据筛选、算法参数选择与优化等。根据图像质量评价应用时是否需要参考信息,它可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价,前两类分别需要全部参考信息和部分参考信息,而第3类不需要参考信息。无论是全参考、半参考还是无参考图像质量评价,图像失真对图像质量评价的影响均较大,主要体现在图像质量评价数据库构建和图像质量评价模型设计两方面。本文从图像失真的角度,主要概述2011—2021年国内外公开发表的图像质量评价模型,涵盖全参考、半参考和无参考模型。根据图像的失真类型,将图像质量评价模型分为针对合成失真的图像质量评价模型、针对真实失真的图像质量评价模型和针对算法相关失真的图像质量评价模型。其中,合成失真是指人工添加噪声,如高斯噪声和模糊失真,通常呈现均匀分布;真实失真是指在图像的获取中,由于环境、拍摄设备或拍摄操作不当等因素所引入的失真类型。相对合成失真,真实失真更为复杂,可能包括一种或多种失真,数据收集难度更大;算法相关失真是指图像处理算法或计算机视觉算法在处理图像时,由于算法本身的缺陷或性能不足等原因而出现在结果图像中的降质,相对合成失真和真实失真,算法相关失真的显著特点是该类型失真呈现非均匀分布。本文介绍现有的图像质量评价数据库,包括图像数据来源和数据库构建细节等;然后重点介绍图像质量评价模型的设计思想。最后总结了介绍的图像质量评价模型,并指出未来可能的发展方向。     

图像模糊度评价及其应用综述

图像模糊度指的是一种图像降质程度,对其进行评价有着重要的意义。图像模糊度评价属于图像质量评价的一种,目前图像模糊度评价客观方法分为全参考图像模糊度评价、半参考图像模糊度评价、无参考图像模糊度评价三种。本文对上述三种评价方法及其应用进行了分析,尤其对无参考图像模糊度评价算法进行深入探讨,分析其应用适用性,并对其今后发展进行了展望。     

无参考图像质量评价综述

图像质量评价是图像处理领域的热门研究课题之一。图像质量评价研究的目标是设计算法,给出和人的主观视觉感受相符合的评价结果。在客观图像质量评价的几种方法中,由于无参考图像质量评价方法的灵活性,该方法正受到越来越多的关注。文章首先概述了图像质量评价的相关知识,并从无参考图像质量度量方法和评价算法等角度对无参考图像质量评价进行分析．最后概括了无参考图像质量评价发展的现状及其发展趋势。     

通用型无参考图像质量评价算法综述

图像质量评价可有效评估图像采集和传输过程引起的失真或退化,在数字多媒体领域具有广阔的应用前景,无参考图像质量评价算法由于不需要参考图像先验知识,近年来成为图像质量评价领域研究的热点。在对国内外文献进行广泛调研的基础上,从评价算法原理和性能比较两个方面,系统综述了BIQI、DIIVINE、BLIINDS、BLIINDS-II、BRISQUE、NIQE和GRNN等当前性能较优的几种无参考图像质量评价算法。介绍了各种算法的特征提取和质量评价原理,在LIVE数据库上对上述评价方法进行仿真评估,并分析和比较了各种算法的评价性能和执行速度,提出了无参考评价方法的进一步研究方向。综述的几种无参考图像质量评价算法虽然已具有很好的效果,但在评价时严重依赖数据库中的主观评价数据,并且在评价精度和算法复杂度方面还存在一些不足,需要进行深入研究。     

模糊失真图像无参考质量评价综述EI北大核心CSCD

图像的模糊问题影响人们对信息的感知、获取及图像的后续处理.无参考模糊图像质量评价是该问题的主要研究方向之一.本文分析了近20年来无参考模糊图像质量评价相关技术的发展.首先,本文结合主要数据集对图像模糊失真进行分类说明;其次,对主要的无参考模糊图像质量评价方法进行分类介绍与详细分析;随后,介绍了用来比较无参考模糊图像质量评价方法性能优劣的主要评价指标;接着,选择典型数据集及评价指标,并采用常见的无参考模糊图像质量评价方法进行性能比较;最后,对无参考模糊图像质量评价的相关技术及发展趋势进行总结与展望.     

无参考图像质量评价综述

图像质量对人类视觉信息的获取影响很大, 如何在没有参考图像的情况下准确地评价失真图像的质量是一个关键但又非常困难的问题. 本文回顾了近20年来无参考图像质量评价发展的主要技术. 首先,介绍了这一领域常用的衡量评价算法性能的技术指标,以及几个网上共享的典型图像质量评价数据库; 然后,对各种无参考图像质量评价算法进行详细的分类介绍和特点评析; 最后,基于典型数据库对近几年的一些非特定失真图像质量评价方法进行了性能测试和比较. 目的是为这一领域的研究人员提供一个较为全面的、有价值的文献参考.     

基于深度学习的图像质量评价方法综述

图像质量评价是对图像或视频的视觉质量的一种度量,主要分析了最近10年图像质量评价算法的研究情况。介绍了图像质量评价算法的衡量指标以及常用的图像质量评价数据集,对图像质量评价方法的分类做了阐述,重点分析了基于深度学习技术的图像质量评价算法。目前,该类算法的基础模型主要包括深度卷积神经网络、深度生成对抗网络和变换器,其性能通常高于传统的图像质量评价算法。描述了基于深度学习技术的图像质量评价算法的原理,重点介绍了基于深度生成对抗网络的无参考图像质量评价算法,通过增强对抗学习强度提高模拟参考图的可靠性。深度学习技术需要海量训练数据的支持,探讨和总结数据集增强的方法,对数字图像质量评价方法的未来研究进行展望。     

一种结合边缘检测的模糊估计新方法

传统的图像质量评价方法MSE和PSNR都是基于全参考(FR)的质量评价方法,这就要求在对图像进行质量评价时给出参考图像,因此这种方法在实际应用中并不实用,而无参考(NR)图像质量评价正好解决了这一问题,因此具有重要意义.针对数字图像的客观质量评价,从模糊距离检测角度,提出了一种结合边缘检测的图像模糊估计的无参考图像质量评价方法,对比现有模糊检测方法,此方法比单独的边缘检测方法和模糊估计方法更为有效.经过对结果的分析与比较,本文方法的检测结果与主观感知质量有很好的相关性,而且算法具有复杂性低、无需参考源、检测准确性高、可移植性强等特点,因此实用性比较强.     

无参考屏幕内容图像质量评价

随着多客户端交互多媒体应用的快速发展,屏幕内容图像（Screen content image,SCI）的分发和处理与日俱增.图像质量评价课题的研究是其它许多应用的基础,至今图像质量评价课题研究的重点是传统自然图像,因此针对屏幕图像质量评价的研究就变的非常迫切和必要.客观图像质量评价算法的提出的基础建立在标准图像质量评价数据库上.本文首先构建了一个大规模的屏幕内容图像质量评价数据库（Immersive Media Laboratory screen content image quality database,IML-SCIQD）.IML-SCIQD数据库包含参考图像25张以及经过10种失真处理的1250张失真图像.以建立的IML-SCIQD数据库为基础,考虑到屏幕内容图像图像区域和文本区域的视觉感知差异,在基于自然场景统计的无参考方法的启发下,本文提出了针对屏幕内容图像的无参考评价算法（Natural Scene Statistics based No Reference Screen Content Image Quality Assessment metric,NSNRS）.NSNRS算法首先分别计算图像区域和文本区域的质量分数,再将这两个区域的质量分数结合起来得到整幅失真图像的质量分数.该算法与其它12种经典的客观评价算法,包括全参考算法,部分参考算法与无参考算法,在IML-SCIQD数据库和SIQAD数据库上进行了性能测试和对比,结果表明本文提出的算法优于经典的的无参考评价算法;就整个数据库而言,本文提出的算法可以达到与全参考方法相当的性能.     

基于尺度不变性的无参考图像质量评价

现有的通用型无参考图像质量评价方法大多是利用失真图像及其主观值来训练回归模型预测图像质量指标,然而这种方法需要消耗大量的时间进行训练,并且评价效果依赖于训练图像库中的失真类型,通用性较差,很难应用到实际场合中。为了解决数据库依赖问题,提出一种归一化的基于图像尺度不变性的无参考图像质量评价方法。该方法不依赖外部数据,将图像的统计特性及边缘结构特性作为图像质量评价的有效特征,利用图像多尺度不变性计算多尺度间的整体特征差异,从而预测图像质量。实验结果表明,所提方法对混合失真图像质量评价效果好,运行效率高,与目前现有的无参考图像质量评估方法相比具有较好的综合性能,具有较好的应用价值。     

基于3D卷积神经网络的无参考视频质量评价

无参考视频质量评价（NR-VQA)在无法获得原始高质量视频参照的前提下,对失真视频的视觉质量进行定量度量.常规NR-VQA方法通常针对特定失真类型设计,或者与人的主观感受存在偏差.首次将3D深度卷积神经网络（3D-CNN)引入到了视频质量评价中,提出了一种基于3D-CNN的无参考视频质量评价方法,可以适用于非特定失真类型的NR-VQA.首先,通过3D块来有效学习和表征视频内容的时空特征.其次,对常规的3D卷积网络模型进行改进,使其适用于视频质量评价的任务.实验结果表明,所提出的方法在多种失真类型和多个测试指标上,与人的主观感知一致性较高.作为无参考视频质量评价方法,其性能与许多全参考评价方法具有可比性,同时比主流的NR-VQA方法具有更快的运行速度,这使得所提模型在实际中具有更好的应用前景.     

基于梯度相关性分解的无参考图像质量评价方法

目前大部分无参考型的图像质量评价方法都是基于图像的几何特征进行描述的,但是这种方法对于图像的边界要求较为严格,并且在实际应用中的图像的失真类型是未知的。针对这一缺点,提出一种基于梯度相关性分解的无参考图像质量评价(DGS)方法,该方法提取图像的梯度,对其进行奇异值分解作为图像的主要结构信息,以此对图像的质量进行评价。实验结果表明,DGS模型比通用的简单有效的峰值信噪比(或均方误差)模型更符合人眼视觉系统特性,能在无参考的情况下更好地评价图像质量,并与图像的主观评价值达到更准确的一致性。     

互信息域中的无参考图像质量评价

目的无参考图像质量评价是近几年来的研究热点,具有深远的现实意义和广泛的应用价值,提出一种基于互信息的无参考图像质量评价方法。方法该方法使用原始自然图像及其对应的规范化亮度图像和局部标准差图像作为输入,利用自相关互信息对输入图像邻近像素间的相关性进行量化,并引入多尺度分析得到图像在两个尺度上的互信息特征,最后使用支持向量机(SVM)在LIVE图像数据库上训练学习,从而对多类失真图像进行客观质量评价。结果在LIVE图像数据库中对本文算法进行性能测试,实验结果显示该算法得到的评价结果与人眼主观评价结果之间的平均相关系数高达0.93,总体分类准确率达到79%,性能足以与当前主流的全参考、无参考方法相竞争。结论本文方法有别于传统的基于变换的无参考图像质量评价方法,将着眼点放于自然图像邻近像素之间的固有联系上,并取得了较好的实验效果。由于没有使用图像变换并从全局域进行考虑,本文方法具有较低的时间复杂度。     

No-reference image quality assessment using interval type 2 fuzzy sets

Image quality assessment of distorted or decompressed images without any reference to the original image is challenging from computational point of view. Quality of an image is best judged by human observers without any reference image, and evaluated using subjective measures. The paper aims at designing a generic no-reference image quality assessment (NR-IQA) method by incorporating human visual perception in assigning quality class labels to the images. Using fuzzy logic approach, we consider information theoretic entropies of visually salient regions of images as features and assess quality of the images using linguistic values. The features are transformed into fuzzy feature space by designing an algorithm based on interval type-2 (IT2) fuzzy sets. The algorithm measures uncertainty present in the input–output feature space to predict image quality accurately as close to human observations. We have taken a set of training images belonging to five different pre-assigned quality class labels for calculating foot print of uncertainty (FOU) corresponding to each class. To assess the quality class label of the test images, maximum of T-conorm applied on the lower and upper membership functions of the test images belonging to different classes is calculated. Our proposed image quality metric is compared with other no-reference quality metrics demonstrating more accurate results and compatible with subjective mean opinion score metric.     

Multi-view aggregation transformer for no-reference point cloud quality assessment

With the increasing maturity of 3D point cloud acquisition, storage, and transmission technologies, a large number of distorted point clouds without original reference exist in practical applications. Hence, it is necessary to design a no-reference point cloud quality assessment (PCQA) for point cloud systems. However, the existing no-reference PCQA metrics ignore the content differences and positional context among the projected images. For this, we propose a Multi-View Aggregation Transformer (MVAT) with two different fusion modules to extract the comprehensive feature representation of PCQA. Specifically, considering the content differences of different projected images, we first design a Content Fusion Module (CFM) to fuse multiple projected image features by adaptive weighting. Then, we design a Bidirectional Context Fusion Module (BCFM) to extract context features for reflecting the contextual relationship among projected images. Finally, we joint the above two fusion modules via Content-Position Fusion Module (CPFM) to fully mine the feature representation of point clouds. Experimental results show that our MVAT can achieve comparable or better performance than state-of-the-art metrics on three open point cloud datasets.