无参考图像质量评价研究进展

图像质量评价一直是图像处理和计算机视觉领域的一个基础问题,图像质量评价模型也广泛应用于图像/视频编码、超分辨率重建和图像/视频视觉质量增强等相关领域。图像质量评价主要包括全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价和半参考图像质量评价分别指预测图像质量时参考信息完全可用和部分可用,而无参考图像质量评价是指预测图像质量时参考信息不可用。虽然全参考和半参考图像质量评价模型较为可靠,但在计算过程中必须依赖参考信息,使得应用场景极为受限。无参考图像质量评价模型因不需要依赖参考信息而有较强的适用性,一直都是图像质量评价领域研究的热点。本文主要概述2012—2020年国内外公开发表的无参考图像质量评价模型,根据模型训练过程中是否需要用到主观分数,将无参考图像质量评价模型分为有监督学习和无监督学习的无参考图像质量评价模型。同时,每类模型分成基于传统机器学习算法的模型和基于深度学习算法的模型。对基于传统机器学习算法的模型,重点介绍相应的特征提取策略及思想;对基于深度学习算法的模型,重点介绍设计思路。此外,本文介绍了图像质量评价在新媒体数据中的研究工作及图像质量评价的应用。最后对介绍的无参考图像质量评价模型进行总结,并指出未来可能的发展方向。     

基于机器学习的无参考图像质量评价综述

无参考图像质量评价（NRIQA）因其广泛的应用需求一直以来都是计算机视觉及其交叉领域的研究热点。回顾近十几年来基于机器学习的典型NRIQA模型,介绍图像质量评价的常用数据库、算法性能指标、NRIQA主要难点和现有的解决方法;分析了不同模型的思想、实现、特点;最后统计对比多个数据库上的测试结果。总结研究现状、分析发展趋势,为这一领域的研究者提供文献参考。     

无参考图像质量评价综述

图像质量评价是图像处理领域的热门研究课题之一。图像质量评价研究的目标是设计算法,给出和人的主观视觉感受相符合的评价结果。在客观图像质量评价的几种方法中,由于无参考图像质量评价方法的灵活性,该方法正受到越来越多的关注。文章首先概述了图像质量评价的相关知识,并从无参考图像质量度量方法和评价算法等角度对无参考图像质量评价进行分析．最后概括了无参考图像质量评价发展的现状及其发展趋势。     

基于几何结构失真模型的图像质量评价研究

客观图像质量评价研究的目的是设计一种和视觉感知保持一致,且适用于各种失真模型的质量评价方法. 传统的结构相似度量质量评价方法忽视了自然图像本身的特点,不能很好地评判某些失真类型图像. 本文根据人眼视觉系统(Human visual system, HVS)在感知图像质量过程中的特点,探索自然图像的本征几何结构特征, 考虑像素点的方向失真、幅度失真和方差失真,提出了一种新型的基于图像几何结构失真模型的完全参考质量评价方法. 在标准数据库上的实验结果表明,本文方法适用于所有失真模型图像数据的质量评价, 计算复杂度相对较低,得到的图像客观评价结果和主观评价方法具有更好的一致性, 能够很好地反映人眼对图像质量的主观感受.     

图像质量评价研究综述

图像质量评价是一个经典的研究课题,其目标是设计算法,给出和人的主观感受相一致的评价值.在许多图像处理的应用领域中,图像质量评价算法都具有重要意义.目前已提出多种评价算法,本文对这些算法进行综述.首先描述图像质量的主观评价方法,它给出科学、稳定的主观评价值;其次对各种客观评价算法进行分类介绍,重点探讨了各类算法的思路及特点;然后详细描述了衡量算法性能的定量指标;最后总结了图像质量评价算法研究的发展趋势.     

自然图像质量评价方法综述

5G时代的到来使得图像处理技术也得到了迅猛发展,自然图像质量评价方法成为图像处理领域的重要研究热点。在自然图像获取、图像压缩、存储等处理时,图像质量不可避免的产生各种类型的失真,从而自然图像质量评价方法的应用越来越广泛。首先阐述自然图像的失真类型和公开标准图像数据库的相关知识,然后分别从主观评价和客观评价两种方法分析自然图像质量评价,最后对未来自然图像质量评价方法的发展趋势进行了总结和展望。     

自适应语义感知网络的盲图像质量评价

目的 盲图像质量评价（blind image quality assessment,BIQA）在图像质量控制领域具有重要的实际意义。虽然目前针对自然失真图像的盲图像质量评价取得了合理的结果,但评价准确性仍有待进一步提升。方法 提出一种自适应语义感知网络（self-adaptive semantic awareness network,SSA-Net）的盲图像质量评价方法,通过理解失真图像的内容和感知图像失真的类型来提高预测的准确性。首先,利用深度卷积神经网络（deep convolutional neuralnetwork,DCNN）获取各个阶段的语义特征,并提出多头位置注意力（multi-head position attention,MPA）模块通过聚合特征图的长距离语义信息来加强对图像内容的理解。接着,提出基于多尺度内核的自适应特征感知（self-adaptivefeature awareness,SFA）模块感知图像的失真类型,并结合图像内容来捕获图像的全局失真和局部失真情况。最后,提出多级监督回归（multi-level supervision regression,MSR）网络通过利用低层次的语义特征辅助高层次的语义特征得到预测分数。结果 本文方法在7个数据库上与11种不同方法进行了比较,在LIVEC（LIVE in the Wild ImageQuality Challenge）、BID（blurred image database）、KonIQ-10k（Konstanz authentic image quality 10k database）和SPAQ（smartphone photography attribute and quality）4个自然失真图像数据库中的斯皮尔曼等级相关系数（Spearman rankorder correlation coefficient,SRCC）值分别为0.867、0.877、0.913和0.915,获得了所有方法中最好的性能结果。同时在两个人工失真图像数据库中获得了排名前2的SRCC值。实验结果表明,与其他先进方法相比,本文方法在自然失真图像质量评价数据库上的表现更为优异。结论 本文方法通过结合图像内容理解与不同失真类型感知,能更好地适应自然图像的失真,提高评价准确性。     

基于深度学习的无参考图像质量评价综述

图像质量评价是图像处理、图像/视频编码等领域的基础性问题,用于评估图像的失真程度,被广泛应用于算法设计与分析、系统性能评估等方面.无参考图像质量评价(又称为盲图像质量评价)是一种重要的客观质量评价方法.因为无须原始的参考图像,因此具有广泛的应用前景.近年来,随着深度学习技术的不断发展,人们提出了多种基于深度学习的无参考...     

面部美化图像质量无参考评价方法

针对目前面部美化已被广泛研究,然而缺乏有效美化图像质量评价方法限制美化技术进一步发展的问题,提出一种面部美化图像质量的无参考评价方法。该方法结合面部美感的认知与感知和面部美化技术以挖掘美化图像的质量表示,首先构建面部美化图像数据库,将面部图像分解为皮肤、眼睛和嘴巴三种区域,然后从肤色、光滑度、光照、灰度差和清晰度等五个方面提取面部美学特征,最后用支持向量回归（SVR）训练面部美化质量模型并预测美化图像的质量。实验结果表明,所提方法在构建的数据库上Pearson线性相关系数和Spearman等级相关系数分别达到0.920 5和0.900 9,优于BIQI（Blind Image Quality Indices）、NIQE（Natural Image Quality Evaluation）图像质量评价方法。     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异.通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型.利用生成...     

图像与视频质量评价综述

图像/视频的获取及传输过程中,由于物理环境及算法性能的限制,其质量难免会出现无法预估的衰减,导致其在实际场景中的应用受到限制,并对人的视觉体验造成显著影响。因此,作为计算机视觉领域的一项重要任务,图像/视频质量评价应运而生。其目的在于通过构建计算机数学模型来衡量图像/视频中的失真信息以判断其质量的好坏,达到自动预测质量的效果。在城市生活、交通监控以及多媒体直播等多个场景中具有广泛的应用前景。图像/视频质量评价研究取得了长足的发展,为计算机视觉领域中其他任务提供了一定的便利。本文在广泛调研前人研究的基础上,回顾了整个图像/视频质量评价领域的发展历程,分别列举了传统方法和深度学习方法中一些具有里程碑意义的算法和影响力较大的算法,然后从全参考、半参考和无参考3个方面分别对图像/视频质量评价领域的一些文献进行了综述,具体涉及的方法包含基于结构信息、基于人类视觉系统和基于自然图像统计的方法等;在LIVE(laboratory for image&video engineering)、CSIQ(categorical subjective image quality database)、T...     

基于K-均值聚类的彩色图像质量评价及优化

针对彩色图像质量无法实时评价及优化的问题,提出了基于K-均值聚类的彩色图像质量评价及优化算法。首先利用K-均值聚类的方式构建样本数据集;然后通过待评价图像与聚类数据集之间的相似性来构建特征集;之后再将待优化图像与聚类数据集之间进行融合,对融合后的矩阵进行PCA变换实现了图像质量的优化;通过实验证明,所提评价算法与人眼主观视觉具有较好的一致性;同时,还能通过评价结果实现图像质量的自适应优化。     

Blind quality assessment of night-time image

High-quality night-time imaging is crucial to video surveillance, automatic drive and consumer electronics. However, different from day-time imaging, night-time imaging suffers from some disadvantages, such as low light, uneven illumination, difficult focusing, etc., which raises a great concern to the night-time imaging quality. Accordingly, a practical night-time image quality evaluation method is very promising to control and improve the night-time imaging system. Toward this end, in this paper, we propose a blind image quality assessment (BIQA) method to quantify the night-time image quality. Specifically, in the proposed method, we measure the night-time image quality by investigating the fundamental image properties, which are highly relevant to the image quality, such as the brightness, saturation, sharpness, noiseness, contrast and the semantics. Specific features are designed to characterize the image properties properly. Then we employ the support vector regression (SVR) method to infer the image quality with the extracted quality-aware features. The proposed BIQA method for night-time images is thoroughly evaluated on a representative night-time image database. Experimental results demonstrate that the proposed BIQA method for night-time images achieves superior prediction performance to other state-of-the-art BIQA methods.     

Blind image quality assessment with improved natural scene statistics model

No-reference (NR)/blind image quality assessment (IQA) metrics play an important role in the area of image processing. Natural scene statistics (NSS) model assumes that natural images possess certain regular statistical properties and is widely used in NR IQA metrics. Most existing NSS-based NR algorithms are achieved by measuring the variation of image statistics, which are characterized by the fitting parameters of NSS model, across different distortions. However, distortions not only change the image statistics, but also disturb the statistical regularity held by natural images. As a result, the distribution of distorted images can not well follow the NSS model. There exists fitting error between the real distribution of the distorted image and the fitted one under certain NSS model. In this paper, the statistical distributions of the distorted images are discussed in detail. We suggest to take the fitting errors into account as well as the fitting parameters for feature extraction, and propose a novel NR IQA algorithm. Experimental results on several image databases demonstrate that the proposed metric performs highly consistent with human visual perception.     

No-reference quality assessment for low-light image enhancement: Subjective and objective methods

No-Reference (NR) quality assessment is a crucial approach for evaluating the quality of low-light enhanced images, as it is often difficult to acquire high-quality reference images in applications such as night-time automatic driving. However, current NR evaluation methods for low-light enhanced images often lack consideration of important characteristics such as color, structure, and naturalness. This paper proposes a novel NR quality assessment method for NR low-light enhanced images from both subjective and objective aspects. On the subjective side, we construct the Low-light Enhanced Images Subjective Dataset (LEISD) containing 2040 images with 255 different image contents. Each image was evaluated based on the Single Stimulus (SS) method by 20 subjects. On the objective side, we propose Multi-Features Reconciliation-based Quality Assessment (MFRQA) methods for low-light enhanced images by observing the low-light enhanced images. The MFRQA summarized four key feature perspectives: brightness, color, structure and naturalness, and employed the traditional machine learning model to reconcile the multi-features. Experimental results on the LEISD dataset demonstrate competitive performance and low complexity of our method compared to the representative quality metrics.     

高动态范围图像客观质量评价方法

针对当前高动态范围（HDR）图像质量评价方法未考虑图像色度和结构信息的问题,提出了一种新的HDR图像客观质量评价方法。首先,利用HDR-VDP-2.2中的基于视觉感知的模型得到关于亮度与对比度的视觉保真度特征;然后,将HDR图像转换到YIQ彩色空间,对彩色空间中的Y、I、Q通道分别进行处理,求得色度相似度和结构相关度特征;最后,利用支持向量回归（SVR）的方法对特征进行融合,预测得到高动态范围图像质量的客观评价值。实验结果表明,与HDR-VDP-2.2相比,该方法的Pearson相关系数和Spearman等级相关系数分别提升了23.09%和25.34%;均方根误差（RMSE）降低了38.01%。所提出的方法与主观视觉感知具有更高的一致性。     

A brain-inspired computational model for extremely few reference image quality assessment

In the study of brain science, the free energy principle and attention perception mechanism have been the two of the most critical findings during the past few decades, arousing a wide range of attention and valuable applications from the research fields of image and video processing, computer vision, etc. Motivated by the aforementioned two important findings, we in this paper develop a brain-inspired computational model for extremely few reference image quality assessment (IQA), dubbed as BCM. The proposed BCM implements with the two main steps. First, we combine free energy principle and sparse perception mechanism to achieve the goal of only using extremely few reference for assessing the image quality. Second, we further introduce the attention perception mechanism to boost the assessment performance by improving the sparse perception mechanism mentioned above. Based on the most commonly used image quality database, it was found that our proposed model has derived higher performance than the peer extremely few reference IQA models and competitive performance as compared with the benchmark full reference IQA models.     

视觉关注度的立体图像质量评价

立体图像质量评价对立体视频技术的发展起着非常重要的作用。常用的PSNR(峰值信噪比)方法不能反映人类视觉感知特性,也不能直接应用到立体图像质量评价中。针对人类视觉对立体图像深度感知和重点关注感兴趣区的特点,提出基于纹理图和深度图感兴趣区的质量评价方法。首先对纹理图和对应的深度图利用视觉关注度提取工具提取感兴趣区,然后在评价的过程中对各感兴趣区根据感兴趣程度分配基于像素的权重系数,最后将权重系数应用在立体图像的各个区域中进行评价。实验结果表明该方法得到的立体图像质量客观评价结果与主观评价结果之间具有更好的一致性,符合人眼视觉系统感知特性。