基于深度学习的无参考图像质量评价综述

图像质量评价是图像处理、图像/视频编码等领域的基础性问题,用于评估图像的失真程度,被广泛应用于算法设计与分析、系统性能评估等方面.无参考图像质量评价(又称为盲图像质量评价)是一种重要的客观质量评价方法.因为无须原始的参考图像,因此具有广泛的应用前景.近年来,随着深度学习技术的不断发展,人们提出了多种基于深度学习的无参考...     

无参考图像质量评价综述

图像质量对人类视觉信息的获取影响很大, 如何在没有参考图像的情况下准确地评价失真图像的质量是一个关键但又非常困难的问题. 本文回顾了近20年来无参考图像质量评价发展的主要技术. 首先,介绍了这一领域常用的衡量评价算法性能的技术指标,以及几个网上共享的典型图像质量评价数据库; 然后,对各种无参考图像质量评价算法进行详细的分类介绍和特点评析; 最后,基于典型数据库对近几年的一些非特定失真图像质量评价方法进行了性能测试和比较. 目的是为这一领域的研究人员提供一个较为全面的、有价值的文献参考.     

红外模糊图像的无参考质量评价方法

图像质量评价是对图像处理算法的优劣给出合理的评估,在很多无法获取原始参考图像的应用场合中使用无参考质量评价方法。通过对红外图像结构分析得知图像所具有的不确定性往往是模糊性,而不是随机性,因此将模糊集理论中模糊熵的概念引入到红外图像质量评价中,提出一种针对红外模糊图像的无参考质量评价方法,并从算法的有效性、一致性和准确性三个方面进行比较分析。仿真实验结果表明,该方法具有计算复杂度低、运算速度快和主客观评价一致等特点,且在总体性能上优于均方误差(MSE)和峰值信噪比(PSNR)全参考图像质量评价方法。     

无参考屏幕内容图像质量评价

随着多客户端交互多媒体应用的快速发展,屏幕内容图像（Screen content image,SCI）的分发和处理与日俱增.图像质量评价课题的研究是其它许多应用的基础,至今图像质量评价课题研究的重点是传统自然图像,因此针对屏幕图像质量评价的研究就变的非常迫切和必要.客观图像质量评价算法的提出的基础建立在标准图像质量评价数据库上.本文首先构建了一个大规模的屏幕内容图像质量评价数据库（Immersive Media Laboratory screen content image quality database,IML-SCIQD）.IML-SCIQD数据库包含参考图像25张以及经过10种失真处理的1250张失真图像.以建立的IML-SCIQD数据库为基础,考虑到屏幕内容图像图像区域和文本区域的视觉感知差异,在基于自然场景统计的无参考方法的启发下,本文提出了针对屏幕内容图像的无参考评价算法（Natural Scene Statistics based No Reference Screen Content Image Quality Assessment metric,NSNRS）.NSNRS算法首先分别计算图像区域和文本区域的质量分数,再将这两个区域的质量分数结合起来得到整幅失真图像的质量分数.该算法与其它12种经典的客观评价算法,包括全参考算法,部分参考算法与无参考算法,在IML-SCIQD数据库和SIQAD数据库上进行了性能测试和对比,结果表明本文提出的算法优于经典的的无参考评价算法;就整个数据库而言,本文提出的算法可以达到与全参考方法相当的性能.     

图像质量评价研究综述——从失真的角度

随着多媒体技术的快速发展及广泛应用,图像质量评价因其在多媒体处理中的重要作用得到越来越多的关注,其作用包括图像数据筛选、算法参数选择与优化等。根据图像质量评价应用时是否需要参考信息,它可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价,前两类分别需要全部参考信息和部分参考信息,而第3类不需要参考信息。无论是全参考、半参考还是无参考图像质量评价,图像失真对图像质量评价的影响均较大,主要体现在图像质量评价数据库构建和图像质量评价模型设计两方面。本文从图像失真的角度,主要概述2011—2021年国内外公开发表的图像质量评价模型,涵盖全参考、半参考和无参考模型。根据图像的失真类型,将图像质量评价模型分为针对合成失真的图像质量评价模型、针对真实失真的图像质量评价模型和针对算法相关失真的图像质量评价模型。其中,合成失真是指人工添加噪声,如高斯噪声和模糊失真,通常呈现均匀分布;真实失真是指在图像的获取中,由于环境、拍摄设备或拍摄操作不当等因素所引入的失真类型。相对合成失真,真实失真更为复杂,可能包括一种或多种失真,数据收集难度更大;算法相关失真是指图像处理算法或计算机视觉算法在处理图像时,由于算法本身的缺陷或性能不足等原因而出现在结果图像中的降质,相对合成失真和真实失真,算法相关失真的显著特点是该类型失真呈现非均匀分布。本文介绍现有的图像质量评价数据库,包括图像数据来源和数据库构建细节等;然后重点介绍图像质量评价模型的设计思想。最后总结了介绍的图像质量评价模型,并指出未来可能的发展方向。     

《中国图象图形学报》低质图像增强专刊简介

计算机视觉在户外交通导航、安防监控、目标检测、医学影像辅助分析、诊断及水下探测、目标识别等领域具有广泛应用。清晰的图像画面对于计算机视觉获取正确的图像信息至关重要。然而在各种复杂成像条件(如雾、霾、沙尘、雨雪等恶劣天气及海洋等弱光低照环境)下,受光照及各种介质的影响,户外或水下计算机视觉系统所采集的图像通常存在严重颜色失真,且场景模糊、清晰度差,严重影响其应用并制约相关领域研究。 因此,如何通过后期算法对各种复杂环境下的低质图像进行增强和复原受到人们的高度重视。为了更好地推动低质图像增强理论、技术与应用的发展,及时记录我国学者在相关领域的最新研究进展,《中国图象图形学报》邀请业内专家共同策划推出“低质图像增强”专刊,主要收录国内学者在相关理论方法、关键技术、数据平台和典型应用等方面具有创新性、突破性的研究成果。 经过严格评审,“低质图像增强”专刊共收录学术论文22篇,作者包括来自42家科研院所、研究中心、高校和企业的80位专家学者、研究生、企业人员等。专刊成果得到26项国家自然科学基金、1项国家重点研发计划、17项省级自然科学基金和重大科技计划等项目支持。 专刊栏目包括：综述(5篇)、数据集论文(1篇)、图像去雾去雨(5篇)、低照图像增强(4篇)、图像超分辨(2篇)、图像修复(5篇)。 综述论文中,《水下光学图像重建方法研究进展》全面梳理了水下光学图像重建方法的发展历程,按照研究发展顺序依次分析了现有4大类处理方法的基本思想、代表性方法及优缺点;归纳了目前公开的水下图像数据集以及常用的水下图像质量评价方法,并对各重建方法进行了性能评测和对比分析;并展望了未来研究方向。 《单幅图像去雨数据集和深度学习算法的联合评估与展望》对近年来面向单幅图像去雨任务的雨图数据集构建以及深度学习算法、雨天后续高层任务的工作、图像去雨评价指标进行了回顾与介绍,并给出了目前的挑战与未来趋势。 《低光照图像增强算法综述》从3个方面系统地综述了低光照图像增强技术的研究现状。介绍了现有低光照图像数据集,详述了低光照图像增强技术的发展脉络,通过对比低光照图像增强质量与夜间人脸检测精度,对现有低光照增强技术进行了全面评估与分析。基于上述现状的探讨,结合实际应用,指出当前技术的局限性,并对其发展趋势进行预测。 《图像与视频质量评价综述》从全参考、半参考和无参考3个方面分别对图像、视频质量评价领域的文献进行了综述,在主流数据集上测试了方法的性能,总结并展望了目前质量评价领域仍存在的一些挑战与问题。 《图像质量评价研究综述——从失真的角度》从图像失真的角度,概述2011—2021年国内外公开发表的图像质量评价模型,以及现有的图像质量评价数据库。然后重点介绍图像质量评价模型的设计思想。最后总结了所介绍的图像质量评价模型,并指出未来可能的发展方向。 数据集论文,《面向真实水下图像增强的质量评价数据集》基于成对比较开展主观实验构建了首个面向水下图像增强算法比较的质量评价基准数据集,并且基于构建的数据集对比了目前若干主流的无参考图像质量客观评价方法用于评估水下图像时的性能。 我们期待广大读者和科技人员通过“低质图像增强”专刊,能够更深入、更全面地了解该领域的最新方法和应用,吸引更多学者从事相关研究并产生具有国际影响力的优秀成果,为本领域的发展做出新的贡献。     

基于尺度不变性的无参考图像质量评价

现有的通用型无参考图像质量评价方法大多是利用失真图像及其主观值来训练回归模型预测图像质量指标,然而这种方法需要消耗大量的时间进行训练,并且评价效果依赖于训练图像库中的失真类型,通用性较差,很难应用到实际场合中。为了解决数据库依赖问题,提出一种归一化的基于图像尺度不变性的无参考图像质量评价方法。该方法不依赖外部数据,将图像的统计特性及边缘结构特性作为图像质量评价的有效特征,利用图像多尺度不变性计算多尺度间的整体特征差异,从而预测图像质量。实验结果表明,所提方法对混合失真图像质量评价效果好,运行效率高,与目前现有的无参考图像质量评估方法相比具有较好的综合性能,具有较好的应用价值。     

面向无参考图像的清晰度评价方法研究

图像的清晰度是衡量数字图像质量优劣的重要指标。基于面向无参考图像质量评价,重点介绍了目前较为常用的、具有代表性的几种清晰度评价算法,并从算法的单峰性、无偏性、灵敏性,与图像尺度、内容的无关性,以及与主观感知的一致性3个方面的性能进行了对比和分析,以求准确客观地评价各清晰度算法,达到在实际应用中合理、有效地评价图像清晰度的目的。     

超分辨图像质量评价综述

全面综述了超分辨图像质量评价的研究进展。超分辨图像质量评价是以人眼的主观质量评价结果为依据,利用算法模型对重建的超分辨图像进行评价。该评价方法对超分辨重建算法的优化和模型参数的选择具有重要的指导意义。首先对超分辨图像的主观评价方法进行阐述;其次对现有超分辨图像客观评价方法按照全参考型、部分参考型和无参考型进行了分类阐述,特别详细介绍了几种具有代表性的无参考质量评价的主要思想;接着从定量和定性两方面分别介绍了评价超分辨图像质量评价方法有效性的指标,并对评价算法的主要实验方法进行了简要阐述;最后对超分辨图像质量评价方法未来的发展趋势进行了展望。     

互信息域中的无参考图像质量评价

目的无参考图像质量评价是近几年来的研究热点,具有深远的现实意义和广泛的应用价值,提出一种基于互信息的无参考图像质量评价方法。方法该方法使用原始自然图像及其对应的规范化亮度图像和局部标准差图像作为输入,利用自相关互信息对输入图像邻近像素间的相关性进行量化,并引入多尺度分析得到图像在两个尺度上的互信息特征,最后使用支持向量机(SVM)在LIVE图像数据库上训练学习,从而对多类失真图像进行客观质量评价。结果在LIVE图像数据库中对本文算法进行性能测试,实验结果显示该算法得到的评价结果与人眼主观评价结果之间的平均相关系数高达0.93,总体分类准确率达到79%,性能足以与当前主流的全参考、无参考方法相竞争。结论本文方法有别于传统的基于变换的无参考图像质量评价方法,将着眼点放于自然图像邻近像素之间的固有联系上,并取得了较好的实验效果。由于没有使用图像变换并从全局域进行考虑,本文方法具有较低的时间复杂度。     

全参考图像质量评价综述

图像质量评价是图像处理领域内一项很有意义的研究课题。客观图像质量评价方法可分为全参考评价方法、半参考评价方法和无参考评价方法, 目前全参考评价方法较为成熟, 而半参考和无参考评价方法则处于初级阶段, 远远达不到参考评价方法所能达到的效果。对全参考评价方法进行综述。首先简要地介绍了各种类型的评价方法, 其次详细地介绍了PSNR、SSIM、MSSIM、IFC、VIF、FSIM等几种典型的全参考图像质量评价方法, 然后在LIVE和TID2008数据库上进行实验, 对这几种全参考方法进行对比、分析, 最后探讨图像质量评价研究的发展趋势。     

基于深度学习的图像质量评价方法综述

图像质量评价是对图像或视频的视觉质量的一种度量,主要分析了最近10年图像质量评价算法的研究情况。介绍了图像质量评价算法的衡量指标以及常用的图像质量评价数据集,对图像质量评价方法的分类做了阐述,重点分析了基于深度学习技术的图像质量评价算法。目前,该类算法的基础模型主要包括深度卷积神经网络、深度生成对抗网络和变换器,其性能通常高于传统的图像质量评价算法。描述了基于深度学习技术的图像质量评价算法的原理,重点介绍了基于深度生成对抗网络的无参考图像质量评价算法,通过增强对抗学习强度提高模拟参考图的可靠性。深度学习技术需要海量训练数据的支持,探讨和总结数据集增强的方法,对数字图像质量评价方法的未来研究进行展望。     

色彩熵在图像质量评价中的应用

目的 由于色彩空间包含了图像的大量信息,而且Lab色彩空间更接近于人眼视觉,因此提出一种改进的无参考图像质量评价算法IQALE(image quality assessment using Lab color space and entropy),通过在SSEQ(spatial-spectral entropy-based quality)算法中加入Lab色彩空间a通道和b通道的特征来提高算法精度。方法 信息熵是近几年研究较多的图像特征,并且能较好地运用在图像质量评价研究中。该文在色彩空间和灰度空间同时提取信息熵特征,通过支持向量机(SVM)对图像特征和MOS值进行训练和测试。结果 在LIVE、TID2008、MICT、CSIQ和IVC这5个常用数据库上的实验结果表明:在算法中加入Lab色彩空间信息可以提高算法精度,并且本文算法IQALE的效果优于目前流行的无参考图像质量评价算法。为了验证算法的可扩展性,该文还在这5个数据库上进行了数据库独立性实验。结论 从实验结果来看,本文提出的IQALE算法通过加入色彩熵特征使得算法具有较高且较稳定的精度,数据库独立性实验也体现了算法较好的鲁棒性,对于各种失真类型都具有较好的普适性。     

模糊失真图像无参考质量评价综述EI北大核心CSCD

图像的模糊问题影响人们对信息的感知、获取及图像的后续处理.无参考模糊图像质量评价是该问题的主要研究方向之一.本文分析了近20年来无参考模糊图像质量评价相关技术的发展.首先,本文结合主要数据集对图像模糊失真进行分类说明;其次,对主要的无参考模糊图像质量评价方法进行分类介绍与详细分析;随后,介绍了用来比较无参考模糊图像质量评价方法性能优劣的主要评价指标;接着,选择典型数据集及评价指标,并采用常见的无参考模糊图像质量评价方法进行性能比较;最后,对无参考模糊图像质量评价的相关技术及发展趋势进行总结与展望.     

No-reference stereoscopic 3D image quality assessment via combined model

Currently, stereoscopic 3D image has been widely applied in many fields. However, it may suffer from various quality degradations during the acquisition and transmission. Therefore, an effective 3D image quality assessment (IQA) method has great significance for 3D multimedia applications. Since 3D image pair has two images, it is easily distorted asymmetrically. In this paper, we have designed a no-reference quality assessment algorithm for asymmetrically distorted 3D images by utilizing combined model. First, in order to extract the distorted information in different frequency, the Gabor filter bank is employed to decompose the 3D image pair. Second, the “Cyclopean” and difference maps, representing for binocular characteristic and asymmetric information, are generated from the Gabor filter results. Then, the statistical characteristics of “Cyclopean” and difference maps are estimated by utilizing the generalized Gaussian distribution (GGD) fitting. Finally, a SVR regression is learned to map the feature vector to the recorded subjective difference mean opinion scores (DMOS). Besides, we also make an attempt to utilize structural similarity index (SSIM) to measure the asymmetric information of 3D image pair. The performance of our algorithm is evaluated on the popular 3D IQA databases. Extensive results show that the proposed algorithm outperforms state-of-the-art no-reference 3D IQA algorithms and is comparable to some full-reference 3D IQA algorithms.     

Visual quality assessment algorithms: what does the future hold?

Creating algorithms capable of predicting the perceived quality of a visual stimulus defines the field of objective visual quality assessment (QA). The field of objective QA has received tremendous attention in the recent past, with many successful algorithms being proposed for this purpose. Our concern here is not with the past however; in this paper we discuss our vision for the future of visual quality assessment research. We first introduce the area of quality assessment and state its relevance. We describe current standards for gauging algorithmic performance and define terms that we will use through this paper. We then journey through 2D image and video quality assessment. We summarize recent approaches to these problems and discuss in detail our vision for future research on the problems of full-reference and no-reference 2D image and video quality assessment. From there, we move on to the currently popular area of 3D QA. We discuss recent databases, algorithms and 3D quality of experience. This yet-nascent technology provides for tremendous scope in terms of research activities and we summarize each of them. We then move on to more esoteric topics such as algorithmic assessment of aesthetics in natural images and in art. We discuss current research and hypothesize about possible paths to tread. Towards the end of this article, we discuss some other areas of interest including high-definition (HD) quality assessment, immersive environments and so on before summarizing interesting avenues for future work in multimedia (i.e., audio-visual) quality assessment.     

基于增强型无参考质量评价的序列图像自动选优策略*

针对序列图像,提出了增强型无参考质量评价的图像自动选优策略。首先在详细介绍SSEQ、NIQE和BIQI三种经典的无参考图像质量评价方法优缺点的基础上,提出了加权的质量评价策略以对序列图像进行自动选优。其次为了加快权重寻优的过程,提出了基于粒子群优化的PSO-WNRIQA算法。最后为了评估算法的性能,提出失序数比例DNR和失序对数DCNR作为算法评价标准。通过对LIVE Release2图像库中的实验结果表明,在jp2k失真、jpeg失真、高斯模糊失真和快速瑞利衰减失真图像的自动评优过程中,本文的策略相对SSEQ、NIQE和BIQI具有更优的性能,评价的准确性更高。能够应用于较大规模序列图像的自动质量评价。