面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。     

基于尺度不变性的无参考图像质量评价

现有的通用型无参考图像质量评价方法大多是利用失真图像及其主观值来训练回归模型预测图像质量指标,然而这种方法需要消耗大量的时间进行训练,并且评价效果依赖于训练图像库中的失真类型,通用性较差,很难应用到实际场合中。为了解决数据库依赖问题,提出一种归一化的基于图像尺度不变性的无参考图像质量评价方法。该方法不依赖外部数据,将图像的统计特性及边缘结构特性作为图像质量评价的有效特征,利用图像多尺度不变性计算多尺度间的整体特征差异,从而预测图像质量。实验结果表明,所提方法对混合失真图像质量评价效果好,运行效率高,与目前现有的无参考图像质量评估方法相比具有较好的综合性能,具有较好的应用价值。     

双波段彩色融合图像色彩和谐性客观评价

针对现有的图像质量评价方法较少利用人眼视网膜和视觉皮层的颜色编码机制, 并且未能充分考虑图像色彩信息对图像质量的影响, 提出了一种基于多视觉特征的可见光(微光)与红外彩色融合图像色彩和谐性客观评价模型. 该模型在图像质量评估中融入了更多的颜色信息, 综合考虑多种人眼视觉特征包括视觉对立色彩特征、色彩信息波动特征和高级视觉内容特征, 经过特征融合和支持向量回归训练, 实现彩色融合图像的色彩和谐性客观评价. 采用3种典型场景融合图像数据库进行实验比较与分析. 实验结果表明, 与现有的8种图像质量客观评价方法相比, 所提出的方法与人眼主观感受更加一致, 具有较高的预测准确度.     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能，参考先进的深度生成对抗网络（GAN）研究成果，提出一种基于增强型对抗学习的无参考图像质量评价算法，即通过改进损失函数、网络模型结构来增强对抗学习强度，输出更可靠的模拟“参考图”，进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先，利用数据集中失真的图像和未失真的原图像作为输入，从而基于增强对抗学习来训练网络模型；然后，利用该模型输出待测图像的模拟仿真图，提取仿真图的深度卷积特征；最后，将仿真图和待测失真图的卷积特征相融合，并输入到训练好的图像质量评价回归网络，输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明，所提算法在图像质量上的总体客观评价性能优于当前的主流算法，与人的主观评价表现出的性能相一致。     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能,参考先进的深度生成对抗网络（GAN）研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟“参考图”,进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。     

Image Retargeting Quality Assessment

Content‐aware image retargeting is a technique that can flexibly display images with different aspect ratios and simultaneously preserve salient regions in images. Recently many image retargeting techniques have been proposed. To compare image quality by different retargeting methods fast and reliably, an objective metric simulating the human vision system (HVS) is presented in this paper. Different from traditional objective assessment methods that work in bottom‐up manner (i.e., assembling pixel‐level features in a local‐to‐global way), in this paper we propose to use a reverse order (top‐down manner) that organizes image features from global to local viewpoints, leading to a new objective assessment metric for retargeted images. A scale‐space matching method is designed to facilitate extraction of global geometric structures from retargeted images. By traversing the scale space from coarse to fine levels, local pixel correspondence is also established. The objective assessment metric is then based on both global geometric structures and local pixel correspondence. To evaluate color images, CIE L*a*b* color space is utilized. Experimental results are obtained to measure the performance of objective assessments with the proposed metric. The results show good consistency between the proposed objective metric and subjective assessment by human observers.     

基于语义感知的图像美学质量评估方法

当前图像美学质量评估的研究主要基于图像的视觉内容来给出评价结果,忽视了美感是人的认知活动的事实,在评价时没有考虑用户对图像语义信息的理解。为了解决这一问题,提出了一种基于语义感知的图像美学质量评估方法,将图像的物体类别信息以及场景类别信息也用于图像美学质量评估。运用迁移学习的思想,构建了一种可以融合图像多种特征的混合网络。对于每一幅输入图像,该网络可以分别提取出其物体类别特征、场景类别特征以及美学特征,并将这三种特征进行高质量的融合,以达到更好的图像美学质量评估效果。该方法在AVA数据集上的分类准确率达到89.5%,相对于传统方法平均提高了19.9%,在CUHKPQ数据集上的泛化性能也有了很大提升。实验结果表明,所提方法在图像美学质量评估问题上,能够取得更好的分类性能。     

一种基于相位特征的小波域图像质量评价算法

基于像素值的图像质量评价算法忽视了图像自身的结构特征信息,不能较好地评测某些失真类型的图像质量。针对这一问题,本文提出一种基于相位特征的图像质量评价算法。该算法根据人眼对图像的理解主要建立于图像低层次结构这一特点上,给出一种图像质量评价函数的计算方法。首先将图像的相位一致性作为评价函数的第一个特征;然后将图像的小波变换模作为评价函数的第二个特征。最后基于这2个特征获取整体图像的质量评价测度。仿真实验验证了该算法的有效性,结果表明提出的图像质量评价算法和人类主观评价感受具有良好的一致性。      

基于几何结构失真模型的图像质量评价研究

客观图像质量评价研究的目的是设计一种和视觉感知保持一致,且适用于各种失真模型的质量评价方法. 传统的结构相似度量质量评价方法忽视了自然图像本身的特点,不能很好地评判某些失真类型图像. 本文根据人眼视觉系统(Human visual system, HVS)在感知图像质量过程中的特点,探索自然图像的本征几何结构特征, 考虑像素点的方向失真、幅度失真和方差失真,提出了一种新型的基于图像几何结构失真模型的完全参考质量评价方法. 在标准数据库上的实验结果表明,本文方法适用于所有失真模型图像数据的质量评价, 计算复杂度相对较低,得到的图像客观评价结果和主观评价方法具有更好的一致性, 能够很好地反映人眼对图像质量的主观感受.     

多层感知分解的全参考图像质量评估

目的 图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法 首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果 针对传统方法PSNR（peak signal-to-noise ratio）、SSIM（structure similarity）、MS-SSIM（multi-scale structure similarity）及FSIM（feature similarity）进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC（Spearman rank order correlation coefficient）、KRCC（Kendall rank order correlation coefficient）、PLCC（Pearson linear correlation coefficient）和RMSE（root mean squared error）客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0.02、0.07、0.06和0.04的提升。结论 本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。     

模拟视觉感知系统的无参考模糊图像质量评价

为了获得与人类视觉感知一致的图像质量评价方法, 本文提出一种模拟视觉感知系统的无参考模糊图像质量评价方法. 该方法通过比较不同模糊程度的图像特征的相似度来度量图像质量. 首先, 通过对待测图像进行人工模糊, 获得不同模糊程度的图像. 然后, 通过视网膜模型提取图像的细节信息. 接着, 采用奇异值分解用来获得图像的内部结构信息. 之后, 将待测图像与其它不同模糊度图像之间的细节相似度和奇异值相似度作为度量图像模糊度的特征向量. 最后, 将这些度量特征向量输入支持向量回归模型(SVR)进行训练, 获得最终的图像质量评估模型.在常用数据库上的实验结果表明, 该方法与人眼主观视觉感知的一致性优于比较方法.     

结合感知特征和自然场景统计的无参考图像质量评价

为了更有效的评价各种失真类型的图像,本文提出了一种新颖的通用型无参考图像质量评价方法,它采取学习感知特征和空域自然统计特征相结合的方法来构建图像质量评价模型。方法是在提取显著分块的36个空域自然统计特征的基础上,增加基于相位一致性熵、基于相位一致性均值、梯度均值以及失真图像的熵四个感知特征,采用支持向量机回归的学习方式来构建图像特征与人的主观分数的映射关系,进而根据所提取特征预测图像质量。在LIVE图像库上的实验表明,文中算法预测质量分数与人的主观分数具有较高的一致性,基本呈线性关系,鲁棒性较好,运行时间较短,综合性能较好。     

Perceptual image quality assessment metric using mutual information of Gabor features

A good objective metric of image quality assessment (IQA) should be consistent with the subjective judgment of human beings. In this paper, a four-stage perceptual approach for full reference IQA is presented. In the first stage, the visual features are extracted by 2-D Gabor filter that has the excellent performance of modeling the receptive fields of simple cells in the primary visual cortex. Then in the second stage, the extracted features are post-processed by the divisive normalization transform to reflect the nonlinear mechanisms in human visual systems. In the third stage, mutual information between the visual features of the reference and distorted images is employed to measure the visual quality. And in the last pooling stage, the mutual information is converted to the final objective quality score. Experimental results show that the proposed metic has a high correlation with the subjective assessment and outperforms other state-of-the-art metrics.     

Adaptive saliency fusion based on quality assessment

A variety of saliency models based on different schemes and methods have been proposed in the recent years, and the performance of these models often vary with images and complement each other. Therefore it is a natural idea whether we can elevate saliency detection performance by fusing different saliency models. This paper proposes a novel and general framework to adaptively fuse saliency maps generated using various saliency models based on quality assessment of these saliency maps. Given an input image and its multiple saliency maps, the quality features based on the input image and saliency maps are extracted. Then, a quality assessment model, which is learned using the boosting algorithm with multiple kernels, indicates the quality score of each saliency map. Next, a linear summation method with power-law transformation is exploited to fuse these saliency maps adaptively according to their quality scores. Finally, a graph cut based refinement method is exploited to enhance the spatial coherence of saliency and generate the high-quality final saliency map. Experimental results on three public benchmark datasets with state-of-the-art saliency models demonstrate that our saliency fusion framework consistently outperforms all saliency models and other fusion methods, and effectively elevates saliency detection performance.     

Blind quality assessment of night-time image

High-quality night-time imaging is crucial to video surveillance, automatic drive and consumer electronics. However, different from day-time imaging, night-time imaging suffers from some disadvantages, such as low light, uneven illumination, difficult focusing, etc., which raises a great concern to the night-time imaging quality. Accordingly, a practical night-time image quality evaluation method is very promising to control and improve the night-time imaging system. Toward this end, in this paper, we propose a blind image quality assessment (BIQA) method to quantify the night-time image quality. Specifically, in the proposed method, we measure the night-time image quality by investigating the fundamental image properties, which are highly relevant to the image quality, such as the brightness, saturation, sharpness, noiseness, contrast and the semantics. Specific features are designed to characterize the image properties properly. Then we employ the support vector regression (SVR) method to infer the image quality with the extracted quality-aware features. The proposed BIQA method for night-time images is thoroughly evaluated on a representative night-time image database. Experimental results demonstrate that the proposed BIQA method for night-time images achieves superior prediction performance to other state-of-the-art BIQA methods.     

多分辨率影像质量参数评定影像质量的方法

人眼视觉感知对跳跃变化敏感,提出了一种以影像多分辨率表达下质量参数相对变化模拟人眼视觉系统感知的质量评价模型。首先对影像进行基于小波变换的多分辨率表达,计算每一级影像质量参数值。其次,计算不同分辨率表达下影像质量参数变化,对质量参数进行线性拟合,以各级质量参数残差表示质量变化平滑度。最后,提出了基于各级影像质量参数残差的影像质量评价模型。对不同压缩比的遥感影像采用传统质量评价方法和本文算法的对比实验结果表明,本文算法能够取得绝对质量参数和主观视觉一致的效果,符合人眼视觉感知特性。     

三维重定向图像主观和客观质量评价方法

三维（S3D）图像重定向技术的作用是调整S3D图像的宽高比。为准确和客观地衡量三维重定向图像的视觉质量，建立了一个S3D重定向图像质量评价数据库。首先，使用八种具有代表性的三维重定向算法对45幅原始图像按两种重定向尺度进行分辨率调整，共生成720幅三维重定向图像；然后，每幅重定向图像通过主观测试，得到相应的主观打分值；最后，对主观分数进行处理，得到平均主观意见分（MOS）值。在此基础上，提出一种三维重定向图像客观质量评价方法，即通过提取S3D重定向图像的深度感特征、视觉舒适度特征和左右视点的图像质量特征，使用支持向量回归预测得到S3D重定向图像的视觉质量。在提出的数据库上进行测试可以得知，所提方法的Pearson线性相关系数高于0.82，Spearman等级系数高于0.81，表明其能有效预测S3D重定向图像的视觉质量。     

基于视差图和复数轮廓波变换的无参考立体图像质量评价

现有的2D图像质量评价方法并不能很好地应用于立体图像质量评价中。为了有效评价不同失真立体图像的质量,提出了一种基于视差图和复数轮廓波变换的无参考图像质量评价方法。首先提取了能够反映3D信息的视差图,然后对左右失真图像和视差图进行复数轮廓波变换,计算能量和能量差特征,最后通过支持向量回归SVR模型训练学习,预测图像质量分数。实验结果表明,此方法优于当前文献报道的立体图像质量评价方法。     

基于分类学习的去雾后图像质量评价算法

针对现有去雾后图像质量评价算法少、针对性弱和有效性差等问题, 本文提出一种基于分类学习的去雾后图像质量评价算法.该算法通过分析去雾后图像本身所蕴含的质量特征, 提取出基于图像增强、图像复原、统计先验以及人类视觉系统 (Human visual system, HVS) 的度量指标; 并在本文数据库基础上, 利用支持向量机 (Support vector machine, SVM) 将质量评价问题转换为分类问题.实验结果表明, 该算法与已有评价方法相比, 在获得高效分类评价结果的同时, 具有较好的实用性和主观一致性.     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。