深度视觉特征与策略互补融合的图像质量评价*

视觉多特征融合方法未考虑图像不同特征之间和不同评价算法之间的视觉互补性.通过融合人类视觉系统前端生理感知和后端心理处理特性,文中提出深度视觉特征互补融合(CPDVF)的图像质量评价方法.CPDVF深度提取图像的多通道直方图统计和多通道梯度结构这2种互补视觉特征,并进行深度视觉处理.然后设计局部失真度评价和局部相似度评价2种互补算法,分别对失真图像的上述互补视觉特征进行评价.最后联合视觉心理特性和回归函数,融合2种特征评价,获得失真图像质量的客观评价.实验表明,相比特征相似度、视觉显著等多特征联合方法,文中方法在准确度、单调性和可靠性指标上优势明显.     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能,参考先进的深度生成对抗网络（GAN）研究成果,提出一种基于增强型对抗学习的无参考图像质量评价算法,即通过改进损失函数、网络模型结构来增强对抗学习强度,输出更可靠的模拟“参考图”,进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先,利用数据集中失真的图像和未失真的原图像作为输入,从而基于增强对抗学习来训练网络模型;然后,利用该模型输出待测图像的模拟仿真图,提取仿真图的深度卷积特征;最后,将仿真图和待测失真图的卷积特征相融合,并输入到训练好的图像质量评价回归网络,输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明,所提算法在图像质量上的总体客观评价性能优于当前的主流算法,与人的主观评价表现出的性能相一致。     

基于增强型对抗学习的无参考图像质量评价算法

为了提高无参考图像质量评价（NR-IQA）方法的性能，参考先进的深度生成对抗网络（GAN）研究成果，提出一种基于增强型对抗学习的无参考图像质量评价算法，即通过改进损失函数、网络模型结构来增强对抗学习强度，输出更可靠的模拟“参考图”，进而可以像全参考图像质量评价（FR-IQA）方法一样模拟人的视觉比较过程。首先，利用数据集中失真的图像和未失真的原图像作为输入，从而基于增强对抗学习来训练网络模型；然后，利用该模型输出待测图像的模拟仿真图，提取仿真图的深度卷积特征；最后，将仿真图和待测失真图的卷积特征相融合，并输入到训练好的图像质量评价回归网络，输出图像的评测分数。在LIVE、TID2008和TID2013数据集上完成实验。实验结果表明，所提算法在图像质量上的总体客观评价性能优于当前的主流算法，与人的主观评价表现出的性能相一致。     

基于局部不变特征的图像质量评价

针对结构相似度算法在感知图像质量时采取平均加权策略的不足,利用人眼对图像中不同区域的关注程度不同的特性,提出了基于局部不变特征的图像质量评价算法。该算法在失真图像结构相似度质量分布图的基础上,提取图像的局部不变特征点,将这些特征点周围一定区域赋予较大的视觉权重,最后运用综合加权策略来衡量失真图像的质量。在标准图像测试库上的实验结果表明,该算法计算复杂度相对较低,较大地提高了结构相似度算法的评价效果,与人眼主观感知图像质量取得了更好的一致性。     

结合感知特征和自然场景统计的无参考图像质量评价

为了更有效的评价各种失真类型的图像,本文提出了一种新颖的通用型无参考图像质量评价方法,它采取学习感知特征和空域自然统计特征相结合的方法来构建图像质量评价模型。方法是在提取显著分块的36个空域自然统计特征的基础上,增加基于相位一致性熵、基于相位一致性均值、梯度均值以及失真图像的熵四个感知特征,采用支持向量机回归的学习方式来构建图像特征与人的主观分数的映射关系,进而根据所提取特征预测图像质量。在LIVE图像库上的实验表明,文中算法预测质量分数与人的主观分数具有较高的一致性,基本呈线性关系,鲁棒性较好,运行时间较短,综合性能较好。     

基于流形特征相似度的感知图像质量评价

图像质量评价（Image quality assessment, IQA）的目标是利用设计的计算模型得到与主观评价一致的结果,而人类视觉感知特性是感知图像质量评价的关键.大量研究发现,认知流形和拓扑连续性是人类感知的基础即人类感知局限在低维流形之上.基于图像低维流形特征分析,本文提出了基于流形特征相似度（Manifold feature similarity, MFS）的全参考图像质量评价方法.首先,利用正交局部保持投影算法来模拟大脑的视觉处理过程获取最佳映射矩阵进而得到图像的低维流形特征,通过流形特征的相似度来表征两幅图像的结构差异,从而反映感知质量上的差异.其次,考虑亮度失真对人眼视觉感知的影响,通过图像块均值计算亮度相似度并用于评价图像的亮度失真;最后,结合两个相似度得到图像的客观质量评价值.在四个公开图像测试库上的实验结果表明,所提出方法与现有代表性的图像质量方法相比总体上具有更好的评价结果.     

基于随机森林的空域-频域联合特征全参考彩色图像质量评价方法

文中旨在设计一种可以自动评估图像质量,并达到与人类视觉系统相一致的客观评价算法.针对大多数传统的全参考图像质量评价方法只在空域中分析图像,并且在池策略上存在不足,文中提出了一种基于随机森林的空域-频域联合特征全参考彩色图像质量评价方法.该方法首先在空域上提取色度和梯度特征,刻画图像的颜色信息和空间结构信息;在频域上提取log-Gabor滤波器组响应后的纹理细节信息以及空间频率特征,将二者作为联合特征;然后利用随机森林学习特征向量与主观意见得分之间的映射关系,预测客观质量得分.在TID2013,TID2008和CSIQ 3个标准数据库上的实验结果表明,所提方法的综合评价性能优于目前主流的全参考评价算法,尤其是在TID2013数据库上其皮尔逊线性相关系数值达到了0.9397.     

模拟视觉感知系统的无参考模糊图像质量评价

为了获得与人类视觉感知一致的图像质量评价方法, 本文提出一种模拟视觉感知系统的无参考模糊图像质量评价方法. 该方法通过比较不同模糊程度的图像特征的相似度来度量图像质量. 首先, 通过对待测图像进行人工模糊, 获得不同模糊程度的图像. 然后, 通过视网膜模型提取图像的细节信息. 接着, 采用奇异值分解用来获得图像的内部结构信息. 之后, 将待测图像与其它不同模糊度图像之间的细节相似度和奇异值相似度作为度量图像模糊度的特征向量. 最后, 将这些度量特征向量输入支持向量回归模型(SVR)进行训练, 获得最终的图像质量评估模型.在常用数据库上的实验结果表明, 该方法与人眼主观视觉感知的一致性优于比较方法.     

结合图像二次模糊范围和奇异值分解的无参考模糊图像质量评价

针对图像的模糊失真问题,提出一种结合图像二次模糊范围和奇异值分解的无参考图像质量评价方法.首先根据图像二次模糊范围的差异性构建参考图像;然后对失真图像与参考图像进行奇异值分解,利用奇异值向量矩阵的相似度构建失真特性向量;再结合Log-Gabor滤波器组和高斯差分模型进行视觉显著度检测;最终以显著度加权的失真特性向量预测模糊图像的质量得分.大量实验结果表明,与同类算法相比,文中方法能够准确地评价模糊图像质量,与主观评价具有较高的一致性;在LIVE2图像库上,评价指标斯皮尔曼等级相关系数达到0.968 7,均方根误差为4.858 9;该方法无需对数据进行训练,具有较强的实用性和推广性.     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异。通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型。利用生成对抗网络产生与失真图像相对应的视觉感知差异图像,并将其与失真图像输入质量评价网络以进一步学习图像的失真信息,从而达到评估图像质量的目的。在TID2008和TID2013数据库上的实验结果表明,与CNN、SOM、CORNIA等模型相比,该模型能够使失真图像质量预测准确度提升1个百分点以上,且对不同种类失真也表现出良好的预测性能。     

多层感知分解的全参考图像质量评估

目的 图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法 首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果 针对传统方法PSNR（peak signal-to-noise ratio）、SSIM（structure similarity）、MS-SSIM（multi-scale structure similarity）及FSIM（feature similarity）进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC（Spearman rank order correlation coefficient）、KRCC（Kendall rank order correlation coefficient）、PLCC（Pearson linear correlation coefficient）和RMSE（root mean squared error）客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0.02、0.07、0.06和0.04的提升。结论 本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。     

Perceptual image quality assessment metric using mutual information of Gabor features

A good objective metric of image quality assessment (IQA) should be consistent with the subjective judgment of human beings. In this paper, a four-stage perceptual approach for full reference IQA is presented. In the first stage, the visual features are extracted by 2-D Gabor filter that has the excellent performance of modeling the receptive fields of simple cells in the primary visual cortex. Then in the second stage, the extracted features are post-processed by the divisive normalization transform to reflect the nonlinear mechanisms in human visual systems. In the third stage, mutual information between the visual features of the reference and distorted images is employed to measure the visual quality. And in the last pooling stage, the mutual information is converted to the final objective quality score. Experimental results show that the proposed metic has a high correlation with the subjective assessment and outperforms other state-of-the-art metrics.     

基于眼优势的非对称失真立体图像质量评价

针对现有立体图像质量评价算法对非对称失真立体图像的评价准确性及执行效率较低的问题,提出一种基于眼优势的非对称失真立体图像质量评价算法.首先采用梯度幅值响应来模拟左右眼输入的刺激强度,并根据人类视觉系统的眼优势原理分别以左和右视点图像作为主视图合成两幅融合图像;其次,利用旋转不变统一局部二值模式直方图、皮尔逊线性相关系数以及非对称广义高斯模型,获取左右融合图像以及左右梯度幅值响应图像中的多种能够反映立体图像质量好坏的特征;最后,利用自适应增强的支持向量回归模型将感知特征向量映射为图像质量值.在四个基准测试数据库上的实验结果表明:本文所提出算法大幅提升了非对称失真立体图像的评价准确性,且具有较高的执行效率.这些优势说明本文算法所提取的特征描述能力更强,质量映射模型的稳定性更好.     

结合时空特征和视觉感知的全参考视频质量评价

视频失真主要来源于空间和时间失真导致的视频质量退化。针对这两种视频质量退化,提出了一种结合时空特征和视觉感知的全参考视频质量评价方法STPFVQA。首先,使用ResNet50卷积网络从参考视频和失真视频中提取空间感知特征;其次将提取的空间感知特征送入transformer编解码器中,用来构建视频的序列化关系,同时对比参考视频和失真视频,探索失真对视频序列关系造成的影响;然后将transformer的输出送入预测头,形成帧级分数;最后为了模拟人类视觉系统感知的滞后性,从短期、长期和全局记忆效应来综合考虑获得最终的视频质量分数。为了验证方法的可行性,在LIVE、IVC-IC、CSIQ和IVPL四个公开数据集上进行了实验。实验结果表明提出模型更符合人类视觉系统感知情况。在IVC-IC和CSIQ数据集上相比最先进的序列依赖模型（serial dependence modeling,SDM）,SROCC评价指标分别高出2.6%和3.1%,KROCC评价指标高出6.1%和7.9%,PLCC评价指标高出2.3%和5.5%。     

基于几何结构失真模型的图像质量评价研究

客观图像质量评价研究的目的是设计一种和视觉感知保持一致,且适用于各种失真模型的质量评价方法. 传统的结构相似度量质量评价方法忽视了自然图像本身的特点,不能很好地评判某些失真类型图像. 本文根据人眼视觉系统(Human visual system, HVS)在感知图像质量过程中的特点,探索自然图像的本征几何结构特征, 考虑像素点的方向失真、幅度失真和方差失真,提出了一种新型的基于图像几何结构失真模型的完全参考质量评价方法. 在标准数据库上的实验结果表明,本文方法适用于所有失真模型图像数据的质量评价, 计算复杂度相对较低,得到的图像客观评价结果和主观评价方法具有更好的一致性, 能够很好地反映人眼对图像质量的主观感受.     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

Perceived quality measurement of stereoscopic 3D images based on sparse representation and binocular combination

Measurement of the perceived quality of stereoscopic three-dimensional (S3D) images has attracted an increasing amount of research interest in recent years. This paper proposes a S3D image quality measurement (IQM) metric based on sparse representation and binocular combination. The proposed method involves learning binocular and monocular dictionaries from a training database such that the sparse features of binocular combination can be expressed by a linear combination of a few selected basis feature vectors. Following this, scores for the similarity of these sparse features between reference and distorted S3D images are measured. Based on the observation that sparse features are invariant against weak degradations, similarity scores of the features of the gradient magnitude of binocular combination are then computed and used as a complementary feature. Finally, by using kernel-based support vector regression (SVR), these similarity scores are integrated into an overall quality value. Experimental results on three public S3D-IQM datasets show that in comparison with the relevant existing metrics, the devised metric attains significantly high consistency alignment with subjective quality assessment.     

面向水下图像的质量评价方法

目的 针对目前水下图像质量评价方法少和现有方法存在局限性等问题,提出一种无参考并且无需手工设计特征的水下图像质量评价方法。方法 提出的水下图像质量评价方法将深度学习网络框架与随机森林回归模型相结合,首先采用深度神经网络提取水下图像的特征;然后使用提取的特征和标定的水下图像质量分数训练回归模型;最终,利用训练好的回归模型预测水下图像的质量。结果 在本文收集的水下图像数据集和水下图像清晰化算法处理结果上评测本文方法,并与多种质量评价方法进行比较,其中包括预测结果与主观质量分数比较、水下图像清晰化结果评测比较、预测结果与主观质量分数相关性比较、鲁棒性比较等。主观实验结果表明本文的评价方法可以相对准确地给出符合人类视觉感知的水下图像质量分数,并且具有更好的鲁棒性。定量实验结果表明本文方法与其他方法相比,预测的图像质量分数与主观分数具有更高的相关性。结论 提出的水下图像质量评价方法无需参考图像,省去了手工设计的特征,充分利用了深度学习网络的学习和表征能力。本文方法的准确性较好,普适性和鲁棒性较高,预测的质量分数与人类视觉感知具有较高的一致性。本方法适用于原始的水下图像和水下图像清晰化算法的处理结果。