基于GA-SVR模型的无参考立体图像质量评价

针对支持向量回归(SVR)中惩罚因子和径向基函数选取具有较大不确定性和随机性的问题,结合单双目信息与基于遗传算法(GA)的SVR优化模型,提出无参考立体图像质量评价方法。提取左右失真图像的单双目特征,将梯度幅值和拉普拉斯特征作为单目视觉特征。为更好地结合人类双目视觉特性,使左右图像融合成一幅独眼图,对独眼图提取空域自然场景统计特征。利用GA选择、交叉和变异等操作优化SVR参数组合,选出最优的参数组合,引入到SVR中预估左右图像质量。考虑到人眼对于左右失真图像的响应不同,通过增益控制模型融合左右图像质量,从而得到最终的质量评价值。应用该评价方法对宁波大学建立的立体数据测试库进行评价,结果表明其Pearson线性相关系数在0.95以上,Spearman等级相关系数值在0.94以上,与人类主观感知具有高度一致性。     

基于空域NSS的无参考图像质量评价

为了有效地度量不同失真类型的图像质量,提出一种基于自然场景统计(NSS)模型的空域无参考图像质量评价算法。该算法利用自然图像归一化亮度系数的统计特征趋向于服从广义高斯概率分布的特性,首先在空域计算自然图像的梯度,通过梯度密度选取自然图像的兴趣区域,提取兴趣区域图像统计特征,建立多元高斯分布(MVG)模型;然后对测试图像建立同样的MVG模型;最终通过计算测试图像和自然图像在统计规律上的偏差来对测试图像的质量做出评价。实验证明该算法与主观评价具有较好的一致性。     

基于数据挖掘的立体视觉效果评价方法研究

为了提升三维图像立体视觉效果评价质量,研究基于数据挖掘的立体视觉效果评价方法。利用二维Gabor滤波器提取图像的单目特征,即自然场统计特征;按照双目竞争特点融合左右图像,获取独眼图,提取双目特征,即方向梯度直方图特征;级联两个特征,获取左、右图像特征,归一化处理左、右图像特征的局部亮度系数,结合主观立体视觉效果评价分数,输入改进卷积神经网络,训练网络,获取客观立体视觉效果评价模型,在模型内输入测试图像,输出评价分数。实验证明,上述方法可有效评价三维图像的立体视觉效果;卷积核数量为50个,所提方法的评价质量最佳;在评价不同失真类型三维图像时的皮尔森线性相关系数、斯皮尔曼等级相关系数均较高,具备较优的三维图像立体视觉效果评价质量。     

基于张量域感知特征的无参考高动态范围图像质量评价

针对传统的无参考图像质量评价方法不能直接用于高动态范围(HDR)图像的质量评价问题,提出一种基于张量域感知特征的无参考HDR图像质量评价方法.首先通过张量分解得到同时含有亮度失真和色度失真的张量子带图;然后采用自回归(AR)模型来模拟人脑对张量子带图的感知预测,得到张量子带图的感知预测图像;最后采用AR系数表征HDR图像的张量域感知预测特征,结合张量子带图及其感知预测图的动态范围、亮区域占比的特征,使用支持向量回归模型进行回归映射得到图像的客观质量评价分数.在Nantes和EFPL这2个公开的HDR图像库上的实验结果表明,该方法与主观感知具有很好的一致性,评价指标SROCC和PLCC的值均超过0.93, RMSE分别为0.3047和0.3771.     

基于交互式卷积神经网络的立体图像质量评价

目前立体图像质量评价算法缺乏可靠的预测性能，主要表现在研究人类视觉系统时生物学理论薄弱，并且已有的浅层模型无法模拟出视觉信息复杂的处理过程。针对上述问题，提出一种基于交互式卷积神经网络的无参考立体图像质量评价算法。根据初级视觉区域的双目视觉机制，融合左、右视图生成独眼特征图，并采用高斯差分算法提取左、右视图边缘信息，计算边缘求和以及差分特征图；搭建交互式卷积神经网络，整合特征图，实现深度特征学习和质量回归预测。在LIVE立体图像库上的Pearson线性相关系数(Pearson Linear Correlation Coefficient, PLCC)达到0.95以上，结果表明采用该算法能有效地解决失真立体图像质量评价问题。     

面向彩色增强图像的客观质量评价算法

目的 现有的全参考图像质量评价方法使用“完美”的源信号作为参考,但是增强图像的参考图像通常不是“完美”的.因此,现有的全参考质量评价方法不能用于增强图像的评价,提出了一种新的面向彩色增强图像的质量评价算法.方法 利用图像的梯度、颜色和亮度特征,提出了增强图像的梯度增强图、颜色增强图和亮度增强因子的计算方法,计算增强图像相对于参考图像在梯度、颜色和亮度方面的增强程度;并建立了亮度增强因子和梯度增强图、颜色增强图之间的关系模型;另外,原图像的梯度和颜色特征也被提取用于增强图像的质量评价.结果 使用公开数据库进行的实验结果表明,该算法和现有最优算法相比,皮尔逊线性相关系数(PLCC)和斯皮尔曼相关系数(SROCC)分别提高了2.9%和2.5%,而均方根误差(RMSE)则降低了12.3%,获得了比现有算法更优越的性能.结论 本文算法解决了目前已有的评价算法需要参考图像为“完美”图像,而且增强图像质量无法采用相似性程度进行计算的问题,适用于为了获得更好视觉质量的不含噪增强图像的质量评价.     

利用多核增强学习的立体图像舒适度评价模型

目的 传统的立体视觉舒适度评价模型,在学习阶段一般采用回归算法,且需要大量的包含主观测试数据的训练样本,针对这个问题,提出一种利用多核增强学习分类算法的立体图像舒适度评价模型。方法 首先,考虑人们在实际观测图像时,对于先后观测到的不同图像进行相互比较的情况,将评价模型看成是偏好分类器,构造包含偏好标签的偏好立体图像对（PSIP）,构成PSIP训练集;其次,提取多个视差统计特征和神经学模型响应特征;然后,利用基于AdaBoost的多核学习算法来建立偏好标签与特征之间的关系模型,并分析偏好分类概率（即相对舒适度概率）与最终的视觉舒适度之间的映射关系。结果 在独立立体图像库上,与现有代表性回归算法相比较,本文算法的Pearson线性相关系数（PLCC）在0.84以上,Spearman等级相关系数（SRCC）在0.80以上,均优于其他模型的各评价指标;而在跨库测试中,本文算法的PLCC、SRCC指标均优于传统的支持向量回归算法。结论 相比于传统的回归算法,本文算法具有更好的评价性能,能够更为准确地预测立体图像视觉舒适度。     

彩色立体图像质量评价方法

现有的大多数立体图像质量评价方法都是将彩色图像转换为灰度图像,从而丧失了色彩信息,不利于对彩色立体图像作出正确评价,针对这一问题,提出了一种彩色立体图像质量评价方法。首先,通过对参考图像对和失真图像对分别进行主成分分析(PCA)融合生成彩色图像,利用彩色小波变换分别提取彩色融合图像的低频系数;然后,把低频系数信息用四元数表示,即将低频系数的色相分量局部均值作为四元数的实部,三基色分量作为四元数的虚部,通过四元数奇异值分解得到奇异值特征向量;最后,对参考图像和失真图像的奇异值特征向量作余弦夹角、巴氏距离、卡方距离,分别作为立体图像质量评价指标。该方法在德克萨斯大学公布的对称失真立体图像库和非对称失真立体图像库分别进行验证,线性相关系数和斯皮尔曼等级相关系数(SROCC)在对称失真库中可高达0.919和0.923,与主观评价吻合度很高。     

多核学习纹理特征的立体图像质量评价

为了有效地评价各种失真类型双目立体图像的质量,提出利用多核学习机学习立体图像平面纹理信息和3D映射信息的通用无参考立体图像质量评价IQA方法。该方法首先利用立体匹配模型对左右视图进行处理,获得相应的视差图DM和误差能量图DMEE;对左右视图、视差图和误差能量图进行相位一致性和结构张量变换,获得它们的平坦区和边缘区;分别提取左右视图两个区域纹理特征作为平面信息,提取视差图的纹理特征和误差能量图的统计特征作为3D信息;将所有特征作为多核学习机的输入,利用多核学习的信息融合能力预测待测失真立体图像质量。由于充分利用了立体图像的左右视图、视差图和误差能量图的失真信息,以及多核学习的信息融合能力,该方法具有很好的前景。在LIVE 3D图像质量数据库上的实验表明,该方法与主观质量有较高一致性,与现有的双目立体质量评价方法相比有很大的竞争力。     

基于非零均值广义高斯模型与全局结构相关性的BRISQUE改进算法

为解决经典无参考图像空域质量评价(BRISQUE)算法中图像质量敏感特征描述能力弱的问题,进一步提高BRISQUE算法的准确性和鲁棒性,提出一种基于非零均值广义高斯模型与全局结构相关性的改进算法(IBRISQUE).首先用非零均值对称广义高斯模型从均值减损对比度归一化(MSCN)系数映射图中提取图像质量敏感特征;然后用非零均值非对称广义高斯模型在水平、垂直、主对角线和次对角线4个方向从MSCN系数映射图的相邻系数中提取反映局部结构失真的图像质量敏感特征;最后计算水平、垂直、主对角线和次对角线4个方向MSCN系数映射图的相邻系数的皮尔逊相关系数(PLCC)值,将其作为新增的反映全局结构失真的图像质量敏感特征.在LIVE和TID2013基准测试数据库上的实验结果表明,与当前主流图像质量评价算法相比,IBRISQUE算法具有更高的预测准确性,同时执行效率基本保持了与BRISQUE算法相当的水平,综合性能更优.     

基于单目和双目视觉信息的全参考立体图像质量评价模型

在立体图像质量评价领域,有效地模拟人类视觉系统对图像质量进行评价具有重要意义,考虑到人眼的视觉感知特性,基于单目和双目视觉信息构建一种立体图像质量评价模型MB-FR-SIQA。采用基于结构相似性的立体视差算法得到参考和失真立体图像的视差矩阵,结合Gabor能量响应图、显著性图和视差矩阵生成中间视图,并优化左右眼加权系数计算方法,以提高生成中间视图的准确性。分别利用单目图像和中间视图提取单目和双目视觉信息,计算单目质量分数和双目质量分数,并融合得到立体图像的质量分数,达到评价立体图像质量的目的。实验结果表明,MB-FR-SIQA模型在LIVE-I数据库上具有较高的预测精度,其斯皮尔曼等级相关系数、皮尔森线性相关系数、均方根误差分别为0.945、0.951、5.318,且预测的质量分数符合人类主观评估。     

Depth‐map generation for multi‐view autostereoscopic 3‐D displays based on the SIFT algorithm constrained by boundary

Abstract— A depth‐map estimation method, which converts two‐dimensional images into three‐dimensional (3‐D) images for multi‐view autostereoscopic 3‐D displays, is presented. The proposed method utilizes the Scale Invariant Feature Transform (SIFT) matching algorithm to create the sparse depth map. The image boundaries are labeled by using the Sobel operator. A dense depth map is obtained by using the Zero‐Mean Normalized Cross‐Correlation (ZNCC) propagation matching method, which is constrained by the labeled boundaries. Finally, by using depth rendering, the parallax images are generated and synthesized into a stereoscopic image for multi‐view autostereoscopic 3‐D displays. Experimental results show that this scheme achieves good performances on both parallax image generation and multi‐view autostereoscopic 3‐D displays.     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning

As the demand for high-quality stereo images has grown in recent years, stereoscopic image quality assessment (SIQA) has become an important research area in modern image processing technology.In this paper, we propose a no-reference stereoscopic image quality assessment (NR-SIQA) model using heterogeneous ensemble learning ‘quality-aware’ features from luminance image, chrominance image, disparity and cyclopean images via quaternion wavelet transform (QWT). Firstly, luminance image and chrominance image are generated by CIELAB color space as monocular perception, and the novel disparity and cyclopean images are utilized to complement with monocular information. Then, a number of ‘quality-aware’ features in the quaternion wavelet domain are discovered, including entropy, texture features, energy features, energy differences features and MSCN coefficients of high frequency sub-band. Finally, a heterogeneous ensemble model via support vector regression (SVR) & extreme learning machine (ELM) & random forest (RF) is proposed to predict quality score, and bootstrap sampling and rotated feature space are used to increase the diversity of data distribution. Comparing with the state-of-the-art NR-SIQA models, experimental results on four public databases prove the accuracy and robustness of the proposed model.     

基于色彩空间自然场景统计的无参考图像质量评价

RGB色彩空间中各色彩分量间存在强相关性, 图像发生失真会改变各分量间的相关性. 基于此, 本文提出了一种新的通用无参考图像质量评价方法. 首先, 根据人类视觉对RGB色彩空间中绿色分量更为敏感的颜色感知特性, 提取了G分量MSCN系数及其4方向邻域系数的统计特征; 其次, 在分析RGB色彩空间中R、G及B分量间相关性的基础上, 分别计算RGB色彩空间各色彩分量及其纹理、相位间的互信息, 利用互信息作为统计特征来描述其各分量间的相关性; 进而, 结合上述统计特征, 分别利用SVR和SVC构建无参考图像质量评价模型和图像失真类型识别模型; 最后, 在LIVE、CSIQ 及TID2008图像质量评价数据库上进行了算法与DMOS (Different mean opinion score)的相关性、失真类型识别及计算复杂性等方面的实验. 实验结果表明, 本文方法的评价结果与人类主观评价具有高度的一致性, 在LIVE 数据库上的斯皮尔曼等级相关系数和皮尔逊线性相关系数均在0.942以上; 而且, 图像失真类型识别模型的识别准确率也高达93.59%, 明显高于当今主流无参考图像质量评价方法.     

基于结构失真分析的立体图像质量客观评价模型

在立体图像?视频系统编码、传输、解码等环节中,立体图像质量评价是图像失真的一个重要评判准则.考虑到图像结构特性能较好地反映立体图像质量变化,提出一种基于结构失真的立体图像质量客观评价模型,该模型包括左右视点图像质量和深度感知质量评价两部分.首先根据人眼对图像中不同区域的敏感度存在差异且自然图像具有一定方向奇异性的特性,得到左右视点图像质量评价值;然后利用左右视点的绝对差值图像,采用奇异值向量差异和均值偏差率来描述立体图像深度感的畸变;最后融合前面两部分的评价值得到最终的立体图像质量评价值.实验结果表明,文中模型与主观感知存在较好的一致性,对于高斯模糊、高斯白噪声、JPEG压缩、JP2000压缩以及H.264编码,其评价结果与主观感知之间的相关系数高于0.93,Spearman秩相关系数高于0.92,均方误差低于6.6.     

面部美化图像质量无参考评价方法

针对目前面部美化已被广泛研究,然而缺乏有效美化图像质量评价方法限制美化技术进一步发展的问题,提出一种面部美化图像质量的无参考评价方法。该方法结合面部美感的认知与感知和面部美化技术以挖掘美化图像的质量表示,首先构建面部美化图像数据库,将面部图像分解为皮肤、眼睛和嘴巴三种区域,然后从肤色、光滑度、光照、灰度差和清晰度等五个方面提取面部美学特征,最后用支持向量回归（SVR）训练面部美化质量模型并预测美化图像的质量。实验结果表明,所提方法在构建的数据库上Pearson线性相关系数和Spearman等级相关系数分别达到0.920 5和0.900 9,优于BIQI（Blind Image Quality Indices）、NIQE（Natural Image Quality Evaluation）图像质量评价方法。     

图像与视频质量评价综述

图像/视频的获取及传输过程中,由于物理环境及算法性能的限制,其质量难免会出现无法预估的衰减,导致其在实际场景中的应用受到限制,并对人的视觉体验造成显著影响。因此,作为计算机视觉领域的一项重要任务,图像/视频质量评价应运而生。其目的在于通过构建计算机数学模型来衡量图像/视频中的失真信息以判断其质量的好坏,达到自动预测质量的效果。在城市生活、交通监控以及多媒体直播等多个场景中具有广泛的应用前景。图像/视频质量评价研究取得了长足的发展,为计算机视觉领域中其他任务提供了一定的便利。本文在广泛调研前人研究的基础上,回顾了整个图像/视频质量评价领域的发展历程,分别列举了传统方法和深度学习方法中一些具有里程碑意义的算法和影响力较大的算法,然后从全参考、半参考和无参考3个方面分别对图像/视频质量评价领域的一些文献进行了综述,具体涉及的方法包含基于结构信息、基于人类视觉系统和基于自然图像统计的方法等;在LIVE(laboratory for image & video engineering)、CSIQ(categorical subjective image quality database)、TID2013等公开数据集的基础上,基于SROCC(Spearman rank order correlation coefficient)、PLCC(Pearson linear correlation coefficient)等评价指标,对一些具有代表性算法的性能进行了分析;最后总结当前质量评价领域仍存在的一些挑战与问题,并对其进行了展望。本文旨在为质量评价领域的研究人员提供一个较全面的参考。     

Blind image quality assessment with the histogram sequences of high-order local derivative patterns

Automatic assessment of the perceptual quality of digital image is an important and challenging issue in computer vision. Although human visual system (HVS) is sensitive to degradations on spatial structures, most of the existing methods do not take into account the spatial distribution of local structures. This paper reports a novel approach coined high-order local derivative pattern (LDP) based metric (HOLDPM). In particular, HOLDPM extracts local image structures with LDPs in multi-directions to yield an accurate assessment of image quality. HOLDPM is extensively evaluated on three large-scale public databases. Experimental results demonstrate that HOLDPM is able to achieve high assessment accuracy. Besides, objective assessment result of the HOLDPM is consistent with the subjective assessment result of the HVS. Specifically, the experimental results also indicate that HOLDPM outperforms most of the state-of-the-art methods in distortion specific tests. Additionally, HOLDPM shows competitive overall performance when measured with the weighted average of Spearman rank-order correlation coefficient (SROCC) and the weighted average of Pearson linear correlation coefficient (PLCC) over the test databases.