立体图像的视觉感知质量无参考评价方法

为了提高立体图像客观质量评价与人眼感知结果的一致性,改善立体内容的视觉体验效果,考虑到人眼对立体图中不同区域的关注度和不同深度值的立体感都具有差异性的问题,提出基于视觉感知特性的立体质量评价方法.首先引入视觉显著度模型选取人眼感兴趣区域,生成该区域的深度图;然后通过深度最小可觉察误差模型确定人眼对深度图像素值的可感知范围和敏感度因子;最后计算深度的相对层次,得出立体感客观质量值.实验结果表明,该方法的结果与主观质量值之间的相关系数高于0.9,均方误差低于5.4,两者存在较好的一致性,并且优于已有方法的结果.     

基于眼优势的非对称失真立体图像质量评价

针对现有立体图像质量评价算法对非对称失真立体图像的评价准确性及执行效率较低的问题,提出一种基于眼优势的非对称失真立体图像质量评价算法.首先采用梯度幅值响应来模拟左右眼输入的刺激强度,并根据人类视觉系统的眼优势原理分别以左和右视点图像作为主视图合成两幅融合图像;其次,利用旋转不变统一局部二值模式直方图、皮尔逊线性相关系数以及非对称广义高斯模型,获取左右融合图像以及左右梯度幅值响应图像中的多种能够反映立体图像质量好坏的特征;最后,利用自适应增强的支持向量回归模型将感知特征向量映射为图像质量值.在四个基准测试数据库上的实验结果表明:本文所提出算法大幅提升了非对称失真立体图像的评价准确性,且具有较高的执行效率.这些优势说明本文算法所提取的特征描述能力更强,质量映射模型的稳定性更好.     

基于深度学习的无参考立体图像质量评价

立体图像质量评价是评价立体视频系统性能的有效途径,而如何结合人类的视觉特性对立体图像质量进行评价是目前的研究难点.为此提出一种基于深度学习的无参考立体图像质量评价方法,分为训练和测试2个阶段.在训练阶段,首先对左右图像分别进行Gabor滤波,获取不同尺度和方向的统计特征作为单目特性;然后根据人眼视觉系统的双目竞争特性,将左右图像融合得到独眼图,提取其方向梯度直方图作为双目特征;最后通过深度信念网络训练得到特征和主观评价值之间的回归模型.在测试阶段,根据已建立的回归模型,预测得到左右图像质量并联合得到立体图像质量.实验结果表明,文中方法在对称和非对称立体图像数据库都取得了较好的效果,与人类的主观感知保持良好的一致性.     

基于偏度和结构特征的无参考虚拟视点图像质量评价

针对虚拟视点图像存在与普通图像不同失真的问题,提出了一种基于偏度和结构特征的无参考虚拟视点图像质量评价方法.首先,将输入图像分为H、S、V三个通道,每个通道都均分为九个小块,对每个小块提取偏度特征;然后,利用局部二值模式算子对结构特征映射进行编码,计算质量感知分数;最后,将偏度特征和结构特征输入支持向量机进行训练,得到无参考的虚拟视点图像回归与视觉质量预测模型来预测图像质量.在IRCCyN/IVC和MCL-3D两个公共虚拟视点图像数据库上对提出方法进行了实验.实验结果表明,提出方法的皮尔逊线性相关系数(PLCC)分别为0.8538和0.9534,斯皮尔曼秩相关系数(SROCC)分别为0.7966和0.9159.提出方法的PLCC和SROCC均高于自回归加阈值(APT)等10个虚拟视点图像质量评价方法和BRISQUE等6个通用的无参考质量评价方法.该方法采用的偏度和结构特征能很好地评价虚拟视点图像的视觉质量,评价结果与主观感知有较好的一致性.     

基于偏度和结构特征的无参考虚拟视点图像质量评价

针对虚拟视点图像存在与普通图像不同失真的问题,提出了一种基于偏度和结构特征的无参考虚拟视点图像质量评价方法.首先,将输入图像分为H、S、V三个通道,每个通道都均分为九个小块,对每个小块提取偏度特征;然后,利用局部二值模式算子对结构特征映射进行编码,计算质量感知分数;最后,将偏度特征和结构特征输入支持向量机进行训练,得到无参考的虚拟视点图像回归与视觉质量预测模型来预测图像质量.在IRCCyN/IVC和MCL-3D两个公共虚拟视点图像数据库上对提出方法进行了实验.实验结果表明,提出方法的皮尔逊线性相关系数(PLCC)分别为0.8538和0.9534,斯皮尔曼秩相关系数(SROCC)分别为0.7966和0.9159.提出方法的PLCC和SROCC均高于自回归加阈值(APT)等10个虚拟视点图像质量评价方法和BRISQUE等6个通用的无参考质量评价方法.该方法采用的偏度和结构特征能很好地评价虚拟视点图像的视觉质量,评价结果与主观感知有较好的一致性.     

基于小波变换的无参考立体图像质量评价

立体图像质量评价是图像处理领域中一项重要技术,现有的2D图像质量评价方法并不能很好地应用于立体图像。为了更好地评价立体图像质量,提出了一种基于小波变换提取左右图像及其合成图像特征的无参考立体图像质量评价方法。该方法首先通过对失真的立体左右图像计算合成图像;再通过小波分解提取左右图像及其合成图像的小波系数,获取小波子带能量作为立体图像质量感知特征;最后通过支持向量回归建立立体图像特征与主观得分的关系模型,来预测和得到立体图像质量的客观评价得分。实验结果表明,与现有无参考立体图像质量评价方法相比较,该客观评价模型可以获得更好的主观感知一致性,更加符合人眼视觉系统。     

基于GA-SVR模型的无参考立体图像质量评价

针对支持向量回归(SVR)中惩罚因子和径向基函数选取具有较大不确定性和随机性的问题,结合单双目信息与基于遗传算法(GA)的SVR优化模型,提出无参考立体图像质量评价方法。提取左右失真图像的单双目特征,将梯度幅值和拉普拉斯特征作为单目视觉特征。为更好地结合人类双目视觉特性,使左右图像融合成一幅独眼图,对独眼图提取空域自然场景统计特征。利用GA选择、交叉和变异等操作优化SVR参数组合,选出最优的参数组合,引入到SVR中预估左右图像质量。考虑到人眼对于左右失真图像的响应不同,通过增益控制模型融合左右图像质量,从而得到最终的质量评价值。应用该评价方法对宁波大学建立的立体数据测试库进行评价,结果表明其Pearson线性相关系数在0.95以上,Spearman等级相关系数值在0.94以上,与人类主观感知具有高度一致性。     

基于几何结构失真模型的图像质量评价研究

客观图像质量评价研究的目的是设计一种和视觉感知保持一致,且适用于各种失真模型的质量评价方法. 传统的结构相似度量质量评价方法忽视了自然图像本身的特点,不能很好地评判某些失真类型图像. 本文根据人眼视觉系统(Human visual system, HVS)在感知图像质量过程中的特点,探索自然图像的本征几何结构特征, 考虑像素点的方向失真、幅度失真和方差失真,提出了一种新型的基于图像几何结构失真模型的完全参考质量评价方法. 在标准数据库上的实验结果表明,本文方法适用于所有失真模型图像数据的质量评价, 计算复杂度相对较低,得到的图像客观评价结果和主观评价方法具有更好的一致性, 能够很好地反映人眼对图像质量的主观感受.     

一种基于掩盖效应的感知域图像质量评价方法

图像的压缩编码技术及其比特流在信息空间上的传输控制，为图像质量的评价提出了新课题。通过分析人类视觉系统(HVS)的视觉非线性、多通道及掩盖效应等特性，建立起相应的图像视觉处理模型，并将原始图像与降质图像变换到感知域进行误差分析。在处理HVS模型的多通道中，将图像的空间频率按视觉系统的掩盖效应特点，分成5个带分别进行滤波，以模拟人眼对图像的主观质量评价特性。实验结果表明这种模拟多通道的图像感知域评价模型，得到的HVS值能充分反映人类视觉系统的掩盖效应的特点，用于对图像质量的评价该模型通用性好，与主观评价结果高度一致。     

基于单目和双目视觉信息的全参考立体图像质量评价模型

在立体图像质量评价领域,有效地模拟人类视觉系统对图像质量进行评价具有重要意义,考虑到人眼的视觉感知特性,基于单目和双目视觉信息构建一种立体图像质量评价模型MB-FR-SIQA。采用基于结构相似性的立体视差算法得到参考和失真立体图像的视差矩阵,结合Gabor能量响应图、显著性图和视差矩阵生成中间视图,并优化左右眼加权系数计算方法,以提高生成中间视图的准确性。分别利用单目图像和中间视图提取单目和双目视觉信息,计算单目质量分数和双目质量分数,并融合得到立体图像的质量分数,达到评价立体图像质量的目的。实验结果表明,MB-FR-SIQA模型在LIVE-I数据库上具有较高的预测精度,其斯皮尔曼等级相关系数、皮尔森线性相关系数、均方根误差分别为0.945、0.951、5.318,且预测的质量分数符合人类主观评估。     

考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

用户多维感知的3D图像体验质量评价

目的 符合用户视觉特性的3维图像体验质量评价方法有助于准确、客观地体现用户观看3D图像或视频时的视觉感知体验,从而给优化3维内容提供一定的思路。现有的评价方法仅从图像失真、深度感知和视觉舒适度中的一个维度或两个维度出发对立体图像进行评价,评价结果的准确性有待进一步提升。为了更加全面和准确地评价3D图像的视觉感知体验,提出了一种用户多维感知的3D图像体验质量评价算法。方法 首先对左右图像的差异图像和融合图像提取自然场景统计参数表示失真特征;然后对深度图像提取敏感区域,对敏感区域绘制失真前后深度变换直方图,统计深度变化情况以及利用尺度不变特征变换（SIFT）关键点匹配算法计算匹配点数目,两者共同表示深度感知特征;接下来对视觉显著区域提取视差均值、幅值表示舒适度特征;最后综合考虑图像失真、深度感知和视觉舒适度3个维度特征,将3个维度特征归一化后联合成体验质量特征向量,采用支持向量回归（SVR）训练评价模型,并得到最终的体验质量得分。结果 在LIVE和Waterloo IVC数据库上的实验结果表明,所提出的方法与人们的主观感知的相关性达到了0.942和0.858。结论 该方法充分利用了立体图像的特性,评价结果优于比较的几种经典算法,所构建模型的评价结果与用户的主观体验有更好的一致性。     

基于多元特征的立体图像质量评价方法

立体图像质量评价（SIQA）是评估立体成像系统性能的一种有效方法。考虑到深度信息是立体图像的重要特征,提出一种结合卷积神经网络（CNN）与立体图像深度显著性特征的无参考SIQA方法。分别利用改进显著特征检测模型和高斯差分滤波器提取立体图像的显著特征和深度特征,并通过小波变换融合两者得到深度显著性特征。在此基础上,将深度显著性特征、对比度特征和亮度系数归一化特征作为输入特征对CNN进行模型训练,从而预测图像的质量分数。该方法在LIVE 3D IQA Phase Ⅰ、Phase Ⅱ、NBU 3D IQA图像库上的皮尔森线性相关系数分别为0.948、0.962、0.943,斯皮尔曼秩相关系数分别为0.937、0.961、0.902,在Phase II、NBU 3D IQA跨数据库上的斯皮尔曼秩相关系数分别为0.832、0.673。实验结果表明,该方法预测的质量分数符合人类主观感知,且具有较好的适用性和鲁棒性。     

三维重定向图像主观和客观质量评价方法

三维（S3D）图像重定向技术的作用是调整S3D图像的宽高比。为准确和客观地衡量三维重定向图像的视觉质量，建立了一个S3D重定向图像质量评价数据库。首先，使用八种具有代表性的三维重定向算法对45幅原始图像按两种重定向尺度进行分辨率调整，共生成720幅三维重定向图像；然后，每幅重定向图像通过主观测试，得到相应的主观打分值；最后，对主观分数进行处理，得到平均主观意见分（MOS）值。在此基础上，提出一种三维重定向图像客观质量评价方法，即通过提取S3D重定向图像的深度感特征、视觉舒适度特征和左右视点的图像质量特征，使用支持向量回归预测得到S3D重定向图像的视觉质量。在提出的数据库上进行测试可以得知，所提方法的Pearson线性相关系数高于0.82，Spearman等级系数高于0.81，表明其能有效预测S3D重定向图像的视觉质量。     

Perceptual quality assessment of stereoscopic images based on local and global visual characteristics

The quality assessment of stereoscopic images has attracted considerable attention and become an important issue in 3D multimedia applications. The 3D image quality assessment (IQA) encounters many challenges and simple extension of the 2D quality metrics to the 3D case is not satisfying. In this paper, we propose a new perceptual quality assessment scheme for stereoscopic 3D images by considering the local and global visual characteristics. The design of this scheme is motivated by studies on the perception of distorted stereoscopic images. To be more specific, after the log-Gabor filter processing, the local amplitude and phase from the left and right views of the reference and distorted 3D images are utilized as features in local quality evaluation. Meanwhile, the global structure changes of the left and right views are also incorporated into the final quality pooling. The overall 3D quality score is obtained by combining the local and global quality indexes together. The effectiveness of the designed metric is verified on publicly available 3D image quality assessment databases. Experimental results show that the proposed scheme exhibits better performance than other related algorithms in terms of consistency with subjective assessment of stereoscopic 3D images.

     

No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning

As the demand for high-quality stereo images has grown in recent years, stereoscopic image quality assessment (SIQA) has become an important research area in modern image processing technology.In this paper, we propose a no-reference stereoscopic image quality assessment (NR-SIQA) model using heterogeneous ensemble learning ‘quality-aware’ features from luminance image, chrominance image, disparity and cyclopean images via quaternion wavelet transform (QWT). Firstly, luminance image and chrominance image are generated by CIELAB color space as monocular perception, and the novel disparity and cyclopean images are utilized to complement with monocular information. Then, a number of ‘quality-aware’ features in the quaternion wavelet domain are discovered, including entropy, texture features, energy features, energy differences features and MSCN coefficients of high frequency sub-band. Finally, a heterogeneous ensemble model via support vector regression (SVR) & extreme learning machine (ELM) & random forest (RF) is proposed to predict quality score, and bootstrap sampling and rotated feature space are used to increase the diversity of data distribution. Comparing with the state-of-the-art NR-SIQA models, experimental results on four public databases prove the accuracy and robustness of the proposed model.     

模拟视觉感知系统的无参考模糊图像质量评价

为了获得与人类视觉感知一致的图像质量评价方法, 本文提出一种模拟视觉感知系统的无参考模糊图像质量评价方法. 该方法通过比较不同模糊程度的图像特征的相似度来度量图像质量. 首先, 通过对待测图像进行人工模糊, 获得不同模糊程度的图像. 然后, 通过视网膜模型提取图像的细节信息. 接着, 采用奇异值分解用来获得图像的内部结构信息. 之后, 将待测图像与其它不同模糊度图像之间的细节相似度和奇异值相似度作为度量图像模糊度的特征向量. 最后, 将这些度量特征向量输入支持向量回归模型(SVR)进行训练, 获得最终的图像质量评估模型.在常用数据库上的实验结果表明, 该方法与人眼主观视觉感知的一致性优于比较方法.