基于眼优势的非对称失真立体图像质量评价

针对现有立体图像质量评价算法对非对称失真立体图像的评价准确性及执行效率较低的问题,提出一种基于眼优势的非对称失真立体图像质量评价算法.首先采用梯度幅值响应来模拟左右眼输入的刺激强度,并根据人类视觉系统的眼优势原理分别以左和右视点图像作为主视图合成两幅融合图像;其次,利用旋转不变统一局部二值模式直方图、皮尔逊线性相关系数以及非对称广义高斯模型,获取左右融合图像以及左右梯度幅值响应图像中的多种能够反映立体图像质量好坏的特征;最后,利用自适应增强的支持向量回归模型将感知特征向量映射为图像质量值.在四个基准测试数据库上的实验结果表明：本文所提出算法大幅提升了非对称失真立体图像的评价准确性,且具有较高的执行效率.这些优势说明本文算法所提取的特征描述能力更强,质量映射模型的稳定性更好.     

基于双目融合的无参考立体图像质量评价

针对对称失真和非对称失真图像的评价问题,提出了一种基于双目融合的无参考立体图像质量评价方法。首先,分别将立体图像的左、右视点图像分解成拉普拉斯金字塔序列,利用图像平均梯度和区域能量确定各层融合系数,在双目加权模型的基础上逐层融合两序列并重构合成图像。然后,提取左、右视点图像、合成图像的多尺度多方向频域变换特征和对比度、熵、能量、逆差分矩特征。最后,将特征参数作为支持向量回归模型的输入进行训练并预测图像质量。在LIVE 3D phaseⅠ和LIVE 3D phaseⅡ图像库上作相关性分析,其Pearson线性相关系数和Spearman等级相关系数均分别达到0.96和0.95以上。结果表明,本文方法对立体图像质量的预测结果与主观评价值具有较高的一致性。     

基于单目和双目视觉信息的全参考立体图像质量评价模型

在立体图像质量评价领域,有效地模拟人类视觉系统对图像质量进行评价具有重要意义,考虑到人眼的视觉感知特性,基于单目和双目视觉信息构建一种立体图像质量评价模型MB-FR-SIQA。采用基于结构相似性的立体视差算法得到参考和失真立体图像的视差矩阵,结合Gabor能量响应图、显著性图和视差矩阵生成中间视图,并优化左右眼加权系数计算方法,以提高生成中间视图的准确性。分别利用单目图像和中间视图提取单目和双目视觉信息,计算单目质量分数和双目质量分数,并融合得到立体图像的质量分数,达到评价立体图像质量的目的。实验结果表明,MB-FR-SIQA模型在LIVE-I数据库上具有较高的预测精度,其斯皮尔曼等级相关系数、皮尔森线性相关系数、均方根误差分别为0.945、0.951、5.318,且预测的质量分数符合人类主观评估。     

基于视差信息的无参考立体图像质量评价

近年来,随着深度学习在图像质量评价领域的快速发展,平面图像质量评价得到了有效的改善,但是立体图像质量评价还有待提高。为此,文中结合三分支卷积神经网络,提出了基于视差信息的无参考立体图像质量评价方法,并分析了不同视差图对模型性能的影响。该方法将左右视图以及视差图小块作为输入,自动提取特征,通过训练得到回归模型,从而实现对立体图像的预测。文中使用了5种不同立体匹配算法来生成视差图,实验结果表明使用SAD算法得到的效果最好。在立体图像库LIVE3D和MCL3D上的实验结果表明,该方法不仅适用于评估对称失真图像,还适用于非对称失真的立体图像评价。该方法在总体失真上的结果优于其他对比算法,尤其是在MCL3D图像库上,所提方法的PLCC和SROCC比其他方法高出1%和4%。实验数据表明,所提模型提高了立体图像质量评价的性能,与人类主观感知高度一致。     

基于多元特征的立体图像质量评价方法

立体图像质量评价（SIQA）是评估立体成像系统性能的一种有效方法。考虑到深度信息是立体图像的重要特征,提出一种结合卷积神经网络（CNN）与立体图像深度显著性特征的无参考SIQA方法。分别利用改进显著特征检测模型和高斯差分滤波器提取立体图像的显著特征和深度特征,并通过小波变换融合两者得到深度显著性特征。在此基础上,将深度显著性特征、对比度特征和亮度系数归一化特征作为输入特征对CNN进行模型训练,从而预测图像的质量分数。该方法在LIVE 3D IQA Phase Ⅰ、Phase Ⅱ、NBU 3D IQA图像库上的皮尔森线性相关系数分别为0.948、0.962、0.943,斯皮尔曼秩相关系数分别为0.937、0.961、0.902,在Phase II、NBU 3D IQA跨数据库上的斯皮尔曼秩相关系数分别为0.832、0.673。实验结果表明,该方法预测的质量分数符合人类主观感知,且具有较好的适用性和鲁棒性。     

基于感知视觉重要性的立体图像质量评价

视觉心理、生理因素是有效、准确评价图像质量的重要依据.尽管在计算层面已有众多视觉心理、生理计算模型及方法为其提供支持,但在图像质量评价任务中如何分析各种孤立方法之间的内在关系进而使之有效协同,是使得评价结果更符合人主观评测的关键.从图像质量评价的角度出发,功能上将人眼的视觉注意区域定义并数学形式化为视觉初期注意区域与视觉转移期的劣质区域;同时考虑人眼的感知冗余特性,结合JND感知冗余模型,进而提出了图像质量评价范畴下的视觉感知模型PVSSIM.以此为依据,将感知视觉的方法在二维图像数据库中验证其可行性,并将其引入到立体图像质量评价中.实验结果表明,提出的客观评价方法与传统方法相比,充分考虑到了图像质量评价任务中各种视觉心理、生理因素的协同,与人主观的图像质量评价相比具有更高的相关度,评价方法在立体图像库中能很好地与主观评价相吻合,达到了预期的效果.     

视觉关注度的立体图像质量评价

立体图像质量评价对立体视频技术的发展起着非常重要的作用。常用的PSNR(峰值信噪比)方法不能反映人类视觉感知特性,也不能直接应用到立体图像质量评价中。针对人类视觉对立体图像深度感知和重点关注感兴趣区的特点,提出基于纹理图和深度图感兴趣区的质量评价方法。首先对纹理图和对应的深度图利用视觉关注度提取工具提取感兴趣区,然后在评价的过程中对各感兴趣区根据感兴趣程度分配基于像素的权重系数,最后将权重系数应用在立体图像的各个区域中进行评价。实验结果表明该方法得到的立体图像质量客观评价结果与主观评价结果之间具有更好的一致性,符合人眼视觉系统感知特性。     

图像重定向质量评价的研究进展

随着移动显示设备的普及,人们可以使用不同的终端设备来获取图像信息。为了适配不同尺寸的设备,图像重定向技术应运而生,并成为当前研究的热点。尽管该技术在近年来取得了长足进步,但没有算法能够保证在不降低视觉内容质量的前提下满足多种显示设备的要求。换句话说,在图像重定向的过程中,不可避免地会引入失真,降低用户的视觉体验。因此,如何客观、准确地评价重定向图像质量对图像重定向算法的选择、优化及发展至关重要。当前,研究人员已针对图像重定向质量评价开展了一系列研究,并取得了一定的研究成果。但是缺乏对图像重定向质量评价的综述,因此本文对当前图像重定向质量评价的研究进展进行了较为全面的回顾和总结。首先简单介绍了图像重定向以及传统图像质量评价;然后分别介绍图像重定向质量评价的数据集和客观质量评价方法,将现有的客观质量评价分为基于传统特征相似性的方法和基于图像配准的方法两类,并分析了两类方法的优缺点;接着在3个数据集上对具有代表性的算法的性能进行了对比分析;最后,总结了当前图像重定向质量评价领域面临的问题和挑战,并指明了未来可能的发展方向。     

基于人类视觉系统的立体图像质量评价方法

随着立体图像的大规模发展,很多应用场合需要能够迅速有效地完成对立体图像的质量评价工作,以便于后续应用,而对其进行主观质量评价在效率上很难满足要求。因此,提出了一种感知质量评价算法,并结合了一些人类视觉系统的特性。首先需要得到视差图,然后通过边界图和显著图来对视差图进行加权调整。接着使用Minkowski融合方法将加权后的视差图整合成感知分数。最后,使用多尺度分析来得到最终的感知质量分数。通过使用EPFL立体质量评价数据库来验证文中的立体图像感知质量评价算法。实验显示算法最后得到的客观分数和EPFL数据库中的主观分数具有高度的一致性和单调性,证明了文中的立体图像感知质量评价算法是有效的。     

Binocular energy response based quality assessment of stereoscopic images

Perceptual quality assessment in three-dimensional (3D) is challenging. In this research, we propose a binocular energy response based quality assessment metric of stereoscopic images. To be more specific, we first construct binocular energy responses of the original and distorted images, and measure the similarity between them as Image Quality Metric (IQM). Then, the binocular response and the binocular masking components are used to modulate the IQM, respectively. Finally, two evaluation results are nonlinearly integrated into an overall score by considering the importance of each component. Experimental results show that compared with the relevant existing metrics, the proposed metric can achieve higher consistency with the subjective assessment of stereoscopic image.     

三维重定向图像主观和客观质量评价方法

三维（S3D）图像重定向技术的作用是调整S3D图像的宽高比。为准确和客观地衡量三维重定向图像的视觉质量，建立了一个S3D重定向图像质量评价数据库。首先，使用八种具有代表性的三维重定向算法对45幅原始图像按两种重定向尺度进行分辨率调整，共生成720幅三维重定向图像；然后，每幅重定向图像通过主观测试，得到相应的主观打分值；最后，对主观分数进行处理，得到平均主观意见分（MOS）值。在此基础上，提出一种三维重定向图像客观质量评价方法，即通过提取S3D重定向图像的深度感特征、视觉舒适度特征和左右视点的图像质量特征，使用支持向量回归预测得到S3D重定向图像的视觉质量。在提出的数据库上进行测试可以得知，所提方法的Pearson线性相关系数高于0.82，Spearman等级系数高于0.81，表明其能有效预测S3D重定向图像的视觉质量。     

基于空域自然场景统计的无参考立体图像质量评价模型

针对现有的评价方法大都将图像变换到不同的坐标域问题,提出一种基于空域自然场景统计(NSS)的通用型无参考立体图像质量评价模型。在评价中为了更好地结合人类双目视觉特性, 将左右图像融合成一幅独眼图;评价模型首先统计独眼图归一化亮度(CMSCN)系数分布规律,进而对独眼图提取空域自然场景统计特征;其次,统计视差图归一化亮度(DMSCN)系数的分布规律,并对用光流法得到的视差图提取同样的特征;最后,通过支持向量回归(SVR)建立立体图像特征信息与主观评价值(DMOS)之间的关系,从而预测得到图像质量的客观评价值。实验结果表明,该评价模型对立体数据测试库进行评价,其Pearson线性相关系数(PLCC)和Spearman等级相关系数(SROCC)值均在0.94以上;对于非对称立体图像库,PLCC和SROCC值分别接近0.91和0.93。该模型能够很好地预测人眼对立体图像的主观感知。     

彩色立体图像质量评价方法

现有的大多数立体图像质量评价方法都是将彩色图像转换为灰度图像,从而丧失了色彩信息,不利于对彩色立体图像作出正确评价,针对这一问题,提出了一种彩色立体图像质量评价方法。首先,通过对参考图像对和失真图像对分别进行主成分分析(PCA)融合生成彩色图像,利用彩色小波变换分别提取彩色融合图像的低频系数;然后,把低频系数信息用四元数表示,即将低频系数的色相分量局部均值作为四元数的实部,三基色分量作为四元数的虚部,通过四元数奇异值分解得到奇异值特征向量;最后,对参考图像和失真图像的奇异值特征向量作余弦夹角、巴氏距离、卡方距离,分别作为立体图像质量评价指标。该方法在德克萨斯大学公布的对称失真立体图像库和非对称失真立体图像库分别进行验证,线性相关系数和斯皮尔曼等级相关系数(SROCC)在对称失真库中可高达0.919和0.923,与主观评价吻合度很高。     

基于小波变换的雾霾立体图像增强算法研究

针对立体图像在雾霾环境下的质量问题,运用小波变换的多尺度特征,提出了一种雾霾环境下的立体图像增强算法,主要用于中度污染情况下的雾霾立体图像,以提高图像资源的清晰程度。该算法将原始雾霾立体图像的深度信息与多尺度小波分解相结合,在不同尺度下分解得到的小波高频子图中设置人为操控因子,调控对比度增强的强度;锐化分解后的小波低频子图边缘来突出整体轮廓。实验从PSNR指标、视觉效果和DMOS主观评价值三个方面验证了算法的成效,该方法的增强性能均好于传统的边缘锐化和四层小波变换方法,具备很好的图像边缘增强能力,细节保护能力,且与传统小波变换有相同的算法时间复杂度。     

多核学习纹理特征的立体图像质量评价

为了有效地评价各种失真类型双目立体图像的质量,提出利用多核学习机学习立体图像平面纹理信息和3D映射信息的通用无参考立体图像质量评价IQA方法。该方法首先利用立体匹配模型对左右视图进行处理,获得相应的视差图DM和误差能量图DMEE;对左右视图、视差图和误差能量图进行相位一致性和结构张量变换,获得它们的平坦区和边缘区;分别提取左右视图两个区域纹理特征作为平面信息,提取视差图的纹理特征和误差能量图的统计特征作为3D信息;将所有特征作为多核学习机的输入,利用多核学习的信息融合能力预测待测失真立体图像质量。由于充分利用了立体图像的左右视图、视差图和误差能量图的失真信息,以及多核学习的信息融合能力,该方法具有很好的前景。在LIVE 3D图像质量数据库上的实验表明,该方法与主观质量有较高一致性,与现有的双目立体质量评价方法相比有很大的竞争力。     

Distortion conspicuity on stereoscopically viewed 3D images may correlate to scene content and distortion type

We describe two studies that were aimed towards increasing our understanding of how the visibility of distortions on stereoscopically viewed 3D images is affected by scene content and distortion types. By assuming that subjects' performance would be highly correlated with the visibility of local distorted patches, we analyzed subjects' performance in locating distortion patches when viewing stereoscopic 3D images. Subjects' performances are measured by whether they successfully locate a local distorted patch, the times they spent to finish the task, and subjective quality ratings given by subjects. The visual data used in this work are co‐registered stereo images with co‐registered “ground truth” range (depth) data. Varied statistical analysis methods were used to discuss the significance of our observations. Three observations are drawn from our analyses. First, blur, JPEG, and JP2K distortions in stereo 3D images may be suppressed if one of the left or right views is undistorted. Second, contrast masking ^a does not occur, or is reduced, while viewing white noise distorted stereo 3D images. Third, there is no depth/disparity masking effect when viewing stereo 3D images, but there may be (conversely) depth‐related facilitation ^b effects for blur, JPEG, and JP2K distorted stereo 3D images.     

Blind quality assessment for screen content images via convolutional neural network

With the wide propagation of cloud and mobile computing, screen content images (SCIs) have become more indispensable in our daily lives. Compared to natural scene images (NSIs), SCIs possess many particular characteristics, like mixed contents, extremely sharp edges, and text graphics. Consequently, more challenges occur in the feature extraction, which is used to reflect the distortion, during the quality assessment of SCIs. Recently, some convolutional neural network (CNN) models have been designed by automatically learning feature to evaluate the quality. In this paper, we develop a novel blind quality assessment method for SCIs via the CNN. First, compared with existing CNN-based methods, the proposed method avoids the disadvantage of training with image patches, and it is the pioneering attempt that takes the entire image as inputs. Second, instead of the image gray value, the original image is decomposed into two portions, i.e., the predicted and unpredicted portions, according to the internal generative mechanism (IGM) theory as the input of CNN. Through the CNN, all features of the image are learned automatically from beginning to end, and the network finally outputs the predicted score. Since existing SCI database is too small, to fully train the network, we collected 30000 SCIs and employed a high-accuracy full-reference quality assessment metric of SCI to compute scores as the training labels. Experimental results on SIQAD database demonstrate that the proposed method is comparable to reference-based SCI quality assessment metrics and is superior to the state-of-the-art NSI quality assessment metrics.