考虑双目竞争视觉现象的非对称失真立体图像质量评价方法

目的 现有方法存在特征提取时间过长、非对称失真图像预测准确性不高的问题,同时少有工作对非对称失真与对称失真立体图像的分类进行研究,为此提出了基于双目竞争的非对称失真立体图像质量评价方法。方法 依据双目竞争的视觉现象,利用非对称失真立体图像两个视点的图像质量衰减程度的不同,生成单目图像特征的融合系数,融合从左右视点图像中提取的灰度空间特征与HSV （hue-saturation-value）彩色空间特征。同时,量化两个视点图像在结构、信息量和质量衰减程度等多方面的差异,获得双目差异特征。并且将双目融合特征与双目差异特征级联为一个描述能力更强的立体图像质量感知特征向量,训练基于支持向量回归的特征—质量映射模型。此外,还利用双目差异特征训练基于支持向量分类模型的对称失真与非对称失真立体图像分类模型。结果 本文提出的质量预测模型在4个数据库上的SROCC （Spearman rank order correlation coefficient）和PLCC （Pearson linear correlation coefficient）均达到0.95以上,在3个非对称失真数据库上的均方根误差（root of mean square error,RMSE）取值均优于对比算法。在LIVE-II（LIVE 3D image quality database phase II）、IVC-I（Waterloo-IVC 3D image qualityassessment database phase I）和IVC-II （Waterloo-IVC 3D image quality assessment database phase II）这3个非对称失真立体图像测试数据库上的失真类型分类测试中,对称失真立体图像的分类准确率分别为89.91%、94.76%和98.97%,非对称失真立体图像的分类准确率分别为95.46%,92.64%和96.22%。结论 本文方法依据双目竞争的视觉现象融合左右视点图像的质量感知特征用于立体图像质量预测,能够提升非对称失真立体图像的评价准确性和鲁棒性。所提取双目差异性特征还能够用于将对称失真与非对称失真立体图像进行有效分类,分类准确性高。     

多核学习纹理特征的立体图像质量评价

为了有效地评价各种失真类型双目立体图像的质量,提出利用多核学习机学习立体图像平面纹理信息和3D映射信息的通用无参考立体图像质量评价IQA方法。该方法首先利用立体匹配模型对左右视图进行处理,获得相应的视差图DM和误差能量图DMEE;对左右视图、视差图和误差能量图进行相位一致性和结构张量变换,获得它们的平坦区和边缘区;分别提取左右视图两个区域纹理特征作为平面信息,提取视差图的纹理特征和误差能量图的统计特征作为3D信息;将所有特征作为多核学习机的输入,利用多核学习的信息融合能力预测待测失真立体图像质量。由于充分利用了立体图像的左右视图、视差图和误差能量图的失真信息,以及多核学习的信息融合能力,该方法具有很好的前景。在LIVE 3D图像质量数据库上的实验表明,该方法与主观质量有较高一致性,与现有的双目立体质量评价方法相比有很大的竞争力。     

基于交互式卷积神经网络的立体图像质量评价

目前立体图像质量评价算法缺乏可靠的预测性能，主要表现在研究人类视觉系统时生物学理论薄弱，并且已有的浅层模型无法模拟出视觉信息复杂的处理过程。针对上述问题，提出一种基于交互式卷积神经网络的无参考立体图像质量评价算法。根据初级视觉区域的双目视觉机制，融合左、右视图生成独眼特征图，并采用高斯差分算法提取左、右视图边缘信息，计算边缘求和以及差分特征图；搭建交互式卷积神经网络，整合特征图，实现深度特征学习和质量回归预测。在LIVE立体图像库上的Pearson线性相关系数(Pearson Linear Correlation Coefficient, PLCC)达到0.95以上，结果表明采用该算法能有效地解决失真立体图像质量评价问题。     

基于小波变换的无参考立体图像质量评价

立体图像质量评价是图像处理领域中一项重要技术,现有的2D图像质量评价方法并不能很好地应用于立体图像。为了更好地评价立体图像质量,提出了一种基于小波变换提取左右图像及其合成图像特征的无参考立体图像质量评价方法。该方法首先通过对失真的立体左右图像计算合成图像;再通过小波分解提取左右图像及其合成图像的小波系数,获取小波子带能量作为立体图像质量感知特征;最后通过支持向量回归建立立体图像特征与主观得分的关系模型,来预测和得到立体图像质量的客观评价得分。实验结果表明,与现有无参考立体图像质量评价方法相比较,该客观评价模型可以获得更好的主观感知一致性,更加符合人眼视觉系统。     

基于单目和双目视觉信息的全参考立体图像质量评价模型

在立体图像质量评价领域,有效地模拟人类视觉系统对图像质量进行评价具有重要意义,考虑到人眼的视觉感知特性,基于单目和双目视觉信息构建一种立体图像质量评价模型MB-FR-SIQA。采用基于结构相似性的立体视差算法得到参考和失真立体图像的视差矩阵,结合Gabor能量响应图、显著性图和视差矩阵生成中间视图,并优化左右眼加权系数计算方法,以提高生成中间视图的准确性。分别利用单目图像和中间视图提取单目和双目视觉信息,计算单目质量分数和双目质量分数,并融合得到立体图像的质量分数,达到评价立体图像质量的目的。实验结果表明,MB-FR-SIQA模型在LIVE-I数据库上具有较高的预测精度,其斯皮尔曼等级相关系数、皮尔森线性相关系数、均方根误差分别为0.945、0.951、5.318,且预测的质量分数符合人类主观评估。     

基于眼优势的非对称失真立体图像质量评价

针对现有立体图像质量评价算法对非对称失真立体图像的评价准确性及执行效率较低的问题,提出一种基于眼优势的非对称失真立体图像质量评价算法.首先采用梯度幅值响应来模拟左右眼输入的刺激强度,并根据人类视觉系统的眼优势原理分别以左和右视点图像作为主视图合成两幅融合图像;其次,利用旋转不变统一局部二值模式直方图、皮尔逊线性相关系数以及非对称广义高斯模型,获取左右融合图像以及左右梯度幅值响应图像中的多种能够反映立体图像质量好坏的特征;最后,利用自适应增强的支持向量回归模型将感知特征向量映射为图像质量值.在四个基准测试数据库上的实验结果表明:本文所提出算法大幅提升了非对称失真立体图像的评价准确性,且具有较高的执行效率.这些优势说明本文算法所提取的特征描述能力更强,质量映射模型的稳定性更好.     

基于视差图和复数轮廓波变换的无参考立体图像质量评价

现有的2D图像质量评价方法并不能很好地应用于立体图像质量评价中。为了有效评价不同失真立体图像的质量,提出了一种基于视差图和复数轮廓波变换的无参考图像质量评价方法。首先提取了能够反映3D信息的视差图,然后对左右失真图像和视差图进行复数轮廓波变换,计算能量和能量差特征,最后通过支持向量回归SVR模型训练学习,预测图像质量分数。实验结果表明,此方法优于当前文献报道的立体图像质量评价方法。     

基于数据挖掘的立体视觉效果评价方法研究

为了提升三维图像立体视觉效果评价质量,研究基于数据挖掘的立体视觉效果评价方法。利用二维Gabor滤波器提取图像的单目特征,即自然场统计特征;按照双目竞争特点融合左右图像,获取独眼图,提取双目特征,即方向梯度直方图特征;级联两个特征,获取左、右图像特征,归一化处理左、右图像特征的局部亮度系数,结合主观立体视觉效果评价分数,输入改进卷积神经网络,训练网络,获取客观立体视觉效果评价模型,在模型内输入测试图像,输出评价分数。实验证明,上述方法可有效评价三维图像的立体视觉效果;卷积核数量为50个,所提方法的评价质量最佳;在评价不同失真类型三维图像时的皮尔森线性相关系数、斯皮尔曼等级相关系数均较高,具备较优的三维图像立体视觉效果评价质量。     

基于GA-SVR模型的无参考立体图像质量评价

针对支持向量回归(SVR)中惩罚因子和径向基函数选取具有较大不确定性和随机性的问题,结合单双目信息与基于遗传算法(GA)的SVR优化模型,提出无参考立体图像质量评价方法。提取左右失真图像的单双目特征,将梯度幅值和拉普拉斯特征作为单目视觉特征。为更好地结合人类双目视觉特性,使左右图像融合成一幅独眼图,对独眼图提取空域自然场景统计特征。利用GA选择、交叉和变异等操作优化SVR参数组合,选出最优的参数组合,引入到SVR中预估左右图像质量。考虑到人眼对于左右失真图像的响应不同,通过增益控制模型融合左右图像质量,从而得到最终的质量评价值。应用该评价方法对宁波大学建立的立体数据测试库进行评价,结果表明其Pearson线性相关系数在0.95以上,Spearman等级相关系数值在0.94以上,与人类主观感知具有高度一致性。     

基于多元特征的立体图像质量评价方法

立体图像质量评价（SIQA）是评估立体成像系统性能的一种有效方法。考虑到深度信息是立体图像的重要特征,提出一种结合卷积神经网络（CNN）与立体图像深度显著性特征的无参考SIQA方法。分别利用改进显著特征检测模型和高斯差分滤波器提取立体图像的显著特征和深度特征,并通过小波变换融合两者得到深度显著性特征。在此基础上,将深度显著性特征、对比度特征和亮度系数归一化特征作为输入特征对CNN进行模型训练,从而预测图像的质量分数。该方法在LIVE 3D IQA Phase Ⅰ、Phase Ⅱ、NBU 3D IQA图像库上的皮尔森线性相关系数分别为0.948、0.962、0.943,斯皮尔曼秩相关系数分别为0.937、0.961、0.902,在Phase II、NBU 3D IQA跨数据库上的斯皮尔曼秩相关系数分别为0.832、0.673。实验结果表明,该方法预测的质量分数符合人类主观感知,且具有较好的适用性和鲁棒性。     

用户多维感知的3D图像体验质量评价

目的 符合用户视觉特性的3维图像体验质量评价方法有助于准确、客观地体现用户观看3D图像或视频时的视觉感知体验,从而给优化3维内容提供一定的思路。现有的评价方法仅从图像失真、深度感知和视觉舒适度中的一个维度或两个维度出发对立体图像进行评价,评价结果的准确性有待进一步提升。为了更加全面和准确地评价3D图像的视觉感知体验,提出了一种用户多维感知的3D图像体验质量评价算法。方法 首先对左右图像的差异图像和融合图像提取自然场景统计参数表示失真特征;然后对深度图像提取敏感区域,对敏感区域绘制失真前后深度变换直方图,统计深度变化情况以及利用尺度不变特征变换（SIFT）关键点匹配算法计算匹配点数目,两者共同表示深度感知特征;接下来对视觉显著区域提取视差均值、幅值表示舒适度特征;最后综合考虑图像失真、深度感知和视觉舒适度3个维度特征,将3个维度特征归一化后联合成体验质量特征向量,采用支持向量回归（SVR）训练评价模型,并得到最终的体验质量得分。结果 在LIVE和Waterloo IVC数据库上的实验结果表明,所提出的方法与人们的主观感知的相关性达到了0.942和0.858。结论 该方法充分利用了立体图像的特性,评价结果优于比较的几种经典算法,所构建模型的评价结果与用户的主观体验有更好的一致性。     

彩色立体图像质量评价方法

现有的大多数立体图像质量评价方法都是将彩色图像转换为灰度图像,从而丧失了色彩信息,不利于对彩色立体图像作出正确评价,针对这一问题,提出了一种彩色立体图像质量评价方法。首先,通过对参考图像对和失真图像对分别进行主成分分析(PCA)融合生成彩色图像,利用彩色小波变换分别提取彩色融合图像的低频系数;然后,把低频系数信息用四元数表示,即将低频系数的色相分量局部均值作为四元数的实部,三基色分量作为四元数的虚部,通过四元数奇异值分解得到奇异值特征向量;最后,对参考图像和失真图像的奇异值特征向量作余弦夹角、巴氏距离、卡方距离,分别作为立体图像质量评价指标。该方法在德克萨斯大学公布的对称失真立体图像库和非对称失真立体图像库分别进行验证,线性相关系数和斯皮尔曼等级相关系数(SROCC)在对称失真库中可高达0.919和0.923,与主观评价吻合度很高。     

Blind stereo image quality assessment inspired by brain sensory-motor fusion

The use of 3D and stereo imaging is rapidly increasing. Compression, transmission, and processing could degrade the quality of stereo images. Quality assessment of such images is different than their 2D counterparts. Metrics, which represent 3D perception by human visual system (HVS), are expected to assess stereoscopic quality more accurately. In this paper, inspired by brain sensory/motor fusion process, by combining the right and left images, we form two synthesized images. Effects of different structural distortions on statistical distributions of the synthesized images are analyzed. Based on the observed statistical changes, features are extracted from these synthesized images that can reveal type and severity of distortions. Then, we propose a stacked neural network model to learn the extracted features and accurately predict the quality of stereo images. This model is tested on 3D images of popular databases. Experimental results show the superiority of this method over state-of-the-art stereo image quality assessment approaches.     

基于色彩空间自然场景统计的无参考图像质量评价

RGB色彩空间中各色彩分量间存在强相关性, 图像发生失真会改变各分量间的相关性. 基于此, 本文提出了一种新的通用无参考图像质量评价方法. 首先, 根据人类视觉对RGB色彩空间中绿色分量更为敏感的颜色感知特性, 提取了G分量MSCN系数及其4方向邻域系数的统计特征; 其次, 在分析RGB色彩空间中R、G及B分量间相关性的基础上, 分别计算RGB色彩空间各色彩分量及其纹理、相位间的互信息, 利用互信息作为统计特征来描述其各分量间的相关性; 进而, 结合上述统计特征, 分别利用SVR和SVC构建无参考图像质量评价模型和图像失真类型识别模型; 最后, 在LIVE、CSIQ 及TID2008图像质量评价数据库上进行了算法与DMOS (Different mean opinion score)的相关性、失真类型识别及计算复杂性等方面的实验. 实验结果表明, 本文方法的评价结果与人类主观评价具有高度的一致性, 在LIVE 数据库上的斯皮尔曼等级相关系数和皮尔逊线性相关系数均在0.942以上; 而且, 图像失真类型识别模型的识别准确率也高达93.59%, 明显高于当今主流无参考图像质量评价方法.     

基于空域自然场景统计的无参考立体图像质量评价模型

针对现有的评价方法大都将图像变换到不同的坐标域问题,提出一种基于空域自然场景统计(NSS)的通用型无参考立体图像质量评价模型。在评价中为了更好地结合人类双目视觉特性, 将左右图像融合成一幅独眼图;评价模型首先统计独眼图归一化亮度(CMSCN)系数分布规律,进而对独眼图提取空域自然场景统计特征;其次,统计视差图归一化亮度(DMSCN)系数的分布规律,并对用光流法得到的视差图提取同样的特征;最后,通过支持向量回归(SVR)建立立体图像特征信息与主观评价值(DMOS)之间的关系,从而预测得到图像质量的客观评价值。实验结果表明,该评价模型对立体数据测试库进行评价,其Pearson线性相关系数(PLCC)和Spearman等级相关系数(SROCC)值均在0.94以上;对于非对称立体图像库,PLCC和SROCC值分别接近0.91和0.93。该模型能够很好地预测人眼对立体图像的主观感知。     

三维重定向图像主观和客观质量评价方法

三维（S3D）图像重定向技术的作用是调整S3D图像的宽高比。为准确和客观地衡量三维重定向图像的视觉质量，建立了一个S3D重定向图像质量评价数据库。首先，使用八种具有代表性的三维重定向算法对45幅原始图像按两种重定向尺度进行分辨率调整，共生成720幅三维重定向图像；然后，每幅重定向图像通过主观测试，得到相应的主观打分值；最后，对主观分数进行处理，得到平均主观意见分（MOS）值。在此基础上，提出一种三维重定向图像客观质量评价方法，即通过提取S3D重定向图像的深度感特征、视觉舒适度特征和左右视点的图像质量特征，使用支持向量回归预测得到S3D重定向图像的视觉质量。在提出的数据库上进行测试可以得知，所提方法的Pearson线性相关系数高于0.82，Spearman等级系数高于0.81，表明其能有效预测S3D重定向图像的视觉质量。