基于视差空间图的立体图像质量客观评价方法

立体图像质量评价是评价立体视频系统性能的有 效途径,而如何利用人类视觉特性对立体图像质量 进行有效评价是目前的研究难点。本文提出了一种基于视差空间图(DSI) 的立体图像质量客观评价方法。首先, 分别构造原始立体图像和失真立体图像的DSI图;然后,通过三维离散余弦变换(3D-DCT)提取出反映图像质量 和深度感知的特征信息,并采用主成分分析(PCA)进行特征降维,形成立体图像特征信息; 最后,通过支持向量 回归(SVR)建立立体图像特征与主观评价值的关系,从而预测得到立体图像质量的客观评价 值。实验表明, 对于对称立体图像库,Pearson线性相关系数(PLCC)和Spe arman等级相关系数(SROCC)值均达到0.94以上;对于非 对称立体图像库,PLCC和SROCC值分别达到0.94以上。结果表明,本文方法能够很好地预测人眼对立体图像的主观感 知。     

基于支持向量回归的立体图像客观质量评价模型

立体图像质量评价是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效评价是目前的研究难点。该文根据图像奇异值有较强稳定性的特点,结合立体图像的主观视觉特性,提出了一种基于支持向量回归(Support Vector Regression, SVR)的立体图像客观质量评价模型。该模型通过分析立体图像的视觉特性,提取左右图像的奇异值作为立体图像的特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过SVR预测得到立体图像质量的客观评价值。实验结果表明,采用该文提出的客观评价模型对立体数据测试库进行评价,Pearson线性相关系数值在0.93以上,Spearman等级相关系数值在0.94以上,均方根误差值接近6,异常值比率值为0.00%,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

基于三维特征和结构相似度的图像质量评价方法

分析了人眼视觉特性、双眼视差异信息等三维特征,将立体视觉与图像的结构相似度(SSIM)相结合,提出了一种新的立体图像质量评价方法。该方法考虑了立体图像的亮度、纹理细节和空间位置等因素对人感知立体效果的影响,利用加权平均结构相似性(WMSS)联合统计学方法得到评价初值,用包含三维景物深度信息的双眼视差信息进行修正,作为立体图像质量的评价结果。实验表明,该方法符合人眼视觉特性,与主观评价(MOS)的一致性较好。     

基于双目能量响应的无参考立体图像质量评价

为了实现对不同失真类型立体图像的质量评价,提出了一种基于双目能量响应的无参考立体图像质量评价(NR-IAQ)方法。首先,通过对各失真图像进行Gabor滤波,提取出不同频率、不同方向、不同视差响应下的局部特征矢量,作为立体图像特征信息;然后,利用支持向量回归(SVR)建立立体图像特征与主观评价值的关系,从而预测得到立体图像质量的客观评价值。实验结果表明,对于NBU-3D测试库,Pearson线性相关系数值在0.92以上,Spearman等级相关系数值在0.93以上;对于LIVE-3D测试库,Pearson线性相关系数值在0.96以上,Spearman等级相关系数值在0.96以上;与现有的全参考(FR)和(NR)质量评价方法相比,本方法得到的客观评价值与主观评价结果有较好的相关性,更加符合人眼视觉系统。     

基于双目信息融合的立体图像质量评价模型

根据人类视觉系统(Human Visual System,HVS)中双目视觉信息处理的过程,结合一系列图像特征,提出一种基于双目信息融合的立体图像质量评价模型。该模型通过复小波变换模拟HVS对立体图像的融合过程。提取结构活跃度(Structural Activity,SA)以及相位一致性(Phase Congruency,PC)作为图像特征。最后通过度量融合图像特征的改变程度获得立体图像客观质量。采用本文所提出的客观评价模型对立体图像数据库进行评价,其线性相关系数值在0.92以上,均方根误差值接近6,异常值比率值为0%。实验结果表明,该模型符合人眼视觉特性,能够很好地预测立体图像质量。     

基于人眼视觉特性的彩色图像质量评价

图像处理系统的性能优劣的评判往往需要一个合理迅速的图像质量评价算法作为支撑.传统的图像质量评价算法由于没有充分考虑人眼的视觉特性,使得质量评价结果与实际图像的人眼感知质量不符.根据人眼对图像边缘信息非常敏感这一人眼视觉特性,提出一种综合图像边缘和背录相似度的算法(EBS)来评价彩色图像质量,即通过比较失真彩色图像与原始参考图像的边缘以及除边缘之外的背景相似程度最终确定失真图像的质量.应用于由779幅包含五种类型失真的图像质量评价库的实验结果表明,该算法的评价结果相比PSNR,MSSIM,IFC以及基于像素域的VIF等算法与图像的主观评价结果(由DMOS值表示--将背景不同的一组观察者对失真图像的评分进行统计平均后所得到的评价结果)更一致,也即该算法的评价结果更接近图像的实际视觉感知质量.     

深度视觉频谱残余融合的图像质量评价

针对现有图像质量评价方法的缺陷,通过深度学习理论建模人眼视觉系统(human vision system,HVS)特性,提出了一种基于视觉特征深度感知与学习融合(deeply perception and learning for pooling,DPLP)的评价方法.首先为了增加图像视觉特征的稳定性,根据人眼感光的空域结构特征和频域多通道特性,对图像依次进行二维Log-Gabor小波变换、梯度变换和频谱残余的深度视觉信息处理,然后分别提取各层视觉信息进行质量评价.其次为了克服HVS融合的不确定性,对质量评价信息采取了深度池化策略,第一层为评价视图的空域融合,采取了符合人眼感光特性的高斯加权策略;第二层为多通道评价的频域融合,采取了具有HVS推理能力的BP神经网络的学习-预测策略;第三层为各级视觉特征的评价融合,采取了具有自适应特性的回归函数策略.最后,基于现实中的各种失真类型图像进行了实验,结果表明所提方法具有较高的主客观评价一致性水平和更好的稳定性.     

基于边缘及特征点匹配的立体图像质量评价

为了实现对立体图像质量的精确预测,提出了一种基于边缘和特征点匹配的立体图像客观质量评价方法。首先,对图像的质量进行评价,在基于结构相似度的质量评价方法的基础上,考虑了边缘信息对人眼视觉特性的重要性,加入了边缘结构相似度指标;然后,对图像的立体感进行评价,采用特征点匹配的方法提取立体感指标。最后,根据总体视差失真法将图像质量和立体感指标拟合为一个综合指标。实验结果表明,采用本文提出的方法对立体图像测试库进行评价,总体评价的PLCC(Pearson Linear Correlation Coefficient)均在0.94以上;与其他方法相比,本方法具有较高的预测精确性。     

基于波前像差的图像质量评价方法研究

图像质量评价的研究已成为图像信息工程的基础技术之一。由于图像的最终接受者是人,所以评价图像质量应反映出人类的主观视觉感知。为构造一种符合人眼视觉特性的图像质量评价方法,利用点扩散函数针对人眼建立了含有波前像差信息的图像视觉评价模型,并用此模型分别对添加不同噪声的图像进行图像质量评价。实验结果表明,该方法是可行的、有效的,不同的人眼对同一幅图像的评价存在有差异,人眼波前像差越小观察到的图像越清晰。该方法不仅能够在评价图像质量时准确反映人眼的主观感知,而且能够直观地呈现不同人眼实际看到的图像。     

BIQI和JND相结合的图像增强客观评价方法

提出一种结合盲图像质量指标(BIQI )和临界可见偏差(JND)的图像增强 客观评价方法。方法基于Retinex理论,将测试图像分成反射图像和照度图像 ,分别对反射图像和照度图 像进行BIQI和JND评分,得到的评分之和作为图像增强客观评价得分。对原图 像失真和背景亮 度的变量控制系列的实验表明,Retinex分解得到的反射图像只受失真的种类 和失真程度影响,而照度图像代表 原图像环境光照信息具有亮度阈值效应;应用本文算法对增强后的图像评分得到Score的 最高分为 0.609,与主观评价结果一致;而PSNR、SSIM的评分都是和原图像本身比较, 不能表明图像增强效果。实验结果表明,本文算法的评价结果与主观视觉一致,能用于定量 对图像增强进行客观评价。     

基于双目特征联合的无参考立体图像质量评价

通过模拟人类视觉系统(HVS)的双目视觉行为,提 出一种基于双目特征联合的无参考立 体图像质量评价(NR-SIQA)方法。首先分析立体视觉感知中的双目联合行为,提出 可应用于立体图像质量预 测的双目联合模型;然后采用学习和统计分析的方法,分别提取局部和全局特征并联合作 为感知特征; 最后采用机器学习算法,建立特征和质量的关系模型,并结合基于特征的双目联合模型预测 立体图像质量。实验结果表明,本文方法在对称立体图像库上的Pearson线性相关系数(PLCC)和Spearman等级系数(SRCC)高于0.93,在非对称库上高于0.87,优 于现有评价方法。     

A new objective stereoscopic image assessment model based on stereoscopic perception

In order to establish a stereoscopic image quality assessment method which is consistent with human visual perception, we propose an objective stereoscopic image quality assessment method. It takes into account the strong correlation and high degree of structural between pixels of image. This method contains two models. One is the quality synthetic assessment of left-right view images, which is based on human visual characteristics, we use the Singular Value Decomposition （SVD） that can represent the degree of the distortion, and combine the qualities of left and right images by the characteristics of binocular superposition. The other model is stereoscopic perception quality as- sessment, due to strong stability of image＇s singular value characteristics, we calculate the distance of the singular values and structural characteristic similarity of the absolute difference maps, and utilize the statistical value of the global error to evaluate stereoscopic perception. Finally, we combine two models to describe the stereoscopic image quality. Experimental results show that the correlation coefficients of the proposed assessment method and the human subjective perception are above 0.93, and the mean square errors are all less than 6.2, under JPEG, JP2K compression, Gaussian blurring, Gaussian white noise, H.264 coding distortion, and hybrid cross distortion. It indicates that the proposed stereoscopic objective method is consistent with human visual properties and also of availability.     

基于三维感知的立体虚拟视点图像质量评价方法

为了评价立体虚拟视点图像的质量,提出了一种基 于三维感知的客观评价方法。综合考虑了立体虚拟视点图像两大最主要失真类型:单视点绘 制失真和立体视点不匹配失真。针对单视点绘制失真,先提取 当前视点失真图与无失真图的差异性区域,再针对该差异性区域计算平均结构相似度(MSSIM ),最后将左 右视点平均池化作为单目纹理特征值;针对立体视点不匹配失真,先对左右视点失真图分别 进行视差映射, 再提取映射图与该视点失真图的差异区域作为双目不匹配区域,然后针对不匹配区域计算MS SIM 值,最 后将左右视点平均池化作为双目竞争特征值;最终将两个特征值幂次融合,作为最终的立体 虚拟视点图像 质量评价客观指标。实验结果表明本方法有效匹配主观打分的DMOS值,皮尔森线性相关系数 和斯皮尔曼 秩相关系数分别为0.911和0.900,正确反映了 立体虚拟视点图像质量。     

结合JND模型的交叉验证深度图质量评价方法

针对在3D视频(3DV)和自由视点视频(FVV)中传统的 图像质量评价方法不适用于深度图的问题,本文从人类视觉感知特性出发,提出一 种新的深度图 质量评估算法。首先进行交叉验证,得到待评价深度图的差值图;然后提取遮挡掩膜,去除 被遮挡的像素 点;再根据人类视觉特性,考虑背景亮度掩蔽、纹理掩蔽和边缘敏感性等因素,应用恰可察 觉失真(JND)模 型得到每个像素点的误差可视阈值;最后计算错误像素率作为度量指标评价深度图的质量 。实验结果表 明,本文提出的算法能够准确地检测错误像素,所提出的度量指标与全参考度量指标的相关 系数的平均值 为0.833,最高达到0.933,与合成虚拟视点均 方误差的相关系数的平均值为0.857,最高达 到0.928。     

基于视觉重要区域的立体图像视觉舒适度客观评价方法

先进的立体视频技术能给观众带来深度感和沉浸感,但也容易使人产生视觉疲劳,造成观看体验质量的下降,因此,如何对立体视频/图像的视觉舒适度进行有效评价是目前的研究难点。该文提出一种基于视觉重要区域的立体图像视觉舒适度客观评价模型,该模型主要包括3个部分:(1)利用图像显著图和视差图像得到立体图像视觉重要区域;(2)提取视觉重要区域的视差幅度特征、视差梯度边缘特征以及空间频率特征,作为反映立体图像视觉舒适度的感知特征信息;(3)通过支持向量回归建立特征信息与立体图像舒适度平均主观评分值的关系,预测得到立体图像视觉舒适度的客观评价值。实验结果表明,与现有的方法相比较,在相同的立体图像测试库上,采用该文提出的客观评价模型可以获得更好的评价性能。     

基于稀疏表示的立体图像客观质量评价方法

提出了一种基于稀疏表示的立体图像质量评价方法 ,分为训练和测试两个部分。在训练部 分,通过训练不同频带的立体图像获得立体图像的稀疏字典;在测试部分,根据稀疏字典计 算得到立体图 像的稀疏特征,定义了稀疏特征相似度衡量原始和失真图像信息的差异,并根据稀疏字典计 算了频带增益和左右视点的融合权值,最后融合稀疏特征相似度作为立体图像质量的 客观评价值。在立体图像测试库上的实验结果表明,本文方法的评价结果与主观评价结果有 较好的相关性,符合人类视觉系统的感知。     

Two-stream interactive network based on local and global information for No-Reference Stereoscopic Image Quality Assessment

Nowadays, stereoscopic image quality assessment (SIQA) based on convolutional neural network (CNN) has become the mainstream model of image quality assessment (IQA). Compared with the two-dimensional quality evaluation model, stereoscopic image quality evaluation is more challenging due to the effects of depth and parallax information. In this paper, we propose a two-stream interactive network model to perform quality evaluation, which can well simulate the process of human stereo visual perception. Meanwhile, we enhance the extraction of local and global features of images by asymmetric convolution kernel and interactive sub-networks of inter-layers, respectively, which can further optimize our network model. Our proposed algorithm was evaluated on four public databases. The final experimental results show that our proposed algorithm exhibits good performance not only on the whole database but also on each single distortion type.