结合双向相似性变换的重定向图像质量评价

目的 显示设备的多样化使得图像重定向的作用日益凸显。不同的重定向方法产生不同视觉感受的重定向图像,而如何评价重定向图像的质量,优化重定向算法是当前研究的热点与难点,为此,提出一种结合双向相似性变换的重定向图像质量评价方法。方法 首先对原始图像和重定向图像进行像素点双向匹配,利用网格顶点坐标对计算前向变换矩阵和后向变换矩阵。然后由相似性变换矩阵与标准变换矩阵间的距离得到重定向图像的几何失真。由网格面积缺失得到重定向图像的信息损失。最后结合网格的显著性,融合前向匹配与后向匹配的几何失真和信息损失得到重定向图像的质量。结果 该方法在RetargetMe和CUHK数据库上的KRCC（Kendall rank correlation coefficient）和SROCC（Spearman rank-order correlation coefficient）性能分别达到了0.46和0.71,较现有方法有较大提升。在前向匹配与后向匹配测试中,双向匹配的测试结果优于单向匹配。结论 本文方法将图像的重定向处理看做相似性变换过程。实验结果表明,从相似性变换矩阵中提取的相关特征能够较精确度量重定向图像的几何失真,而由此引发的网格面积缺失也能准确反映出重定向图像的信息损失。另外,采用双向匹配机制一定程度上减少了像素匹配误差对实验结果的影响,有效提升了重定向图像质量预测的准确性。该方法对重定向图像的质量评价效果好,适用于重定向图像的质量预测及算法优化。     

结合JND模型的交叉验证深度图质量评价方法

针对在3D视频(3DV)和自由视点视频(FVV)中传统的 图像质量评价方法不适用于深度图的问题,本文从人类视觉感知特性出发,提出一 种新的深度图 质量评估算法。首先进行交叉验证,得到待评价深度图的差值图;然后提取遮挡掩膜,去除 被遮挡的像素 点;再根据人类视觉特性,考虑背景亮度掩蔽、纹理掩蔽和边缘敏感性等因素,应用恰可察 觉失真(JND)模 型得到每个像素点的误差可视阈值;最后计算错误像素率作为度量指标评价深度图的质量 。实验结果表 明,本文提出的算法能够准确地检测错误像素,所提出的度量指标与全参考度量指标的相关 系数的平均值 为0.833,最高达到0.933,与合成虚拟视点均 方误差的相关系数的平均值为0.857,最高达 到0.928。     

采用精简卷积神经网络的快速视频超分辨率重建

超分辨率重建在视频的传输和显示中起着重要的 作用。为了既保证重建视频的清晰度,又面向用户 实时显示,提出了一种采用精简卷积神经网络的快速视频超分辨率重建方法。所提的精简卷 积神经网络体 现在以下三点:首先,考虑到输入的尺寸大小会直接影响网络的运算速度,所提网络省去传 统方法的预插 值过程,直接对多个低分辨率输入视频帧提取特征,并进行多维特征通道融合。接着,为了 避免网络中产 生零梯度而丢失视频的重要信息,采用参数线性纠正单元(Parametric Rectified Linear Unit,PReLU)作为激 活函数,并采用尺寸更小的滤波器调整网络结构以进行多层映射。最后,在网络末端添加反 卷积层上采样 得到重建视频。实验结果显示,所提方法相比有代表性的方法在PSNR和SSIM指 标上分别平均 提升了0.32dB和0.016,同时在 GPU下达到平均41帧/秒的重建速度。结果表明所提方法可快速重建质 量更优的视频。     

一种基于最小可察觉失真的立体图像质量客观评价方法

立体图像质量是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效的评价是目前的研究难点。本文通过分析最小可察觉失真(JND,just noticeable distortion)视觉感知模型,并结合反映图像结构信息的奇异值矢量,提出了一种基于JND的立体图像质量客观评价方法。评价方法由图像质量评价和深度感知评价两部分组成,首先提取反映图像质量和深度感知的特征信息作为立体图像特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过支持向量回归(SVR,support vector Regression)预测得出立体图像质量的客观评价值。实验结果表明,采用本文提出的客观评价方法对立体数据测试库进行评价,在不同失真类型或混合失真评价结果中,Pearson线性相关系数(CC)值均在0.94以上,Spearman等级相关系数(SROCC)值均在0.92以上,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

虚拟现实中视觉诱发晕动症时空多特征评价

沉浸式的虚拟现实体验中视觉诱发晕动症（Visually Induced Motion Sickness, VIMS）是影响虚拟现实系统发展与应用的一个重要问题。现有的基于视觉内容的评价方案大多考虑的要素不够全面,对运动信息的提取较为简单,且少有考虑时域上的突变对晕动症的影响。针对上述问题,提出了虚拟现实中视觉诱发晕动症时空多特征评价模型;基于立体全景视频中空域、时域信息来设计视觉诱发晕动症评价模型,采用更符合人眼感知的加权运动特征,并考虑了立体全景视频时域的突变信息设计了特征提取方式。所提出模型分为预处理模块、特征提取模块及时域聚合与回归模块。预处理模块用于视口提取和光流图、视差图、显著图的估计。特征提取模块包含前背景加权运动特征提取、基于变换域的视差特征提取、空间特征提取及时域突变特征提取。时域聚合后通过支持向量回归得到VIMS评价分数。实验结果表明,该模型在立体全景视频数据库SPVCD上的预测结果与平均主观意见分的皮尔逊线性相关系数为0.821、斯皮尔曼相关系数为0.790、均方根误差为0.489。该模型取得了优良的预测性能,验证了所提出特征提取模块的有效性。     

基于视觉重要区域的立体图像视觉舒适度客观评价方法

先进的立体视频技术能给观众带来深度感和沉浸感,但也容易使人产生视觉疲劳,造成观看体验质量的下降,因此,如何对立体视频/图像的视觉舒适度进行有效评价是目前的研究难点。该文提出一种基于视觉重要区域的立体图像视觉舒适度客观评价模型,该模型主要包括3个部分:(1)利用图像显著图和视差图像得到立体图像视觉重要区域;(2)提取视觉重要区域的视差幅度特征、视差梯度边缘特征以及空间频率特征,作为反映立体图像视觉舒适度的感知特征信息;(3)通过支持向量回归建立特征信息与立体图像舒适度平均主观评分值的关系,预测得到立体图像视觉舒适度的客观评价值。实验结果表明,与现有的方法相比较,在相同的立体图像测试库上,采用该文提出的客观评价模型可以获得更好的评价性能。     

基于支持向量回归的立体图像客观质量评价模型

立体图像质量评价是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效评价是目前的研究难点。该文根据图像奇异值有较强稳定性的特点,结合立体图像的主观视觉特性,提出了一种基于支持向量回归(Support Vector Regression, SVR)的立体图像客观质量评价模型。该模型通过分析立体图像的视觉特性,提取左右图像的奇异值作为立体图像的特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过SVR预测得到立体图像质量的客观评价值。实验结果表明,采用该文提出的客观评价模型对立体数据测试库进行评价,Pearson线性相关系数值在0.93以上,Spearman等级相关系数值在0.94以上,均方根误差值接近6,异常值比率值为0.00%,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

高动态范围图像客观质量评价方法

针对当前高动态范围（HDR）图像质量评价方法未考虑图像色度和结构信息的问题,提出了一种新的HDR图像客观质量评价方法。首先,利用HDR-VDP-2.2中的基于视觉感知的模型得到关于亮度与对比度的视觉保真度特征;然后,将HDR图像转换到YIQ彩色空间,对彩色空间中的Y、I、Q通道分别进行处理,求得色度相似度和结构相关度特征;最后,利用支持向量回归（SVR）的方法对特征进行融合,预测得到高动态范围图像质量的客观评价值。实验结果表明,与HDR-VDP-2.2相比,该方法的Pearson相关系数和Spearman等级相关系数分别提升了23.09%和25.34%;均方根误差（RMSE）降低了38.01%。所提出的方法与主观视觉感知具有更高的一致性。     

基于显著特征的HEVC帧内率失真优化

引入感知因素的RDO算法和感知编码可以提高编码视频主观质量,但也产生了明显的率失真性能损失。针对上述问题,提出了一种基于显著特征的 RDO 方法。首先探索了 HEVC 编码树单元的码率分布和显著特征之间的相关性,提出显著码率先验模型并确定了模型的初始参数;然后建立了码率差异最小化的率失真代价模型,并根据该模型推导得到自适应拉格朗日乘子计算方法;最后设计了模型参数更新规则。实验结果表明,算法在率失真性能基本不变的情况下,提高了视频的主观质量。     

基于非负矩阵分解的彩色图像质量评价方法

针对稀疏表示的图像质量评价模型都基于灰度图像,缺少颜色信息,该文提出一种基于非负矩阵分解(NMF)的全参考彩色图像质量评价方法。首先,从自然彩色图像中随机采样,得到训练样本,利用非负矩阵分解,训练得到特征基矩阵,并经过Schmidt正交化,构建特征提取矩阵;其次,根据视觉显著性模型,利用最大视觉显著性和显著性差值两步骤选取视觉重要区域;最后,利用特征提取矩阵,得到低维的特征向量,并最终得到彩色图像质量评价值。实验结果表明,该文方法在LIVE, CSIQ和TID2008 3个图像质量评价库上有很好的表现。3个图像库的平均结果显示,该文方法的综合表现优于所有对比方法。这表明该文方法与主观感知有更好的关联度。