3D电视视差舒适度客观评价

视差是双目立体视觉的重要研究方向,也是影响人眼观看3D电视舒适度的重要因素,本文阐述了双目立体视觉和视差的概念、约束条件,介绍了3D电视视频图像质量评价的方法、发展以及相关标准,最后分析视差舒适度客观评价的相关算法,并通过实验对比各种算法的提取精度和效果,设计和实现3D电视视差舒适度客观评价软件。     

基于支持向量回归的立体图像客观质量评价模型

立体图像质量评价是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效评价是目前的研究难点。该文根据图像奇异值有较强稳定性的特点,结合立体图像的主观视觉特性,提出了一种基于支持向量回归(Support Vector Regression, SVR)的立体图像客观质量评价模型。该模型通过分析立体图像的视觉特性,提取左右图像的奇异值作为立体图像的特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过SVR预测得到立体图像质量的客观评价值。实验结果表明,采用该文提出的客观评价模型对立体数据测试库进行评价,Pearson线性相关系数值在0.93以上,Spearman等级相关系数值在0.94以上,均方根误差值接近6,异常值比率值为0.00%,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

一种基于用户关注的立体图像舒适度评价算法

近年来,立体电视和立体电影的发展掀起了一股“3D”热潮.要让观众享受到高质量的立体内容,首先要解决人们在观看立体视频图像时的不舒适感.以立体图像的视差因素为切入点,结合人眼关注模型,设计并实现了一种立体图像舒适度的客观评价方法.该方法根据人造立体图像的主观实验评价结果,建立了视差—舒适度模型,同时结合图像显著信息,对立体图像的舒适度进行了预测.对比主观评价结果,所提出的立体图像舒适度客观评价方法所获取的评价结果与人眼感受具有较好的一致性.     

基于视觉感知和零水印的部分参考立体图像质量评价模型

通过分析人类视觉系统的纹理方向特性和立体感知特性,并结合数字水印的半脆弱性和支持向量回归(Support Vector Regression, SVR)的泛化学习能力,该文提出一种基于视觉感知和零水印的部分参考立体图像质量客观评价模型。该模型利用立体图像左右视点经小波分解后在同一空间频率的水平和垂直方向子带系数关系构造反映图像纹理方向特征的视点零水印,同时,利用左右视点视差值与自适应阈值的大小关系构造反映立体感质量的视差零水印,然后利用SVR来学习两类零水印恢复率(视觉加权视点零水印恢复率和视差零水印恢复率)与主观评价值的关系,最后用训练好的SVR完成立体图像质量预测。实验结果表明该模型符合人眼视觉特性,所得到的客观评价值与主观评价值具有较好的一致性。     

一种基于用户关注模型的立体图像舒适度客观评价方法

近年来,立体电视和立体电影的发展掀起了一股“3D”热潮。要让观众享受到高质量的立体内容,首先要解决人们在观看立体视频图像时的不舒适感。本文以立体图像的视差因素为切入点,结合人眼关注模型,设计了并实现了一种立体图像舒适度的客观评价方法。该方法根据人造立体图像的主观实验评价结果,建立了视差——舒适度模型,同时结合图像显著信息,对立体图像的舒适度进行了预测。对比主观评价结果,本文实现的所提出的立体图像舒适度客观评价方法所获取的评价结果与人眼感受具有较好的一致性。     

基于场景模式的立体图像舒适度客观评价模型

为了预测双目立体图像内容对视觉健康可能产生的危害,该文提出一种基于场景模式的立体图像舒适度客观评价模型。根据场景中前景目标和后景区域相对于显示屏幕的凹凸性以及是否处于舒适观看区,将自然场景抽象为多种场景模式。在模式选择阶段,从视差图中自适应分割出前景目标和后景区域,根据前、后景的视差角特征确定场景所属的模式;在建模阶段,采用前、后景的视差角特征结合前景的宽度角和曲折度特征对各个场景模式分别进行建模,并量化了前、后景视差因素对视觉舒适度的影响。在IVY数据库上的实验结果表明,所提出的模型与主观感知存在较好的一致性,Pearson相关系数高于0.91, Spearman相关系数高于0.90, Kendall相关系数高于0.74,平均绝对值误差低于0.24,均方根误差低于0.32,与现有的方法相比,该文所提出的模型的评价效果更好,更接近于主观测试结果。     

基于特征区域分割的立体视频视觉舒适度评价方法

为准确反映人眼在观看立体视频过程中的视觉舒适程度,提出了一种基于特征区域分割的立体视频视觉舒适度评价方法。首先自适应地分割提取出立体视频序列中的人眼的感兴趣区域,以及相邻帧间的运动区域,然后结合深度感知理论和空间合并技术,对视觉舒适度这一特征量进行建模,最后实现对立体视频视觉舒适度的评定。实验结果表明,使用本文的方法对立体视频视觉舒适度进行评价,可以很好的模拟人眼直接观测的视觉感受,对于视觉舒适度的研究具有重要的参考价值。     

基于视觉显著性图的立体图像视疲劳评价

随着立体显示技术的飞速发展,立体图像带来的视疲劳问题引发了人们的广泛关注.视觉显著性区域决定着立体图像的性质,而双目视差和观看时间是影响立体图像视疲劳程度的两个重要因素.为了评价观看立体图像后产生的视疲劳,提出了立体图像视疲劳的评价模型.该模型基于视觉显著性图,根据视差和观看时间得到对立体图像视疲劳的评价.生理心理实验表明,该模型预测结果的可靠率到达了93％以上,依据该评价模型可由视差和观看时间快速、准确地评价立体图像视疲劳,为立体图像视疲劳的评价及立体图像的改进提供了依据.     

基于深度感知和主观评价的影响立体图像舒适度的视差范围研究

立体图像的视差很大程度上决定了立体图像的视觉舒适度,本文从定量的 角度对影响立体图 像舒适度的视差范围进行了研究。首先对源立体图像采用像素平移方法得到测试立体图像集 ,通过大量的 主观实验得到测试立体图像的舒适度平均意见得分(MOS,mean o pinion score)值;其次,基于视觉显著性特点,采用自适应权重立体匹配方 法计算各区域的视差值,以测试各区域视差值对整幅立体图像舒适度的影响程度;最后通过 转换公式将舒 适立体图像的视差范围转换为视差角形式,以便将本文方法推广到其他类型的显示设备。实 验结果表明, 在实验所用显示设备中,满足舒适要求的像素平移量为－40～90(左 移40pixels至右移90pixels);当 立体图像中心显 著区域的水平视差在－0.3882°～0.851范围内时, 其舒适度在可接受范围内,而视差范 围为－0.2713°～0.781时舒适度达到最佳;最后将本文方法推广到常用显示设备,并给出了常用显示设 备的舒适视差范围,为立体图像和视频的制作提供了可靠依据。     

基于视觉感知的3D-HEVC帧间信息隐藏算法

由于传统的视频信息隐藏算法缺乏对人眼视觉感 知特性的研究,本文提出一种基于视觉感知 的3D-HEVC(3D High Efficiency Video Coding,3D-HEVC)帧间信息隐藏算法。首先,根 据立体显 著模型和大津阈值,将立体视频图像分为显著区域和非显著区域;然后,建立隐秘信息与量 化参数 QP(Quantization Parameter,QP)的映射关系,且针对不同的区 域,利用隐秘信息根据余数相等原 则相应的调制P帧或B帧的QP值;最后,用含隐秘信息的QP进行编码。实验结果表明,该 算法 平均每帧嵌入容量为246bit,相比于原始HTM13.0,所提算法编码重建立体视频序列的PSNR 值和SSIM值平均下降0.031dB和 0.000058,比特率仅平均增长0.0741%,且能对隐秘信息盲提取。     

立体视觉与立体成像

讲述了主要立体视觉因素的形成机理,导出双目视差关系式,给出了相应参数的约略值,分析了主要参数与立体视觉效果的关系。可供立体成像、制作较符合视觉特性的立体电视节目、高效编码立体电视视频数据流和重显立体视频图像参考。     

基于视差空间图的立体图像质量客观评价方法

立体图像质量评价是评价立体视频系统性能的有 效途径,而如何利用人类视觉特性对立体图像质量 进行有效评价是目前的研究难点。本文提出了一种基于视差空间图(DSI) 的立体图像质量客观评价方法。首先, 分别构造原始立体图像和失真立体图像的DSI图;然后,通过三维离散余弦变换(3D-DCT)提取出反映图像质量 和深度感知的特征信息,并采用主成分分析(PCA)进行特征降维,形成立体图像特征信息; 最后,通过支持向量 回归(SVR)建立立体图像特征与主观评价值的关系,从而预测得到立体图像质量的客观评价 值。实验表明, 对于对称立体图像库,Pearson线性相关系数(PLCC)和Spe arman等级相关系数(SROCC)值均达到0.94以上;对于非 对称立体图像库,PLCC和SROCC值分别达到0.94以上。结果表明,本文方法能够很好地预测人眼对立体图像的主观感 知。     

视差与空间频率对自由立体显示器观看舒适度的影响

观看舒适度是评价自由立体显示器性能的重要指标。立体图像的视差和空间频率影响人眼的感知深度,从而对观看舒适度有重要作用。本文采用3DS MAX三维建模软件和Photoshop图像处理软件得到不同视差和空间频率的立体图像,通过观看舒适度的客观度量结合主观评价确定视差及空间频率与观看舒适度的关系,得出观看舒适度较高时的视差范围和与之相对应的空间频率范围。实验表明,立体图像低空间频率所致的模糊可以增加观看舒适度。     

基于双目信息融合的立体图像质量评价模型

根据人类视觉系统(Human Visual System,HVS)中双目视觉信息处理的过程,结合一系列图像特征,提出一种基于双目信息融合的立体图像质量评价模型。该模型通过复小波变换模拟HVS对立体图像的融合过程。提取结构活跃度(Structural Activity,SA)以及相位一致性(Phase Congruency,PC)作为图像特征。最后通过度量融合图像特征的改变程度获得立体图像客观质量。采用本文所提出的客观评价模型对立体图像数据库进行评价,其线性相关系数值在0.92以上,均方根误差值接近6,异常值比率值为0%。实验结果表明,该模型符合人眼视觉特性,能够很好地预测立体图像质量。     

基于双目能量响应的无参考立体图像质量评价

为了实现对不同失真类型立体图像的质量评价,提出了一种基于双目能量响应的无参考立体图像质量评价(NR-IAQ)方法。首先,通过对各失真图像进行Gabor滤波,提取出不同频率、不同方向、不同视差响应下的局部特征矢量,作为立体图像特征信息;然后,利用支持向量回归(SVR)建立立体图像特征与主观评价值的关系,从而预测得到立体图像质量的客观评价值。实验结果表明,对于NBU-3D测试库,Pearson线性相关系数值在0.92以上,Spearman等级相关系数值在0.93以上;对于LIVE-3D测试库,Pearson线性相关系数值在0.96以上,Spearman等级相关系数值在0.96以上;与现有的全参考(FR)和(NR)质量评价方法相比,本方法得到的客观评价值与主观评价结果有较好的相关性,更加符合人眼视觉系统。     

立体视觉舒适融合限预测模型的研究

针对导致立体显示中视觉舒适度问题的关键——立体视觉舒适融像问题,利用随机点立体图像(Random dot stereograms,RDS),对影响立体视觉舒适融像的因素进行了研究。通过改变RDS隐藏图形的大小,随机点的密度,随机点的大小和隐藏图形的形状,利用主观行为实验,分析这些因素对于立体视觉舒适融合限(Comfortable fusion limits,CFL)的影响,并提出关于CFL与这些因素的预测模型。实验结果表明,这些因素在交叉视差和非交叉视差情况下,对于立体视觉CFL的影响不同:非交叉视差下,被试者能够承受更大的隐藏图形,并且对于隐藏图形形状的CFL的感知与交叉视差相反;对由预测模型计算得出的CFL的预测值和实测值进行相关性检测,在交叉视差下,相关系数为0.998,非交叉视差下相关系数为0.977,可以认为该预测模型能够较为准确地预测CFL。     

一种基于最小可察觉失真的立体图像质量客观评价方法

立体图像质量是评价立体视频系统性能的有效途径,而如何利用人类视觉特性对立体图像质量进行有效的评价是目前的研究难点。本文通过分析最小可察觉失真(JND,just noticeable distortion)视觉感知模型,并结合反映图像结构信息的奇异值矢量,提出了一种基于JND的立体图像质量客观评价方法。评价方法由图像质量评价和深度感知评价两部分组成,首先提取反映图像质量和深度感知的特征信息作为立体图像特征信息,然后根据立体图像的不同失真类型情况对其特征进行融合,通过支持向量回归(SVR,support vector Regression)预测得出立体图像质量的客观评价值。实验结果表明,采用本文提出的客观评价方法对立体数据测试库进行评价,在不同失真类型或混合失真评价结果中,Pearson线性相关系数(CC)值均在0.94以上,Spearman等级相关系数(SROCC)值均在0.92以上,符合人眼视觉特性,能够很好地预测人眼对立体图像的主观感知。     

视差和运动对立体视频舒适度感知的影响

为了更好地评价立体视频的舒适程度,提出了将立 体视频中存在的3种视差与物体的运动特性作为影响立体视频舒 适度重要因素,并利用这4种因素在不同的立体视频内容中得到的数据变化建立符合人眼感 知的客观舒 适度评价标准。首先提取帧内显著物体视差、帧内相关背景视差、帧间视差和运动变量4种 因素;然后结合深度感知理论和最小二乘拟和方法建立评价模型;最后 利用主观 评价的方法对模型进行评定。结果表明,本文方法可以很好地模拟人眼的 主观感受。     

基于双目视觉的六旋翼无人机立体匹配算法

针对六旋翼无人机双目视觉成像时,经双目融合后反馈的图像噪点过多,以及图像精度不够理想的问题,提出了一种在匹配过程中融入全局差错能量最小化的区域立体视觉匹配算法。由于视差的求解是立体匹配过程中最重要的环节,因此本文利用最小化差错能量矩阵求解最优视差的原理。通过提高立体视觉的视差精度,从而减少视觉融合过程中因数据问题产生的噪声干扰,最终提高了对场景信息三维重构的准确度。通过分别在室内外的仿真实验与真实环境重构实验,验证了本文提出的基于双目视觉的六旋翼无人机立体匹配算法的有效性与可靠性。     

色度对立体图像视觉舒适度影响的定量研究

随着立体成像技术的迅猛发展,对影响立体图像 观看舒适度的各种因素进行研究,已成为立体产品 迅速普及的关键技术之一。本文结合人眼视觉系统(HVS)特性,定量研究了色度因素 对观看双目立体图像舒适度的 影响。采用改进极限法,通过主观实验定义了立体图像舒适色度匹配图和差异图,并通过例 证验证了其普 适性。实验结果表明,舒适区域约占整个色度区域的48%,左右视图 色度不匹配的门限值会随着色调的不 同有所不同,且双目视图的色度值差异最大门限值的最大最小值分别为129.3°和46.1°,即左右视图色度 值的差异不能过大。根据两图给出的舒适色度范围,能够快速、准确地对测试立体图像进行 舒适与否的判 定,其正确率可达到90%以上,为立体图像舒适度评价及立体显示技 术的改进发展提供了依据。