一种应用于虚拟现实的基于网格变形的立体图像生成方法

文章针对虚拟现实系统,介绍了立体图像的生成方法。提出了利用单个相机通过不同的投影变换来拍摄双眼图像。基于单相机拍摄的方法,分析了立体图像的视差形成机制,给出了有头跟踪设备和无头跟踪设备两种情况下双眼图像的视差变换矩阵。进一步分析了视差大小、感知深度、感知变形和模型变形之间的联系,将视差的产生归结为模型的几何变形。提出可以通过模型的几何变形来控制视差和感知物体的变形,从而给出了一种基于模型网格变形的非线性深度映射方法。该方法能有效的减少因感知物体的变形而带来的视觉瑕疵,并能消除在头跟踪系统中因深度映射导致的图像漂移。     

无形变视差调节快速算法

针对目前的3D播放器使用简便快捷的拉伸和平移算法实现深度感的调节产生明显的图像形变问题,本文提出了一种精确的视差调节模型,但模型调节视差需要获取原始深度值,计算复杂度高,导致难以流畅播放高分辨率3D视频图像。为此,进一步引入最小形变可察觉范围,通过假设原始深度的统计模型,把形变大小控制在最小形变可察觉范围内,在复杂度与形变程度上作出适当的平衡。VLC播放器实验表明,相比传统方法,本文算法形变程度降低超过50%,立体视觉主观效果更好;对于高清视频,算法效率提高48%。     

视差和运动对立体视频舒适度感知的影响

为了更好地评价立体视频的舒适程度,提出了将立 体视频中存在的3种视差与物体的运动特性作为影响立体视频舒 适度重要因素,并利用这4种因素在不同的立体视频内容中得到的数据变化建立符合人眼感 知的客观舒 适度评价标准。首先提取帧内显著物体视差、帧内相关背景视差、帧间视差和运动变量4种 因素;然后结合深度感知理论和最小二乘拟和方法建立评价模型;最后 利用主观 评价的方法对模型进行评定。结果表明,本文方法可以很好地模拟人眼的 主观感受。     

视差式立体信息采集、感知几何模型及舒适观看区研究综述

近年来,立体影视产业蓬勃发展,基于视差的立体成像技术成为市场主流.但是,基于视差的立体成像技术存在深度畸变、视觉不舒适等问题.针对这些问题,本文研究了立体视频系统几何模型与舒适观看区.首先,总结并比较了立体采集系统的各种配置模式;接着讨论了平移式立体系统中拍摄空间到感知空间的映射关系,即畸变模型,并用形状、深度畸变因子解释了木偶剧效应和纸板效应;然后分析了舒适观看区,对其三种定义做了比较,并基于国际上普遍采用的1°视差计算得出了舒适观看区域的几何范围;最后,本文将畸变模型和舒适观看区相关联,总结了立体图像拍摄应遵守的基本准则.     

联合彩色信息的多视点深度视频视差矢量预测

多视点加深度(MVD)格式可以利用虚拟视点绘制技术生成任意视点的视频,能高效地向观看者提供立体感知。由于MVD中的深度视频与对应的彩色视频采集于同一场景,具有高度的相关性。因此,深度视频可以利用已编码的彩色信息辅助编码。提出一种联合彩色信息的多视点深度视频视差矢量预测方法。该方法首先获得当前编码深度块对应位置的彩色块,提取彩色块预测得到的视差矢量作为深度块的一个候选视差矢量。然后,利用深度块信息计算得到另一个候选视差矢量。最后,对两个候选视差矢量通过计算下采样均方差,选择更精确的一个作为当前深度块的视差矢量预测值。实验结果表明,所提出的方法性能优于3D-HEVC编码平台HTM。     

一种基于图像分割的动态规划立体匹配算法

本文提出了一种基于图像分割的动态规划立体匹配算法。此算法首先利用MeanShift图像分割算法对左右图像对进行分割处理,从而得到分割域的深度范围约束;然后结合窗口匹配及可信度约束得到地面控制点;综合地面控制点和其所属分割域的深度一致性关系可以有效剔除部分不可信点;以地面控制点和分割域作为约束信息,对动态规划的数据能量项和遮挡能量项加入分割域关系约束,利用动态规划算法得到最终视差图。实验结果表明,该算法可得到较好的视差结果。     

基于FPGA的立体视觉匹配的高性能实现

立体视觉系统在3维场景信息感知中起着重要的作用。其中立体匹配算法的运算复杂度较高,实时处理需要硬件实现匹配运算。但在现有的不多实现中,性能要求和硬件资源的矛盾突出。随着分辨率的增加,对处理速度和视差搜索范围都有更高的要求。对此,该文提出了一种立体匹配硬件实现结构,通过并行化算法子模块和合理安排流水结构来提高性能。匹配算法引入了自适应相关窗口的匹配策略,提升了深度不连续区域的视差质量。该方法结合左右一致性校验准则,可有效去除大部分错误匹配结果。整个匹配流程在单片现场可编程门阵列(FPGA)上实现,并在有限硬件资源条件下将视差搜索范围扩大到128像素。系统时钟60 MHz时,对于512512分辨率的立体图像,系统可以实现60帧/秒以上的处理速度。     

基于人类视觉系统的立体图像质量评价方法

随着立体图像的大规模发展,很多应用场合需要能够迅速有效地完成对立体图像的质量评价工作,以便于后续应用,而对其进行主观质量评价在效率上很难满足要求。因此,提出了一种感知质量评价算法,并结合了一些人类视觉系统的特性。首先需要得到视差图,然后通过边界图和显著图来对视差图进行加权调整。接着使用Minkowski融合方法将加权后的视差图整合成感知分数。最后,使用多尺度分析来得到最终的感知质量分数。通过使用EPFL立体质量评价数据库来验证文中的立体图像感知质量评价算法。实验显示算法最后得到的客观分数和EPFL数据库中的主观分数具有高度的一致性和单调性,证明了文中的立体图像感知质量评价算法是有效的。     

基于时空一致性的立体视频稳像改进方法

随着立体拍摄设备的普及,立体影视的后期稳像需求大大增加.直接观看带有抖动的立体视频,极易造成视觉疲劳.利用传统2D稳像方法分别稳像合成的立体视频很可能引入新的垂直视差,并且会导致水平视差的不稳定,大大影响视觉体验.因此,提出了一种改进的立体视频稳像方法,在3D运动模型进行单目稳像的基础上,增强两路视频的时空一致性约束,更好地稳定水平视差及消除垂直视差.最后对稳定后的序列进行合理的裁切放大.对几组不同的立体抖动视频进行了试验,测试结果表明所提出的方法是有效的.     

基于HBP编码结构的MVC快速算法

针对MVC系统中运算量最大的矢量预测部分——单向搜索和双向搜索,该文提出一种快速算法。根据多视点视频的序列相关性,采用立体-运动约束模型在运动域和视差域进行联合迭代单向搜索,设计可信度因子来自适应地调整修正搜索窗口,同步搜索得到运动和视差矢量。此外,通过分析双向预测宏块的特性,提出一种双向搜索提前中止算法。实验结果证明该文算法的有效性,能在保持编码质量的同时极大减少算法复杂度。