平行式双目立体系统基线长度的选取

如何获取人眼立体融合范围内的视差图像是立体影像获取的前提,而视差的大小与双目立体相机间的基线长度存在一定关系.通过分析平行式双目立体系统产生视差的原理,并结合人眼Panum融合区对立体拍摄过程中基线长度的取值进行限定.最后通过实验对推导结果进行验证.该研究可对实际立体影像拍摄过程中相机间隔的选取提供参考.     

基于Panum融合区的视差图获取算法

视差图的获取既是立体图像处理的核心,也是立 体图像处理的难点。为了高效、精确 地获取立体图像的视差图,提出了一种基于Panum融合区的视差图获取算法。首先根据 人眼视觉特性的Panum融合区得到立体图像视差敏感范围的计算方法;然后根据此范围 将立体图像分割成视差敏感区和视差不敏感区,对视差不敏感区计算低精度视差图,对视差 敏感区计算高精度视差图;最后将两视差图相结合得到最终的视差图。实验结果表明,本文 所提出的算法在不影响人眼主观立体感受的情况下,计算出较高精度的视差图,同时相对于 通常的高精度视差图获取算法降低了时间开销。     

基于网格的立体图像编码算法

基于特征点视差估计与三角网格映射,提出一种立体图像压缩编码算法。为了保持压缩后视点对的视差不发生变化,利用绝对差值图进行特征点选取。进行残差图像编码时,结合了心理立体视觉影响、人眼亮度色度特性、立体图像对色度特点与三角网格映射特点等因素,提出了立体残差编码只需对Y分量进行的方法。实验表明,该算法具有一定的优越性,如压缩比大,图像质量与立体感均较好。     

立体图像生成的视差控制

获取合适的视差信息是立体图像得到舒适观看的重要条件。为达到上述目的,提出了一种立体图像视差检测和控制方案。首先分析2种人眼视觉生理学限制的数学模型,并结合人眼跟踪技术获取生理视差容限。然后使用OpenGL图像绘制引擎获取显示场景的极值深度信息,进而计算出画面视差范围。最终通过比对虚拟场景的视差与观察者的生理视差容限,确定场景视差正确性并加以修正。实验证明,方案可以实时地进行视差控制,为立体图像生成提供了可靠依据。     

一种基于用户关注的立体图像舒适度评价算法

近年来,立体电视和立体电影的发展掀起了一股“3D”热潮.要让观众享受到高质量的立体内容,首先要解决人们在观看立体视频图像时的不舒适感.以立体图像的视差因素为切入点,结合人眼关注模型,设计并实现了一种立体图像舒适度的客观评价方法.该方法根据人造立体图像的主观实验评价结果,建立了视差—舒适度模型,同时结合图像显著信息,对立体图像的舒适度进行了预测.对比主观评价结果,所提出的立体图像舒适度客观评价方法所获取的评价结果与人眼感受具有较好的一致性.     

立体电视不同视差平面上的立体视锐度研究

通过生理感知试验,研究了双路立体电视不同视差平面上的立体视锐度.根据试验结果,人眼在0°视差平面上有最佳的立体视锐度,且随着画面中物体视差逐渐增大,人眼在观看该出/入屏物体时的立体视锐度将逐渐下降.此外,相比入屏物体而言,人眼在观看具有相同大小视差的出屏物体时具有更佳的立体视锐度.     

视差和运动对立体视频舒适度感知的影响

为了更好地评价立体视频的舒适程度,提出了将立 体视频中存在的3种视差与物体的运动特性作为影响立体视频舒 适度重要因素,并利用这4种因素在不同的立体视频内容中得到的数据变化建立符合人眼感 知的客观舒 适度评价标准。首先提取帧内显著物体视差、帧内相关背景视差、帧间视差和运动变量4种 因素;然后结合深度感知理论和最小二乘拟和方法建立评价模型;最后 利用主观 评价的方法对模型进行评定。结果表明,本文方法可以很好地模拟人眼的 主观感受。     

平行式红外双目立体系统各参数合理效益取值

为解决当前夜间辅助驾驶仪平面显示的弊端以及在合理效益下获得丰富的立体层次感,文中从平行式红外双目夜视系统出发分析对比了红外双目系统和人眼立体感知的最小可分辨距离,结合人眼立体感知机理以及从影像分层角度分析观看立体影像时兼具宽阔的视场张角、丰富的立体层次感时所满足的条件,对红外双目立体系统合理效益条件下的各参数关系进行推导。最后根据推导结果,计算分析3种不同规格显示屏所对应的水平像素数的合理效益取值,并选择5组不同水平像素数的红外立体图像对进行实验验证。结果表明:根据推导结果搭建的红外夜视系统在让观察者获得较大视场张角的同时还兼顾效益。     

一种基于用户关注模型的立体图像舒适度客观评价方法

近年来,立体电视和立体电影的发展掀起了一股“3D”热潮。要让观众享受到高质量的立体内容,首先要解决人们在观看立体视频图像时的不舒适感。本文以立体图像的视差因素为切入点,结合人眼关注模型,设计了并实现了一种立体图像舒适度的客观评价方法。该方法根据人造立体图像的主观实验评价结果,建立了视差——舒适度模型,同时结合图像显著信息,对立体图像的舒适度进行了预测。对比主观评价结果,本文实现的所提出的立体图像舒适度客观评价方法所获取的评价结果与人眼感受具有较好的一致性。     

基于视差成像的多视点自由立体投影系统

人眼能获得立体视觉的根本原因是存在视差。利用柱面光栅能使投影成像在有限区域的特点，可以使人的双眼在同一时间分别看到不同的图像形成视差，从而获得立体视觉。本文提出一种双柱面结构的大屏幕自由立体背投系统，从理论上对其结构和成像原理进行了详细分析，并给出了计算机仿真结果。     

一种基于立体视邻接帧时空相关性的最小代价函数帧估计算法

为了在立体视频序列编码中获得高的压缩率,需要对立体视频序列中一个视的序列按传统方法进行独立编码;另一个视的序列中,只对其中一些参考帧(I帧或P帧)按视差补偿预测的方法进行编码,其余帧不进行编码和传输,而在解码端用立体视帧估计的方法得到重建.本文提出了一种基于立体视中邻接帧在图像、视差场和运动矢量场之间高度相关性的方法.对于因遮挡而缺乏估计的区域,则结合了图像强度的连续性和运动,视差矢量的分布特性,构造了代价方程并估计出该部分的运动矢量及强度值.实验证明,重建出来的帧图像在视觉和信噪比意义上均具有较好的效果.     

Perceptual stereoscopic video coding using disparity just-noticeable-distortion model

In this paper, we propose perceptual stereoscopic video coding using a disparity just-noticeable-distortion (JND) model. We obtain the disparity JND model in stereo videos by disparity masking effects of the human visual system (HVS). The disparity JND model represents the maximum distortion of stereo perception that HVS cannot perceive. Based on the disparity JND model, we adjust prediction residuals to remove the perceptual redundancy of stereo videos. Thus, we achieve significant bit-rate saving while maintaining visual quality. Experimental results demonstrate that the proposed method significantly improves coding efficiency without loss of stereoscopic perceptual quality.     

Virtual Control of Optical Axis of the 3DTV Camera for Reducing Visual Fatigue in Stereoscopic 3DTV

In stereoscopic television, there is a trade‐off between visual comfort and 3‐dimensional (3D) impact with respect to the baseline‐stretch of a 3DTV camera. It is necessary to adjust the baseline‐stretch at an appropriate distance depending on the contents of a scene if we want to obtain a subjectively optimal quality of an image. However, it is very hard to obtain a small baseline‐stretch using commercially available cameras of broadcasting quality where the sizes of the lens and CCD module are large. In order to overcome this limitation, we attempt to freely control the baseline‐stretch of a stereoscopic camera by synthesizing the virtual views at the desired location of interval between two cameras. This proposed technique is based on the stereo matching and view synthesis techniques. We first obtain a dense disparity map using a hierarchical stereo matching with the edge‐adaptive multiple shifted windows. Then, we synthesize the virtual views using the disparity map. Simulation results with various stereoscopic images demonstrate the effectiveness of the proposed technique.     

一种3D视频中立体字幕叠加技术

运用3D字幕视差与背景景深的对应关系,基于立体视觉的双目视差原理叠加3D字幕,实现了基于三维图像内容的景深叠加3D字幕的系统.该立体字幕叠加方法具有简单、稳健等特点,缓解了观看时的视觉疲劳问题,使观众更舒适地观看立体图像和字幕.     

基于人眼跟踪的立体内容融合显示技术研究

传统自由立体显示器观看区域不连续制约了它的发展。当观看者头部移动时,会观看到严重“伪立体”。为解决这个问题,使用人眼跟踪技术配合图像融合程序调整图像模式,使得立体观看区域跟随人眼移动,达到连续、大视域的立体显示效果。基于这个方法利用OpenCV和QT构建了一个立体内容实时融合系统,实现了在立体显示器可视范围内任意位置观看立体效果,有效地解决了“伪立体”问题,并且图像模式调整的时候图像亮度变化率小于3.3%。     

基于双目特征联合的无参考立体图像质量评价

通过模拟人类视觉系统(HVS)的双目视觉行为,提 出一种基于双目特征联合的无参考立 体图像质量评价(NR-SIQA)方法。首先分析立体视觉感知中的双目联合行为,提出 可应用于立体图像质量预 测的双目联合模型;然后采用学习和统计分析的方法,分别提取局部和全局特征并联合作 为感知特征; 最后采用机器学习算法,建立特征和质量的关系模型,并结合基于特征的双目联合模型预测 立体图像质量。实验结果表明,本文方法在对称立体图像库上的Pearson线性相关系数(PLCC)和Spearman等级系数(SRCC)高于0.93,在非对称库上高于0.87,优 于现有评价方法。     

极端学习四元数小波特征的立体图像质量评价

为了有效、实时地对各种类型失真立体图像质量 进行评价,提出了一种基于极端学习(ELM) 和四元数小波交换(QWT)的无参考(NR)立体图像质量评价方法。首先利用SSI M密度立体匹 配模型生成相关的视差图、差异度可信图和右视图差异补偿图3D映射图;然后分别对左右视 图、视差图和差异度可信图进行 QWT,计算图像QWT第3相位系数相位幅值加权标准差和能量;再计算右视图 差异补偿图统 计特征熵和中值;最后将所提取的所有特征输入到基于核映射ELM 学习,预测失真立体图像 质量。在LIVE 3D图像质量评价数据库上的实验结果表明,本方法与人类主观质量评分具有较好的一致性 。在LIVE 3D图 像质量库I(Phase I)和库II(Phase II)上的斯皮尔曼相关系数(SROCC) 分别达到0.926和0.914     

Content-Based Pseudoscopic View Detection

Stereoscopic images are generated from a pair of images (i.e., left and right images). In order to generate 3-D perception using the left and right images, it should be guaranteed that each image is perceived by the corresponding eye only. However, the depth perception becomes distorted when the left and the right eye views are interchanged, also known as a pseudoscopic problem. In this paper, we propose a novel method for detecting the pseudoscopic view by using disparity comparison in stereo images. Our approach originates from the idea that the disparities on a scene are categorized into three classes: zero disparity, positive disparity, and negative disparity, and that the foreground is usually located in front of the background. The proposed pseudoscopic view detection system consists of three sequential stages: 1) foreground/background segmentation, 2) feature points extraction, and 3) disparity comparison. We first segment the given image into two layers (i.e., foreground and background). Then, the feature points at each layer are extracted and matched to estimate the disparity characteristics of each layer. Finally, the existence of the pseudoscopic view can be investigated by using a disparity calibration model (DCM) presented in this paper and comparing the sign and magnitude of the average disparity of selected matching points set at each layer. Experimental results on various stereoscopic video sequences show that the proposed method is a useful and efficient approach in detecting the pseudoscopic view stereo images.     

基于三维感知的立体虚拟视点图像质量评价方法

为了评价立体虚拟视点图像的质量,提出了一种基 于三维感知的客观评价方法。综合考虑了立体虚拟视点图像两大最主要失真类型:单视点绘 制失真和立体视点不匹配失真。针对单视点绘制失真,先提取 当前视点失真图与无失真图的差异性区域,再针对该差异性区域计算平均结构相似度(MSSIM ),最后将左 右视点平均池化作为单目纹理特征值;针对立体视点不匹配失真,先对左右视点失真图分别 进行视差映射, 再提取映射图与该视点失真图的差异区域作为双目不匹配区域,然后针对不匹配区域计算MS SIM 值,最 后将左右视点平均池化作为双目竞争特征值;最终将两个特征值幂次融合,作为最终的立体 虚拟视点图像 质量评价客观指标。实验结果表明本方法有效匹配主观打分的DMOS值,皮尔森线性相关系数 和斯皮尔曼 秩相关系数分别为0.911和0.900,正确反映了 立体虚拟视点图像质量。