基于Unity3D的可变视点数立体图像合成算法

针对当前自由立体3D显示器的最佳观看距离固定和无法灵活调的等问题,本文在Unity3D平台上采用Cg语言编程,提出了可变视点数立体图像合成算法。该算法根据最佳观看距离与视点数之间的关系,调整光栅截距对应的像素点,实现了通过灵活改变视点数来改变自由立体3D显示的最佳观看距离。实验结果表明,通过此算法合成的立体图像可以调整显示的最佳观看距离,并且实验测得的视点数与计算所得的视点数误差较小。图像串扰较低、合成效率高,使观看者能在不同距离都能舒适观看立体图像。     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

3D多视点立体显示及其关键技术

作为基于 DTV/HDTV 的二维(2D)显示之后的下一代视频显示技术,三维(3D)多视点立体显示已成为国际上的研究热点之一.为建立多视点立体显示系统,阐述了相关的关键技术,包括:光场表示模型和光场获取系统、高效的与现行视频标准兼容的多视点编码和传输方法、解码端任意位置视点的高效绘制方法、3D显示技术以及多视点自由立体显示.针对上述关键技术,分析了当前国际上的发展趋势及存在的问题,同时提出了一种基于交互式自由立体显示的 3D 视频处理系统的解决方案.     

交互式立体显示中基于图像拼合的视点合成

在立体显示中,视点合成是实现交互性的关键技术,即在三维(3D)场景中通过自由选择视点而获得环视能力.本文将视点插值和基于图像拼合的视点变形技术相结合,提出一种中间视合成算法.首先均匀化原始立体图像对;然后只对前景对象区域进行视差估计以提高视差匹配的速度和精度;接着确定左右视点中的可靠区域,根据可靠区域生成过渡中间视点;最后,采用视点插值结合变形的方法,由过渡视合成中间视点.实验结果表明合成的中间视点图像质量良好,而且合成速度也明显提高.本文算法可用于实时 3D 视频应用的交互式立体显示,可以实现任意视点的实时绘制.     

基于光栅的手机多视点立体显示技术研究

研究了基于多视点立体视频处理系统的手机客户终端显示技术。针对现有的8视点光栅立体手机显示技术的缺陷,在原有8视点立体图像合成算法的基础上,研究视差原理及校正方法和视点配对原理,采用调整视点间视差和减少视点数两种解决方案,并提出将两种方案进行结合的方法。经实验验证,本文提出的两种方法在保证原有立体显示效果的基础上,大幅度提高了立体显示的舒适度。     

从平面图生成多视点自由立体显示视差图的研究

提出一种从平面图生成立体显示视差图的新方法.该方法利用Matlab建立曲面模型并为图片中的相应规则区域赋予深度信息,再根据深度信息的投影原理,在不同观察点得到具有视差的多幅视差图.将这些视差图的合成图在多视点自由立体显示器上显示,可以看到很好的立体显示效果.该研究对于多视点自由立体显示器利用现有大量的平面图像源得到立体显示效果具有一定指导的意义.     

采用双目立体相机的实时集成成像拍摄系统

提出了一种基于双目立体相机的实时集成成像拍摄系统。不同于采用传统的摄像机阵列,该系统采用双目相机对三维场景进行拍摄,有效地简化了集成成像拍摄系统的结构。该系统首先利用双目相机获取三维场景的左右视差图,然后上传到图形处理器生成三维场景的高分辨率深度图,之后利用深度图和彩色纹理图在图形处理器中并行生成新视点视差图像,并利用像素映射算法生成高分辨率微图像阵列,实现实时的集成成像显示。实验中系统获取的深度图像素数目是微软Kinect2获取深度图像素数目的4.25倍,当系统运行在1 920 pixel1 080 pixel、99视点数的环境下,可实现三维场景的实时拍摄与显示,实验结果证明了所提系统的可行性。     

分布式多视点视频编码中的立体边信息生成

新兴的分布式多视点视频编码通过在解码端使用立体边信息可充分挖掘传统单视点的时间相关性和多视点特有的视间相关性.研究了一种多视点运动预测的立体边信息生成算法,提出了近似视差估计和编码端掩模融合算法.实验证明,解码端采用近似的视差矢量,编码端传递某些先验信息,都能有效提高立体边信息精度,降低计算复杂度.     

自由视点视频系统中虚拟视合成及校正方法

根据多视点视频中的几何约束关系,提出了一种基于图像的新视点重建方法,能够根据所选择方位重建虚拟视;针对虚拟视中合成误差,提出了基于平面扫描的校正方法,最终获得了主观质量和客观质量均优于传统方法的虚拟视。     

面向HBP编码格式的立体视频B帧整帧丢失分层错误隐藏算法

针对分层B帧(HBP)编码格式的立体视频B帧整帧丢失的问题,该文分析了双视点视频中存在的视点间运动矢量相关性,提出一种分层错误隐藏算法。该算法与当前主流的方法有两大不同:一是该算法采用分级隐藏,根据B帧的重要性等级不同采用不同的错误隐藏方法;二是该算法考虑了相邻视点序列之间的宏块运动矢量相关性。实验表明,该算法的性能优于当前常用的H.264多视点视频整帧丢失错误隐藏方法。     

自由立体显示中的实景立体影像获取方法

获取适当位差的立体影像是自由立体显示系统的重要环节.针对该问题,提出了无导轨实景拍摄立体影像的过程和方法.分析并计算了立体包容范围与相机间距的关系,建立了立体场景包容范围模型.在测量自制各尺寸显示器的水平视差极限后,给出了最佳拍摄间距,为立体实景拍摄和制作提供了理论依据.     

Modeling and optimization of rotational C-arm stereoscopic X-rayangiography

Stereoscopy can be an effective method for obtaining three-dimensional (3-D) spatial information from two-dimensional (2-D) projection X-ray images, without the need for tomographic reconstruction. This much-needed information is missed in many X-ray diagnostic and interventional procedures, such as the treatment of vascular aneurysms. Fast C-arm X-ray systems can obtain multiple angle sequences of stereoscopic image pairs from a single contrast injection and a single breath hold. To advance this solution, we developed a model of stereo angiography, performed perception experiments and related results to optimal acquisition. The model described horizontal disparity for the C-arm geometry that agreed very well with measurements from a geometric phantom. The perceptual accommodation-convergence conflict and geometry limited the effective stereoscopic field of view (SFOV). For a typical large image intensifier system, it was 28 cm x 31 cm at the center of rotation (COR). In the model, blurring from finite focal-spot size and C-arm motion reduced depth resolution on the digital display. Near the COR, the predicted depth resolution was 3-11 mm for a viewing angle of 7 degrees , which agreed favorably with results from recently published studies. The model also described how acquisition parameters affected spatial warping of curves of equal apparent depth. Pincushioning and the difference between the acquisition and display geometry were found to introduce additional distortions to stereo displays. Preference studies on X-ray angiograms indicated that the ideal viewing angle should be small (1-2 degrees), which agreed with some previously published work. Perceptual studies indicated that stereo angiograms should have high artery contrast and that digital processing to increase contrast improved stereopsis. Digital subtraction angiograms, with different motion errors between the left and right-eye views, gave artifacts that confused stereopsis. The addition of background to subtracted images reduced this effect and provided other features for improved depth perception. Using the modeling results and typical clinical angiography requirements, we recommend acquisition protocols and engineering specifications that are achievable on current high-end systems.     

平行式双目立体系统基线长度的选取

如何获取人眼立体融合范围内的视差图像是立体影像获取的前提,而视差的大小与双目立体相机间的基线长度存在一定关系.通过分析平行式双目立体系统产生视差的原理,并结合人眼Panum融合区对立体拍摄过程中基线长度的取值进行限定.最后通过实验对推导结果进行验证.该研究可对实际立体影像拍摄过程中相机间隔的选取提供参考.     

自由立体显示拍摄系统中摄像机空间自由度的确定

自由立体显示器的立体显示效果与视差图的视差大小及性质密切相关,而视差的大小是受获取视差图时相机的摆放方式影响的。文章提出利用双目相机标定技术求解左右摄像机中心的空间位置关系以及两个摄像机光轴的空间夹角,并通过标定结果不断调节摄像机的位置,从而使两个摄像机光轴达到近似平行,此时获取的视差图就可以保证更好的立体显示效果。通过实验研究得到了两个相机空间夹角允许的变化范围。该研究结果可用于指导自由立体显示器拍摄系统的调节。     

Architectures for multi-threaded MVC-compliant multi-view video decoding and benchmark tests

3D video based on stereo/multi-view representations is becoming widely popular. Real-time encoding/decoding of such video is an important concern as the number and spatial/temporal resolution of views increase. We present a systematic method for design and optimization of multi-threaded multi-view video encoding/decoding algorithms using multi-core processors and provide benchmark results for real-time decoding. The proposed multi-core decoding architectures are compliant with the current MVC extension of H.264/AVC international standard, and enable multi-threaded processing with negligible loss of encoding efficiency and minimum processing overhead. Benchmark results show that multi-core processors and multi-threading decoding are necessary for real-time high-definition multi-view video decoding and display.     

不同年龄段人眼的视觉感知研究

为了探究不同年龄段人眼的视觉特性,采用立体色域的方法建立了显示系统中不同年龄人群的视觉感知模型,以基于CIEL^*A^*B^*颜色空间的立体色域作为标准,取得了不同年龄观察者的立体色域数据。结果表明,从光度学来看,观察者年龄的增长会导致其明视光谱发光效率函数的峰值响应有小幅度的降低,并且其峰值位置在波长轴上向长波方向移动;从色度学上来看,色域体积从20岁的1.73×10⁶到60岁的1.16×10⁶,减小了约1/3,且这种减小集中在中高亮度水平上;进一步分析波长与立体色域的关系,发现绿色光源对所有年龄观察者的立体色域影响最大,对于所有的观察者推荐520 nm的最佳波长选择。该研究可为显示系统针对不同年龄观察者的色域、波长和亮度之间提供设计指导。     

空间非合作目标半物理仿真地面验证系统

针对非合作目标线阵雷达成像点云数据获取过程中在轨验证试验成本高、空间环境复杂和控制难等问题,以非合作目标三维重建数值模拟为基础,研制模拟空间服务航天器绕飞采集过程半物理仿真地面验证系统。采用KUKA六轴机械臂搭载缩比卫星模型,还原非合作目标的运动状态,并利用三轴精密转台搭载线阵扫描雷达实现非合作目标可测部位数据采集,通过综合控制系统完成目标扫描及数据处理。利用该半物理地面验证系统,开展缩比比例为1∶10的非合作目标多视角数据采集试验;通过建立分辨率精度评估、吻合度评估和实际运动与控制运动的误差分析准则,进行评估试验。试验结果表明:该系统可以有效获取多视角状态下非合作目标的点云数据,根据点云数据测量计算的目标章动运动角度与目标真实运动角度误差在4%以内,可为未来空间在轨操控与三维重建技术提供真实的技术数据参考。