多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。     

基于Kinect的实时深度提取与多视绘制算法

提出了一种基于Kinect的实时深度提取算法和单纹理+深度的多视绘制方法。在采集端,使用Kinect提取场景纹理和深度,并针对Kinect输出深度图的空洞提出一种快速修复算法。在显示端,针对单纹理+深度的基于深度图像的绘制(DIBR,depth image based rendering)绘制产生的大空洞,采用一种基于背景估计和前景分割的绘制方法。实验结果表明,本文方法可实时提取质量良好的深度图,并有效修复了DIBR绘制过程中产生的大空洞,得到质量较好的多路虚拟视点图像。以所提出的深度获取和绘制算法为核心,实现了一种基于深度的立体视频系统,最终的虚拟视点交织立体显示的立体效果良好,进一步验证了本文算法的有效性。本文系统可用于实景的多视点立体视频录制与播放。     

高质量的虚拟视点图像的绘制方法

针对应用深度图像的绘制(DIBR)技术生成的虚拟视点图像中存在的空洞问题,提出了一种基于DIBR的高质量的虚拟视点图像绘制算法.先由多幅参考图像分别生成同一虚拟视点位置的多幅目标图像,将这些虚拟视点目标图像融合为含有少量空洞的目标图像.然后采用逆映射的方法在多幅参考图像中找到这些剩余少量空洞的对应内容并填充空洞,从而生成高质量的虚拟视点图像.实验结果表明最后生成的虚拟视点图像具有良好的视觉效果.     

用于3DTV的图像绘制技术

针对3DTV的应用,对深度图像绘制技术(DIBR)、光线空间表示法和光场绘制法这3类绘制方法分别提出了改进算法,实验结果表明新生成视图质量良好,可以用于3DTV系统的交互式场景渲染。     

基于逆向映射的空洞填补方法

为了有效填补虚拟视点图像中的公共空洞,提出 了一种基于逆向映射的空洞填补方法。 首先利用深度图像绘制(DIBR)技术将左、右参考视点映射到虚拟视点位置,利用图像膨胀方 法将映射的虚拟视图中的空 洞区域进行扩大,以消除虚拟视点图像中的伪影瑕疵;然后,提取出膨胀后空洞区域的边界 ,并将其逆映 射到原始的参考图像中,根据空洞与边界的相对位置,选取原始图像中相对位置上的像素来 填充虚拟视图 中的空洞区域;最后,将空洞填补之后的左、右视点映射的虚拟视图进行融合获得最终的虚 拟视图。实验 证明,本文方法有效解决了传统空洞填补方法容易将前景像素填充到背景区域的问题,能 够获得较好的视觉观看效果和较高的客观峰值信噪比(PSNR)值。     

构造全局背景的虚拟视点合成算法

虚拟视点合成技术是三维电视、多视点视频等诸多领域中的关键技术。目前,基于深度图像的绘制(DIBR)受到了广泛的关注,而这一技术的主要难点在于如何降低映射过程中产生的空洞。为解决这个问题,提高合成图像的质量,同时降低所需参考视点的数量,本文提出了一种基于全局背景图像的虚拟视点合成算法。首先,我们利用视频序列的帧间互补信息生成一张全局背景图像,并以此为辅助图像,去填补从参考视点映射到虚拟目标视点的各帧图像。与传统方法相比,本文算法能使用空洞区域对应的真实像素进行填充,提高了图像的质量。最后,对填补后仍余留的空洞采用图像修复算法进行处理,得到最终的虚拟视点图像。实验结果表明,这个算法优于传统算法,并且只利用了一个参考视点。      

一种基于时间导向的DIBR空洞填补方法

在立体成像系统中,填充新视点合成时图像中产生的空洞是虚拟视点合成技术的重要环节,已有方法是对空洞区域周围的像素进行水平的推测运算来得到填洞像素,其正确率不高而且容易造成图像边缘失真。提出一种基于时间导向的DIBR空洞填补方法,首先通过结构相似帧的方法得到与关键帧拥有相同背景的前后帧图像,然后比较空洞位置对应的前后帧图像的深度值,利用背景信息对空洞区域进行填补。实验结果表明,新方法得到的填补后的图像效果可以较为真实地还原特定的场景,与原始视点的结构相似性可达到91.36%,比传统方法提高了8.38%。     

基于几何模型的高质量虚拟视点绘制

该研究主要完成用kineet获得的“单路纹理+深度图像”来生成新的虚拟视点图像.针对深度图像的虚拟视点绘制技术(Depth Image Based Rendering,DIBR)生成的虚拟图像空洞问题,利用高斯混合模型分离前背景,背景空洞采用背景值填充,前景空洞采用改进的图像修复技术方法来填充.实验证明生成的虚拟视点图像具有较好的视觉效果.     

基于中心凹恰可觉察失真模型的多视点深度视频编码方法

针对深度视频压缩中存在的大量视觉冗余,提出了一种基于中心凹恰可觉察失真(FJND)模型的深度视频编码方法。首先通过左右通道的彩色和深度视频绘制虚拟视点图像,并利用FJND模型得到虚拟视点图像的FJND,然后根据深度视频中几何偏移和深度值失真之间的关系确定深度视频左通道的可允许失真,将深度视频左通道分区域采用自适应量化参数进行编码,并对右通道的深度视频根据与左通道量化参数的关系进行编码。实验结果表明,本文方法在相同码率下,虚拟视点图像质量平均提高0.48dB;在相同虚拟视点图像的绘制质量下,深度视频编码码率平均减少26%。     

采用图像修复的基于深度图像复制

在传统的基于深度图像复制(DIBR)的基础上提出一种基于图像修复的DIBR方法,将预处理深度图像和图像修复算法相结合来填补三维图像映射后的空洞。与传统方法相比更加灵活,本文方法仅需传输一路参考图像序列,从而有效降低DIBR系统的传输带宽。实验结果证明,本文所提出方法是有效的。     

A 36 fps SXGA 3-D Display Processor Embedding a Programmable 3-D Graphics Rendering Engine

In this paper, a 3D display processor embedding a programmable 3D graphics rendering engine is proposed. The proposed processor combines a 3D graphics rendering engine and a 3D image synthesis engine to support both true realism and interactivity for the future multimedia applications. Using high coherence between 3D graphics data and 3D display inputs, both pipelines are merged by sharing buffers such that a 3D display engine directly uses the output of a 3D graphics rendering engine. The merged architecture has synergetic coupling effects such as freely providing various rendering effects to 3D images and easily computing disparities without complex extraction processes. In the 3D image synthesis engine, we adopt view interpolation algorithm and propose real-time synthesis method, pixel-by-pixel process. The view interpolation algorithm reduces the number of images to be rendered, resulting in the reduction of external memory size to 64.8% compared to conventional synthesis process. The proposed pixel-by-pixel process synthesizes 3D images at 36 fps through bandwidth reduction of 26.7% and decreases internal memory size to 64.2% compared to typical image-by-image process. The 3D graphics rendering engine is programmable and supports the instruction sets of the latest 3D graphics standard APIs, Pixel Shader 3.0 and OpenGL|ES 2.0. The die contains about 1.7 M transistors, occupies 5 mm times 5 mm in 0.18 mum CMOS and dissipates 379 mW at 1.85 V.     

Virtual view synthesis using layered depth image generation and depth-based inpainting for filling disocclusions and translucent disocclusions

View synthesis is an efficient solution to produce content for 3DTV and FTV. However, proper handling of the disocclusions is a major challenge in the view synthesis. Inpainting methods offer solutions for handling disocclusions, though limitations in foreground-background classification causes the holes to be filled with inconsistent textures. Moreover, the state-of-the art methods fail to identify and fill disocclusions in intermediate distances between foreground and background through which background may be visible in the virtual view (translucent disocclusions). Aiming at improved rendering quality, we introduce a layered depth image (LDI) in the original camera view, in which we identify and fill occluded background so that when the LDI data is rendered to a virtual view, no disocclusions appear but views with consistent data are produced also handling translucent disocclusions. Moreover, the proposed foreground-background classification and inpainting fills the disocclusions with neighboring background texture consistently. Based on the objective and subjective evaluations, the proposed method outperforms the state-of-the art methods at the disocclusions.     

实时3DV系统中面向虚拟视绘制的快速深度编码

在基于深度的三维视频系统中,合成视的质量与深度图的质量息息相关。为加快深度数据的压缩速度并保证重建虚拟视点图像的质量,提出了一种面向虚拟视点绘制的快速深度编码算法。根据深度数据的特点及深度失真对绘制视质量的影响,将深度图像划分为边缘区域与平坦区域,并相应地为深度编码中的宏块模式选择设计了两种搜索策略。对边缘区域及纹理复杂区域采用全搜索策略,对平坦区域及低纹理区域采用SKIP模式、帧间16×16模式和帧内模式搜索。实验结果表明,与X264编码方案相比,本文方法在保证虚拟绘制图像质量与编码码率不变的前提下,显著提高了编码速率,可应用于实时的基于深度的三维视频系统中。      

High efficiency depth image-based rendering with simplified inpainting-based hole filling

Hole and crack filling is the most important issue in depth-image-based rendering (DIBR) algorithms for generating virtual view images when only one view image and one depth map are available. This paper proposes a priority patch inpainting algorithm for hole filling in DIBR algorithms by generating multiple virtual views. A texture-based interpolation method is applied for crack filling. Then, an inpainting-based algorithm is applied patch by patch for hole filling. A prioritized method for selecting the critical patch is also proposed to reduce computation time. Finally, the proposed method is realized on the compute unified device architecture parallel computing platform which runs on a graphics processing unit. Simulation results show that the proposed algorithm is 51-fold faster for virtual view synthesis and achieves better virtual view quality compared to the traditional DIBR algorithm which contains depth preprocessing, warping, and hole filling.     

基于GPU的虚拟内窥镜场景实时绘制算法

为满足影像引导手术(IGS)中高分辨率、海量数据的实时渲染,提出一种基于GPU的虚拟内窥镜场景实时绘制算法。该算法针对虚拟内窥镜渲染数据的特点(管腔数据占总数据比例小,5%左右),首先对图像进行自动分割,得到管腔组织的分割数据;仅将分割后的数据一次载入图像显存,利用光线投射算法进行渲染,并在多GPU负载方面做了优化。充分利用GPU渲染和并行计算的能力,实现了海量数据(1 024×1 024×1 024)的实时渲染。     

基于SoC的机载显示器视频图形融合处理系统

为了满足机载显示器对综合视频图形处理技术的需求,提出了一种基于SoC嵌入式处理平台的机载视频图形融合显示与视频记录系统实现方法。该方法以SoC为核心搭建硬件平台,使用SoC内部集成ARM处理器和视频图形协处理单元执行图形生成算法与外视频采集,配合SoC片上高速存储和显示接口,采用双缓存与多线程并发机制实现视频图形融合显示和外视频实时记录。本方法支持多种格式分辨率的视频源采集和大分辨率图形同步生成。实验结果表明,采用该系统技术后机载显示器采集1024×768分辨率外视频同时生成1920×1080分辨率图形时,融合处理后帧率可达45 fps,能够满足机载显示器实时显示需求。     

实时动态阴影算法的实现及在TGE中的应用

阴影分为硬阴影和软阴影。在3D计算机图形系统中,阴影体算法曾一度用来生成硬阴影,然而需要耗费大量的渲染时间才可以使软阴影变为现实。采用沿着硬阴影的轮廓边渲染半影楔子来生成软阴影的方法实现实时动态阴影,利用了当前图形硬件的支持来完成算法优化,其中深度限制和Shader Model 3．0像素着色器优化可以增加阴影算法的性能。最后把阴影算法应用到Torque游戏引擎中。     

Texture aided depth frame interpolation

Recent development of depth acquiring technique has accelerated the progress of 3D video in the market. Utilizing the acquired depth, arbitrary view frames can be generated based on depth image based rendering (DIBR) technique in free viewpoint video system. Different from texture video, depth sequence is mainly utilized for virtual view generation rather than viewing. Inspired by this, a depth frame interpolation scheme using texture information is proposed in this paper. The proposed scheme consists of a texture aided motion estimation (TAME) and texture aided motion compensation (TAMC) to fully explore the correlation between depth and the accompanying textures. The optimal motion vectors in TAME and the best interpolation weights in TAMC are respectively selected taking the geometric mapping relationship between depth and the accompanying texture frames into consideration. The proposed scheme is able to not only maintain the temporal consistency among interpolated depth sequence but also improve the quality of virtual frames generated by interpolated depth. Besides, it can be easily applied to arbitrary motion compensation based frame interpolation scheme. Experimental results demonstrate that the proposed depth frame interpolation scheme is able to improve the quality of virtual view texture frames in both subjective and objective criterions compared with existing schemes.     

基于体纹理的肝脏可视化仿真方法研究

虚拟肝脏模型的绘制和切割是虚拟手术研究的一个重要课题,对临床手术具有重要的指导意义。论述并设计了一种虚拟肝脏建模方法,将重叠体纹理应用到肝脏体上并实现切割的实时可视化,给出了肝脏绘制和切割的实验结果。结果表明,该方法能够满足虚拟手术对肝脏的实时绘制和切割的要求,具有一定的应用价值。