基于DIBR和图像融合的任意视点绘制

虚拟视点生成是3维视频会议等应用领域中的关键技术,为了快速高质量地进行任意视点绘制,提出了一种基于深度图像绘制(DIBR)和图像融合的新视点生成方法,该方法首先对参考图像进行预处理,包括深度图像的边缘滤波和参考图像规正,以减少目标图像中产生的较大空洞和虚假边缘;然后利用3维图像变换生成新视点图像,并用遮挡兼容算法对遮挡进行快速处理;接着再对两幅目标图像进行融合得到新视点图像;最后用插值法填充剩余的较小空洞。实验证明,该新方法能获得令人满意的绘制效果。     

基于图像金字塔修复的虚拟视点绘制

针对虚拟视点绘制中由于区域暴露引起的空洞问题,提出一种基于图像金字塔修复的虚拟视点绘制方法.利用视点变换方程生成虚拟视点,对含有空洞的视点采用图像金字塔修复进行处理,设计含有深度项的权值函数,在深度的约束下进行高斯加消零的滤波和下采样,对低分辨率图像的上采样,利用采样的图像信息对空洞进行填充.实验结果证明,该方法得到图像的主观视觉效果和峰值信噪比计算结果优于传统的非对称高斯滤波算法,且图像绘制的虚拟视点不失真,可抑制物体边缘处的伪像生成.     

基于无空洞填补的DIBR方法

针对传统DIBR空洞填补技术计算时间复杂度高的问题,提出一种无空洞填补的DIBR方法。核心思想是针对导致空洞产生的传统三维变换算法进行改进以获得更好效果。该方法首先采用深度膨胀算法对深度预处理,然后基于动态逆向插值算法的3D-WARPING直接生成虚拟视点图像,从而省去了空洞填补时间消耗。实验证明,相比传统DIBR方法,该方法重构的虚拟视点图像主观视觉质量更高;同时计算速度达到高清实时处理要求。     

递进填充线算法对DIBR虚拟图像的修复

在基于深度图的虚拟图像绘制(DIBR)中,前景物体的遮挡会造成虚拟图像中的空洞问题.针对Criminisi算法及模板匹配对空洞边界噪声敏感的问题,提出一种基于递进填充线的填补算法.首先根据视点变换的方向将空洞的背景部分边界扩大,以消除深度误差造成的空洞边界上的残余前景噪声;在空洞填充的遍历过程中,采用提出的递进填充线算法对每次更新后的剩余空洞提取基于视点方向的部分边界作为填充线,以限制被填充块的搜索范围,使被填充空洞块的择优顺序以背景纹理优先,避免了空洞边界上前景纹理的误填充.实验结果表明,该算法峰值信噪比比Criminisi算法平均高出1.617 3,比基于深度的模板匹配算法平均高出1.310 5,能更有效地抑制DIBR空洞纹理的错误生长,修复图像质量.     

一种快速消除失真的虚拟视点合成方法

基于深度图的绘制(DIBR)技术是合成虚拟视点图像的有效方法,但是合成的图像往往存在失真,最主要的问题是包含"伪影"和大小不等的空洞。针对"伪影"问题,先对参考视点图像进行色彩校正,并综合基于深度的彩色图融合和彩色图直接融合两种方式融合图像,以减弱"伪影"效应;针对映射后出现的小空洞,采用反向映射到参考图像的方式进行填充;针对大的空洞,采用图像修复的方式,结合深度图更好地填补空洞,但是图像修复是一个耗时的过程,为此将图像修复算法并行化,利用统一计算设备架构(CUDA)并行计算,来加速空洞填补过程。实验结果表明,针对"伪影"问题的处理及基于图像修复的空洞填补可以有效地提高虚拟视点图像合成质量,同时基于CUDA实现的并行图像修复算法也大幅降低了空洞填补时间。     

一种利用背景信息的虚拟视点图像后处理方法

基于深度图像的虚拟视点绘制(Depth Image Based Rendering, DIBR)在双视图像融合后存在重叠、伪影和空洞等问题,为提高融合后图像质量,提出一种利用背景信息的虚拟视点图像后处理方法.首先,在图像融合时引入深度信息解决像素重叠问题.其次,根据视点移动方向定位左、右虚拟视图伪影区域,利用互补视点的背景像素擦除伪影.最后,利用不同视点参考图像信息之间的冗余性将左、右参考视点进行融合并消除前景像素,再进行正向映射得到虚拟视点背景图像填充双视融合后剩余的空洞.与基于图像分割的虚拟视点绘制算法相比PSNR值提高了0.6357dB,实验结果表明,该算法能有效提高绘制图像质量.     

对3D Warping分解的高质量虚拟视点绘制方法

基于深度图像的虚拟视点绘制（DIBR）作为自由视点视频应用中的核心问题,由其获得的任意视频的质量和速度对于自由视点视频的发展至关重要。为解决经典DIBR方法存在的重叠、空洞、伪影,以及由于重采样导致的细小裂纹问题以提高虚拟视点图像质量,提出了一种基于改进的3D Warping过程的虚拟视点绘制方法。该方法从整个3D Warping过程出发,将3D Warping过程分解成两步而无需进行三维建模,并分别在两步中提出了改进的方法。在第一步中,通过在变换矩阵中引入可调的系数对三维参数进行修改;在第二步中,主要针对由于重采样导致的细小的裂纹问题,提出了自适应一投多算法,在兼顾时间复杂度的同时改善了裂纹问题。实验结果表明,无论从主观质量还是客观评价标准来看,该方法都能够显著提高虚拟视点绘制的图像质量。     

多视点重构算法的研究与实现

本文基于视点重构单元进行研究,通过深度图绘制算法(Depth Image Based Rendering简称DIBR)探讨图像合成所需的视差源序列——虚拟视点,以实现多视点裸眼立体图像合成的预处理阶段,实验结果表明采用DIBR算法不仅可以极大地减少参考图像的数量,而且还能产生实时高效且具有任意位置的虚拟视点图像,非常符合多视点裸眼立体显示中视点源序列的需求。     

基于深度引导空洞填补的虚拟视点绘制方法

针对单视点绘制虚拟视点图像存在的空洞问题,提出一种基于深度引导空洞修复的虚拟视点绘制方法。核心思想是通过对多个映射像素点的深度信息和空间位置信息进行加权插值操作来实现细小的空洞填充,并且分区域对大型空洞填补。在像素点插值的过程中,该方法首先考虑映射像素点的可靠性,剔除不可靠的像素点,从而减少错误的映射像素点。在填补大型空洞中,继承基于样本图像修复算法的优点,并引入深度信息来辅助空洞填补,以较为准确的方式来修复图像。实验结果表明,无论是主观视觉效果,还是客观值都要比Criminisi算法要好。     

基于分层图像融合的虚拟视点绘制算法

针对虚拟视点绘制过程中出现的重叠和空洞问题,提出一种新的虚拟视点绘制算法。通过形态学操作对三维图像变换后出现的空洞进行膨胀来消除伪影瑕疵,根据深度信息对左、右虚拟视点图像进行前景和背景分割,利用线性加权法对分割后的前景图像和背景图像进行分层融合解决像素重叠问题,对分层融合后的背景图像进行空洞填充并与前景图像融合得到虚拟视点图像。实验结果表明,与经典的Criminisi算法相比,该算法PSNR值提高了1.75 dB,具有较高的绘图质量。     

A divide-and-conquer hole-filling method for handling disocclusion in single-view rendering

Large holes are unavoidably generated in depth image based rendering (DIBR) using a single color image and its associated depth map. Such holes are mainly caused by disocclusion, which occurs around the sharp depth discontinuities in the depth map. We propose a divide-and-conquer hole-filling method which refines the background depth pixels around the sharp depth discontinuities to address the disocclusion problem. Firstly, the disocclusion region is detected according to the degree of depth discontinuity, and the target area is marked as a binary mask. Then, the depth pixels located in the target area are modified by a linear interpolation process, whose pixel values decrease from the foreground depth value to the background depth value. Finally, in order to remove the isolated depth pixels, median filtering is adopted to refine the depth map. In these ways, disocclusion regions in the synthesized view are divided into several small holes after DIBR, and are easily filled by image inpainting. Experimental results demonstrate that the proposed method can effectively improve the quality of the synthesized view subjectively and objectively.     

基于边缘PUnet网络的虚拟视图空洞修复

基于深度图的绘制(DIBR)是虚拟视点合成的关键技术, 但其生成的虚拟视图存在大面积连续的空洞. 传统的图像修复算法修复后的空洞缺乏语义感, 现有的部分卷积神经网络修复后的空洞边缘失真, 因此本文提出基于边缘信息的部分卷积神经网络修复算法. 首先本文利用视差移位来生成虚拟视图, 并对虚拟视图进行赋值和膨胀预处理操作, 以消除裂缝和伪影对后期空洞修复的影响, 然后在部分卷积神经网络中加入设计的边缘检测器, 使部分卷积神经网络重点学习图片的边缘部分, 最后利用学习好的网络模型修复虚拟视图中的大面积空洞. 实验结果表明本文方法可以对大面积连续的空洞进行修复, 修复后的空洞区域不仅具有语义感, 且边缘细节也更精细.     

An enhanced depth map based rendering method with directional depth filter and image inpainting

Depth image-based rendering (DIBR), which is used to render virtual views with a color image and the corresponding depth map, is one of the key techniques in the 2D to 3D video conversion process. In this paper, a novel method is proposed to partially solve two puzzles of DIBR, i.e. visual image generation and hole filling. The method combines two different approaches for synthesizing new views from an existing view and a corresponding depth map. Disoccluded parts of the synthesized image are first classified as either smooth or highly structured. At structured regions, inpainting is used to preserve the background structure. In other regions, an improved directional depth smoothing is used to avoid disocclusion. Thus, more details and straight line structures in the generated virtual image are preserved. The key contributions include an enhanced adaptive directional filter and a directional hole inpainting algorithm. Experiments show that the disocclusion is removed and the geometric distortion is reduced efficiently. The proposed method can generate more visually satisfactory results.     

基于图像重投影的视图合成

针对摄像机绕光心旋转的情形,讨论了在这种特殊情形下单应矩阵具有的性质。然后根据这些性质结合三维图像变换技术给出了一种摄像机绕光心旋转时新视图的合成方法。该方法首先利用单应矩阵的性质生成目标图像的一部分,并采用逆向映射的方法以避免产生空洞;接着利用三维图像变换生成目标图像的剩余部分;最后对由三维图像变换生成的部分进行空洞填补。实验结果表明,该方法能够生成质量较好的新视图。     

An automatic 2D to 3D video conversion approach based on RGB-D images

3D movies/videos have become increasingly popular in the market; however, they are usually produced by professionals. This paper presents a new technique for the automatic conversion of 2D to 3D video based on RGB-D sensors, which can be easily conducted by ordinary users. To generate a 3D image, one approach is to combine the original 2D color image and its corresponding depth map together to perform depth image-based rendering (DIBR). An RGB-D sensor is one of the inexpensive ways to capture an image and its corresponding depth map. The quality of the depth map and the DIBR algorithm are crucial to this process. Our approach is twofold. First, the depth maps captured directly by RGB-D sensors are generally of poor quality because there are many regions missing depth information, especially near the edges of objects. This paper proposes a new RGB-D sensor based depth map inpainting method that divides the regions with missing depths into interior holes and border holes. Different schemes are used to inpaint the different types of holes. Second, an improved hole filling approach for DIBR is proposed to synthesize the 3D images by using the corresponding color images and the inpainted depth maps. Extensive experiments were conducted on different evaluation datasets. The results show the effectiveness of our method.

     

基于大位移视点图像的单帧图像修复

提出一种基于大位移视点图像的单帧图像修复算法,利用大位移视点图像中的可见信息修补目标图像中的被遮挡或信息丢失区域.算法的关键在于如何转化大位移视点图像的可见信息为可用信息,以及如何利用得到的可用信息来有效地修补目标图像.在交互指定待修复的目标区域后,算法首先将所有图像分割为不同的平面场景区域,并基于图像匹配将大位移视点图像中的平面场景区域变换到当前视点.因此,其中的可见信息就可被直接使用.进而通过定义合适的修复和融合优先级函数,提出基于纹理合成和图像融合的图像修复算法,利用获得的可用信息来修补目标区域.修复区域和目标图像之间的鬼影现象使用Poisson图像融合算法来消除,以达到无缝的修复结果.实验结果表明,该算法能够修复较大的丢失信息区域中的结构和纹理信息,具有一定的实用价值.     

基于样例的图像修复改进算法

基于样例的图像修复算法在修复强结构纹理图像时存在结构不连续现象。针对该问题,提出一种基于样例的图像修复改进算法。在计算数据项时引入结构张量,实现各向异性线性结构的优先级,以决定目标区域修复的先后顺序,使用置信度项和数据项加权和的方式计算优先级。实验结果证明,改进算法对强结构纹理图像的修复效果较优。     

一种改进的基于样本的图像修复方法

分析了Criminisi等人提出的基于样本的图像修复算法,针对其在计算修复块优先级时存在的一些不足,提出一种改进的基于样本的图像修复方法,通过基于TV模型的分解算法将待修复图像分解为结构图像和纹理图像,利用结构图像来计算修复块的优先级,使得优先级的计算更加准确。实验结果表明该方法对图像结构边缘的修复有明显的改善。     

一种用于DIBR的去隔行算法*

提出了一种适用于DIBR的去隔行算法,该算法首先采用一种基于方向的场内插值算法对隔行参考图像和它的深度图像去隔行。这种场内插值算法能够通过对插值方向进行自适应的选择有效地消除“锯齿”现象。然后,算法会根据逐行的参考图像和它的深度图像进行三维图像变换,得到逐行的目标图像。实验表明,所提出的去隔行算法能得到画质较高的逐行新视图,且算法性能是鲁棒的。该算法适用于基于DIBR的3D视频的去隔行。