从多幅参考图像合成目标图像的逆映射算法

提出了一种从多幅参考图像来合成新视点目标图像的逆映射算法.这种方法不但成功地填补了由于投影区域扩张而产生的第1类空洞,而且还成功地填补了由于空间非深度连续物体相互遮挡而产生的第2类空洞,从而方便地实现了虚拟环境中的漫游.基于物体表面深度的连续性,提出了一种位移预测方法.该方法可以从单幅参考图像获得逆映射过程中所需要的目标图像的位移信息,从而大大提高了算法的效率.与通常的正向映射算法相比,该算法克服了多幅参考图像所带来的计算量成倍增长等问题,而且误差较小.     

基于图像的实时漫游

提出了一个点和多边形模型混合的场景表达方式,从而实现了对复杂场景的视点不受限制的实时漫游.它从多幅带深度的参考图像出发,在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素.对于在参考图像所占区域较大的空间平面,用传统的多边形模型方式对其进行表达,试图恢复出其平面方程,然后通过采样密度比较和重采样过程,将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像;而对于空间曲面或在参考图像中所占面积较小的平面,使用点的形式对其进行表达,通过采样密度的比较去掉冗余的点,将保留下来的点按其空间位置进行聚类.同时,对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分,提出一个空洞预填补技术,在预处理阶段即对这类空洞进行填补,从而大大减少了漫游阶段出现空洞的几率.在漫游阶段则使用纹理映射和点Warping的方式进行绘制,以充分利用图形硬件的加速功能.     

生成当前视点目标图像的快速逆映射算法

利用极线的属性及深度图像隐含的边界信息,提出了一种可以处理非深度连续图像的快速逆映射算法,以从多幅参考图像精确合成当前视点目标图像.该算法分为3步:首先由参考图像的深度信息得到图像中的边界;然后从参考图像中选出一幅作为主参考图像,利用极线的整体匹配特性和对应点在极线上分布的单调性,逐个处理目标极线,以生成目标图像;最后根据其他参考图像填补目标图像中的空洞.由于在第2步中只需处理参考图像的边界点对即可得到对应目标极线上所有点的深度信息及其在参考极线上的对应点,因此,新算法很好地提高了速度.在填补空洞时,利用参考图像的边界信息及所隐含的遮挡关系,还提出了一些加速的方法.     

一种基于视觉约束的当前视点画面生成方法

由于视点变化中画面可见性的变化以及在当前视点物体表面的扩张,仅由一幅带深度的源参考图像的三维重投影所得到的目标视点画面存在空洞问题.为此,人们采取多源参考图像的合成方法来解决此问题.如何从具有大量冗余信息的多幅源参考图像中快速提取当前目标视点所需信息,成为基于图像的虚拟环境建模和绘制的关键技术.该文给出一种从多幅源参考图像(目前仅两幅)合成当前视点画面的算法.算法结合正向映射及逆向映射技术完成对当前视点画面的合成,并且利用视觉约束-极线约束这一性质从其他源参考图像中寻找填补空洞的像素,从而避免了整幅参考图像的重投影过程及深度比较.同时,算法利用极线对上像素的排序特性和已有目标图像的信息加速填补空洞像素的搜索.算法在不增加原有图像映射算法复杂度的基础上,大大降低了原有多幅图像合成算法的计算量.     

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术（Double-sided Depth-Image Based Rendering,Double-sided DIBR）中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。（1）提出一种深度差值估计法。（2）在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。（3）对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。（4）改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比（Peak Signal to Noise Ratio,PSNR）以及结构相似（Structural SIMilarity,SSIM）都有所提高。     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

基于图像的建模和绘制技术综述

对基于图像的建模和绘制(IBMR)技术进行综述性介绍，着重阐述IBMR研究的最新进展．文中扼要地回顾了一些基本的IBMR方法，并对这些方法的优点和局限性进行分析比较．最后我们简单介绍IBMR的一些最新研究趋势和可能的应用前景．     

对3D Warping分解的高质量虚拟视点绘制方法

基于深度图像的虚拟视点绘制（DIBR）作为自由视点视频应用中的核心问题,由其获得的任意视频的质量和速度对于自由视点视频的发展至关重要。为解决经典DIBR方法存在的重叠、空洞、伪影,以及由于重采样导致的细小裂纹问题以提高虚拟视点图像质量,提出了一种基于改进的3D Warping过程的虚拟视点绘制方法。该方法从整个3D Warping过程出发,将3D Warping过程分解成两步而无需进行三维建模,并分别在两步中提出了改进的方法。在第一步中,通过在变换矩阵中引入可调的系数对三维参数进行修改;在第二步中,主要针对由于重采样导致的细小的裂纹问题,提出了自适应一投多算法,在兼顾时间复杂度的同时改善了裂纹问题。实验结果表明,无论从主观质量还是客观评价标准来看,该方法都能够显著提高虚拟视点绘制的图像质量。     

基于图像的绘制技术

虚拟现实等技术的发展使得传统的基于几何建模和绘制的方法难以满足实时性的要求,作为实现真实感场景绘制的一种方法,基于图像的绘制技术是计算机图形学一个新的发展方向.经过归纳分析,说明了每种方法的基本思想,实现过程,及其各自的特点和发展方向.与传统基于几何图素的绘制方式相比,基于图像的绘制技术处理速度快,生成的景物真实自然,且绘制速度不依赖于场景的复杂程度.     

基于等密度映射和纹理重构的分层图像变换

图像变换包括图像映射和图像重构两个重要部分,而现有重构方法存在计算量较大、容易产生视觉误差等问题,并不能真正快速有效地实现图像变换。本文通过建立等密度映射的方式将重构转化为一个可以依赖纹理硬件快速完成的纹理映射过程,从而改进了传统的图像变换模型,并在此模型基础上设计了一种分层图像变换的方法。分层图像变换,首先将参考像素以相近的分辨率映射到对应的密度层以避免形成大量空洞,然后通过背景层设置、密度层合并等操作将对应的目的像素存储在一个可控长度的双向链表上,最后从后向前遍历链表逐层生成和合成纹理得到目的图像。实验结果表明,分层图像变换在有效避免视觉误差的基础上,大大提高了计算效率。     

CSA--一种加速的图像逆映射算法

采用方程求解代替逐像素搜索,提出一种加速的图像逆映射CSA算法．首先根据深度信息标记出参考域中的边界像素,并在映射时保存在像素链表中;然后将链表中的像素逐个映射到其他参考域建立线段方程,并与对应的极线方程联立求解,若有解则求出匹配的参考像素,否则标记为空洞;最后利用插值或其他参考信息填补空洞．由于仅处理边界像素,降低了计算复杂度,经实验证实,该算法有较好的加速作用．     

Lumiproxy: A Hybrid Representation of Image-Based Models

In this paper,we present a hybrid representation of image-based models combining the textured planes and the hierarchical points.Taking a set of depth images as input,our method starts from classifying input pixels into two categories,indicating the planar and non-planar surfaces respectively.For the planar surfaces,the geometric coefficients are reconstructed to form the uniformly sampled textures.For nearly planar surfaces,some textured planes,called lumiproxies, are constructed to represent the equiva...     

基于图像的建模和绘制技术综述

对基于图像的建模和绘制（IBMR）技术进行综述性介绍，重点阐述了IBMR研究的最新进展，扼要地介绍和讨论了一些具有代表性的IBMR方法，并对各种方法进行分析比较；最后介绍IBMR的最新研究动态和某些应用前景。     

Image-Based Tree Variations

The automatic generation of realistic vegetation closely reproducing the appearance of specific plant species is still a challenging topic in computer graphics. In this paper, we present a new approach to generate new tree models from a small collection of frontal RGBA images of trees. The new models are represented either as single billboards (suitable for still image generation in areas such as architecture rendering) or as billboard clouds (providing parallax effects in interactive applications). Key ingredients of our method include the synthesis of new contours through convex combinations of exemplar countours, the automatic segmentation into crown/trunk classes and the transfer of RGBA colour from the exemplar images to the synthetic target. We also describe a fully automatic approach to convert a single tree image into a billboard cloud by extracting superpixels and distributing them inside a silhouette-defined 3D volume. Our algorithm allows for the automatic generation of an arbitrary number of tree variations from minimal input, and thus provides a fast solution to add vegetation variety in outdoor scenes.     

基于光场的三维虚拟漫游系统

近年来基于图象的绘制方法有了很大发展，其中光场方法提供了一种有效的四维参数化模型，但是这种四维函数局限于无遮挡的空间。为了在有遮挡的环境中运行，这种四维光场函数被扩展为五维光场函数，然而该方法在显示速度上仍达不到实时。采用基于狭缝图象的四维光场模型，以减少视点在垂直方向上的自由度为代价，使在有遮挡的环境中漫游速度大大加快。介绍了光场的表示、自适应非均匀采样、重采样的过程，并在内存管理、路径预测和碰撞检测等方面做了处理，使得在漫游过程中帧间图象过渡连续。最后以澳门科技大学学生活动中心为例，实现了三维漫游系统，漫游速度可以达到准实时。     

Accelerated Backward Warping

In this paper a plane-based backward warping algorithm is proposed to generate novel viwews from multiple reference images.First.depth information is employed to reconstruct space planes from individual refernce images and calculate the potential occluding relationship between these planes.Then the planes which represent each identical space plane from different reference images are compared with each other to decide the one with the best sample rate to be preserved and used in the later warping period while the other samples are abandoned.While the image of a novel view is produced,traditional methods in computer graphics,such as visibility test.and clipping,are used to process the planes reconstructed.Then the planes processed are projected onto the desired image form the knowledge on which plane the desired image pixels are warped from can be acquired.Finally,pixels‘ depth of the desired image is calculated and then a ackwared warping is performed from these pixels to the reference images to obtain their colors.The storage requirement in the algorithm is small and increases slowly with the number of reference images increases.By combining the strategy of only preserving the best sample parts and the backward warping algorithm ,the sample problem could be well tackled.     

基于图像的视点变换方程

多年来,造型技术模拟自然界物体形状生成的图像都显得过于规则化和“人工化”。有鉴于此,提出了基于图像的虚拟现实。而完善的虚拟现实系统应该支持多自由度的观察,如视点的移动。视点变换就是求视点移动后原始图像变换生成的新视图。以前给出的变换公式都是在同一坐标系下视点移动后生成的视图。此文给出了在任意坐标系下视点移动后生成新视图的公式,以及具体推导过程。     

基于图像的卡通画扫描线渲染方法

为了模拟艺术家的卡通风格绘画,提出了一种基于图像的卡通画扫描线渲染方法,对用户输入的用数码相机拍摄的图像首先提取轮廓,然后进行颜色处理,最后合并得到具有卡通风格的图像。同时,给出了基于直方图的边缘参数的计算和基于扫描线的颜色处理两个算法,自动实时地完成了渲染过程。实验结果表明,该方法的渲染效果更接近于手绘风格,适合于卡通动画和个性化照片等领域的应用。