基于图像序列的虚拟场景重建和漫游

基于图像的建模和绘制方法与基于传统的几何绘制方法相比有很多优点,但是在场景几何参数未知的情况下,要实现单幅图片和图像序列的漫游,难度很大.TIP（tour into a picture）技术使得在一幅图像中漫游成为可能.为了实现场景几何参数未知情况下的场景漫游,在对TIP技术进行扩展的基础上,提出了一种能够在未知视点路径的图像序列中实现场景漫游的方法.这种算法在相机未定标的情况下,不仅解决了图像序列建模和场景漫游过程中前后图像场景不能平滑过渡的问题,并且扩大了TIP中视线方向变化的动态范围,从而在保证图像质量的情况下,实现了由图像序列到场景的无限制漫游.实际图像序列的实验结果表明,该算法是有效的,具有实际应用价值.     

混合使用细节层次与基于图像渲染技术的大面积森林实时渲染算法研究*

描述了一个新的结合细节层次算法和基于图像渲染的森林渲染系统,平衡了基于图像的渲染方法在渲染质量上的不足与几何渲染方法在效率上的缺陷。提出了一种新的基于四叉树纹理拼图的替代物渲染加速算法,有效地提升了替代物创建与渲染速度。最后,在一个实际的室外场景漫游程序中的运行结果表明了该系统可以用较小的渲染代价获得很高的渲染质量。     

基于图像的实时漫游

提出了一个点和多边形模型混合的场影表达方式，从而实现了对复杂场景的视点不受限制的实时漫游。它从多幅带深度的参考图像出发，在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素。对于在参考图像所占区域较大的空间平面，用传统的多边形模型方式对其进行表达，试图恢复出其平面方程，然后通过采样密度比较和重采样过程，将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像；而对于空间曲面或在参考图像中所占面积较小的平面，使用点的形式对其进行表达，通过采样密度的比较去掉冗余的点，将保留下来的点按其空间位置进行聚类。同时，对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分，提出一个空洞预填补技术，在预处理阶段即对这类空洞进行填补，从而大大较少了漫游阶段出现空洞的几度。在漫游阶段则使用纹理映射和点Warping的方式进行绘制，以充分利用图形硬件的加速功能。     

一种基于多边形柱面全景图的虚拟漫游新方法

提出了一种基于图像绘制的多边形柱面全景图的虚拟漫游方法。利用普通 的手持相机在一个多边形区域内沿某一路径拍摄并拼接多幅全景图,通过基于SIFT 的特征 点检测来计算深度,用狭缝图像插值来实现整个区域内的平滑漫游。该方法具有采样简单、 虚拟场景真实感强,支持连续大范围漫游的特点。     

混合漫游系统

提出一种新颖的场景绘制方法,首先对图像进行处理,用交互的方法区分场景的背景和前景;然后分别建立背景和前景的3D几何模型,采用一种分片绘制的策略,进一步提高了绘制质量．通过将动态网格叠加到几何模型中,在静态图像中产生动态纹理,丰富场景内容,从而建立了一种混合场景表示,实现逼真的场景实时漫游．实验证明,该算法具有较好的普适性,可以处理包含灭点或灭线的不同类型照片、绘画和全景图．     

平面狭缝图像场

提出了一种新的基于图像的绘制技术:平面狭缝图像场,即利用狭缝图像的集合来表示和生成场景.在分析平面狭缝图像场性质的基础上,提出了相似狭缝图像概念,从而推导出用有限采样拟合平面狭缝图像场,进而可以实时生成具有高真实感漫游场景的方法.据此提出了采样和拟合的实现.最后,提出了分段狭缝图像映射的方法,大大压缩了所用到的数据量.     

利用鱼眼技术构建全景漫游系统的方法探索

全景漫游系统是近来出现在Internet上的一种新的交互式的虚拟场景表示方式,它以全景图的方式再现了三维场景,可以用相应的浏览器实现虚拟场景的漫游,具有很好的交换性和真实感。该文就如何利用鱼眼镜头进行图像获取;如何对图像进行拼接制作球状360度全景图;如何构建基于Java applet的漫游系统的方法进行了探索。     

基于相对深度计算的图像漫游技术及其应用

提出了基于相对深度计算的TIP（Tour Into the Picture）技术．该技术根据图像的几何透视关系计算出场景的背景与前景的深度信息,实现从参考图像到TIP模型的连贯切换．通过对蜘蛛网格的修改,TIP技术实现了斜坡场景的漫游;同时将该技术运用于多个场景实现了多个场景的串联漫游．     

基于图像精确过分割的虚拟现实场景构建

在分析了以往所采用的改进图像过分割方法的基础上,提出了一种新的虚拟场景构建算法.利用单场景建模,把图像分割成超像素,接着为超像素增加类别标志从而形成集群,然后由集群确定几何类别,最后剪切和折叠不同标志的图像,输出三维场景.该算法利用VMRL对一张图片进行建模,在虚拟漫游系统中无需用户直接参与,可以高效地构建虚拟现实场景.     

基于图像方法建模构建室外虚拟场景

室外虚拟场景漫游系统往往模型复杂，但需要交互的模型少。因此运用基于图像方法建模会大大降低模型的复杂度且具有更强的真实感。本文通过实例讨论了这种方法的在漫游系统具体应用。     

A virtual reality system using the concentric mosaic: construction, rendering, and data compression

This paper proposes a new image-based rendering (IBR) technique called "concentric mosaic" for virtual reality applications. IBR using the plenoptic function is an efficient technique for rendering new views of a scene from a collection of sample images previously captured. It provides much better image quality and lower computational requirement for rendering than conventional three-dimensional (3-D) model-building approaches. The concentric mosaic is a 3-D plenoptic function with viewpoints constrained on a plane. Compared with other more sophisticated four-dimensional plenoptic functions such as the light field and the lumigraph, the file size of a concentric mosaic is much smaller. In contrast to a panorama, the concentric mosaic allows users to move freely in a circular region and observe significant parallax and lighting changes without recovering the geometric and photometric scene models. The rendering of concentric mosaics is very efficient, and involves the reordering and interpolating of previously captured slit images in the concentric mosaic. It typically consists of hundreds of high-resolution images which consume a significant amount of storage and bandwidth for transmission. An MPEG-like compression algorithm is therefore proposed in this paper taking into account the access patterns and redundancy of the mosaic images. The compression algorithms of two equivalent representations of the concentric mosaic, namely the multiperspective panoramas and the normal setup sequence, are investigated. A multiresolution representation of concentric mosaics using a nonlinear filter bank is also proposed.     

Reducing Plenoptic Camera Artifacts

The focused plenoptic camera differs from the traditional plenoptic camera in that its microlenses are focused on the photographed object rather than at infinity. The spatio‐angular tradeoffs available with this approach enable rendering of final images that have significantly higher resolution than those from traditional plenoptic cameras. Unfortunately, this approach can result in visible artifacts when basic rendering is used. In this paper, we present two new methods that work together to minimize these artifacts. The first method is based on careful design of the optical system. The second method is computational and based on a new lightfield rendering algorithm that extracts the depth information of a scene directly from the lightfield and then uses that depth information in the final rendering. Experimental results demonstrate the effectiveness of these approaches.     

真实感雨线绘制

雨线的真实感绘制极具挑战性.雨滴在下落过程中会发生快速的震荡,由于光线在其中的反射和折射而具有复杂的光学效果,在人眼和摄像机观察时会产生运动模糊形成雨线.提出一种基于Monte Carlo光线跟踪的方法用于绘制真实感雨线.通过预先对雨滴震荡周期内每个离散时间点的雨滴三角形网格建立加速结构,并利用雨滴运动包围盒与采样光线的相交计算,大大加速了光线与雨滴的相交测试;使用自适应采样技术避免了对图像中每个像素点都使用大的采样数,提高了采样效率,加速了图像的绘制.将本文方法集成于离线绘制器(PBRT)中,生成了具有真实感的雨线图像和雨景动画.实验结果表明,本文方法能真实地模拟雨滴的震荡和光线在雨滴中的多次反射和折射,并能在包含任意类型光源的场景中有效地绘制真实感雨线.     

基于图像的光照模型研究综述

从传统图形学的绘制技术与基于图像的绘制技术相结合的角度出发,以全光函数这个基于图像的绘制技术的理论基础为核心,概括性地提出基于图像的光照研究的基本任务实际上是对全光函数的采样、重建、合成和重采样的过程,并进一步地指出,基于图像的光照研究的重要意义在于扩展了原有基于图像的绘制技术中只能改变视点位置和视线方向的限制,使之可以通过改变场景本身的组成成分产生出更加丰富的光照效果。同时,该文综述性地分析了近期内有关基于图像的光照问题的部分研究工作,并从如何改变场景光照条件的角度出发,按照所使用的光照模型的不同,将这些方法分成三大类,即利用传统光照模型的方法、利用基于图像的光照模型的方法以及无需光照模型的方法。并从这个分类框架出发,进一步分析指出,利用基于图像的光照模型的方法将是未来研究的重点,并沿着这一方向尝试性地提出了一种新的模型。     

Plenoptic Image Editing

This paper presents a new class of interactive image editing operations designed to maintain consistency between multiple images of a physical 3D scene. The distinguishing feature of these operations is that edits to any one image propagate automatically to all other images as if the (unknown) 3D scene had itself been modified. The modified scene can then be viewed interactively from any other camera viewpoint and under different scene illuminations. The approach is useful first as a power-assist that enables a user to quickly modify many images by editing just a few, and second as a means for constructing and editing image-based scene representations by manipulating a set of photographs. The approach works by extending operations like image painting, scissoring, and morphing so that they alter a scene's plenoptic function in a physically-consistent way, thereby affecting scene appearance from all viewpoints simultaneously. A key element inrealizing these operations is a new volumetric decomposition technique for reconstructing an scene's plenoptic function from an incomplete set of camera viewpoints.     

一种圆柱形全景图生成新算法及其实现

利用基于图象的绘制(IBR)技术来建立具有真实感的虚拟环境是当前计算机图形学研究领域中的一项热门课题，也是虚拟现实技术中的关键技术。它以简单的图象合成代替基于三维几何的建模和渲染，加快了画面的显示速度，是建立特定三维场景的一种高效率的方法。基于这种方法，我们提出了一种生成圆柱形全景图的新算法，它通过快速查找
相邻两幅图象的匹配区域而实现图象的无缝拼接，建立圆柱形全景图。本算法计算速度快，效率高，能生成逼真的全景图。文章的最后给出了基于这种算法生成的部分全景图图实例。     

从同心拼图中恢复深度信息

同心拼图（Concentric Mosaics,CM)是一种重要的基于图像的绘制方法。如果利用深度信息则可以进一步提高绘制质量并减少数据量。作者发现在CM序列中也存在着近拟的极线平面图像（Epipolar Plane Image,EPI）,而且像点在EPI图像上的轨迹斜率和物点的深度呈近似线性关系。基于此发现,该文提出了一种从CM序列中自动动恢复深度信息的方法。这个方法首先利用EPI图像的频谱分析对场景的深度分布范围做出估计,然后根据全光采样的原理在EPI的斜率空间均匀的分割投票箱,并对给定窗口内频谱能量进行投票,以求得能量的最大方向,从而获得这个窗口所对应的深度,最后组合成CM的场景深度图,实验结果证实了上述方法的有效性。     

Ray-driven dynamic working set rendering

Ray tracing a volume scene graph composed of multiple point-based volume objects (PBVO) can produce high quality images with effects such as shadows and constructive operations. A naive approach, however, would demand an overwhelming amount of memory to accommodate all point datasets and their associated control structures such as octrees. This paper describes an out-of-core approach for rendering such a scene graph in a scalable manner. In order to address the difficulty in pre-determining the order of data caching, we introduce a technique based on a dynamic, in-core working set. We present a ray-driven algorithm for predicting the working set automatically. This allows both the data and the control structures required for ray tracing to be dynamically pre-fetched according to access patterns determined based on captured knowledge of ray-data intersection. We have conducted a series of experiments on the scalability of the technique using working sets and datasets of different sizes. With the aid of both qualitative and quantitative analysis, we demonstrate that this approach allows the rendering of multiple large PBVOs in a volume scene graph to be performed on desktop computers.     

基于3D WARP的混合绘制算法研究

几何绘制（GBR）是传统计算机图形学的研究内容,随着计算机图形学的发展,图象绘制（IBR）成为研究热点,两者各有其优缺点,其中,GBR具有绘制自由度大,速度慢等特点,需占用大量系统资源,而IBR则正好相反,因此,寻找一种能够结合GBR与IBR优点,而又能克服其缺点的方法是必要的,为了使几何绘制和图象绘制能够实现有机地结合,提出了一 种全新的“基于几何与图象的混合绘制（Geometry and Image-Based Hybrid Rendering,GIBHR)”方法,并分析了GIBHR的研究内容,同时给出了GIBHR的绘制流程,在此基础上,将IBR领域的3DWARP 法在几何绘制领域进行了进一步拓展与推论,证明了其可行性和有效性,提出了一种基于3DWARP的混合绘制算法,最后对算法进行了实验,结果表明,该算法在提高几何绘制速度方面具有明显优势,且具有空间反走样能力。     

Perception-based fast rendering and antialiasing of walkthroughsequences

We consider accelerated rendering of high quality walkthrough animation sequences along predefined paths. To improve rendering performance, we use a combination of a hybrid ray tracing and image-based rendering (IBR) technique and a novel perception-based antialiasing technique. In our rendering solution, we derive as many pixels as possible using inexpensive IBR techniques without affecting the animation quality. A perception-based spatiotemporal animation quality metric (AQM) is used to automatically guide such a hybrid rendering. The image flow (IF) obtained as a byproduct of the IBR computation is an integral part of the AQM. The final animation quality is enhanced by an efficient spatiotemporal antialiasing which utilizes the IF to perform a motion-compensated filtering. The filter parameters have been tuned using the AQM predictions of animation quality as perceived by the human observer. These parameters adapt locally to the visual pattern velocity