同心拼图中基于狭缝图像段的近似深度矫正

提出了一种对同心拼图进行近似深度矫正的新方法－基于狭缝图像段的自顾不暇正。该方法通过对狭缝图像分段映射来对同心拼图进行矫正,合成畸变较小的结果图像;定义了狭缝图像的相似关系,通过两条相似狭缝图像之间的匹配,选择最佳的分段映射规则;并描述了为实现此目的而进行的场景采样方法,完成了从采样到矫正、绘制的整个流程。与现有的其它同心拼图矫正方法相比,本方法具有适用范围更广,矫正效果更好的优点。     

一种基于多边形柱面全景图的虚拟漫游新方法

提出了一种基于图像绘制的多边形柱面全景图的虚拟漫游方法。利用普通 的手持相机在一个多边形区域内沿某一路径拍摄并拼接多幅全景图,通过基于SIFT 的特征 点检测来计算深度,用狭缝图像插值来实现整个区域内的平滑漫游。该方法具有采样简单、 虚拟场景真实感强,支持连续大范围漫游的特点。     

基于组合方法对图像的双三次多项式拟合

提出了基于图像数据构造拟合曲面的新方法.假设给定的图像数据所对应的原场景曲面能用分片二次多项式曲面表示,原场景曲面称为原曲面.现有方法通常是用图像数据作为插值数据构造原曲面的拟合曲面,而新方法以图像数据生成公式为约束,通过反向采样过程来构造对图像数据拟合的曲面,从而使拟合曲面具有更好的逼近精度.由于图像边缘处的质量对图像的视觉效果起着关键的作用,我们也把图像边缘做为约束条件用于拟合曲面的构造.对于每一个数据点及其邻近区域,新方法以采样公式和图像边缘作为约束条件局部地构造一张二次多项式曲面片,该曲面片具有二次多项式精度.所有的二次多项式曲面片的加权组合形成逼近原曲面的拟合曲面.对算法比较的实验表明,由新方法生成的放大图像具有较高的精度和较好的视觉效果.     

基于图像的实时漫游

提出了一个点和多边形模型混合的场影表达方式，从而实现了对复杂场景的视点不受限制的实时漫游。它从多幅带深度的参考图像出发，在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素。对于在参考图像所占区域较大的空间平面，用传统的多边形模型方式对其进行表达，试图恢复出其平面方程，然后通过采样密度比较和重采样过程，将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像；而对于空间曲面或在参考图像中所占面积较小的平面，使用点的形式对其进行表达，通过采样密度的比较去掉冗余的点，将保留下来的点按其空间位置进行聚类。同时，对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分，提出一个空洞预填补技术，在预处理阶段即对这类空洞进行填补，从而大大较少了漫游阶段出现空洞的几度。在漫游阶段则使用纹理映射和点Warping的方式进行绘制，以充分利用图形硬件的加速功能。     

基于逆向光线跟踪与图像绘制的运动水面反射场景绘制

提出了一种结合图像绘制和逆向光线跟踪的绘制算法来生成水面反射场景。首先,采用逆向光线跟踪方法获得视点所见水面反射场景点;然后在反射光线与场景相交点求解时,采用场景图像平面搜索,并将搜索到的图像平面象素点反向投影到观察坐标系求取光线与场景物体相交点以获取反射物颜色;最后按照Fresnel公式计算获得视点所见的水面上某点的颜色,通过对整个图像平面进行遍历,获得水面反射场景。使用该方法绘制的水面反射场景能够物理真实地模拟水面反射效果。对于波动水面附近或漂浮于水面上物体的反射场景,该方法较其它方法能够更好地获得物理真实的绘制结果。     

基于图像的实时漫游

提出了一个点和多边形模型混合的场景表达方式,从而实现了对复杂场景的视点不受限制的实时漫游.它从多幅带深度的参考图像出发,在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素.对于在参考图像所占区域较大的空间平面,用传统的多边形模型方式对其进行表达,试图恢复出其平面方程,然后通过采样密度比较和重采样过程,将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像;而对于空间曲面或在参考图像中所占面积较小的平面,使用点的形式对其进行表达,通过采样密度的比较去掉冗余的点,将保留下来的点按其空间位置进行聚类.同时,对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分,提出一个空洞预填补技术,在预处理阶段即对这类空洞进行填补,从而大大减少了漫游阶段出现空洞的几率.在漫游阶段则使用纹理映射和点Warping的方式进行绘制,以充分利用图形硬件的加速功能.     

基于平面的Warping技术

提出了一种基于平面的逆向Warping算法,用于根据多幅参考图像生成任意视点下的新图像.首先通过参考图像的深度信息来重建三维平面,然后寻找这些重建平面间的对应关系,并比较它们对空间平面同一部分的采样密度,以获得最好的采样结果.在生成新视点图像时,首先对那些采样密度最好的重建平面进行可见性判断,然后将其投影到新视点下,在此基础上求得目标图像上各点的深度,最后将目标图像上的点逆向Warping到相应的参考图像中,以获取它们的颜色值.同时,对于参考图像中不能被重建成平面的像素点,用正向Warping的方法对其进     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

基于稀疏点云的多平面场景稠密重建

多平面场景是生活中常见的一种场景,然而由于该类场景中常常存在物体表面纹理缺乏和纹理重复的现象,导致从多视图像重建获得的三维点云数据中存在点云过于稀疏甚至孔洞等问题,进而导致以微面片拟合三维点云所得到的重建表面出现平面颠簸现象.针对这些问题,本文提出了一种基于稀疏点云的分段平面场景重建方法.首先,利用分层抽样代替随机抽样,改进了J-Linkage多模型估计算法;然后,利用该方法对稀疏点云进行多平面拟合,来获得场景的多平面模型;最后,将多平面模型和无监督的图像分割相结合,提取并重建场景中的平面区域.场景中的非平面部分用CMVS/PMVS(Clustering views for multi-view stereo/patch-based multi-view stereo)算法重建.多平面模型估计的实验表明,改进的J-Linkage算法提高了模型估计的准确度.三维重建的实验证实,提出的重建方法在有效地克服孔洞和平面颠簸问题的同时,还能重建出完整平面区域.     

利用大位移视图的自动可信图像修补

为了以自动的方式达到反映原始场景真实性的图像复原效果,提出一个基于大位移视图的自动可信图像修补技术框架.首先,根据优缺点互补的原则将几种显著特征检测器有效地结合起来,提取目标图像和大位移视图上均匀分布的准稠密特征对应点集.然后,受启发于先验模型与模型拟合问题,提出一个准平面场景区域聚类算法,通过对特征对应点集的聚类划分将整个自然场景图像分割表示成多个准平面场景区域,以校正大位移视图中的景物投影变形.最后,受启发于纹理合成与图像拼接技术,提出一个准平面场景区域合成算法,校正并缝合空洞周围的多个准平面场景区域重投影图像至目标图像上,以填补目标图像上的信息丢失区域.实验结果与实拍照片之间的视觉辨别困难表明了本文方法的有效性.     

基于光场的三维虚拟漫游系统

近年来基于图象的绘制方法有了很大发展，其中光场方法提供了一种有效的四维参数化模型，但是这种四维函数局限于无遮挡的空间。为了在有遮挡的环境中运行，这种四维光场函数被扩展为五维光场函数，然而该方法在显示速度上仍达不到实时。采用基于狭缝图象的四维光场模型，以减少视点在垂直方向上的自由度为代价，使在有遮挡的环境中漫游速度大大加快。介绍了光场的表示、自适应非均匀采样、重采样的过程，并在内存管理、路径预测和碰撞检测等方面做了处理，使得在漫游过程中帧间图象过渡连续。最后以澳门科技大学学生活动中心为例，实现了三维漫游系统，漫游速度可以达到准实时。     

遥感图像辅助的折反射全向图三维重构

提出了一种针对室外场景的单幅折反射全向图三维重构方法,能够自动重构出全向图中360°视野内景物的三维模型,并实现自由漫游。基于全向图与遥感图匹配把全向图分为水平地面、垂直建筑物立面和垂直背景景物面三类区域,得到全向图场景的基本结构;在此基础上利用折反射光路投射模型计算出全向图中每个像素点的三维几何位置,从而实现了折反射全向图的重构。实验证明该方法具有采集简单、视野大、处理过程全自动化、能够重构非平面场景等特点。     

基于光线相关性的快速光线投射算法

光线投射算法是一种应用广泛的体绘制技术的基本算法，其存在的主要问题是绘制速度较慢。为了提高光线投射算法的绘制速度，以满足医学图像三维重建的应用需求，在深入研究和比较各种光线投射加速算法的基础上，提出了以接近云算法为核心的、适用于医学图像三维重建的综合性加速算法，并在PC机平台上实现了该算法，在保证图像质量的同时绘制速度提高了一个数量级左右，为医学图像三维重建的实用化提供了有效的手段。     

高质量图像绘制的LDI改进算法

对于漫反射场景,LayeredDepthImage(LDI)能够产生很好的绘制效果,但对于高光的场景,它存在绘制图像失真的问题。文章提出一种能够有效地绘制漫反射和高光场景的LDI改进算法。该算法对LDI的每个深度像素增加一个方向向量,对位于同一深度的像素采用加权平均的方法生成新视点下的目标图像。同时采用将方向向量离散化的方法,有效地降低了存储量。实验表明,新算法在绘制速度和绘制质量方面都取得了比较理想的效果。     

最大投影栅缝法检测文档图像倾斜角

针对由照相机扫描仪等文档获取设备拍摄的文档图像可能存在倾斜,进而导致光学字符识别（OCR）软件不能正确识别的情况,采用了一种以文档图像投影栅缝宽为目标函数的优化方法,栅缝宽最大值对应的投影角度的相反数即为文档图像的倾斜角。利用栅线宽函数扩大了检测范围,并提高了检测速度;利用反投影法和均布列预投影等方法,减少了计算量;利用二分法提高了算法的检测精度。通过一些包含少量插图的文档图像的倾斜角检测实验,验证了该方法的有效性。     

三维地形场景的真实感绘制

三维地形场景的真实感绘制追求的两个目标是绘制的逼真度和绘制的实时性，需要在不明显降低图像质量的条件下保持较高的交互帧速率。为了满足实时性的需求，采用连续LOD算法和其它技术来加速地形绘制：为了满足逼真度的需求，采用SAR图像进行纹理映射，采用光照映射实现场景照明和明暗处理。     

一个基于全景图的虚拟环境漫游系统

虚拟现实的实现有两种方法。传统上,使用三维图形学方法进行建模和绘制,这种方法需要繁琐的建模工作和昂贵的专用绘图硬件,而且用三维模型很难真实表现自然景观。基于图像的绘制是实现虚拟现实系统的一种新方法,它克服了三维图形方法的上述缺点,近年来得到了日益广泛的应用。文章讨论了一个基于图像的虚拟环境漫游系统的实现,分析了此类系统的模型,介绍了系统实现中摄像机定标、图像拼接、实时图像变换等关键技术。     

Virtual stereo content rendering technology review for light-field display

Light field display (LFD) is considered as a promising technology to reconstruct the light rays’ distribution of the real 3D scene, which approximates the original light field of target displayed objects with all depth cues in human vision including binocular disparity, motion parallax, color hint and correct occlusion relationship. Currently, computer-generated content is widely used for the LFD system, therefore rich 3D content can be provided. This paper firstly introduces applications of light field technologies in display system. Additionally, virtual stereo content rendering techniques and their application scenes are thoroughly combed and pointed out its pros and cons. Moreover, according to the different characteristics of light field system, the coding and correction algorithms in virtual stereo content rendering techniques are reviewed. Through the above discussion, there are still many problems in the existing rendering techniques for LFD. New rendering algorithms should be introduced to solve the real-time light-field rendering problem for large-scale virtual scenes.     

Adaptive Acquisition of Lumigraphs from Synthetic Scenes

Light fields and Lumigraphs are capable of rendering scenes of arbitrary geometrical or illumination complexity in real time. They are thus interesting ways of interacting with both recorded real-world and high-quality synthetic scenes.
Unfortunately, both light fields and Lumigraph rely on a dense sampling of the illumination to provide a good rendering quality. This induces high costs both in terms of storage requirements and computational resources for the image acquisition. Techniques for acquiring adaptive light field and Lumigraph representations are thus mandatory for practical applications.
In this paper we present a method for the adaptive acquisition of images for Lumigraphs from synthetic scenes. Using image warping to predict the potential improvement in image quality when adding a certain view, we decide which new views of the scene should be rendered and added to the light field. This a-priori error estimator accounts for both visibility problems and illumination effects such as specular highlights.