真实感三维模型的纹理融合

提出一种消除物体表面纹理接缝,重建高精度真实感三维模型的纹理融合方法.首先将不同视场的深度图像匹配到同一坐标系下,经过深度图像融合获得物体完整的几何模型;然后确定深度图像和纹理图像的映射关系,并定义复合权重进行纹理融合来获取整个纹理映射图,并进行模型的纹理映射.该方法可消除物体表面重叠区域由于光照变化、几何模型的非完全漫反射以及拍摄视场的改变等外界因素引起的色彩差异,重构真实感三维模型;且对物体的几何形状、拍摄视场没有限制,能够自由拍摄,并实现高精度三维纹理模型.实验结果表明,文中方法是有效和鲁棒的.     

运用层次纹理映射的基于图像绘制算法

提出一种基于图像绘制(image-basedrendering,简称IBR)的算法,以发挥图形卡的纹理映射功能,并能表现物体表面的三维凹凸细节.首先将深度图像的像素按其相关深度分为多层纹理图像,然后利用纹理映射的硬件支持,将这些层次纹理图像依次投影到与视点相关的成像面上,以得到所需目标图像.为了避免目标图像上出现空洞,在生成时,将纹素在深度层次上进行扩展.由于层次纹理图像需要较大的存储空间,并且在装入纹理缓冲时要花费大量时间,为此还提出一种基于压缩层次纹理图像的目标图像生成算法.实验表明新算法是有效的,尤其适于处理与整个物体大小相比深度层次不太多的三维景物,如有表面凹凸纹理(浮雕、门窗等)的建筑物表面等.     

一种融合纹理的三维图像重建快速实现方法

为了得到完整的三维模型,介绍了一种融合纹理的三维图像重建快速实现方法。通过对不同视角的深度图像的手动粗配准、ICP算法精配准以及全局配准得到这些深度图像的旋转平移矩阵。通过vrippack,三维重建出完整的三维图像,用TextureStitcher对得到的三维图像进行纹理映射,从而实现融合纹理的三维图像的快速重建。文中在论述配准算法主要思想和实现步骤的同时,也用实验验证了方法的可行性与通用性。     

物体坐标系曲面投影立体环视图像生成算法

针对立体环视图像拼接准确度的难点,提出了一种基于物体坐标系的曲面投影图像拼接算法.根据实际应用场合建立合适的三维模型,对图像进行基于物体坐标系的纹理映射,将三维模型划分为融合、非融合区域,将原始图像映射到非融合区域,对于拼接融合区域,结合模型特点,设计了一种基于角度信息的加权平均融合算法,对拼接后的图像进行颜色校正,消...     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

条纹理映射

提出一种新的基于图像绘制的方法，能高效地利用图形硬件进行加速，避免成像过程中烦人的空洞填补计算,高质量地反映物体表面的三雏凹凸细节及视差变化．该方法首先为源深度图像中每个像素生成一个条状的纹理(条纹理)，即根据一个像素及其邻近像素的深度值，沿着深度方向为该像素插值生成多个具有不同深度值的点，它们一起构成谊像素的条纹理；然后，绘制时利用图形硬件的纹理映射直接处理这些条纹理.由于各个像素的条纹理的集合可以构成源场景的近似连续三维表示,从而大大增强了源深度图像表达三维模型细节的能力，而且成像时不必进行空洞填补的计算.与已有的同类方法相比，新方法的空间需求小，成像速度快，并且成像质量很高．     

艺术化立体图像的渲染

目前的艺术化渲染算法会使结果图像具有较强的随机性,因此无法直接应用于立体图像的渲染.文章针对虚拟三维场景,给出了一个通用的艺术风格立体图像的渲染框架.首先对单个物体渲染包括双眼视域范围的艺术风格图像,在投影过程中同时记录模型顶点对应的纹理坐标;然后将艺术风格图像映射到物体表面生成艺术化效果的三维模型;最后将艺术化三维模型直接投影到左右眼相机生成立体图像.为创建用于纹理映射的艺术化纹理图像,提出了在透视投影中颠倒像素遮挡关系的方法来获取模型的双眼视域范围图像.该文提出的艺术化立体图像生成方法不仅可保证双眼图像的一致性,而且具有良好的通用性,可适用于各类已有的艺术化渲染算法.     

一种快速的三维扫描数据自动配准方法

研究了两幅和多幅深度图像的自动配准问题.在配准两幅深度图像时,结合二维纹理图像配准深度图像,具体过程是:首先,从扫描数据中提取纹理图像,特别地,针对不包含纹理图像的扫描数据提出了一种根据深度图像直接生成纹理图像的方法;然后,基于SIFT(scale-invariant feature transform)特征提取纹理图像中的兴趣像素,并通过预过滤和交叉检验兴趣像素等方法从中找出匹配像素对的候选集;之后,使用RANSAC(random sample consensus)算法,根据三维几何信息的约束找出候选集中正确的匹配像素对和相对应的匹配顶点对,并根据这些匹配顶点对计算出两幅深度图像间的刚体置换矩阵;最后,使用改进的ICP(iterative closest point)算法优化这一结果.在配准多幅深度图像时,提出了一种快速构建模型图的方法,可以避免对任意两幅深度图像作配准,提高了配准速度.该方法已成功应用于多种文物的三维逼真建模.     

一种基于深度和颜色的3D表面重建方法

为了快速、有效地对三维物体的表面进行重建，提出了一种基于深度和颜色的3D表面重建方法。该方法利用同一物体在空间稀疏分布的不同视点下的多幅深度图像，根据3D物体表面同一点在不同深度图像上颜色和纹理的一致性，通过逆投影变换，可将图像中像素点映射到三维空间中的正确位置。然后在以物体为中心的单个坐标系下，进行数据融合，可得到三维物体表面各点的三维数据。实验结果表明该方法具有复杂度恒定、获取图像真实感强等优点，适用于形状、结构草杂的物体重建。     

彩色Range图像的三维模型重建

重建包含模型真实纹理的彩色三维模型是计算机视觉研究领域的一个重要问题,提出了一种基于2.5维深度图像的三维配准算法,同时利用原始数据中的几何以及纹理信息,对多幅深度图像进行两两配准和全局配准。新算法在两两配准阶段将纹理信息用于初选两幅图像的匹配点对,在全局配准阶段将纹理信息用于计算残差,并据此更新对应点对的权重值用于下一次迭代计算。该算法克服了以往算法在纹理、几何信息的参数尺度量化等方面的问题。     

面向手持式3维扫描设备的本征纹理重建

目的 针对目前手持式3维扫描设备生成的模型纹理分辨率不够,且部分区域存在高光、阴影及明暗变化等问题,提出一种基于多幅实拍照片的纹理重建方法。方法 首先使用基于特征匹配的方法将照片图像与几何模型进行配准;其次根据重建纹理大小,采用特殊编码方式的位置纹理建立照片像素到纹理像素直接且精确的对应关系;然后根据多幅使用闪光灯作为光源拍摄的照片,通过位置纹理建立联立方程,求解漫反射分量;最后采用改进的基于混合权重的融合方法对求解的漫反射分量进行纹理融合。结果 使用本文方法对3个实验模型进行本征纹理重建,与3维扫描设备生成纹理和直接用照片生成纹理相比,该方法操作简单、使用方便,可获得高度清晰的,不含高光和明暗效果的本征纹理图像。结论 实验结果表明,重建纹理质量在分辨率、色彩还原性及一致性方面明显优于原有纹理,且该方法具有很高的精确性和鲁棒性,可满足高质量的纹理重建需求。     

基于Wang Tiles的几何纹理合成

提出了一种基于Wang Tiles的几何纹理合成方法来在不同物体表面上即时地生成几何纹理.首先根据给定的几何纹理预计算出一组Wang Tiles,然后用这组Wang Tiles在不同的目标物体上即时生成新的几何纹理.尽管基于Wang Tiles的方法已经应用于图像纹理,但由于几何纹理采用了与图像纹理完全不同的表示方式,因此需要用完全不同的方法来处理.采用了基于约束的几何纹理合成技术自动生成几何纹理Wang Tiles,从而保证了生成的几何纹理Wang Tiles在所有排列下都能保持其几何连续性.与现有的方法相比,生成的几何纹理Wang Tiles可以重用到不同的目标物体上,同时占用的存储空间及计算量更小,速度更快.     

Compression-Based 3D Texture Mapping for Real-Time Rendering

While 2D texture mapping is one of the most effective of the rendering techniques that make 3D objects appear visually interesting, it often suffers from visual artifacts produced when 2D image patterns are wrapped onto the surfaces of objects with arbitrary shapes. On the other hand, 3D texture mapping generates highly natural visual effects in which objects appear carved from lumps of materials rather than laminated with thin sheets as in 2D texture mapping. Storing 3D texture images in a table for fast mapping computations, instead of evaluating procedures on the fly, however, has been considered impractical due to the extremely high memory requirement. In this paper, we present a new effective method for 3D texture mapping designed for real-time rendering of polygonal models. Our scheme attempts to resolve the potential texture memory problem by compressing 3D textures using a wavelet-based encoding method. The experimental results on various nontrivial 3D textures and polygonal models show that high compression rates are achieved with few visual artifacts in the rendered images and a small impact on rendering time. The simplicity of our compression-based scheme will make it easy to implement practical 3D texture mapping in software/hardware rendering systems including real-time 3D graphics APIs such as OpenGL and Direct3D.     

结合纹理去除的遥感图像分割

针对包含复杂纹理信息的遥感图像难以进行精准图像分割的问题,提出了一种结合纹理去除的遥感图像分割方法。首先,改进了相对全变差纹理去除方法,通过引入新的范数约束使相对全变差纹理去除方法可以在去除纹理信息的同时凸显图像中的主要结构,达到辅助分割的效果;然后,使用均值漂移算法对经过纹理去除的遥感图像进行无监督聚类,达到分割的目的;最后,提出的遥感图像分割算法在不同遥感图像上进行了测试。实验结果表明,在高分辨遥感图像的分割上,所提算法可以分割出遥感图像中的主要目标,和直接分割或者结合其他纹理去除方法相比取得了更好的分割结果。所提出的分割算法可以降低纹理信息对图像分割的影响,提高遥感图像分割的精度。     

Texture evolution: 3D texture synthesis from single 2D growable texture pattern

An efficient model-independent 3D texture synthesis algorithm based on texture growing and texture turbulence is presented to create vivid 3D solid texture from a single 2D growable texture pattern. Given a 2D texture pattern of some growable material, our technique is able to create an anisotropic 3D volumetric texture cube to simulate the evolution of the material in 3D. An effective tiling scheme is designed to save computation and storage costs. Target objects are directly dipped into the synthesized 3D texture volume to generate creative, sculpture-like models that can be visualized with interactive speed. Our method is conceptually intuitive, computationally fast, and storage efficient compared with other solid texturing methods. As opposed to conventional 2D texture mapping work on polygonal surfaces, our approach is capable of decorating 3D point-rendering systems seamlessly. Furthermore, our combination of texture turbulence and texture growing techniques provides an attractive way to synthesize and tile natural 2D texture patterns, or generate simple but interesting motion textures.     

Synthesis of Color Textures for Multimedia Applications

An algorithm for synthesizing color textures from a small set of parameters is presented in this paper. The synthesis algorithm is based on the 2-D moving average model, and realistic textures resembling many real textures can be synthesized using this algorithm. A maximum likelihood estimation algorithm to estimate parameters from a sample texture is also presented. By combining the estimation and synthesis algorithms, a color texture can be synthesized from a sample texture without human intervention. Using the estimated parameters, a texture larger than the original image can be synthesized from a small texture sample. The synthesis algorithm does not require an expensive iterative algorithm, and the quality of synthesized textures may be acceptable for many multimedia applications. In the experiment, various textures suitable for multimedia applications are synthesized from parameters estimated from real textures.     

Layered textures for image-based rendering

An extension to texture mapping is given in this paper for improving the efficiency of image-based rendering. For a depth image with an orthogonal displacement at each pixel, it is decomposed by the displacement into a series of layered textures (LTs) with each one having the same displacement for all its texels. Meanwhile, some texels of the layered textures are interpolated for obtaining a continuous 3D approximation of the model represented in the depth image. Thus, the plane-to-plane texture mapping can be used to map these layered textures to produce novel views and the advantages can be obtained as follows: accelerating the rendering speed, supporting the 3D surface details and view motion parallax, and avoiding the expensive task of hole-filling in the rendering stage. Experimental results show the new method can produce high-quality images and run faster than many famous image-based rendering techniques.     

单幅人脸图像的全景纹理图生成方法

目的 针对从单幅人脸图像中恢复面部纹理图时获得的信息不完整、纹理细节不够真实等问题,提出一种基于生成对抗网络的人脸全景纹理图生成方法。方法 将2维人脸图像与3维人脸模型之间的特征关系转换为编码器中的条件参数,从图像数据与人脸条件参数的多元高斯分布中得到隐层数据的概率分布,用于在生成器中学习人物的头面部纹理特征。在新创建的人脸纹理图数据集上训练一个全景纹理图生成模型,利用不同属性的鉴别器对输出结果进行评估反馈,提升生成纹理图的完整性和真实性。结果 实验与当前最新方法进行了比较,在CelebA-HQ和LFW （labled faces in the wild）数据集中随机选取单幅正面人脸测试图像,经生成结果的可视化对比及3维映射显示效果对比,纹理图的完整度和显示效果均优于其他方法。通过全局和面部区域的像素量化指标进行数据比较,相比于UVGAN,全局峰值信噪比（peak signal to noise ratio,PSNR）和全局结构相似性（structural similarity index,SSIM）分别提高了7.9 dB和0.088,局部PSNR和局部SSIM分别提高了2.8 dB和0.053;相比于OSTeC,全局PSNR和全局SSIM分别提高了5.45 dB和0.043,局部PSNR和局部SSIM分别提高了0.4 dB和0.044;相比于MVF-Net （multi-view 3D face network）,局部PSNR和局部SSIM分别提高了0.6和0.119。实验结果证明,提出的人脸全景纹理图生成方法解决了从单幅人脸图像中重建面部纹理不完整的问题,改善了生成纹理图的显示细节。结论 本文提出的人脸全景纹理图生成方法,利用人脸参数和网络模型的特性,使生成的人脸纹理图更完整,尤其是对原图不可见区域,像素恢复自然连贯,纹理细节更真实。