生成当前视点目标图像的快速逆映射算法

利用极线的属性及深度图像隐含的边界信息,提出了一种可以处理非深度连续图像的快速逆映射算法,以从多幅参考图像精确合成当前视点目标图像.该算法分为3步:首先由参考图像的深度信息得到图像中的边界;然后从参考图像中选出一幅作为主参考图像,利用极线的整体匹配特性和对应点在极线上分布的单调性,逐个处理目标极线,以生成目标图像;最后根据其他参考图像填补目标图像中的空洞.由于在第2步中只需处理参考图像的边界点对即可得到对应目标极线上所有点的深度信息及其在参考极线上的对应点,因此,新算法很好地提高了速度.在填补空洞时,利用参考图像的边界信息及所隐含的遮挡关系,还提出了一些加速的方法.     

一种基于视觉约束的当前视点画面生成方法

由于视点变化中画面可见性的变化以及在当前视点物体表面的扩张,仅由一幅带深度的源参考图像的三维重投影所得到的目标视点画面存在空洞问题.为此,人们采取多源参考图像的合成方法来解决此问题.如何从具有大量冗余信息的多幅源参考图像中快速提取当前目标视点所需信息,成为基于图像的虚拟环境建模和绘制的关键技术.该文给出一种从多幅源参考图像(目前仅两幅)合成当前视点画面的算法.算法结合正向映射及逆向映射技术完成对当前视点画面的合成,并且利用视觉约束-极线约束这一性质从其他源参考图像中寻找填补空洞的像素,从而避免了整幅参考图像的重投影过程及深度比较.同时,算法利用极线对上像素的排序特性和已有目标图像的信息加速填补空洞像素的搜索.算法在不增加原有图像映射算法复杂度的基础上,大大降低了原有多幅图像合成算法的计算量.     

基于图像的实时漫游

提出了一个点和多边形模型混合的场景表达方式,从而实现了对复杂场景的视点不受限制的实时漫游.它从多幅带深度的参考图像出发,在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素.对于在参考图像所占区域较大的空间平面,用传统的多边形模型方式对其进行表达,试图恢复出其平面方程,然后通过采样密度比较和重采样过程,将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像;而对于空间曲面或在参考图像中所占面积较小的平面,使用点的形式对其进行表达,通过采样密度的比较去掉冗余的点,将保留下来的点按其空间位置进行聚类.同时,对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分,提出一个空洞预填补技术,在预处理阶段即对这类空洞进行填补,从而大大减少了漫游阶段出现空洞的几率.在漫游阶段则使用纹理映射和点Warping的方式进行绘制,以充分利用图形硬件的加速功能.     

CSA--一种加速的图像逆映射算法

采用方程求解代替逐像素搜索，提出一种加速的图像逆映射CSA算法．首先根据深度信息标记出参考域中的边界像素，并在映射时保存在像素链表中；然后将链表中的像素逐个映射到其他参考域建立线段方程，并与对应的极线方程联立求解，若有解则求出匹配的参考像素，否则标记为空洞；最后利用插值或其他参考信息填补空洞．由于仅处理边界像素，降低了计算复杂度，经实验证实，该算法有较好的加速作用．     

图像逆映射与融合技术

对图像逆映射与融合技术作了系统研究.通过把图像映射关系统一为位移场表示,详细讨论了消除图像缝隙的逆映射算法.给出了多张图像的迭代融合算法.实验表明,混合使用图像逆映射算法和迭代融合算法可以获得满意的结果.     

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术（Double-sided Depth-Image Based Rendering,Double-sided DIBR）中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。（1）提出一种深度差值估计法。（2）在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。（3）对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。（4）改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比（Peak Signal to Noise Ratio,PSNR）以及结构相似（Structural SIMilarity,SSIM）都有所提高。     

条纹理映射

提出一种新的基于图像绘制的方法，能高效地利用图形硬件进行加速，避免成像过程中烦人的空洞填补计算,高质量地反映物体表面的三雏凹凸细节及视差变化．该方法首先为源深度图像中每个像素生成一个条状的纹理(条纹理)，即根据一个像素及其邻近像素的深度值，沿着深度方向为该像素插值生成多个具有不同深度值的点，它们一起构成谊像素的条纹理；然后，绘制时利用图形硬件的纹理映射直接处理这些条纹理.由于各个像素的条纹理的集合可以构成源场景的近似连续三维表示,从而大大增强了源深度图像表达三维模型细节的能力，而且成像时不必进行空洞填补的计算.与已有的同类方法相比，新方法的空间需求小，成像速度快，并且成像质量很高．     

基于图像的实时漫游

提出了一个点和多边形模型混合的场影表达方式，从而实现了对复杂场景的视点不受限制的实时漫游。它从多幅带深度的参考图像出发，在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素。对于在参考图像所占区域较大的空间平面，用传统的多边形模型方式对其进行表达，试图恢复出其平面方程，然后通过采样密度比较和重采样过程，将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像；而对于空间曲面或在参考图像中所占面积较小的平面，使用点的形式对其进行表达，通过采样密度的比较去掉冗余的点，将保留下来的点按其空间位置进行聚类。同时，对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分，提出一个空洞预填补技术，在预处理阶段即对这类空洞进行填补，从而大大较少了漫游阶段出现空洞的几度。在漫游阶段则使用纹理映射和点Warping的方式进行绘制，以充分利用图形硬件的加速功能。     

基于DIBR和图像融合的任意视点绘制

虚拟视点生成是3维视频会议等应用领域中的关键技术,为了快速高质量地进行任意视点绘制,提出了一种基于深度图像绘制(DIBR)和图像融合的新视点生成方法,该方法首先对参考图像进行预处理,包括深度图像的边缘滤波和参考图像规正,以减少目标图像中产生的较大空洞和虚假边缘;然后利用3维图像变换生成新视点图像,并用遮挡兼容算法对遮挡进行快速处理;接着再对两幅目标图像进行融合得到新视点图像;最后用插值法填充剩余的较小空洞。实验证明,该新方法能获得令人满意的绘制效果。     

基于DIBR和图像修复的任意视点绘制

基于深度的图像绘制（DIBR）是高级视频应用的关键技术,为提高视点变换的图像质量,提出一种基于DIBR和图像修复的任意视点绘制方法。首先对深度图像进行形态学处理,以减少视点变换产生的空洞,平滑目标视点内部的物体轮廓;利用视点变换方程生成目标视点;对含有空洞的目标视点采用图像修复算法进行后处理,设计了含有深度项的代价函数,在深度的约束下进行纹理搜索,将最佳匹配块填补到空洞;在修复空洞的过程中采用亮度优先的策略以适应不同的色度采样格式。实验的主观效果对比和PSNR数据都显示本文算法比其他算法更为优越。     

Accelerated Backward Warping

In this paper a plane-based backward warping algorithm is proposed to generate novel viwews from multiple reference images.First.depth information is employed to reconstruct space planes from individual refernce images and calculate the potential occluding relationship between these planes.Then the planes which represent each identical space plane from different reference images are compared with each other to decide the one with the best sample rate to be preserved and used in the later warping period while the other samples are abandoned.While the image of a novel view is produced,traditional methods in computer graphics,such as visibility test.and clipping,are used to process the planes reconstructed.Then the planes processed are projected onto the desired image form the knowledge on which plane the desired image pixels are warped from can be acquired.Finally,pixels‘ depth of the desired image is calculated and then a ackwared warping is performed from these pixels to the reference images to obtain their colors.The storage requirement in the algorithm is small and increases slowly with the number of reference images increases.By combining the strategy of only preserving the best sample parts and the backward warping algorithm ,the sample problem could be well tackled.     

基于平面的Warping技术

提出了一种基于平面的逆向Warping算法,用于根据多幅参考图像生成任意视点下的新图像.首先通过参考图像的深度信息来重建三维平面,然后寻找这些重建平面间的对应关系,并比较它们对空间平面同一部分的采样密度,以获得最好的采样结果.在生成新视点图像时,首先对那些采样密度最好的重建平面进行可见性判断,然后将其投影到新视点下,在此基础上求得目标图像上各点的深度,最后将目标图像上的点逆向Warping到相应的参考图像中,以获取它们的颜色值.同时,对于参考图像中不能被重建成平面的像素点,用正向Warping的方法对其进     

Real‐time Depth of Field Rendering via Dynamic Light Field Generation and Filtering

We present a new algorithm for efficient rendering of high‐quality depth‐of‐field (DoF) effects. We start with a single rasterized view (reference view) of the scene, and sample the light field by warping the reference view to nearby views. We implement the algorithm using NVIDIA's CUDA to achieve parallel processing, and exploit the atomic operations to resolve visibility when multiple pixels warp to the same image location. We then directly synthesize DoF effects from the sampled light field. To reduce aliasing artifacts, we propose an image‐space filtering technique that compensates for spatial undersampling using MIP mapping. The main advantages of our algorithm are its simplicity and generality. We demonstrate interactive rendering of DoF effects in several complex scenes. Compared to existing methods, ours does not require ray tracing and hence scales well with scene complexity.     

Design of an efficient VLSI architecture for non-linear spatial warping of wide-angle camera images

Endoscopic images are subjected to spatial distortion due to the wide-angle configuration of the camera lenses. This barrel type of non-linear distortion should be corrected before these images are subjected to further analysis for diagnostic purposes. An efficient digital architecture suitable for an embedded system which can correct the barrel distortion in real-time is presented in this paper. The theoretical approach of this spatial warping technique is based on least-squares estimation. The images in the distorted image space are mapped onto the corrected image space by using a polynomial mapping model. The polynomial parameters include the expansion coefficients, back-mapping coefficients, distortion centre and corrected centre. Several experiments were conducted by applying the spatial warping algorithm on many endoscopic images. A digital architecture suitable for hardware implementation of the distortion correction technique is developed by mapping the algorithmic steps onto a linear array of processing modules. Each module of a particular unit communicates with its nearest neighbours. The spatial warping architecture implemented and simulated with Altera’s Quartus II software shows an overall computation time of 1.8 ms with 50 MHz clock for an image of size 256 × 192 pixels, which confirms that the spatial warping module could be mounted as a dedicated unit in an endoscopy system for real-time applications.     

基于张量约束的图像二次投影

文章介绍了一种新的基于代数约束的图像生成方法,用于从两幅不同角度的参考图像来生成另一幅新的视角图像,即二次投影。该方法在极线几何的基础上,通过研究物体在三个不同透视投影平面上对应点之间的相互关系,得到描述不同图像上对应点关系的一个三线性张量。由此张量和参考图像便能得到新图像和参考图像之间的关系,进而就可以生成新的视角图像。和其他基于图像的二次投影方法相比,这里仅需要两幅参考图像,且实现方法简单快速。实验给出了令人较满意的效果。     

局部颜色映射的彩色夜视算法

针对现有基于全局统计信息的彩色夜视算法不能较好保持图像目标色彩恒常性的不足,提出一种简单有效的局部自然彩色夜视算法。首先依据人类视觉系统的中心-环绕对抗结构生成伪彩色融合图像;按照不同颜色特征对伪彩色融合图像进行聚类,分割成不同颜色域,参考自然彩色图像中对应域为与融合图像对应位置像素集合;最后在简化Lab空间实现对应域间的局部颜色映射,将参考图像颜色特征传输至融合图像。实验结果表明,本文方法使得夜视图像获得如白天参考图像般自然、真实的效果,有利于提高场景辨识能力;方法执行速度快,便于实时处理。     

基于图像重投影的视图合成

针对摄像机绕光心旋转的情形,讨论了在这种特殊情形下单应矩阵具有的性质。然后根据这些性质结合三维图像变换技术给出了一种摄像机绕光心旋转时新视图的合成方法。该方法首先利用单应矩阵的性质生成目标图像的一部分,并采用逆向映射的方法以避免产生空洞;接着利用三维图像变换生成目标图像的剩余部分;最后对由三维图像变换生成的部分进行空洞填补。实验结果表明,该方法能够生成质量较好的新视图。     

多参数加权的无缝纹理映射算法

目的 针对基于图像3维重建中纹理映射存在缝隙的问题,提出一种多参数加权的无缝纹理映射算法。方法 算法根据图像的标定信息对三角格网进行聚类分割,将重建模型聚类成不同参考图像的网格贴片,并对贴片排序生成纹理图像,加权融合重建顶点的法线角度、图像视点、模型深度等信息生成纹理贴片像素,最后采用多分辨率分解融合技术消除纹理贴片缝隙,实现无缝的纹理映射。结果 对不同的测试数据进行了验证,本文算法在保持一定清晰度的前提下消除了纹理的缝隙,即使对于构网误差较大的区域也能得到较为满意的结果,同时本文算法支持大数据的3维纹理映射。结论 提出了一种无缝的纹理映射算法,算法通过构造一个平滑的加权方程融合多源信息消除纹理的接缝,实验结果表明了本文算法的有效性及实用性,得到了高保真的无缝纹理映射效果,可应用到城市级别的大场景3维重建领域。