基于平面的Warping技术

提出了一种基于平面的逆向Warping算法,用于根据多幅参考图像生成任意视点下的新图像.首先通过参考图像的深度信息来重建三维平面,然后寻找这些重建平面间的对应关系,并比较它们对空间平面同一部分的采样密度,以获得最好的采样结果.在生成新视点图像时,首先对那些采样密度最好的重建平面进行可见性判断,然后将其投影到新视点下,在此基础上求得目标图像上各点的深度,最后将目标图像上的点逆向Warping到相应的参考图像中,以获取它们的颜色值.同时,对于参考图像中不能被重建成平面的像素点,用正向Warping的方法对其进     

生成当前视点目标图像的快速逆映射算法

利用极线的属性及深度图像隐含的边界信息,提出了一种可以处理非深度连续图像的快速逆映射算法,以从多幅参考图像精确合成当前视点目标图像.该算法分为3步:首先由参考图像的深度信息得到图像中的边界;然后从参考图像中选出一幅作为主参考图像,利用极线的整体匹配特性和对应点在极线上分布的单调性,逐个处理目标极线,以生成目标图像;最后根据其他参考图像填补目标图像中的空洞.由于在第2步中只需处理参考图像的边界点对即可得到对应目标极线上所有点的深度信息及其在参考极线上的对应点,因此,新算法很好地提高了速度.在填补空洞时,利用参考图像的边界信息及所隐含的遮挡关系,还提出了一些加速的方法.     

基于图像的实时漫游

提出了一个点和多边形模型混合的场景表达方式,从而实现了对复杂场景的视点不受限制的实时漫游.它从多幅带深度的参考图像出发,在预处理阶段区别对待场景中平面物体和曲面物体在参考图像中的对应像素.对于在参考图像所占区域较大的空间平面,用传统的多边形模型方式对其进行表达,试图恢复出其平面方程,然后通过采样密度比较和重采样过程,将该空间平面在所有参考图像中的出现合并成一个均匀采样的纹理图像;而对于空间曲面或在参考图像中所占面积较小的平面,使用点的形式对其进行表达,通过采样密度的比较去掉冗余的点,将保留下来的点按其空间位置进行聚类.同时,对于场景中那些不被所有参考图像所拍摄到而在漫游过程中可能形成空洞的部分,提出一个空洞预填补技术,在预处理阶段即对这类空洞进行填补,从而大大减少了漫游阶段出现空洞的几率.在漫游阶段则使用纹理映射和点Warping的方式进行绘制,以充分利用图形硬件的加速功能.     

CSA--一种加速的图像逆映射算法

采用方程求解代替逐像素搜索,提出一种加速的图像逆映射CSA算法．首先根据深度信息标记出参考域中的边界像素,并在映射时保存在像素链表中;然后将链表中的像素逐个映射到其他参考域建立线段方程,并与对应的极线方程联立求解,若有解则求出匹配的参考像素,否则标记为空洞;最后利用插值或其他参考信息填补空洞．由于仅处理边界像素,降低了计算复杂度,经实验证实,该算法有较好的加速作用．     

用于图像逆映射的搜索转移算法

图像逆映射是基于图像绘制技术的基础算法，但由于需要进行繁琐的参考域搜索过程，传统图像逆映射算法计算复杂度大、效率低。本文提出一种快速图像逆映射算法——搜索转移算法。该算法从场景的极线几何性质出发，将大量匹配搜索过程从参考域转移到目的域中进行，由于在目的域只需进行简单的判断操作，因此可以大大降低整体的匹配复杂度；同时，算法充分利用场景的空间连贯性，通过为目的域制定自适应的绘制顺序，有效地减小了实际需要搜索的步长。实验表明，搜索转移算法简单有效，能极大地降低搜索复杂度95％以上，提高计算效率10倍左右。     

基于几何与图像混合绘制中的快速WARP变换算法研究

基于几何与图像的混合绘制中，3D Warp算法以严格的数学变换为基础，从而能够保证准确的投影关系，但该算法在实时绘制阶段需进行大量的数学运算，故其时间复杂度较高，该文提出了一种新的快速Warp变换算法，算法以3D Warp算法为基础，采用了崭新的投影过程，从而使时间复杂度较3D Warp算法有较大幅度的下降（降低约7．51倍）。同时，该算法是一种流水结构，能够有效利用现有的加速硬件，而无需改变图形硬件的体系结构。     

基于DIBR和图像融合的任意视点绘制

虚拟视点生成是3维视频会议等应用领域中的关键技术,为了快速高质量地进行任意视点绘制,提出了一种基于深度图像绘制(DIBR)和图像融合的新视点生成方法,该方法首先对参考图像进行预处理,包括深度图像的边缘滤波和参考图像规正,以减少目标图像中产生的较大空洞和虚假边缘;然后利用3维图像变换生成新视点图像,并用遮挡兼容算法对遮挡进行快速处理;接着再对两幅目标图像进行融合得到新视点图像;最后用插值法填充剩余的较小空洞。实验证明,该新方法能获得令人满意的绘制效果。     

一种基于视觉约束的当前视点画面生成方法

由于视点变化中画面可见性的变化以及在当前视点物体表面的扩张,仅由一幅带深度的源参考图像的三维重投影所得到的目标视点画面存在空洞问题.为此,人们采取多源参考图像的合成方法来解决此问题.如何从具有大量冗余信息的多幅源参考图像中快速提取当前目标视点所需信息,成为基于图像的虚拟环境建模和绘制的关键技术.该文给出一种从多幅源参考图像(目前仅两幅)合成当前视点画面的算法.算法结合正向映射及逆向映射技术完成对当前视点画面的合成,并且利用视觉约束-极线约束这一性质从其他源参考图像中寻找填补空洞的像素,从而避免了整幅参考图像的重投影过程及深度比较.同时,算法利用极线对上像素的排序特性和已有目标图像的信息加速填补空洞像素的搜索.算法在不增加原有图像映射算法复杂度的基础上,大大降低了原有多幅图像合成算法的计算量.     

Composition of novel views through an efficient image warping

This paper presents an efficient inverse warping algorithm for generating novel views from multiple reference images taken from different viewpoints. The method proceeds in three steps: preprocess for edge-pixel extraction, inverse warping from the primary image, and hole filling from remaining reference images. In using advantages of epipolar-line features and the depth discontinuity in the reference images, the inverse warping can be efficiently applied in segments, accelerating the rendering process substantially. Two acceleration techniques are proposed at the last stage for hole filling. By using the algorithm proposed, we may navigate a virtual environment at an interactive rate.     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

Real‐time Depth of Field Rendering via Dynamic Light Field Generation and Filtering

We present a new algorithm for efficient rendering of high‐quality depth‐of‐field (DoF) effects. We start with a single rasterized view (reference view) of the scene, and sample the light field by warping the reference view to nearby views. We implement the algorithm using NVIDIA's CUDA to achieve parallel processing, and exploit the atomic operations to resolve visibility when multiple pixels warp to the same image location. We then directly synthesize DoF effects from the sampled light field. To reduce aliasing artifacts, we propose an image‐space filtering technique that compensates for spatial undersampling using MIP mapping. The main advantages of our algorithm are its simplicity and generality. We demonstrate interactive rendering of DoF effects in several complex scenes. Compared to existing methods, ours does not require ray tracing and hence scales well with scene complexity.     

减少相邻位平面间冗余度的加密图像可逆信息隐藏

目的 针对现有的加密域可逆信息隐藏算法在对位平面压缩时未能充分利用位平面间的相关性的问题,为了降低位平面的压缩率从而提高嵌入容量,提出一种减少相邻位平面间冗余度的加密域可逆信息隐藏算法。方法 算法将图像进行分块并将块的位置进行置乱,置乱并未改变位平面的块内像素的相关性,使得位平面的块同样利于压缩。将块置乱后的图像的高位平面与次高位进行异或操作后得到新的次高位平面,再用新的次高位异或比它低一位的位平面。依次对其余的低位平面进行同样的操作后得到新的低7个位平面,将它们与原始最高位相结合得到新的图像的8个位平面。使用BBE（binary-block embeding）算法对新的图像的位平面进行压缩为嵌入信息腾出空间。为了保证加密图像的安全性,对腾出空间后的图像进行异或加密。结果 对相邻位平面进行异或后使除了最高位平面外的低位平面更平滑,减少了不能使用BBE算法压缩的块及压缩的不好的块的个数,更有利于用BBE算法对图像进行压缩。提出的算法与现有的基于位平面压缩的算法相比得到了较高的嵌入率,对不同纹理的图像而言,嵌入的容量平均提高了0.4 bit/像素。结论 实验结果表明,提出的算法在保证安全性的同时可以腾出更多的空间来嵌入额外的信息,在实际生活中能根据需求灵活地嵌入信息。嵌入的信息能无损地提取,且图像能完全恢复。总的来说,提出的算法具有良好的性能。     

从多幅参考图像合成目标图像的逆映射算法

提出了一种从多幅参考图像来合成新视点目标图像的逆映射算法.这种方法不但成功地填补了由于投影区域扩张而产生的第1类空洞,而且还成功地填补了由于空间非深度连续物体相互遮挡而产生的第2类空洞,从而方便地实现了虚拟环境中的漫游.基于物体表面深度的连续性,提出了一种位移预测方法.该方法可以从单幅参考图像获得逆映射过程中所需要的目标图像的位移信息,从而大大提高了算法的效率.与通常的正向映射算法相比,该算法克服了多幅参考图像所带来的计算量成倍增长等问题,而且误差较小.     

一种用于DIBR的去隔行算法*

提出了一种适用于DIBR的去隔行算法,该算法首先采用一种基于方向的场内插值算法对隔行参考图像和它的深度图像去隔行。这种场内插值算法能够通过对插值方向进行自适应的选择有效地消除“锯齿”现象。然后,算法会根据逐行的参考图像和它的深度图像进行三维图像变换,得到逐行的目标图像。实验表明,所提出的去隔行算法能得到画质较高的逐行新视图,且算法性能是鲁棒的。该算法适用于基于DIBR的3D视频的去隔行。     

基于KL变换的模糊C-均值聚类彩色图像分割

根据图像色彩特征空间的正交特性,以及构成特征空间的特征向量和特征值之间的统计特性,提出了一种新的彩色图像指定区域分割算法。首先在指定区域选取采样像素,通过KL变换计算采样像素的协方差矩阵、特征值、特征向量;由特征向量构成指定区域的色彩特征空间,然后对原色彩空间中的向量进行空间变换和权重变换;最后用模糊C-均值聚类方法聚类变换后的向量,得到分割结果。文中给出了静物图像的聚类分割结果,体现了算法对于指定区域细节分割的准确性。     

基于等密度映射和纹理重构的分层图像变换

图像变换包括图像映射和图像重构两个重要部分,而现有重构方法存在计算量较大、容易产生视觉误差等问题,并不能真正快速有效地实现图像变换。本文通过建立等密度映射的方式将重构转化为一个可以依赖纹理硬件快速完成的纹理映射过程,从而改进了传统的图像变换模型,并在此模型基础上设计了一种分层图像变换的方法。分层图像变换,首先将参考像素以相近的分辨率映射到对应的密度层以避免形成大量空洞,然后通过背景层设置、密度层合并等操作将对应的目的像素存储在一个可控长度的双向链表上,最后从后向前遍历链表逐层生成和合成纹理得到目的图像。实验结果表明,分层图像变换在有效避免视觉误差的基础上,大大提高了计算效率。     

Minimal Warping: Planning Incremental Novel‐view Synthesis

Observing that many visual effects (depth‐of‐field, motion blur, soft shadows, spectral effects) and several sampling modalities (time, stereo or light fields) can be expressed as a sum of many pinhole camera images, we suggest a novel efficient image synthesis framework that exploits coherency among those images. We introduce the notion of “distribution flow” that represents the 2D image deformation in response to changes in the high‐dimensional time‐, lens‐, area light‐, spectral‐, etc. coordinates. Our approach plans the optimal traversal of the distribution space of all required pinhole images, such that starting from one representative root image, which is incrementally changed (warped) in a minimal fashion, pixels move at most by one pixel, if at all. The incremental warping allows extremely simple warping code, typically requiring half a millisecond on an Nvidia Geforce GTX 980Ti GPU per pinhole image. We show, how the bounded sampling does introduce very little errors in comparison to re‐rendering or a common warping‐based solution. Our approach allows efficient previews for arbitrary combinations of distribution effects and imaging modalities with little noise and high visual fidelity.     

A method to generate soft shadows using a layered depth image and warping

We present an image-based method for propagating area light illumination through a layered depth image (LDI) to generate soft shadows from opaque and nonrefractive transparent objects. In our approach, using the depth peeling technique, we render an LDI from a reference light sample on a planar light source. Light illumination of all pixels in an LDI is then determined for all the other sample points via warping, an image-based rendering technique, which approximates ray tracing in our method. We use an image-warping equation and McMillan's warp ordering algorithm to find the intersections between rays and polygons and to find the order of intersections. Experiments for opaque and nonrefractive transparent objects are presented. Results indicate our approach generates soft shadows fast and effectively. Advantages and disadvantages of the proposed method are also discussed.     

Denoising Deep Monte Carlo Renderings

We present a novel algorithm to denoise deep Monte Carlo renderings, in which pixels contain multiple colour values, each for a different range of depths. Deep images are a more expressive representation of the scene than conventional flat images. However, since each depth bin receives only a fraction of the flat pixel's samples, denoising the bins is harder due to the less accurate mean and variance estimates. Furthermore, deep images lack a regular structure in depth—the number of depth bins and their depth ranges vary across pixels. This prevents a straightforward application of patch‐based distance metrics frequently used to improve the robustness of existing denoising filters. We address these constraints by combining a flat image‐space non‐local means filter operating on pixel colours with a deep cross‐bilateral filter operating on auxiliary features (albedo, normal, etc.). Our approach significantly reduces noise in deep images while preserving their structure. To our best knowledge, our algorithm is the first to enable efficient deep‐compositing workflows with denoised Monte Carlo renderings. We demonstrate the performance of our filter on a range of scenes highlighting the challenges and advantages of denoising deep images.     

A semi-automatic method for burn scar delineation using a modified Chan–Vese model

We propose a novel semi-automatic method for burn scar delineation from Landsat imagery using a modified Chan–Vese model. Burn scars appear reddish-brown in band 742 false-colour composite of Landsat 7 images. This property is used in our algorithm to delineate burn scars. Firstly, we visually choose sample pixels from the burn scar. From these pixels, a discrimination function for burn scars is determined by the principal component analysis and interval estimation. Then we define a modified Chan–Vese functional. The minimizer of the functional corresponds to the boundary of the burn scar. In order to minimize this functional, the corresponding contour evolution equation is given. We use the discrimination function to locate an initial contour that is near the boundary of the burn scar. The evolving curve then efficiently converges to the desired boundary. A Landsat image over Russia is used to examine our algorithm. The result shows that the algorithm is effective.