一种基于视觉约束的当前视点画面生成方法

由于视点变化中画面可见性的变化以及在当前视点物体表面的扩张,仅由一幅带深度的源参考图像的三维重投影所得到的目标视点画面存在空洞问题.为此,人们采取多源参考图像的合成方法来解决此问题.如何从具有大量冗余信息的多幅源参考图像中快速提取当前目标视点所需信息,成为基于图像的虚拟环境建模和绘制的关键技术.该文给出一种从多幅源参考图像(目前仅两幅)合成当前视点画面的算法.算法结合正向映射及逆向映射技术完成对当前视点画面的合成,并且利用视觉约束-极线约束这一性质从其他源参考图像中寻找填补空洞的像素,从而避免了整幅参考图像的重投影过程及深度比较.同时,算法利用极线对上像素的排序特性和已有目标图像的信息加速填补空洞像素的搜索.算法在不增加原有图像映射算法复杂度的基础上,大大降低了原有多幅图像合成算法的计算量.     

CSA--一种加速的图像逆映射算法

采用方程求解代替逐像素搜索,提出一种加速的图像逆映射CSA算法．首先根据深度信息标记出参考域中的边界像素,并在映射时保存在像素链表中;然后将链表中的像素逐个映射到其他参考域建立线段方程,并与对应的极线方程联立求解,若有解则求出匹配的参考像素,否则标记为空洞;最后利用插值或其他参考信息填补空洞．由于仅处理边界像素,降低了计算复杂度,经实验证实,该算法有较好的加速作用．     

从多幅参考图像合成目标图像的逆映射算法

提出了一种从多幅参考图像来合成新视点目标图像的逆映射算法.这种方法不但成功地填补了由于投影区域扩张而产生的第1类空洞,而且还成功地填补了由于空间非深度连续物体相互遮挡而产生的第2类空洞,从而方便地实现了虚拟环境中的漫游.基于物体表面深度的连续性,提出了一种位移预测方法.该方法可以从单幅参考图像获得逆映射过程中所需要的目标图像的位移信息,从而大大提高了算法的效率.与通常的正向映射算法相比,该算法克服了多幅参考图像所带来的计算量成倍增长等问题,而且误差较小.     

基于对应点匹配的物体深度信息测量

提出了一种基于对应点匹配的物体深度信息测量方法。首先给出了物理图像坐标系与像素坐标系之间的关系;其次,借助于相关法计算两幅图像中目标的相似度,以实现同一目标在不同成像中的匹配;然后从目标几何形状的角点出发,结合对应点的外极线约束条件,提出一种有效的对应点匹配算法,并利用对应点的视差计算基于光轴平行的双摄像机成像的目标深度信息。计算机仿真结果验证了算法的有效性。     

基于摄像机纵向运动的序列图像的实时漫游

对于摄像机纵向运动的序列图像，提出了一种基于极线几何约束关系的当前视点目标图像生成算法：1）利用基于傅立叶变换的方法，得到远视点源图像中和近视点源图像无对应点的区域，并用一种背景色将其填充，得到填充后的远视点源图像；2）利用极线的整体匹配性质在两幅源图像中确定遍历整个源图像的对应源极线；3）将所有对应源极线按灰度进行分段；4）用动态规划匹配法确定对应源极线上段与段之间的匹配关系；5）通过两条对应源极线插值合成一条目标极线，生成当前视点的目标图像；6）对上一步得到的目标图像的背景色区域加以处理，得到最终的当前视点目标图像．提出了一种链表数据结构存储每相邻两幅源图像之间的预处理信息．漫游时实时读取．开发了一个图像漫游器，使用户能在其中实现不同视点的实时漫游．     

递进填充线算法对DIBR虚拟图像的修复

在基于深度图的虚拟图像绘制(DIBR)中,前景物体的遮挡会造成虚拟图像中的空洞问题.针对Criminisi算法及模板匹配对空洞边界噪声敏感的问题,提出一种基于递进填充线的填补算法.首先根据视点变换的方向将空洞的背景部分边界扩大,以消除深度误差造成的空洞边界上的残余前景噪声;在空洞填充的遍历过程中,采用提出的递进填充线算法对每次更新后的剩余空洞提取基于视点方向的部分边界作为填充线,以限制被填充块的搜索范围,使被填充空洞块的择优顺序以背景纹理优先,避免了空洞边界上前景纹理的误填充.实验结果表明,该算法峰值信噪比比Criminisi算法平均高出1.617 3,比基于深度的模板匹配算法平均高出1.310 5,能更有效地抑制DIBR空洞纹理的错误生长,修复图像质量.     

基于深度图像绘制技术的正反向映射技术的改进

针对基于双向深度图像绘制技术（Double-sided Depth-Image Based Rendering,Double-sided DIBR）中产生的空洞、重采样、重叠问题,为提高虚拟图像的合成质量,提出一种改进的正反向映射技术。该技术主要有四点贡献。（1）提出一种深度差值估计法。（2）在3D-warping过程中使用改进的基于Z-buffer的OPFD算法,有效解决重采样和重叠问题。（3）对深度虚拟图像运用改进的基于背景空洞填补算法消除空洞。（4）改进反向映射过程,通过判断投影后的图像和辅助彩色参考图像被遮挡信息背景的一致性,选择不同的空洞填补算法填补彩色虚拟图像中的空洞,从而达到更好的填补效果。实验结果表明,改进技术在降低算法复杂度的同时,主观图像质量与客观峰值信噪比（Peak Signal to Noise Ratio,PSNR）以及结构相似（Structural SIMilarity,SSIM）都有所提高。     

基于DIBR和图像融合的任意视点绘制

虚拟视点生成是3维视频会议等应用领域中的关键技术,为了快速高质量地进行任意视点绘制,提出了一种基于深度图像绘制(DIBR)和图像融合的新视点生成方法,该方法首先对参考图像进行预处理,包括深度图像的边缘滤波和参考图像规正,以减少目标图像中产生的较大空洞和虚假边缘;然后利用3维图像变换生成新视点图像,并用遮挡兼容算法对遮挡进行快速处理;接着再对两幅目标图像进行融合得到新视点图像;最后用插值法填充剩余的较小空洞。实验证明,该新方法能获得令人满意的绘制效果。     

运用层次纹理映射的基于图像绘制算法

提出一种基于图像绘制(image-basedrendering,简称IBR)的算法,以发挥图形卡的纹理映射功能,并能表现物体表面的三维凹凸细节.首先将深度图像的像素按其相关深度分为多层纹理图像,然后利用纹理映射的硬件支持,将这些层次纹理图像依次投影到与视点相关的成像面上,以得到所需目标图像.为了避免目标图像上出现空洞,在生成时,将纹素在深度层次上进行扩展.由于层次纹理图像需要较大的存储空间,并且在装入纹理缓冲时要花费大量时间,为此还提出一种基于压缩层次纹理图像的目标图像生成算法.实验表明新算法是有效的,尤其适于处理与整个物体大小相比深度层次不太多的三维景物,如有表面凹凸纹理(浮雕、门窗等)的建筑物表面等.     

条件随机场像素建模与深度特征融合的目标区域分割算法

针对已有的基于深度神经网络的目标区域分割算法在目标边界分割效果中存在的问题,提出融合图像像素信息与图像语义信息的目标区域分割算法.首先通过加入注意力模块的深度神经网络提取图像语义级别的信息,得到图像语义级别的全局特征;然后利用条件随机场模型对图像局部区域进行像素级别建模,得到图像的局部细节特征;最后综合利用图像的局部细节特征和图像的全局特征,得到目标区域的分割结果.实验结果表明,与已有的算法相比,该算法能够更好地分割出目标的边界区域,抑制边界区域分割粗糙的问题,得到较准确的目标分割区域.     

Accelerated Backward Warping

In this paper a plane-based backward warping algorithm is proposed to generate novel viwews from multiple reference images.First.depth information is employed to reconstruct space planes from individual refernce images and calculate the potential occluding relationship between these planes.Then the planes which represent each identical space plane from different reference images are compared with each other to decide the one with the best sample rate to be preserved and used in the later warping period while the other samples are abandoned.While the image of a novel view is produced,traditional methods in computer graphics,such as visibility test.and clipping,are used to process the planes reconstructed.Then the planes processed are projected onto the desired image form the knowledge on which plane the desired image pixels are warped from can be acquired.Finally,pixels‘ depth of the desired image is calculated and then a ackwared warping is performed from these pixels to the reference images to obtain their colors.The storage requirement in the algorithm is small and increases slowly with the number of reference images increases.By combining the strategy of only preserving the best sample parts and the backward warping algorithm ,the sample problem could be well tackled.     

基于平面的Warping技术

提出了一种基于平面的逆向Warping算法,用于根据多幅参考图像生成任意视点下的新图像.首先通过参考图像的深度信息来重建三维平面,然后寻找这些重建平面间的对应关系,并比较它们对空间平面同一部分的采样密度,以获得最好的采样结果.在生成新视点图像时,首先对那些采样密度最好的重建平面进行可见性判断,然后将其投影到新视点下,在此基础上求得目标图像上各点的深度,最后将目标图像上的点逆向Warping到相应的参考图像中,以获取它们的颜色值.同时,对于参考图像中不能被重建成平面的像素点,用正向Warping的方法对其进     

用于图像逆映射的搜索转移算法

图像逆映射是基于图像绘制技术的基础算法，但由于需要进行繁琐的参考域搜索过程，传统图像逆映射算法计算复杂度大、效率低。本文提出一种快速图像逆映射算法——搜索转移算法。该算法从场景的极线几何性质出发，将大量匹配搜索过程从参考域转移到目的域中进行，由于在目的域只需进行简单的判断操作，因此可以大大降低整体的匹配复杂度；同时，算法充分利用场景的空间连贯性，通过为目的域制定自适应的绘制顺序，有效地减小了实际需要搜索的步长。实验表明，搜索转移算法简单有效，能极大地降低搜索复杂度95％以上，提高计算效率10倍左右。     

Composition of novel views through an efficient image warping

This paper presents an efficient inverse warping algorithm for generating novel views from multiple reference images taken from different viewpoints. The method proceeds in three steps: preprocess for edge-pixel extraction, inverse warping from the primary image, and hole filling from remaining reference images. In using advantages of epipolar-line features and the depth discontinuity in the reference images, the inverse warping can be efficiently applied in segments, accelerating the rendering process substantially. Two acceleration techniques are proposed at the last stage for hole filling. By using the algorithm proposed, we may navigate a virtual environment at an interactive rate.     

基于等密度映射和纹理重构的分层图像变换

图像变换包括图像映射和图像重构两个重要部分,而现有重构方法存在计算量较大、容易产生视觉误差等问题,并不能真正快速有效地实现图像变换。本文通过建立等密度映射的方式将重构转化为一个可以依赖纹理硬件快速完成的纹理映射过程,从而改进了传统的图像变换模型,并在此模型基础上设计了一种分层图像变换的方法。分层图像变换,首先将参考像素以相近的分辨率映射到对应的密度层以避免形成大量空洞,然后通过背景层设置、密度层合并等操作将对应的目的像素存储在一个可控长度的双向链表上,最后从后向前遍历链表逐层生成和合成纹理得到目的图像。实验结果表明,分层图像变换在有效避免视觉误差的基础上,大大提高了计算效率。     

Coherence-enhancing line drawing for color images

Line drawing plays an important role in many image-based non-photorealistic applications. However, most existing approaches use a grayscale edge detector for line extraction, so that only luminance differences between nearby image pixels is taken into account, but the chrominance differences is ignored. This leads to the undesirable consequence that visually significant edges in adjacent regions with different colors of similar luminance cannot be detected. To address this limitation, we present a novel enhanced line drawing method based on a flow-based difference-of-Gaussians （FDoG） filter. Because of an inherent property of the thresholded DoG edge model, captured lines may appear dislodged from the true edges in the image. To this end, we provide a gradient-guided warping technique so that smooth and coherent lines can be extracted in the correct location. The GPU implementation of the proposed algorithms allows real-time performance, and experimental examples with various color images demonstrate the method＇s superior qualitative performance over previous approaches.     

基于几何与图像混合绘制中的快速WARP变换算法研究

基于几何与图像的混合绘制中，3D Warp算法以严格的数学变换为基础，从而能够保证准确的投影关系，但该算法在实时绘制阶段需进行大量的数学运算，故其时间复杂度较高，该文提出了一种新的快速Warp变换算法，算法以3D Warp算法为基础，采用了崭新的投影过程，从而使时间复杂度较3D Warp算法有较大幅度的下降（降低约7．51倍）。同时，该算法是一种流水结构，能够有效利用现有的加速硬件，而无需改变图形硬件的体系结构。