面向虚拟视点绘制空洞填充的渐进式迭代网络

目的 基于深度图像的绘制（depth image based rendering,DIBR）是合成虚拟视点图像的关键技术,但在绘制过程中虚拟视图会出现裂纹和空洞问题。针对传统算法导致大面积空洞区域像素混叠和模糊的问题,将深度学习模型应用于虚拟视点绘制空洞填充领域,提出了面向虚拟视点绘制空洞填充的渐进式迭代网络。方法 首先,使用部分卷积对大面积空洞进行渐进修复。然后采用 U-Net 网络作为主干对空洞区域进行编解码操作,同时嵌入知识一致注意力模块加强网络对有效特征的利用。接着通过加权合并方法来融合每次渐进式迭代生成的特征图,保护早期特征不被破坏。最后结合上下文特征传播损失提高网络匹配过程中的鲁棒性。结果 在微软实验室提供的2 个多视点 3D（three-dimension）视频序列以及 4 个 3D-HEVC（3D high efficiency video coding）序列上进行定量与定性评估实验,以峰值信噪比（peak signal-to-noise ratio,PSNR）和结构相似性（structural similarity,SSIM）作为指标。实验结果表明,本文算法在主观和客观上均优于已有方法。相比于性能第 2 的模型,在 Ballet、Breakdancers、Lovebird1 和Poznan_Street 数据集上,本文算法的 PSNR 提升了 1. 302 dB、1. 728 dB、0. 068 dB 和 0. 766 dB,SSIM 提升了 0. 007、0. 002、0. 002 和 0. 033;在 Newspaper 和 Kendo 数据集中,PSNR 提升了 0. 418 dB 和 0. 793 dB,SSIM 提升了 0. 011 和0. 007。同时进行消融实验验证了本文方法的有效性。结论 本文提出的渐进式迭代网络模型,解决了虚拟视点绘制空洞填充领域中传统算法过程烦琐和前景纹理渗透严重的问题,取得了极具竞争力的填充结果。     

基于深度引导空洞填补的虚拟视点绘制方法

针对单视点绘制虚拟视点图像存在的空洞问题,提出一种基于深度引导空洞修复的虚拟视点绘制方法。核心思想是通过对多个映射像素点的深度信息和空间位置信息进行加权插值操作来实现细小的空洞填充,并且分区域对大型空洞填补。在像素点插值的过程中,该方法首先考虑映射像素点的可靠性,剔除不可靠的像素点,从而减少错误的映射像素点。在填补大型空洞中,继承基于样本图像修复算法的优点,并引入深度信息来辅助空洞填补,以较为准确的方式来修复图像。实验结果表明,无论是主观视觉效果,还是客观值都要比Criminisi算法要好。     

一种用于DIBR的去隔行算法*

提出了一种适用于DIBR的去隔行算法,该算法首先采用一种基于方向的场内插值算法对隔行参考图像和它的深度图像去隔行。这种场内插值算法能够通过对插值方向进行自适应的选择有效地消除“锯齿”现象。然后,算法会根据逐行的参考图像和它的深度图像进行三维图像变换,得到逐行的目标图像。实验表明,所提出的去隔行算法能得到画质较高的逐行新视图,且算法性能是鲁棒的。该算法适用于基于DIBR的3D视频的去隔行。     

基于神经辐射场的视点合成算法综述

基于图像的视点合成技术在计算机图形学与计算机视觉领域均有广泛的应用,如何利用输入图像的信息对三维模型或者场景进行表达是其中的关键问题.最近,随着神经辐射场这一表示方式的提出,大量基于此表示方法的研究工作对该方法进行了进一步优化和扩展,在准确性、高效性等方面取得了良好的成果.该类研究工作可以根据研究目的大致分为两大类:对...     

快速3维坐标变换的绘制算法

目的 基于深度图的绘制(DIBR)是一种新型的虚拟视点生成技术,在诸多方面得到了广泛的应用。然而,该技术还不能满足实时性的绘制需求。为了在保证绘制质量不下降的前提下,尽可能地提高绘制速度,提出了一种高效的3D-Warping(3维坐标变换)算法。方法 主要在以下3个方面进行了改进:1)引入了深度—视差映射表技术,避免了重复地进行视差求取操作。2)对深度平坦的像素块进行基于块的3D-Warping,减少了映射的次数。对深度非平坦像素块中的像素点采取传统的基于像素点的3D-Warping,保证了映射的准确性。3)针对两种不同的3D-Warping方式,分别提出了相应的插值算法。在水平方向上,改进的像素插值算法对紧邻插值和Splatting(散射)插值算法进行了折中,只在映射像素点与待插值像素点很近的情况下才进行紧邻插值,否则进行Splatting插值;在深度方向上,它对Z-Buffer(深度缓存)技术进行了改进,舍弃了与前景物体太远的映射像素点,而对其他映射像素点按深度值进行加权操作。结果 实验结果表明,与标准绘制方案的整像素精度相比,绘制时间平均节省了72.05%;与标准绘制方案的半像素精度相比,PSNR平均提高了0.355dB,SSIM平均提高了0.00115。结论 改进算法非常适用于水平设置相机系统的DIBR技术中的整像素精度绘制,对包含大量深度平坦区域的视频序列效果明显,不但能够提高绘制的速度,而且可以有效地改善绘制的客观质量。     

基于DIBR和图像修复的任意视点绘制

基于深度的图像绘制（DIBR）是高级视频应用的关键技术,为提高视点变换的图像质量,提出一种基于DIBR和图像修复的任意视点绘制方法。首先对深度图像进行形态学处理,以减少视点变换产生的空洞,平滑目标视点内部的物体轮廓;利用视点变换方程生成目标视点;对含有空洞的目标视点采用图像修复算法进行后处理,设计了含有深度项的代价函数,在深度的约束下进行纹理搜索,将最佳匹配块填补到空洞;在修复空洞的过程中采用亮度优先的策略以适应不同的色度采样格式。实验的主观效果对比和PSNR数据都显示本文算法比其他算法更为优越。     

基于图像重投影的视图合成

针对摄像机绕光心旋转的情形,讨论了在这种特殊情形下单应矩阵具有的性质。然后根据这些性质结合三维图像变换技术给出了一种摄像机绕光心旋转时新视图的合成方法。该方法首先利用单应矩阵的性质生成目标图像的一部分,并采用逆向映射的方法以避免产生空洞;接着利用三维图像变换生成目标图像的剩余部分;最后对由三维图像变换生成的部分进行空洞填补。实验结果表明,该方法能够生成质量较好的新视图。     

一种全景图生成的改进算法

全景图是目前较为有效的基于图像的渲染方法之一。论文介绍了全景图生成过程,并且对其中最关键技术全景图像的拼接算法进行了归类、总结和比较,在此基础上提出了一个改进的全景图拼接算法,最后给出了实验的结果和结论。     

基于虚拟场景中的变形视图融合技术

在虚拟环境中,传统上是采用计算机图形学原理建模来绘制虚拟场景.近几年,出现的基于图像的绘制技术与传统的几何绘制技术完全不同,是一种通过实景拍摄的图像来表示虚拟场景的技术.在图像获取与图像绘制过程中,图像变形是一基本的问题.为了保持场景中物体的形状信息,该文就相邻两幅变形图像所对的关系、几何变形校正、变形图像拼接及视图变形技术等问题进行分析,讨论变形图像融合方法及相关内容.     

一种基于纹理合成的高效图像填充方法

为了更好地解决图像填充与修复问题,提出了一种基于图像样本纹理合成的新方法。该方法提出了一种新的定义像素点优先级的思路,来确定待填充区域的填充顺序,以此来保证处理结果的质量。相较于其他图像填充算法,该算法无需复杂的数学模型和大量的计算过程,从而提高了运算速度。实验证明,该方法不仅在处理效率上取得了很大进步,而且输出图像的质量也取得了理想效果。     

基于边界信息的孔洞填充算法

为了克服传统填充算法无法自动识别孔洞区域的不足,提出了一种基于边界信息的孔洞填充算法.利用边界跟踪得到内外边界的几何位置信息,进而确定孔洞边界,然后利用孔洞边界进行扫描线填充.与种子填充算法和扫描线填充算法相比,该算法无须对整个区域进行复杂的运算,能够避免过多的重复运算,降低了算法的复杂程度,易于编程实现.实验结果表明,该算法运行速度快,并且对任意形状的物体都是有效的.     

基于改进双边滤波的Kinect深度图像空洞修复算法研究

深度图像的灰度值表征的是物体与摄像头的距离,深度图像在三维场景重建、虚拟视点合成、3D视频技术中起到关键的作用.深度图像有多种获取方法,其中Microsoft公司的Kinect是一种廉价的深度图像获取设备,但产生的深度图像在物体的边缘和遮挡区域往往会产生空洞,不利于后续的研究应用.提出一种基于改进双边滤波法的深度图像修复算法,首先利用直方图确定阈值将深度图像二值化生成空洞Mask掩膜,然后利用改进的双边滤波法对空洞区域进行深度填充,最后利用中值滤波法进行图像平滑,实验结果表明该方法对于原始深度图像的空洞取得了较好的修复效果.     

面向虚拟视点绘制的深度图滤波及上采样方法

针对虚拟视点合成系统中虚拟视点的绘制质量不高,主观效果不理想的问题,同时为了提高自由视点电视系统中的深度图压缩性能,对基于下/上采样的深度图编码方法中的深度图滤波及上采样方法进行了研究.首先,根据深度图的特性使用H.264/MVC对深度图进行下采样压缩.其次,提出使用(A)-Trous小波滤波器对解码后的低分辨率深度图进行滤波,减少由编码器引入的块效应,继而提出多相似度自适应权重上采样方法恢复原始分辨率深度图.最后,使用上采样后的深度图与未压缩的彩色视频序列进行虚拟视点合成,通过虚拟视点的峰值信噪比(PSNR)来衡量客观绘制质量.实验结果显示,使用提出的中值滤波和多相似度上采样方法与(A)-Trous小波滤波和多相似度上采样方法生成的虚拟视点的PSNR分别比自适应权值上采样方法提高至少0.04 dB和0.22 dB,而且后者极大程度上改善了虚拟视点的主观绘制质量.     

Virtual view synthesis of people from multiple view video sequences

This paper addresses the synthesis of novel views of people from multiple view video. We consider the target area of the multiple camera 3D Virtual Studio for broadcast production with the requirement for free-viewpoint video synthesis for a virtual camera with the same quality as captured video. A framework is introduced for view-dependent optimisation of reconstructed surface shape to align multiple captured images with sub-pixel accuracy for rendering novel views. View-dependent shape optimisation combines multiple view stereo and silhouette constraints to robustly estimate correspondence between images in the presence of visual ambiguities such as uniform surface regions, self-occlusion, and camera calibration error. Free-viewpoint rendering of video sequences of people achieves a visual quality comparable to the captured video images. Experimental evaluation demonstrates that this approach overcomes limitations of previous stereo- and silhouette-based approaches to rendering novel views of moving people.     

沿法线方向传播的深度图像补洞算法

密集的深度信息在计算机视觉的各种任务中有广泛的应用,然而深度相机在有光泽、透明、较远处的物体表面通常无法探测到深度信息,映射到深度图片上形成了大小不一的孔洞。因此,提出了一种沿法线方向传播的单一深度图像补洞算法。本文方法沿着物体本身的曲面变化进行扩散,把深度图片的补全问题转化成几何完成的问题。首先把2D的深度图像扩展到3D点云,然后3D点云沿着孔洞边界的法线方向向内收缩。收缩的过程中加入类似正态滤波器的约束函数来模拟深度的变化,使填充的点云更加适合整个物体的结构。最后把3D点云重新映射到2D图片上。本文的算法在NYU-Depth-v2数据集上进行测试,实验证明本文算法对孔洞的填充有较好的效果。     

Plenoptic Image Editing

This paper presents a new class of interactive image editing operations designed to maintain consistency between multiple images of a physical 3D scene. The distinguishing feature of these operations is that edits to any one image propagate automatically to all other images as if the (unknown) 3D scene had itself been modified. The modified scene can then be viewed interactively from any other camera viewpoint and under different scene illuminations. The approach is useful first as a power-assist that enables a user to quickly modify many images by editing just a few, and second as a means for constructing and editing image-based scene representations by manipulating a set of photographs. The approach works by extending operations like image painting, scissoring, and morphing so that they alter a scene's plenoptic function in a physically-consistent way, thereby affecting scene appearance from all viewpoints simultaneously. A key element inrealizing these operations is a new volumetric decomposition technique for reconstructing an scene's plenoptic function from an incomplete set of camera viewpoints.     

基于条件生成对抗网络的光场图像透视视图生成算法

光场图像新视图生成算法在视点内插和外插方面已经取得了良好的研究成果,但在视点位置平移和旋转一定角度情形下的透视视图生成仍然是一项具有挑战性的任务。针对上述问题,提出了一种基于条件生成对抗网络的光场图像透视视图生成算法LFIPTNet（light field image perspective transformation network）,利用相机的位姿信息作为条件来引导条件生成对抗网络学习新视图的内容。提出了多个模块,充分利用相机位姿信息和光场宏像素图像（macro pixel image,MPI）记录空间信息、角度信息、深度信息来生成预测视图。提出的方法在构建的数据集上与最新的三种方法进行了比较,相比于性能第二的StereoMag模型,PSNR提高了7.77 dB,SSIM提高了0.35。消融实验部分对提出的模块进行了评估,验证了创新点的有效性。充分的实验结果表明LFIPTNet相比于现有算法,生成的预测视图更加准确。