基于改进双边滤波的Kinect深度图像空洞修复算法研究

深度图像的灰度值表征的是物体与摄像头的距离,深度图像在三维场景重建、虚拟视点合成、3D视频技术中起到关键的作用.深度图像有多种获取方法,其中Microsoft公司的Kinect是一种廉价的深度图像获取设备,但产生的深度图像在物体的边缘和遮挡区域往往会产生空洞,不利于后续的研究应用.提出一种基于改进双边滤波法的深度图像修复算法,首先利用直方图确定阈值将深度图像二值化生成空洞Mask掩膜,然后利用改进的双边滤波法对空洞区域进行深度填充,最后利用中值滤波法进行图像平滑,实验结果表明该方法对于原始深度图像的空洞取得了较好的修复效果.     

一种面向视点绘制的深度图像后处理方法

基于深度图像的绘制是三维视频系统中的一项关键技术。然而,深度编码失真会对后续虚拟视点绘制的性能产生极大的影响。提出了一种面向虚拟视点绘制的深度图像后处理方法,利用基于置信区间的交点规则确定深度图像中每个像素点的滤波窗口,利用最小均方逼近多项式技术估计每个像素点的深度值,再利用加权模式滤波器对估计的深度图像进行滤波处理,得到深度滤波图像。实验结果表明,该方法能够精确地恢复出真实深度信息,提高虚拟视点图像的绘制性能。     

基于DIBR和图像修复的任意视点绘制

基于深度的图像绘制（DIBR）是高级视频应用的关键技术,为提高视点变换的图像质量,提出一种基于DIBR和图像修复的任意视点绘制方法。首先对深度图像进行形态学处理,以减少视点变换产生的空洞,平滑目标视点内部的物体轮廓;利用视点变换方程生成目标视点;对含有空洞的目标视点采用图像修复算法进行后处理,设计了含有深度项的代价函数,在深度的约束下进行纹理搜索,将最佳匹配块填补到空洞;在修复空洞的过程中采用亮度优先的策略以适应不同的色度采样格式。实验的主观效果对比和PSNR数据都显示本文算法比其他算法更为优越。     

基于无空洞填补的DIBR方法

针对传统DIBR空洞填补技术计算时间复杂度高的问题,提出一种无空洞填补的DIBR方法。核心思想是针对导致空洞产生的传统三维变换算法进行改进以获得更好效果。该方法首先采用深度膨胀算法对深度预处理,然后基于动态逆向插值算法的3D-WARPING直接生成虚拟视点图像,从而省去了空洞填补时间消耗。实验证明,相比传统DIBR方法,该方法重构的虚拟视点图像主观视觉质量更高;同时计算速度达到高清实时处理要求。     

基于DIBR和图像融合的任意视点绘制

虚拟视点生成是3维视频会议等应用领域中的关键技术,为了快速高质量地进行任意视点绘制,提出了一种基于深度图像绘制(DIBR)和图像融合的新视点生成方法,该方法首先对参考图像进行预处理,包括深度图像的边缘滤波和参考图像规正,以减少目标图像中产生的较大空洞和虚假边缘;然后利用3维图像变换生成新视点图像,并用遮挡兼容算法对遮挡进行快速处理;接着再对两幅目标图像进行融合得到新视点图像;最后用插值法填充剩余的较小空洞。实验证明,该新方法能获得令人满意的绘制效果。     

对3D Warping分解的高质量虚拟视点绘制方法

基于深度图像的虚拟视点绘制（DIBR）作为自由视点视频应用中的核心问题,由其获得的任意视频的质量和速度对于自由视点视频的发展至关重要。为解决经典DIBR方法存在的重叠、空洞、伪影,以及由于重采样导致的细小裂纹问题以提高虚拟视点图像质量,提出了一种基于改进的3D Warping过程的虚拟视点绘制方法。该方法从整个3D Warping过程出发,将3D Warping过程分解成两步而无需进行三维建模,并分别在两步中提出了改进的方法。在第一步中,通过在变换矩阵中引入可调的系数对三维参数进行修改;在第二步中,主要针对由于重采样导致的细小的裂纹问题,提出了自适应一投多算法,在兼顾时间复杂度的同时改善了裂纹问题。实验结果表明,无论从主观质量还是客观评价标准来看,该方法都能够显著提高虚拟视点绘制的图像质量。     

基于图像金字塔修复的虚拟视点绘制

针对虚拟视点绘制中由于区域暴露引起的空洞问题,提出一种基于图像金字塔修复的虚拟视点绘制方法.利用视点变换方程生成虚拟视点,对含有空洞的视点采用图像金字塔修复进行处理,设计含有深度项的权值函数,在深度的约束下进行高斯加消零的滤波和下采样,对低分辨率图像的上采样,利用采样的图像信息对空洞进行填充.实验结果证明,该方法得到图像的主观视觉效果和峰值信噪比计算结果优于传统的非对称高斯滤波算法,且图像绘制的虚拟视点不失真,可抑制物体边缘处的伪像生成.     

一种基于深度图的三维/多视点视频视点合成方法

基于深度图的视点合成技术已成为国际视频技术研究的热点之一.本文实现的基于深度图的三维/多视点视频视点合成算法,在点对点的三维变换的基础上增加了深度图预处理、去像素重叠、基于空间对象的插值等优化,此外试图针对不同的应用场合,对变换图像进行不同的空洞填补方法.实验结果表明,本方法最后合成的视点图像具有良好的视觉效果.     

一种快速消除失真的虚拟视点合成方法

基于深度图的绘制(DIBR)技术是合成虚拟视点图像的有效方法,但是合成的图像往往存在失真,最主要的问题是包含"伪影"和大小不等的空洞。针对"伪影"问题,先对参考视点图像进行色彩校正,并综合基于深度的彩色图融合和彩色图直接融合两种方式融合图像,以减弱"伪影"效应;针对映射后出现的小空洞,采用反向映射到参考图像的方式进行填充;针对大的空洞,采用图像修复的方式,结合深度图更好地填补空洞,但是图像修复是一个耗时的过程,为此将图像修复算法并行化,利用统一计算设备架构(CUDA)并行计算,来加速空洞填补过程。实验结果表明,针对"伪影"问题的处理及基于图像修复的空洞填补可以有效地提高虚拟视点图像合成质量,同时基于CUDA实现的并行图像修复算法也大幅降低了空洞填补时间。     

一种利用背景信息的虚拟视点图像后处理方法

基于深度图像的虚拟视点绘制(Depth Image Based Rendering, DIBR)在双视图像融合后存在重叠、伪影和空洞等问题,为提高融合后图像质量,提出一种利用背景信息的虚拟视点图像后处理方法.首先,在图像融合时引入深度信息解决像素重叠问题.其次,根据视点移动方向定位左、右虚拟视图伪影区域,利用互补视点的背景像素擦除伪影.最后,利用不同视点参考图像信息之间的冗余性将左、右参考视点进行融合并消除前景像素,再进行正向映射得到虚拟视点背景图像填充双视融合后剩余的空洞.与基于图像分割的虚拟视点绘制算法相比PSNR值提高了0.6357dB,实验结果表明,该算法能有效提高绘制图像质量.     

基于分层图像融合的虚拟视点绘制算法

针对虚拟视点绘制过程中出现的重叠和空洞问题,提出一种新的虚拟视点绘制算法。通过形态学操作对三维图像变换后出现的空洞进行膨胀来消除伪影瑕疵,根据深度信息对左、右虚拟视点图像进行前景和背景分割,利用线性加权法对分割后的前景图像和背景图像进行分层融合解决像素重叠问题,对分层融合后的背景图像进行空洞填充并与前景图像融合得到虚拟视点图像。实验结果表明,与经典的Criminisi算法相比,该算法PSNR值提高了1.75 dB,具有较高的绘图质量。     

Virtual view synthesis using stereo vision based on the sum of absolute difference

With the development of multimedia, the technology of image and video is growing from 2D to 3D, thus interactivity is going to become a main character of future multimedia technology. Virtual view synthesis, known as the analogue expression to the real world, is one of the key techniques in interactive 3D video systems. This paper proposes a new algorithm of virtual view synthesis, which is based on disparity estimation. Considering two rectified input reference images that are taken in the same scene simultaneously, the accurate dense disparity maps are gained as the first step. Then image interpolation is used to synthesize certain virtual view image and reverse mapping is adopted to fill up the holes which are formed in previous process. By defining a position parameter, this algorithm can produce results at an arbitrary view between the two original views. Experimental results illustrate the superiority of the proposed method.     

虚平面映射:深度图像内部视点的绘制技术

首先推导与归纳了图像三维变换中像素深度场的变换规律,同时提出了基于深度场和极线原则的像素可见性别方法,根据上述理论和方法,提出一种基于深度图像的建模与绘制(image-based modeling and rendering,简称IBMR)技术,称为虚平面映射.该技术可以基于图像空间内任意视点对场景进行绘制.绘制时,先在场景中根据视线建立若干虚拟平面,将源深度图像中的像素转换到虚平面上,然后通过对虚平面上像素的中间变换,将虚平面转换成平面纹理,再利用虚平面的相互拼接,将视点的成像以平面纹理映射的方式完成.新方法还能在深度图像内侧,基于当前视点快速获得该视点的全景图,从而实现视点的实时漫游.新方法视点运动空间大、存储需求小,且可以发挥图形硬件的纹理映射功能,并能表现物体表面的三维凹凸细节和成像视差效果,克服了此前类似算法的局限和不足.     

基于多视频的虚实融合系统

提出了一种基于多视频的虚实融合可视化系统的构建方法,旨在将真实世界中的图像和视频融合到虚拟场景中,用视频图像中的纹理和动态信息去丰富虚拟场景,提高虚拟环境的真实性,得到一种增强的虚拟环境.利用无人机采集图像来重建虚拟场景,并借助图像特征点的匹配来实现视频图像的注册.然后利用投影纹理映射技术,将图像投影到虚拟场景中.视频中的动态物体由于在虚拟环境中缺失对应的三维模型,直接投影,当视点发生变化时会产生畸变.首先检测和追踪这些物体,然后尝试使用多种显示方式来解决畸变问题.此外,系统还考虑有重叠区域的多视频之间的融合.实验结果表明,所构造的虚实融合环境是十分有益的.     

3D video and free viewpoint video—From capture to display

This paper gives an end-to-end overview of 3D video and free viewpoint video, which can be regarded as advanced functionalities that expand the capabilities of a 2D video. Free viewpoint video can be understood as the functionality to freely navigate within real world visual scenes, as it is known for instance from virtual worlds in computer graphics. 3D video shall be understood as the functionality that provides the user with a 3D depth impression of the observed scene, which is also known as stereo video. In that sense as functionalities, 3D video and free viewpoint video are not mutually exclusive but can very well be combined in a single system. Research in this area combines computer graphics, computer vision and visual communications. It spans the whole media processing chain from capture to display and the design of systems has to take all parts into account, which is outlined in different sections of this paper giving an end-to-end view and mapping of this broad area. The conclusion is that the necessary technology including standard media formats for 3D video and free viewpoint video is available or will be available in the future, and that there is a clear demand from industry and user for such advanced types of visual media. As a consequence we are witnessing these days how such technology enters our everyday life     

快速3维坐标变换的绘制算法

目的 基于深度图的绘制(DIBR)是一种新型的虚拟视点生成技术,在诸多方面得到了广泛的应用。然而,该技术还不能满足实时性的绘制需求。为了在保证绘制质量不下降的前提下,尽可能地提高绘制速度,提出了一种高效的3D-Warping(3维坐标变换)算法。方法 主要在以下3个方面进行了改进:1)引入了深度—视差映射表技术,避免了重复地进行视差求取操作。2)对深度平坦的像素块进行基于块的3D-Warping,减少了映射的次数。对深度非平坦像素块中的像素点采取传统的基于像素点的3D-Warping,保证了映射的准确性。3)针对两种不同的3D-Warping方式,分别提出了相应的插值算法。在水平方向上,改进的像素插值算法对紧邻插值和Splatting(散射)插值算法进行了折中,只在映射像素点与待插值像素点很近的情况下才进行紧邻插值,否则进行Splatting插值;在深度方向上,它对Z-Buffer(深度缓存)技术进行了改进,舍弃了与前景物体太远的映射像素点,而对其他映射像素点按深度值进行加权操作。结果 实验结果表明,与标准绘制方案的整像素精度相比,绘制时间平均节省了72.05%;与标准绘制方案的半像素精度相比,PSNR平均提高了0.355dB,SSIM平均提高了0.00115。结论 改进算法非常适用于水平设置相机系统的DIBR技术中的整像素精度绘制,对包含大量深度平坦区域的视频序列效果明显,不但能够提高绘制的速度,而且可以有效地改善绘制的客观质量。     

增强现实技术在虚拟演播室系统中的应用

虚拟演播室是虚拟现实技术和视频合成技术相结合的产物,其场景是计算机生成的三维场景,由于人们对虚拟场景和复杂度的无限要求,使得场景的实时显示十分困难,使用基于图像的绘制技术构造虚拟空间能够较好地解决这个问题。在虚拟演播室中,演员需要与三维运动虚拟物体进行交互,运用增强现实技术,可以将三维虚拟物体与基于图象绘制的虚拟场景融合在一起。     

Elemental image array generation method by using optimized depth image‐based rendering algorithm for integral imaging display

We propose an elemental image array (EIA) generation method by using an optimized depth image‐based rendering (DIBR) algorithm. In this method, the EIA is synthesized by the reference and virtual viewpoint elemental images, and the virtual viewpoint elemental images at the given locations are generated by DIBR algorithm. We optimize the existing DIBR algorithm by adaptively repairing the warped depth images in the processing part and extend the generation dimension of the virtual viewpoint elemental images from one dimension to two dimensions. The optimized DIBR algorithm can effectively solve the problem: the low quality of virtual viewpoint elemental images caused by discontinuous depth values and disocclusion regions. We also implement the generations of virtual viewpoint elemental images and EIA in graph processing unit to reduce the time cost. Experimental results show that the proposed method can not only improve the quality of the virtual viewpoint images but also accelerate the generations of the virtual viewpoint elemental images and EIA.     

Automatic camera control in virtual environments augmented using multiple sparse videos

Automated virtual camera control has been widely used in animation and interactive virtual environments. We have developed a multiple sparse camera based free view video system prototype that allows users to control the position and orientation of a virtual camera, enabling the observation of a real scene in three dimensions (3D) from any desired viewpoint. Automatic camera control can be activated to follow selected objects by the user. Our method combines a simple geometric model of the scene composed of planes (virtual environment), augmented with visual information from the cameras and pre-computed tracking information of moving targets to generate novel perspective corrected 3D views of the virtual camera and moving objects. To achieve real-time rendering performance, view-dependent textured mapped billboards are used to render the moving objects at their correct locations and foreground masks are used to remove the moving objects from the projected video streams. The current prototype runs on a PC with a common graphics card and can generate virtual 2D views from three cameras of resolution 768×576 with several moving objects at about 11 fps.