基于TOF与立体匹配相融合的高分辨率深度获取

深度获取在机器人导航、语义感知、操控和远程监控等领域有较高的应用价值。目前已有的深度获取方法包括深度相机(如TOF)和立体匹配算法。然而,深度相机有两个主要问题:易受噪声干扰和所得深度图分辨率较低。立体匹配能够获得高分辨率的深度图,但在弱纹理或重复纹理区域无法提取准确的深度信息。而深度相机却可以在这些区域提供深度信息。基于以上TOF深度相机和立体匹配之间的互补特性,提出了一种将TOF深度相机所得深度图与立体匹配所得深度图相融合的方法获取高分辨率深度图,实现优势互补。文中提出一种新的基于TOF与立体匹配相融合的高分辨率深度图获取方法,通过在弱纹理或重复纹理区域使用TOF深度获取方法和在复杂纹理区域使用立体匹配算法进行深度获取,最终获取高分辨率深度图。实验结果表明,本文的融合算法比单独使用两种方法能产生更好的视差图,而且较其他融合算法在准确度和速度上有所提高。     

基于FPGA的三维视频系统实时深度估计

深度估计是基于视频加深度图像的三维视频系统中前端预处理的核心技术,其主要技术难题包括准确性、实时处理和大分辨率深度图获取等。本文提出一种实时深度估计的硬件实现方案,主要解决处理速度问题,并兼顾了准确性和大分辨率问题。本方案采用单片FPGA实现深度估计,其中采用census变换与SAD(Sum of Absolute Differences)混合的算法进行逐点匹配得到稠密深度图。硬件设计充分利用FPGA的大规模并行能力,并采用流水线设计提高数据通路的数据吞吐量,提升整个设计的时钟频率。实验表明,所提出的方案可实现全高清(1 920×1 080)分辨率视频实时深度估计。为了支持大分辨率图像并能观测距离相机较近的物体深度,本文方案视差搜索范围可以达到240pixels,帧率最高可达69.6fps,达到了实时和高清的处理目的。     

边缘区域约束的导向滤波深度像超分辨率重建算法

为了解决TOF(Time of Flight)相机获取的深度像分辨率较低的问题，基于导向滤波器提出了一种边缘区域约束的超分辨率重建算法。首先对低分辨深度像进行初始上采样，利用多尺度边缘检测提取深度像的边缘区域；然后根据同场景中灰度图像与深度像的边缘相似性，提取公共边缘区域；最后，根据灰度图像的边缘像素在公共边缘区域中的位置约束导向滤波器的系数生成，重新对导向滤波器的系数进行加权，从而构建出高分辨率的深度图。通过标准数据库Middlebury数据集进行验证，与3种近年来基于滤波的超分辨重建算法相比较，文中方法既能有效地保护重建深度像的边缘结构，同时具有较高的计算效率。研究结果可以为低分辨激光成像雷达的目标识别、场景重建等对实时性要求较高的工程应用提供理论依据。     

基于图割的高质量深度图获取方法

3DTV作为下一代视频广播系统,还有许多技术难点有待解决,其中深度估计是3DTV的关键技术之一。为了获取高质量的深度图,提出基于图割(graph cut)的深度估计方法。该算法在构建能量函数的数据项时,通过对窗口内各个像素赋予自适应权重,引入梯度信息以抑制因亮度差异导致的误匹配问题并保护边缘信息。然后,经过交叉检测将深度图像素分为可靠点与不可靠点两类。对检测后的深度图进行后处理迭代优化,从而提高所获取深度值的可靠性。实验表明此算法估计出的深度图用VSRS绘制虚拟合成视时比标准的深度估计软件DERS5.1可有效提高虚拟视质量。     

结合JND模型的交叉验证深度图质量评价方法

针对在3D视频(3DV)和自由视点视频(FVV)中传统的 图像质量评价方法不适用于深度图的问题,本文从人类视觉感知特性出发,提出一 种新的深度图 质量评估算法。首先进行交叉验证,得到待评价深度图的差值图;然后提取遮挡掩膜,去除 被遮挡的像素 点;再根据人类视觉特性,考虑背景亮度掩蔽、纹理掩蔽和边缘敏感性等因素,应用恰可察 觉失真(JND)模 型得到每个像素点的误差可视阈值;最后计算错误像素率作为度量指标评价深度图的质量 。实验结果表 明,本文提出的算法能够准确地检测错误像素,所提出的度量指标与全参考度量指标的相关 系数的平均值 为0.833,最高达到0.933,与合成虚拟视点均 方误差的相关系数的平均值为0.857,最高达 到0.928。     

面向虚拟视点图像绘制的深度图编码算法

针对不同区域对绘制虚拟视点图像质量产生不同的影响,以及深度估计不准确导致时域抖动效应影响压缩效率的问题,提出了一种面向虚拟视点图像绘制的深度图压缩算法。通过彩色图像帧差、深度图边缘提取等相关处理过程,提取深度图的静态区域、边缘区域以及动态区域。对深度图边缘区域使用了较低的量化系数,以提高深度图边缘区域编码质量;根据深度图各个区域的编码模式特点,仅对部分编码模式而不是所有模式进行率失真优化搜索,以提高深度图的编码速度;对于深度图P帧的静态区域,合理地采用了SKIP模式,以消除由于深度估计算法的局限性导致时域抖动效应对深度图压缩的影响。实验结果表明,与传统的H.264编码方案相比,本文方案在传输码流大小基本不变的前提下提高了最终虚拟视点图像边缘区域的绘制质量,其余区域主观质量相近,而深度图编码时间则节省了约77～87%。     

基于FTV的改进深度估计算法

深度估计是任意视点电视(Free View Television,FTV)系统的关键技术。为提高深度边缘的深度估计准确度,并解决视频序列中不同帧间同一深度物体深度估计值不一致问题,提出一种在深度图的时间一致性保持算法,以前一帧的深度图与当前视图的运动信息为约束条件估计当前帧的深度,使得相邻帧的深度图在时间上保持一致。     

融合一致性与差异性约束的光场深度估计

光场图像深度估计是光场三维重建、目标检测、跟踪等应用中十分关键的技术.虽然光场图像的重聚焦特性为深度估计提供了非常有用的信息,但是在处理遮挡区域、边缘区域、噪声干扰等情况时,光场图像深度估计仍然存在很大的挑战.因此,提出了一种基于极平面图(Epipolar plane image,EPI)斜线像素一致性和极平面图区域差异性的深度估计算法用于解决遮挡和噪声问题.EPI斜线像素的一致性采用旋转线性算子(Spinning linear operator,SLO)的颜色熵度量,能够提高深度图边缘的准确性以及抗噪能力;EPI区域的差异性采用旋转平行四边形算子(Spinning parallelogram operator,SPO)的卡方x2度量,能够提高深度图深度渐变区域的准确性,并使用置信度加权的方法将两种度量进行融合,可以减少遮挡区域和噪声的干扰.另外,充分利用像素邻域的颜色相似性,使用引导保边滤波器和马尔科夫随机场(Markov random field,MRF)全局优化策略进行后处理,进一步减少深度图的边缘错误,得到遮挡边缘准确的深度图.在HCI光场数据集上进行了实验,并与经典光场深度估计算法进行了对比,结果表明该算法在主观质量和客观指标两方面都有明显提升.     

融合一致性与差异性约束的光场深度估计

光场图像深度估计是光场三维重建、目标检测、跟踪等应用中十分关键的技术.虽然光场图像的重聚焦特性为深度估计提供了非常有用的信息,但是在处理遮挡区域、边缘区域、噪声干扰等情况时,光场图像深度估计仍然存在很大的挑战.因此,提出了一种基于极平面图(Epipolar plane image,EPI)斜线像素一致性和极平面图区域差异性的深度估计算法用于解决遮挡和噪声问题.EPI斜线像素的一致性采用旋转线性算子(Spinning linear operator,SLO)的颜色熵度量,能够提高深度图边缘的准确性以及抗噪能力;EPI区域的差异性采用旋转平行四边形算子(Spinning parallelogram operator,SPO)的卡方x2度量,能够提高深度图深度渐变区域的准确性,并使用置信度加权的方法将两种度量进行融合,可以减少遮挡区域和噪声的干扰.另外,充分利用像素邻域的颜色相似性,使用引导保边滤波器和马尔科夫随机场(Markov random field,MRF)全局优化策略进行后处理,进一步减少深度图的边缘错误,得到遮挡边缘准确的深度图.在HCI光场数据集上进行了实验,并与经典光场深度估计算法进行了对比,结果表明该算法在主观质量和客观指标两方面都有明显提升.     

结合预处理的深度视频帧内快速编码算法

多视点彩色加深度(MVD)视频是三维(3D)视频的 主流格式。在3D高效视频编码中,深度视频帧内编码 具有较高的编码复杂度;深度估计软件获取的深度视频由于不够准确会使深度图平坦 区域纹理增加, 从而进一步增加帧内编码复杂度。针对以上问题,本文提出了一种联合深度处理的深度视频 帧内低复杂度 编码算法。首先,在编码前对深度视频进行预处理,减少由于深度图不准确而出现的纹理信 息;其次,运 用反向传播神经网络(BPNN,backpropagation neural network)预测最大编码单元 (LCU,la rgest coding unit)的最大划分深度;最后联合深度视频的边缘信 息及对应的彩色LCU最大划分深度进行CU提前终止划分和快速模式选取。实验结果表明, 本文算法在保证 虚拟视点质量的前提下,BDBR下降0.33% ,深度视频编码时间平均节省50.63%。     

Deep edge map guided depth super resolution

Accurate edge reconstruction is critical for depth map super resolution (SR). Therefore, many traditional SR methods utilize edge maps to guide depth SR. However, it is difficult to predict accurate edge maps from low resolution (LR) depth maps. In this paper, we propose a deep edge map guided depth SR method, which includes an edge prediction subnetwork and an SR subnetwork. The edge prediction subnetwork takes advantage of the hierarchical representation of color and depth images to produce accurate edge maps, which promote the performance of SR subnetwork. The SR subnetwork is a disentangling cascaded network to progressively upsample SR result, where every level is made up of a weight sharing module and an adaptive module. The weight sharing module extracts the general features in different levels, while the adaptive module transfers the general features to the specific features to adapt to different degraded inputs. Quantitative and qualitative evaluations on various datasets with different magnification factors demonstrate the effectiveness and promising performance of the proposed method. In addition, we construct a benchmark dataset captured by Kinect-v2 to facilitate research on real-world depth map SR.     

用于多视视频加深度的错误隐藏算法

提出了一种针对多视视频加深度(MVD)的错误隐藏( EC)算法。算法充分利用MVD特有的深度 信息及当前丢失宏块周围正确解码的宏块信息,将丢失宏块分为3类不同属性的宏块。针对3类宏块的特 点,分别提出了基于候选运动矢量修正(CMVR)、基于深度的外边界匹配(DOBMA)以及自适应 权 值的EC(AWEC)等模式。实验表明,本文提出的算法在保证相同的视频主客观质量情况下, 能够快速有效地实现EC。     

A High Quality Depth Map Upsampling Method Robust to Misalignment of Depth and Color Boundaries

In recent years, fusion camera systems that consist of color cameras and Time-of-Flight (TOF) depth sensors have been popularly used due to its depth sensing capability at real-time frame rates. However, captured depth maps are limited in low resolution compared to the corresponding color images due to physical limitation of the TOF depth sensor. Most approaches to enhancing the resolution of captured depth maps depend on the implicit assumption that when neighboring pixels in the color image have similar values, they are also similar in depth. Although many algorithms have been proposed, they still yield erroneous results, especially when region boundaries in the depth map and the color image are not aligned. We therefore propose a novel kernel regression framework to generate the high quality depth map. Our proposed filter is based on the vector pointing similar pixels that represents the unit vector toward similar neighbors in the local region. The vectors are used to detect misaligned regions between color edges and depth edges. Unlike conventional kernel regression methods, our method properly handles misaligned regions by introducing the numerical analysis of the local structure into the kernel regression framework. Experimental comparisons with other data fusion techniques prove the superiority of the proposed algorithm.     

基于图像边缘特征的深度上采样算法

针对低分辨率深度图像上采样容易导致边缘模糊问 题,提出了一种基 于图像边缘特征的深度上采样算法。一方面,利用相同低分辨率深度和彩色图像的相关性系 数,自适应调 节深度图像边缘上采样过程中深度和彩色的权重;另一方面,结合上采样值和低分辨率深度 图像中邻近像 素值,对低分辨率深度图像的不连续区域进行求精操作以进一步减少边缘模糊现象。实验结 果表明,本文算法 的性能优于近年文献中提出的算法。本算法上采样深度图像的平均坏点率(B PR)为2.07%,均方根误差(RMSE )为3.46,峰值信噪比(PSNR)为38.58dB,绘制 虚拟视点的平均PSNR为39.58dB。     

基于Kinect的虚拟视点生成技术

传统的多视点生成方法是基于多相机阵列系统的关键技术。现提出了基于Kinect的多视点成像计算方法。首先对Kinect的深度图使用三边滤波器进行平滑,根据修复好的深度图配合彩色图,利用DIBR技术生成多个存在空缺信息的彩色视点;最后结合彩色图的纹理结构信息和深度图的背景信息对有丢失信息的彩色图进行修复。实验结果表明,文中提出的深度修复方法能够有效地修补Kinect的深度图,生成的虚拟视点图在3DTV上效果明显,立体视觉效果显著。     

3D-HEVC深度图帧内预测快速编码算法

三维高效视频编码在产生了高效的编码效率的同时也是以大量的计算复杂性作为代价的。因此为了降低计算的复杂度,本文提出了一种基于深度学习网络的边缘检测的3D-HEVC深度图帧内预测快速算法。算法中首先使用整体嵌套边缘检测网络对深度图进行边缘检测,而后使用最大类间方差法将得到的概率边缘图进行二值化处理,得到显著性的边缘区域。最后针对处于不同区域的不同尺寸的预测单元,设计了不同的优化方法,通过跳过深度建模模式和其他某些不必要的模式来降低深度图帧内预测的模式选择的复杂度,最终达到减少深度图的编码复杂度的目的。经过实验仿真的验证,本文提出的算法与原始的编码器算法相比,平均总编码时间可减少35%左右,且深度图编码时间平均大约可减少42%,而合成视点的平均比特率仅增加了0.11%。即本文算法在可忽略的质量损失下,达到降低编码时间的目的。     

Real-Time Refinement of Kinect Depth Maps using Multi-Resolution Anisotropic Diffusion

In this paper, we present a novel real-time algorithm to refine depth maps generated by low-cost commercial depth sensors like the Microsoft Kinect. The Kinect sensor falls under the category of RGB-D sensors that can generate a high resolution depth map and color image of a scene. They are relatively inexpensive and are commercially available off-the-shelf. However, owing to their low complexity, there are several artifacts that one encounters in the depth map like holes, mis-alignment between the depth map and color image and lack of sharp object boundaries in the depth map. This is a potential problem in applications that require the color image to be projected in 3-D using the depth map. Such applications depend heavily on the depth map and thus the quality of the depth map is of vital importance. In this paper, a novel multi-resolution anisotropic diffusion based algorithm is presented that accepts a Kinect generated depth map and color image and computes a dense depth map in which the holes have been filled and the edges of the objects are sharpened and aligned with the objects in the color image. The proposed algorithm also ensures that regions in the depth map where the depth is properly estimated are not filtered and ensures that the depth values in the final depth map are the same values that existed in the original depth map. Experimental results are provided to demonstrate the improvement in the quality of the depth map and also execution time results are provided to prove that the proposed method can be executed in real-time.     

Study of single image dehazing algorithm based on propagated filtering and minimum color channels

To solve the challenging problem that the edge regions of image have some remained hazes and blackspots,a novel image dehazing algorithm was proposed based on the minimal color channel and propagated filtering.Firstly,an initial atmospheric transmission map was obtained by double-area filtering,then a minimal channel color was introduced as a reference image,and the propagated filtering was combined to optimize the initial atmospheric transmission map.Optimized transmission have the similar edge characteristics as the referenced image,so the deviation of transmission estimation can be effectively avoided for the edge pixels in the depth mutated regions,and the redundant texture information were removed in the initial transmission map.Finally,L-BFGS was used to restore atmospheric light,and the haze-free image can be recovered based on the atmospheric scattering model.Experimental results show that proposed algorithm has the more accurate transmission estimation for the depth mutated edge regions of image,so the recovered image effectively preserves the edges and details in the depth mutated regions,and has better spatial smoothness in the uniform depth regions.The recovered haze-free image with proposed method has a better sharpness and richer color degree.     

基于3D-HEVC的多视点纹理加深度的联合比特分配算法

首先依据视频序列的统计特性,建立纹理 比特率和深度 图比特率与虚拟视点失真之间模型;然后分别建立拉格朗日算子与纹理、深度图比特率的对 应关系,在前 两步的基础上构建由虚拟视点失真模型和拉格朗日算子的代价方程,为了保证目标 码率与输出码 率在一定的误差范围内,建立纹理比特率和深度比特率的受限约束方程;最后利用目标码率 的约束方程,求解 出最优的纹理比特率和深度图比特率。实验结果表明,提出的算法与目前流行的多视点纹理 加深度的算法 相比,在相同的编码比特率情况下,虚拟视点和基本视点客观质量平均提高0.15dB,因此具有更高的编码效率。