深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄 像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的 深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重 要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时 域一致性。理 想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同, 这将严重影 响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以 通过对纹理图 的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出 一种基于 自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值 不连续的错误,产生 更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。     

深度图时域一致性增强

在自由视点电视(FTV)系统的发送端,数据由多摄像机采集的纹理图和其相应的深度信息组成;在接收端,虚拟视点由视点纹理序列和估计的深度信息经过3D变换绘制。因此,获取高质量的深度信息是FTV系统的一个重要部分。由于当前非交互方式深度估计方法是逐帧进行的,所得到的深度图序列往往缺乏时域一致性。理想情况下相邻帧静止区域的深度值应该相同,但是对这些区域深度值的估计结果往往不同,这将严重影响编码效率和绘制质量。由于深度图表征的是纹理图中相应场景离摄像机的距离,所以可以通过对纹理图的有效分析,判断出错误的深度值。通过对深度值可靠性和当前区域运动属性的判断,提出一种基于自适应时域加权的深度图一致性增强等。实验表明,本文算法能有效抑制静止区域深度值不连续的错误,产生更加稳定的深度图序列,使虚拟视点的时域绘制质量得到增强,同时编码效率得到提高。     

面向虚拟视点图像绘制的深度图编码算法

针对不同区域对绘制虚拟视点图像质量产生不同的影响,以及深度估计不准确导致时域抖动效应影响压缩效率的问题,提出了一种面向虚拟视点图像绘制的深度图压缩算法。通过彩色图像帧差、深度图边缘提取等相关处理过程,提取深度图的静态区域、边缘区域以及动态区域。对深度图边缘区域使用了较低的量化系数,以提高深度图边缘区域编码质量;根据深度图各个区域的编码模式特点,仅对部分编码模式而不是所有模式进行率失真优化搜索,以提高深度图的编码速度;对于深度图P帧的静态区域,合理地采用了SKIP模式,以消除由于深度估计算法的局限性导致时域抖动效应对深度图压缩的影响。实验结果表明,与传统的H.264编码方案相比,本文方案在传输码流大小基本不变的前提下提高了最终虚拟视点图像边缘区域的绘制质量,其余区域主观质量相近,而深度图编码时间则节省了约77～87%。     

基于非局部随机游走和运动补偿的2D转3D优化方法

D转3D技术可以从2D资源中获取深度信息,以满足3D显示对3D内容的需求。针 对2D转 3D深度估计中的深度优化问题,提出一种基于非局部随机游走(NRW)和运动补偿的 深度优化算 法。本文方法在采用NRW和移动双边滤波(SBF)获得关键帧和非关键帧深度图的基础上,为 了锐化非关 键帧深度序列对象边界,结合纹理信息利用NRW算法优化深度图,同时又考虑相邻帧间的时 域信息,采 用运动补偿的方法对非关键帧深度序列进行优化,获得高质量的深度视频序列。实验结果表 明,本文方法可以得到对象边界更加准确的深度视频估计结果。     

结合预处理的深度视频帧内快速编码算法

多视点彩色加深度(MVD)视频是三维(3D)视频的 主流格式。在3D高效视频编码中,深度视频帧内编码 具有较高的编码复杂度;深度估计软件获取的深度视频由于不够准确会使深度图平坦 区域纹理增加, 从而进一步增加帧内编码复杂度。针对以上问题,本文提出了一种联合深度处理的深度视频 帧内低复杂度 编码算法。首先,在编码前对深度视频进行预处理,减少由于深度图不准确而出现的纹理信 息;其次,运 用反向传播神经网络(BPNN,backpropagation neural network)预测最大编码单元 (LCU,la rgest coding unit)的最大划分深度;最后联合深度视频的边缘信 息及对应的彩色LCU最大划分深度进行CU提前终止划分和快速模式选取。实验结果表明, 本文算法在保证 虚拟视点质量的前提下,BDBR下降0.33% ,深度视频编码时间平均节省50.63%。     

采用灰度共生矩阵进行深度预判的3D-HEVC深度图帧内快速编码算法

针对3D视频的3D-HEVC编码标准以多视点纹理视频和深度视频格式进行编码,其深度图编码仍延续纹理视频编码的模式和编码尺寸遍历选择,使得3D-HEVC的编码复杂度居高不下。本文针对深度图帧内预测编码,采用灰度共生矩阵对深度图中的CTU进行计算,统计并分析其矩阵中非零值个数与CTU分割深度的关系,根据非零值个数分布规律,设定阈值,使得帧内编码时可以预判编码模块的分割深度,从而选择性跳过部分不同深度CU的帧内预测过程。经过HTM16.0测试平台的检验,本算法在全帧内编码模式下,测试序列合成视点比特率仅增加0.08%的同时,平均节省了16.8%的编码时间,与其他同类较新算法在HTM16.0平台上的性能比较也有一定的优势。      

一种用于深度图编码的虚拟视失真估计模型

多视视频加深度(MVD,multi-view video plus depth)的3D视频格式中,深度图提供视频的场景几何信息,其不在终端成像显示而是通过基于深度图像的绘制(DIBR)技术用于绘制虚拟视图像。在深度图的压缩编码过程中,深度图的失真会引起绘制的虚拟视图像的失真。深度图用于绘制而不用于显示的特性使得准确估计深度图绘制的虚拟视失真可以提高深度图编码的率失真性能。本文分析了不同的深度图失真引起的不同的虚拟视失真,进而提出一种估计深度图失真引起虚拟视失真的指数模型,并将模型用于深度图编码的率失真优化(RDO)中。实验结果表明,本文提出的模型可以准确估计深度图失真引起的虚拟视失真,提高深度图编码性能,相比于HTM的VSO可以降低约10%的编码时间,并且虚拟视质量略优于HTM。     

3D-HEVC深度图帧内编码快速算法

编码3D视频的3D-HEVC编码标准采用多视点加深度图的编码格式,新增的深度信息使编码复杂度剧增。本文针对编码块(Coding Unit,CU)的四叉树分割模型和帧内预测模式,提出了深度图帧内编码的快速算法。用Otsu’s算子计算当前CU的最大类间方差值,判断当前CU是否平坦,对平坦CU终止四叉树分割和减少帧内模式的遍历数目。根据子CU与上一层CU的相似性,利用已编码的上一层CU对提前终止CU分割算法做优化。本算法与原始3D-HEVC算法相比减少40.1%的编码时间,而合成视点的质量几乎无变化。      

面向编码和绘制的多视点图像深度估计

针对自由视点三维电视系统中深度估计不准确将给后续多视点深度编码和虚拟视点绘制带来困难的问题,提出一种面向编码和绘制的多视点图像深度估计算法。首先对初始深度进行一致性检查,并采用自适应匹配误差策略删除不可靠的匹配以减小初始深度的误匹配。然后根据融合准则将多幅参考深度图合成为一幅深度图以提高深度图的精度。最后,采用多边滤波...     

3D-HEVC深度图帧内预测快速编码算法

三维高效视频编码在产生了高效的编码效率的同时也是以大量的计算复杂性作为代价的。因此为了降低计算的复杂度,本文提出了一种基于深度学习网络的边缘检测的3D-HEVC深度图帧内预测快速算法。算法中首先使用整体嵌套边缘检测网络对深度图进行边缘检测,而后使用最大类间方差法将得到的概率边缘图进行二值化处理,得到显著性的边缘区域。最后针对处于不同区域的不同尺寸的预测单元,设计了不同的优化方法,通过跳过深度建模模式和其他某些不必要的模式来降低深度图帧内预测的模式选择的复杂度,最终达到减少深度图的编码复杂度的目的。经过实验仿真的验证,本文提出的算法与原始的编码器算法相比,平均总编码时间可减少35%左右,且深度图编码时间平均大约可减少42%,而合成视点的平均比特率仅增加了0.11%。即本文算法在可忽略的质量损失下,达到降低编码时间的目的。     

基于FPGA的三维视频系统实时深度估计

深度估计是基于视频加深度图像的三维视频系统中前端预处理的核心技术,其主要技术难题包括准确性、实时处理和大分辨率深度图获取等。本文提出一种实时深度估计的硬件实现方案,主要解决处理速度问题,并兼顾了准确性和大分辨率问题。本方案采用单片FPGA实现深度估计,其中采用census变换与SAD(Sum of Absolute Differences)混合的算法进行逐点匹配得到稠密深度图。硬件设计充分利用FPGA的大规模并行能力,并采用流水线设计提高数据通路的数据吞吐量,提升整个设计的时钟频率。实验表明,所提出的方案可实现全高清(1 920×1 080)分辨率视频实时深度估计。为了支持大分辨率图像并能观测距离相机较近的物体深度,本文方案视差搜索范围可以达到240pixels,帧率最高可达69.6fps,达到了实时和高清的处理目的。     

Refinement of depth from stereo camera ego-motion parameters

An algorithm for refinement of depth (disparity) map from stereoscopic sequences is proposed. the method is based on estimation of ego-motion parameters of the camera system and frame-by-frame prediction of 3d scene feature point co-ordinates. disparity maps with sub-pixel accuracy were obtained without the need for disparity computations in each single frame.     

Single-image depth estimation using relative depths

Depth estimation from a single RGB image is a challenging task. It is ill-posed since a single 2D image may correspond to various 3D scenes at different scales. On the other hand, estimating the relative depth relationship between two objects in a scene is easier and may yield more reliable results. Thus, in this paper, we propose a novel algorithm for monocular depth estimation using relative depths. First, using a convolutional neural network, we estimate two types of depths at multiple spatial resolutions: ordinary depth maps and relative depth tensors. Second, we restore a relative depth map from each relative depth tensor. A relative depth map is equivalent to an ordinary depth map with global scale information removed. For the restoration, sparse pairwise comparison matrices are constructed from available relative depths, and missing entries are filled in using the alternative least square (ALS) algorithm. Third, we decompose the ordinary and relative depth maps into components and recombine them to yield a final depth map. To reduce the computational complexity, relative depths at fine spatial resolutions are directly used to refine the final depth map. Extensive experimental results on the NYUv2 dataset demonstrate that the proposed algorithm provides state-of-the-art performance.     

Depth estimation of supervised monocular images based on semantic segmentation

In recent years, the research method of depth estimation of target images using Convolutional Neural Networks (CNN) has been widely recognized in the fields of artificial intelligence, scene understanding and three-dimensional (3D) reconstruction. The fusion of semantic segmentation information and depth estimation will further improve the quality of acquired depth images. However, how to deeply combine image semantic information with image depth information and use image edge information more accurately to improve the accuracy of depth image is still an urgent problem to be solved. For this purpose, we propose a novel depth estimation model based on semantic segmentation to estimate the depth of monocular images in this paper. Firstly, a shared parameter model of semantic segmentation information and depth estimation information is built, and the semantic segmentation information is used to guide depth acquisition in an auxiliary way. Then, through the multi-scale feature fusion module, the feature information contained in the neural network on different layers is fused, and the local feature information and global feature information are effectively used to generate high-resolution feature maps, so as to achieve the goal of improving the quality of depth image by optimizing the semantic segmentation model. The experimental results show that the model can fully extract and combine the image feature information, which improves the quality of monocular depth vision estimation. Compared with other advanced models, our model has certain advantages.     

基于红外与雷达的夜间无人车驾驶决策方法

速度与方向的决策建议是夜间无人车驾驶研究的关键,针对夜间无人车速度与方向决策,基于红外图像与雷达信息,提出了一种包含深度信息的红外图像多任务分类网络用来给出速度与方向决策.通过红外摄像头及雷达采集的数据训练深度网络,其中雷达采集的深度图像作为训练标签,采用卷积-反卷积神经网络来进行红外图像的深度估计,进而获得深度信息.利用深度信息制作分类网络训练标签,通过AlexNet分类网络得到速度决策建议.再根据红外图像的道路信息训练方向分类网络,将无人车的驾驶决策问题转化为分类模型,并将分类模型与深度估计网络相结合.实验结果表明,网络的角度准确率及速度准确率分别为87.43%和85.89%,并且利用训练得到的模型对图像进行决策的时间为0.04 s/帧,能够达到实时性的要求。     

新型拉普拉斯模型因子估计语音增强算法

针对拉普拉斯先验模型下的语音增强问题,给出了一种模型因子估计算法,它利用语音分量方差与模型因子的对应关系来获取模型因子的估计;在语音分量方差的估计过程中,通过利用带噪语音分量与先前帧语音方差计算当前帧语音分量方差,提出一种新的语音分量方差估计算法。通过结合这两种新算法获得的拉普拉斯模型因子估计能够有效消除噪声分量能量对估计精度的影响,且提高系统的语音增强性能。多种噪声背景下的仿真结果表明,基于该模型因子估计方案的方法的语音增强算法具有更好的增强效果。     

太赫兹光场成像的深度估计方法与实验研究

在前期工作中,通过对太赫兹光场图像进行离散余弦变换(Discrete Cosine Transform,DCT)滤波和数字重聚焦,初步实现了图像去噪和前后景分割。为了进一步得到质量更高的太赫兹光场原数据并达到更加精确的深度分割效果,改进了实验方案及处理方法,并提出了一种基于极平面图像(Epipolar Plane Image,EPI)的太赫兹光场深度估计方法。在太赫兹图像特性的基础上,给出了深度与视差的关系,并利用局部视差和置信度构建了全局深度图,从而达到了深度估计的目的。最后,在实验中通过10×10的相机阵列采集太赫兹光场数据,得到了准确聚焦于不同平面的重聚焦结果和高分辨度的深度估计图,实现了太赫兹光场成像的深度估计。