基于超像素与自回归模型的深度恢复

提出基于超像素分割,并联合自回归模型的深度复原方法。首先对已获取的场景彩色图进行过分割,得到彩色图中每个像素的标号,然后构建基于已分割彩色图像指导的自回归模型:根据像素标号对自回归模型系数进行预测,通过优化预测系数差错来实现深度图恢复。实验表明,该算法不仅能有效恢复出深度图,而且在结构边缘细节处更加突出,优于目前主流的方法。     

采用几何复杂度的室外场景图像分割和深度生成

本文提出一种采用几何复杂度的室外场景图像几何分割和深度生成算法。该算法首先通过图像中主要线段的角度统计分布将室外场景图像的几何结构规划为四种类型;然后,利用meanshift分割算法将输入图像分割成若干小区域,依据该图像的场景几何结构将这些小的区域逐步融合成为三个大的区域,每个区域具有一致的深度分布特点,由此实现输入图像的几何分割;最后,根据几何类型定义标准的深度图,结合输入图像的几何分割结果获得图像的深度图。实验结果表明可以通过简单的线段角度统计分布实现图像的几何分割,并进一步获得图像的深度图,与已有算法相比,提出的算法可以更好地保持深度图细节,更接近场景的真实的深度信息。      

基于图像分割的深度视频校正算法

在基于深度图的虚拟视点绘制过程中,由于通过深 度估计软件获取的深度视频存在大量的失真,从而导致绘制的虚拟视点中存在纹理失真和缺 失现象。本文围绕深度视频失真类型,提出一种基于分割的深度 视频校正算法。利用彩色深度一致性信息分区域校正深度失真,以解决由于深度块失真造成 的虚拟视点纹理 缺失问题。首先,提取彩色视频运动和边缘区域,得到彩色视频边缘和运动区域掩模图;其 次,在边缘和运 动信息的辅助下,对彩色图像进行Mean Shift聚类,并将不同类别区域赋以不同的标签;最 后,分别统计不 同类别连通区域对应的深度直方图,利用其峰值校正深度视频中深度彩色非一致区域。实验 结果表明,本文提 出的基于分割块的深度视频校正算法优于部分基于像素的滤波算法,可以有效地校正深度视 频块失真,解决 虚拟视点边缘失真和纹理缺失问题,同时虚拟视点质量平均提高了0.20dB。     

基于边缘增强的深度图超分辨率重建

准确的深度图像获取是计算机视觉中的一个难题 。传统的立体匹配得到深度的方法不仅计算量大,而且在纹理稀疏与重复区域往往存在较大 的误差。主动式深度传感器虽然解决了这些问题, 但其获取的深度图存在着分辨率低和易受噪声干扰的问题。因此,本文提出一种结合彩色图 像信息 的深度图超分辨率(SR)重建方法来提高深度图的质量与分辨率。首先运用自回归(AR)模型 下的非局部均值(NLM)算 法获取初始的上采样深度图;然后利用边缘提取与边缘修复算法优化深度图。实验结果表 明,本文提出的方法能够生成误差更小、主观质量更好的高分辨率深度图。     

多视绘制中的空洞填充算法

绘制新视点的质量决定3D视频在显示终端的效果,为填充基于深度图像的绘制(DIBR)算法中产生的空洞,本文提出"双路纹理+双路深度"的多视绘制算法。首先,应用DIBR技术,通过左侧参考纹理图像和其对应的深度图像绘制虚拟视点图像,从经中值滤波后的虚拟图像绘制空洞掩膜图像;然后,将掩膜图像中的大空洞点坐标反变换到右侧参考纹理图像中对应的具体像素坐标,根据深度值判断得到的像素点是否属于背景区域,以此得到虚拟视点图像的空洞填充图像;最后,将空洞填充图像与左视经过DIBR得到的虚拟图像进行融合,填补大空洞,应用插值算法填充小的空洞。实验结果表明,本文方法可有效修复DIBR绘制过程中产生的空洞,得到质量较好的虚拟视点图像。     

基于深度调制的超像素分割和显著性检测

提出了一种基于深度调制的超像素分割和视觉显著性检测方法。对于一对匹配的纹理和深度图,该方法首先对深度图像进行超像素计算,然后借助纹理和深度信息对超像素结果进行融合,完成对图像的超像素分割,最后对分割区域进行纹理和空间的全局对比,从而产生全分辨率的显著性图。实验证明,该方法简单、高效,所得显著性检测结果具有更高的精度,明显优于现有的视觉显著性检测方法。     

面向虚拟视点图像绘制的深度图编码算法

针对不同区域对绘制虚拟视点图像质量产生不同的影响,以及深度估计不准确导致时域抖动效应影响压缩效率的问题,提出了一种面向虚拟视点图像绘制的深度图压缩算法。通过彩色图像帧差、深度图边缘提取等相关处理过程,提取深度图的静态区域、边缘区域以及动态区域。对深度图边缘区域使用了较低的量化系数,以提高深度图边缘区域编码质量;根据深度图各个区域的编码模式特点,仅对部分编码模式而不是所有模式进行率失真优化搜索,以提高深度图的编码速度;对于深度图P帧的静态区域,合理地采用了SKIP模式,以消除由于深度估计算法的局限性导致时域抖动效应对深度图压缩的影响。实验结果表明,与传统的H.264编码方案相比,本文方案在传输码流大小基本不变的前提下提高了最终虚拟视点图像边缘区域的绘制质量,其余区域主观质量相近,而深度图编码时间则节省了约77～87%。     

基于分割的离焦图像深度图提取方法

针对影视作品中的大量离焦图像,提出了一种离焦图像的深度图提取方法。将离焦图像的聚焦前景和离焦背景进行分离。对离焦背景提出了深度图模型匹配的方法,构建深度图模型并结合人眼视觉对场景深度的敏锐判断,将背景与对应的深度图模型进行匹配,实现背景深度图的构建;提出了基于颜色分割的深度图再处理,来进一步提高场景深度图的精度。对前景采用单深度赋值,并结合背景深度图融合生成最终深度图。实验表明采用该方法提取的深度图在深度跳跃和深度平滑区域都得到了好的效果。     

深度图实时提取系统中后处理的设计与实现

基于硬件的深度图实时提取系统可实现深度图的实时提取,但由于硬件结构的局限性不能像软件那样实现较复杂的匹配算法,会产生较多误匹配。在深度图实时提取系统上设计和实现深度图后处理功能,先对视差结果进行匹配唯一性检测,再根据需要针对左右视图对应的视差结果分别设计两种左右一致性检测方案,最后利用正确的深度值进行空洞填充。实验表明该设计和实现的后处理功能可与深度图的提取在同一系统上实时地进行,并能得到质量较好的深度图。     

基于图像融合的深度图像修复算法

针对目前大多数深度相机采集到的深度图像中含有大量噪点以及大面积的空洞问题,提出一种基于图像融合的深度图像修复算法。采用改进分水岭算法提取彩色图像中的边缘信息,基于KD树近邻算法依据深度图像的梯度信息提取分类信息,将彩色图像的边缘信息与深度图像像素点的分类信息相结合,得到精确地图像分类结果,再对融合后的每一类进行最小二乘法算法拟合空洞,修复深度图像中出现的大面积空洞问题。实验结果表明,该方法在对物体边缘处小面积空洞进行较为准确地修复的同时,能够对深度图像中存在的大面积空洞问题进行有效修复。     

基于深度融合的深度图像修复算法

提出了一种基于深度融合的深度图像修 复算法。对于单幅深度图像,首先利用形态学操作进行空洞区域优化,消除深度图像中的间 隙和随机噪声;然后针对迭 代滤波过程,提出一种新的深度融合策略计算深度值,并通过对空洞区域的分析,判断深度 图像中空洞区 域类型,自适应选择结构元进行迭代操作;最后利用局部深度值重建方法对受损的边缘处深 度值进行修复。 实验结果表明,本文算法在较好的修复深度图像中存在空洞和间隙的同时,能够保持原始深 度图深度值分 布规律,克服修复过程中存在的深度值失真,边缘模糊等不足。基于标准数据集Middlebury 的对比试验结果表明,本文算法与其它算法相比,获得了良好的效果。     

Digiclops立体视觉系统获取深度图像的工程方法

论述了立体视觉研究中的主要问题及其技术进展，重点介绍了Point Grey Research公司的Digiclops三目立体视觉系统，包括该系统的配置、应用和用户开发工具包，结合实例讨论了利用该系统进行深度信患检测的工程方法。实验表明，使用Digiclops得到深度图像的方法具有较好的鲁棒性和实时性。     

一种用于深度图编码的虚拟视失真估计模型

多视视频加深度(MVD,multi-view video plus depth)的3D视频格式中,深度图提供视频的场景几何信息,其不在终端成像显示而是通过基于深度图像的绘制(DIBR)技术用于绘制虚拟视图像。在深度图的压缩编码过程中,深度图的失真会引起绘制的虚拟视图像的失真。深度图用于绘制而不用于显示的特性使得准确估计深度图绘制的虚拟视失真可以提高深度图编码的率失真性能。本文分析了不同的深度图失真引起的不同的虚拟视失真,进而提出一种估计深度图失真引起虚拟视失真的指数模型,并将模型用于深度图编码的率失真优化(RDO)中。实验结果表明,本文提出的模型可以准确估计深度图失真引起的虚拟视失真,提高深度图编码性能,相比于HTM的VSO可以降低约10%的编码时间,并且虚拟视质量略优于HTM。     

基于区域融合的单视点图像深度信息提取

将2D转换为3D是目前3D多媒体成功应用的重要解决方法之一.而在2D至3D转换过程中,单视点图像中深度信息提取是最具挑战的任务.提出一种基于区域融合的单视点图像深度信息提取方法,利用区域融合对单视点图像进行区域融合,用先验假设的深度梯度图对区域进行深度分配,得到基于区域融合的深度图.实验结果表明通过所提方法得到的深度图...     

基于深度图像的H.264快速帧间模式选择算法

H.264编码标准的帧间模式选择算法采用全候选模式搜寻算法,为编码器带来了高运算复杂度。提出一种快速帧间模式选择算法,旨在降低H.264帧间编码的运算复杂度。算法利用深度图像信息从彩色图像中分割出背景区域和运动剧烈的区域,宏块根据所在的区域选择相应的编码策略,从而达到缩小候选模式范围,加快模式选择速度的目的。实验证明,该算法在图像质量基本不变的情况下编码时间平均节省23%以上。     

对象引导的单幅散焦图像深度提取方法

2D图像转3D图像是解决3D影视内容缺乏的主要手段之一,而深度提取是其中的关键步骤.考虑到影视作品中存在大量散焦图像,提出单幅散焦图像深度估计的方法:首先通过高斯卷积将散焦图像转换成两幅模糊程度不同的图像;其次计算这两幅图像在边缘处的梯度幅值比例,进而根据阶跃信号与镜头的卷积模型得到边缘处的模糊度;再次将边缘处的模糊度转换成图像的稀疏深度并利用拉普拉斯矩阵插值得到稠密深度图;最后通过图像的视觉显著度提取前景对象,建立对象引导的深度图优化能量模型,使前景的深度趋于一致并平滑梯度较小区域的深度.该方法利用对象引导的深度优化,剔除了拉普拉斯矩阵插值引入深度图的纹理信息.模拟图像的峰值信噪比和真实图像的视觉对比均表明该算法比现有方法有较大改善.     

基于图割的高质量深度图获取方法

3DTV作为下一代视频广播系统,还有许多技术难点有待解决,其中深度估计是3DTV的关键技术之一。为了获取高质量的深度图,提出基于图割(graph cut)的深度估计方法。该算法在构建能量函数的数据项时,通过对窗口内各个像素赋予自适应权重,引入梯度信息以抑制因亮度差异导致的误匹配问题并保护边缘信息。然后,经过交叉检测将深度图像素分为可靠点与不可靠点两类。对检测后的深度图进行后处理迭代优化,从而提高所获取深度值的可靠性。实验表明此算法估计出的深度图用VSRS绘制虚拟合成视时比标准的深度估计软件DERS5.1可有效提高虚拟视质量。     

一种用于人脸识别的三维人脸模型重建方法

针对以往三维人脸模型重建算法实用性差、算法复杂度高、需要通用人脸模型和对噪声敏感等缺陷，提出了一种计算量小、无需通用人脸模型的三维人脸模型的重建算法。该算法在人工辅助确定特征点的基础上，利用能量函数最小的约束关系实现深度图的初步融合，然后运用改进ICP算法获得隐式的三维人脸模型。通过对获得模型的变换和投影，可产生不同姿态的二维人脸图像。实验结果表明，融合平均误差仅为1．32毫米，效果逼真。和其它算法相比，它还具有存储资源消耗少、算法稳定性高等优点。