基于双模式联合三边滤波器的深度图像超分辨率方法

彩色图像引导的深度图像超分辨率方法通过利用高分辨率彩色图像的高频信息来重建深度图像,取得了不错的重建效果,但当深度图像和彩色图像边缘不(完全)一致或彩色区域纹理丰富时,重建图像普遍存在边缘模糊和纹理拷贝问题.针对这一问题,提出一种边缘图像引导的双模式联合三边滤波器(DMJTF)方法.该方法利用单幅低分辨率深度图像构建了一个边缘图像金字塔字典,然后利用MRF模型构建了一个高分辨率边缘图像,该图像确定了滤波器的两种模式,分别用于重构深度图像的边缘和平滑区域.实验结果表明DMJTF算法有效地避免了纹理拷贝异常,降低了边缘模糊现象,在定性和定量两个方面都优于其他算法,取得了较好的超分效果.     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

基于低分辨率彩色指导图像的深度图像超分辨率重建

传统的以彩色图像为指导的深度图像超分辨率(SR)重建方法,参考图像必须为高分 辨率彩色图像,彩色图像的分辨率决定了深度图像的放大上限。同时,实际应用中可能只存在低 分辨率彩色图像,此时上述方法也不再适用。为此,探讨使用任意分辨率彩色图像为指导的深度 图像SR 重建方法。首先,使用大量不同类别的图像SR 算法对输入彩色图像进行上采样,得到 高分辨率彩色图像并以此作为指导图像,然后采用基于二阶总广义变分方法,将由低分辨率彩色 图像重建得到的图像作为正则约束项,添加图像边缘信息,构建目标函数,将深度图像SR 重建 问题转化为最优化问题,再通过原-对偶方法求解,最终得到高分辨率深度图像。探讨了之前被 相关方法所忽略的情形,该方法可以适用于任意分辨率的彩色指导图像。并且通过相关实验发现 了令人惊异的现象,即通过使用低分辨率彩色图像放大后作为指导,可以得到与使用高分辨率彩 色指导图像相近甚至更好的结果,对相关问题的研究和应用具有一定参考意义。     

基于自注意力网络的图像超分辨率重建

针对图像超分辨率重建中纹理细节等高频信息恢复的问题，提出一种基于自注意力网络的图像超分辨率重建方法。该网络框架利用两个重建阶段逐步地将图像的精确度从粗到细进行恢复。在第一阶段中，首先将低分辨率（LR）图像作为输入通过一个卷积神经网络（CNN），并输出一个粗精度的高分辨率（HR）图像；然后将粗精度图像作为输入并产生更加精细的高分辨率图像。在第二阶段中，使用自注意力模块计算特征之间所有位置的关联性，通过捕捉特征的全局依赖关系来提高纹理细节的恢复能力。在基准数据集上的实验结果表明，与现有基于深度神经网路的超分辨率重建算法相比，所提算法不仅图像视觉效果最好，而且在数据集Set5和BDSD100上的峰值信噪比（PSNR）平均提高了0.1 dB、0.15 dB，表明该网络可以通过增强特征的全局表达能力来重建出高质量图像。     

基于二阶微分算子和测地距离的深度图超分辨率重建

针对TOF相机原始获取深度图像分辨率非常低,且超分辨率重建中易出现边缘模糊和伪影的问题,提出一种基于二阶微分算子和测地距离的深度图超分辨率重建算法。以彩色信息作为引导,运用双边滤波的思想,采用测地距离把低分辨率深度图像的空间高斯核与高分辨率彩色图像的幅度高斯核函数结合起来,体现了深度图与彩色图的一致性,并引入深度核函数对两个相邻像素具有类似颜色但深度值不同的情况进行处理,抑制颜色相似但深度值不同区域的伪影现象,恢复出边缘轮廓显著的高分辨率深度图。实验结果表明,该算法可以有效保护图像的边缘结构且解决伪影问题,并在定性和定量两个方面都可达到很好的效果。     

超分辨率图像重建算法综述

在人类视觉感知系统中,高分辨率(HR)图像是图像清晰表达其空间结构、细节特征、边缘纹理等信息的重要媒介,在医学、刑侦、卫星等领域有着极为广泛的实用价值.超分辨率图像重建(SRIR)旨在从给定的低分辨率(LR)图像中,重建含有清晰细节特征的高分辨率图像,是计算机视觉和图像处理领域中的一项重点研究任务.首先,对超分辨率图像...     

基于深度学习的图像超分辨率重建算法研究

图像超分辨率重建是计算机进行图像处理的底层任务,可以将低分辨率图像进行优化,生成高频细节的高分辨率图像。基于深度学习的图像超分辨率重建算法可以进一步提高重建图像质量与视觉效果,采用轻量化的超分辨率算法可以有效减少重建算法模型所需要的内存空间。本文采用深度学习技术中的基于卷积神经网络的图像超分辨率重建模型,提高图像分辨率,降低计算复杂度。     

基于改进卷积神经网络的单幅图像超分辨率重建方法

对于重建图像存在的边缘失真和纹理细节信息模糊的问题，提出一种基于改进卷积神经网络（CNN）的图像超分辨率重建方法。首先在底层特征提取层以三种插值方法和五种锐化方法进行多种预处理操作，并将只进行一次插值操作的图像和先进行一次插值后进行一次锐化的图像合并排列成三维矩阵；然后在非线性映射层将预处理后构成的三维特征映射作为深层残差网络的多通道输入，以获取更深层次的纹理细节信息；最后在重建层为减少图像重建时间在网络结构中引入亚像素卷积来完成图像重建操作。在多个常用数据集上的实验结果表明，与经典方法相比，所提方法重建图像的纹理细节信息和高频信息能得到更好的恢复，峰值信噪比（PSNR）平均增加0.23 dB，结构相似性（SSIM）平均增加0.0066。在保证图像重建时间的前提下，所提方法更好地保持重建图像的纹理细节并减少图像边缘失真，提升重建图像的性能。     

基于深度可分离卷积的轻量级图像超分辨率重建

图像超分辨率重建旨在依据低分辨率图像重建出接近真实的高分辨率图像,现有基于卷积神经网络的图像超分辨率重建方法存在网络参数量大、重建速度慢等问题,从而限制其在内存资源小的终端设备上的应用。提出一种基于深度可分离卷积的轻量级图像超分辨率重建网络,利用深度可分离卷积提取图像的特征信息,减少网络的参数量,采用对比度感知通道注意力机制获取图像的对比度信息,并将其作为全局信息,同时对提取特征的不同通道权重进行重新分配,增强重建图像的细节纹理信息。在此基础上,采用亚像素卷积对图像特征进行上采样操作,提高整体重建图像质量。实验结果表明,当放大倍数为2、3和4时,该网络的参数量分别为140 000、147 000和152 000,重建时间为0.020 s、0.014 s和0.011 s,相比VDSR、RFDN、IDN等网络,在保证重建效果的前提下能够有效减少网络参数量。     

基于深度学习的深度图超分辨率采样

在深度图像采集场景下,为利用场景高分辨色彩图进行超分辨率上采样,提出一种采用卷积神经网络自适应学习局部滤波器核的算法,通过同时应用稠密/高分辨率颜色信息和稀疏/低分辨率深度信息全面提取场景信息。在Middlebury和ToFMark数据集上的实验结果表明,与传统深度超分辨率算法相比,提出的算法能够取得较好的超分辨率结果,尤其在颜色和深度的边缘、纹理不匹配区域,具有更好的鲁棒性。     

RGB-D结构相似性度量下的多边自适应深度图像超分辨率重建

目的 深度相机能够对场景的深度信息进行实时动态捕捉,但捕获的深度图像分辨率低且容易形成空洞。利用高分辨率彩色图像作为引导,是深度图超分辨率重建的重要方式。现有方法对彩色边缘与深度不连续区域的不一致性问题难以有效解决,在深度图超分辨率重建中引入了纹理复制伪影。针对这一问题,本文提出了一种鲁棒的彩色图像引导的深度图超分辨率重建算法。方法 首先,利用彩色图像边缘与深度图像边缘的结构相关性,提出RGB-D结构相似性度量,检测彩色图像与深度图像共有的边缘不连续区域,并利用RGB-D结构相似性度量自适应选取估计像素点邻域的最优图像块。接着,通过提出的定向非局部均值权重,在图像块区域内建立多边引导下的深度估计,解决彩色边缘和深度不连续区域的结构不一致性。最后,利用RGB-D结构相似性度量与图像平滑性之间的对应关系,对多边引导权重的参数进行自适应调节,实现鲁棒的深度图超分辨率重建。结果 在Middlebury合成数据集、ToF和Kinect数据集以及本文自建数据集上的实验结果表明,相比其他先进方法,本文方法能够有效抑制纹理复制伪影。在Middlebury、ToF和Kinect数据集上,本文方法相较于次优算法,平均绝对偏差平均降低约63.51%、39.47 %和7.04 %。结论 对于合成数据集以及真实场景的深度数据集,本文方法均能有效处理存在于彩色边缘和深度不连续区域的不一致性问题,更好地保留深度边缘的不连续性。     

彩色图约束的二阶广义总变分深度图超分辨率重建

目的 针对深度图像分辨率非常低的问题,结合同场景高分辨率彩色图像,提出一种基于彩色图约束的二阶广义总变分深度图超分辨率重建方法。方法 首先将低分辨率深度图映射到高分辨率彩色空间;然后利用二阶广义总变分模型,将带有边缘指示函数的高分辨率彩色约束项作为正则项,使得深度图像超分辨率重建问题变成最优求解问题;最后通过迭代重加权和原—对偶方法进行求解。结果 实验结果表明,本文方法可以有效地保护图像的边缘结构,在定性和定量两个方面都可达到很好的效果。结论 本文方法可以有效地解决深度图分辨率非常低的问题。     

单幅自然场景深度恢复

离焦测距算法是一种用于恢复场景深度信息的常用算法。传统的离焦测距算法通常需要采集多幅离焦图像,实际应用中具有很大的制约性。文中基于局部模糊估计提出单幅离焦图像深度恢复算法。基于局部模糊一致性的假设,本文采用简单而有效的两步法恢复输入图像的深度信息：1)通过求取输入离焦图和利用已知高斯核再次模糊图之间的梯度比得到边缘处稀疏模糊图 2)将边缘位置模糊值扩离至全部图像,完整的相对深度信息即可恢复。为了获得准确的场景深度信息,本文加入几何条件约束、天空区域提取策略来消除颜色、纹理以及焦点平面歧义性带来的影响,文中对各种类型的图片进行对比实验,结果表明该算法能在恢复深度信息的同时有效抑制图像中的歧义性。     

结合同场景立体图对的高质量深度图像重建

目的 越来越多的应用依赖于对场景深度图像准确且快速的观测和分析,如机器人导航以及在电影和游戏中对虚拟场景的设计建模等.飞行时间深度相机等直接的深度测量设备可以实时的获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率比较低,无法满足实际应用的需要.通过立体匹配算法对左右立体图对之间进行匹配获得视差从而得到深度图像是计算机视觉的一种经典方法,但是由于左右图像之间遮挡以及无纹理区域的影响,立体匹配算法在这些区域无法匹配得到正确的视差,导致立体匹配算法在实际应用中存在一定的局限性.方法 结合飞行时间深度相机等直接的深度测量设备和立体匹配算法的优势,提出一种新的深度图像重建方法.首先结合直接的深度测量设备采集的深度图像来构造自适应局部匹配权值,对左右图像之间的局部窗立体匹配过程进行约束,得到基于立体匹配算法的深度图像;然后基于左右检测原理将采集到的深度图像和匹配得到的深度图像进行有效融合;接着提出一种局部权值滤波算法,来进一步提高深度图像的重建质量.结果 实验结果表明,无论在客观指标还是视觉效果上,本文提出的深度图像重建算法较其他立体匹配算法可以得到更好的结果.其中错误率比较实验表明,本文算法较传统的立体匹配算法在深度重建错误率上可以提升10％左右.峰值信噪比实验结果表明,本文算法在峰值信噪比上可以得到10 dB左右的提升.结论 提出的深度图像重建方法通过结合高分辨率左右立体图对和初始的低分辨率深度图像,可以有效地重建高质量高分辨率的深度图像.     

一种改进的各向异性扩散深度图像增强算法

深度图像受其测距原理所限,存在边缘不匹配、无效像素、噪声等问题,提出一种基于改进的各向异性扩散算法的深度图像增强方法。首先,校正深度图像和彩色图像的位置关系,并根据时间连续性选择多帧图像,进行多帧均值滤波预处理;其次,通过在彩色图像中引入权重的思想,构建具有4-邻域形式的深度图像模型,利用彩色图像引导的深度图像进行各向异性扩散,填补孔洞;最后,使用改进的自适应中值滤波平滑图像噪声。实验结果表明,该方法能够有效修复原始深度图像中存在的由无效像素组成的黑色孔洞,在抑制噪声的同时,仍能保持深度图像中物体边缘的细节信息。     

RGB-D语义分割：深度信息的选择使用

目的 在室内场景语义分割任务中,深度信息会在一定程度上提高分割精度。但是如何更有效地利用深度信息仍是一个开放性问题。当前方法大都引入全部深度信息,然而将全部深度信息和视觉特征组合在一起可能对模型产生干扰,原因是仅依靠视觉特征网络模型就能区分的不同物体,在引入深度信息后可能产生错误判断。此外,卷积核固有的几何结构限制了卷积神经网络的建模能力,可变形卷积(deformable convolution, DC)在一定程度上缓解了这个问题。但是可变形卷积中产生位置偏移的视觉特征空间深度信息相对不足,限制了进一步发展。基于上述问题,本文提出一种深度信息引导的特征提取(depth guided feature extraction, DFE)模块。方法 深度信息引导的特征提取模块包括深度信息引导的特征选择模块(depth guided feature selection, DFS)和深度信息嵌入的可变形卷积模块(depth embedded deformable convolution, DDC)。DFS可以筛选出关键的深度信息,自适应地调整深度信息引入视觉特征的比例,在网络模型需要时将深度信息嵌...     

LYTRO相机光场图像深度估计算法及重建的研究

光场相机目前已广泛应用于消费领域和工业应用领域,利用光场相机对目标物进行深度重建成为了一项重要的研究课题。在实际研究过程中,Lytro相机空间信息与角度信息复用于同一传感器,导致图像分辨率较低,从而使得重建效果不甚理想。为解决这一问题,提出了一种亚像素精度的光场图像深度估计方法,在频率域对子孔径图像进行多标签下的亚像素偏移,以中心视角图像为参照,建立像素匹配代价行为;使用引导滤波抑制噪声的同时保持了图像边缘;对多标签下的匹配代价行为进行优化,得到精确的深度估计结果。对目标深度图进行表面渲染、纹理映射等重建处理,得到较为精细的重建结果。实验结果表明,该算法在对复杂度较高的物体进行重建时,解决了重建模糊等问题,有较好的表现。     

Edge-guided GAN：边界信息引导的深度图像修复

目的 目前大多数深度图像修复方法可分为两类：色彩图像引导的方法和单个深度图像修复方法。色彩图像引导的方法利用色彩图像真值,或其上一帧、下一帧提供的信息来修复深度图像。若缺少相应信息,这类方法是无效的。单个深度图像修复方法可以修复数据缺失较少的深度图像。但是,无法修复带有孔洞（数据缺失较大）的深度图像。为解决以上问题,本文将生成对抗网络（generative adversarial network,GAN）应用于深度图像修复领域,提出了一种基于GAN的单个深度图像修复方法,即Edge-guided GAN。方法 首先,通过Canny算法获得待修复深度图像的边界图像,并将此两个单通道图像（待修复深度图像和边界图像）合并成一个2通道数据;其次,设计Edge-guided GAN高性能的生成器、判别器和损失函数,将此2通道数据作为生成器的输入,训练生成器,以生成器生成的深度图像（假值）和深度图像真值为判别器的输入,训练判别器;最终得到深度图像修复模型,完成深度图像修复。结果 在Apollo scape数据集上与其他4种常用的GAN、不带边界信息的Edge-guided GAN进行实验分析。在输入尺寸为256×256像素,掩膜尺寸为32×32像素情况下,Edge-guided GAN的峰值信噪比（peak signal-to-noise ratio,PSN）比性能第2的模型提高了15.76%;在掩膜尺寸为64×64像素情况下,Edge-guided GAN的PSNR比性能第2的模型提高了18.64%。结论 Edge-guided GAN以待修复深度图像的边界信息为其修复的约束条件,有效地提取了待修复深度图像特征,大幅度地提高了深度图像修复的精度。