纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

基于边缘特征引导的深度图像超分率重建

针对TOF(Time of Flight)相机深度图像在超分辨重建过程中易出现边缘模糊、纹理映射问题,在联合双边上采样滤波器的基础上提出一种基于深度图像自身边缘特征引导的超分辨重建方法。通过低分辨深度图像的边缘特征引导,将深度图像分为不同的区域,根据滤波区域性质的不同,对联合双边上采样滤波器模型中的颜色相似项进行不同加权。同时为了进一步保持图像边缘,在深度图像边缘部分加入一个结构保持项。最后利用联合双边上采样滤波器模型重建出高分辨深度图像。实验结果表明,该方法不仅提高了TOF深度图像的分辨率,而且很好地保护了深度图像的边缘结构,取得了较好的效果。     

RGB-D结构相似性度量下的多边自适应深度图像超分辨率重建

目的 深度相机能够对场景的深度信息进行实时动态捕捉,但捕获的深度图像分辨率低且容易形成空洞。利用高分辨率彩色图像作为引导,是深度图超分辨率重建的重要方式。现有方法对彩色边缘与深度不连续区域的不一致性问题难以有效解决,在深度图超分辨率重建中引入了纹理复制伪影。针对这一问题,本文提出了一种鲁棒的彩色图像引导的深度图超分辨率重建算法。方法 首先,利用彩色图像边缘与深度图像边缘的结构相关性,提出RGB-D结构相似性度量,检测彩色图像与深度图像共有的边缘不连续区域,并利用RGB-D结构相似性度量自适应选取估计像素点邻域的最优图像块。接着,通过提出的定向非局部均值权重,在图像块区域内建立多边引导下的深度估计,解决彩色边缘和深度不连续区域的结构不一致性。最后,利用RGB-D结构相似性度量与图像平滑性之间的对应关系,对多边引导权重的参数进行自适应调节,实现鲁棒的深度图超分辨率重建。结果 在Middlebury合成数据集、ToF和Kinect数据集以及本文自建数据集上的实验结果表明,相比其他先进方法,本文方法能够有效抑制纹理复制伪影。在Middlebury、ToF和Kinect数据集上,本文方法相较于次优算法,平均绝对偏差平均降低约63.51%、39.47 %和7.04 %。结论 对于合成数据集以及真实场景的深度数据集,本文方法均能有效处理存在于彩色边缘和深度不连续区域的不一致性问题,更好地保留深度边缘的不连续性。     

基于二阶微分算子和测地距离的深度图超分辨率重建

针对TOF相机原始获取深度图像分辨率非常低,且超分辨率重建中易出现边缘模糊和伪影的问题,提出一种基于二阶微分算子和测地距离的深度图超分辨率重建算法。以彩色信息作为引导,运用双边滤波的思想,采用测地距离把低分辨率深度图像的空间高斯核与高分辨率彩色图像的幅度高斯核函数结合起来,体现了深度图与彩色图的一致性,并引入深度核函数对两个相邻像素具有类似颜色但深度值不同的情况进行处理,抑制颜色相似但深度值不同区域的伪影现象,恢复出边缘轮廓显著的高分辨率深度图。实验结果表明,该算法可以有效保护图像的边缘结构且解决伪影问题,并在定性和定量两个方面都可达到很好的效果。     

基于 CNN 的彩色图像引导的深度图像超分辨率重建

深度图像表达了三维场景内物体之间的相对距离信息,根据深度图像表达的信息, 人们能够准确的获得物体在空间中的位置以及不同物体之间的相对距离,使得深度图像在立体 视觉等领域有着广泛的应用。然而受 RGB-D 传感器硬件条件的限制,获取的深度图像分辨率 低,无法满足一些具有高精度要求的实际应用的需求。近年来深度学习特别是卷积神经网络 (CNN)在图像处理方面获得了非常大的成功。为此提出了一种基于 CNN 的彩色图像引导的深度 图像超分辨率重建。首先,利用 CNN 学习彩色图像的边缘特征信息与深度图像的深度特征信 息,获得边缘纹理清晰的高分辨率深度图像;再通过不同大小尺寸滤波核的卷积层,进一步优 化深度图像的边缘纹理细节,获得更高质量的高分辨率深度图像。实验结果表明,相较于其他 方法,该方法 RMSE 值更低,重建的图像也能更好的恢复图像边缘纹理细节。     

模糊C-均值聚类引导的Kinect深度图像修复算法

针对Kinect传感器所采集的深度图像中存在大面积空洞的问题,提出了一种模糊C-均值聚类引导的深度图像修复算法。该算法将同步获取的彩色图像和深度图像作为输入;利用模糊C-均值聚类算法对彩色图像进行聚类,聚类结果作为引导图像;然后对每个深度图像中的大面积空洞区域,利用改进的快速行进算法,从空洞边缘向空洞内部逐层修复空洞区域;最后,利用改进的双边滤波算法去除图像中的散粒噪声。实验表明该算法能有效修复Kinect深度图像中的空洞,修复后的图像在平滑度和边缘强度上优于传统算法。     

基于联合双边滤波的纹理合成上采样算法

提出了一个新的纹理合成的上行采样算法,即利用现有的高分辨率的样本纹理作为先验引导条件,对合成的低分辨率的纹理进行插值,获取更好的高分辨率纹理合成结果.该算法的主要思想是基于联合双边滤波器进行纹理合成上采样,对低分辨率合成纹理应用空间滤波,而将一相似的边界滤波联合地应用在高分辨率的样本纹理上.该算法克服了传统的以光滑性为先验引导条件的上采样方法会导致图像特征模糊的缺点,使获得的上采样纹理图像保持纹理特征,同时视觉上光滑.文中给出了图像和视频纹理合成结果的上行采样算法.实验结果表明,文中的方法减小了优化纹理合成过程所需的时间和空间,获取了更好的图像和视频合成纹理上采样效果.     

基于低分辨率彩色指导图像的深度图像超分辨率重建

传统的以彩色图像为指导的深度图像超分辨率(SR)重建方法,参考图像必须为高分 辨率彩色图像,彩色图像的分辨率决定了深度图像的放大上限。同时,实际应用中可能只存在低 分辨率彩色图像,此时上述方法也不再适用。为此,探讨使用任意分辨率彩色图像为指导的深度 图像SR 重建方法。首先,使用大量不同类别的图像SR 算法对输入彩色图像进行上采样,得到 高分辨率彩色图像并以此作为指导图像,然后采用基于二阶总广义变分方法,将由低分辨率彩色 图像重建得到的图像作为正则约束项,添加图像边缘信息,构建目标函数,将深度图像SR 重建 问题转化为最优化问题,再通过原-对偶方法求解,最终得到高分辨率深度图像。探讨了之前被 相关方法所忽略的情形,该方法可以适用于任意分辨率的彩色指导图像。并且通过相关实验发现 了令人惊异的现象,即通过使用低分辨率彩色图像放大后作为指导,可以得到与使用高分辨率彩 色指导图像相近甚至更好的结果,对相关问题的研究和应用具有一定参考意义。     

基于深度学习的深度图超分辨率采样

在深度图像采集场景下,为利用场景高分辨色彩图进行超分辨率上采样,提出一种采用卷积神经网络自适应学习局部滤波器核的算法,通过同时应用稠密/高分辨率颜色信息和稀疏/低分辨率深度信息全面提取场景信息。在Middlebury和ToFMark数据集上的实验结果表明,与传统深度超分辨率算法相比,提出的算法能够取得较好的超分辨率结果,尤其在颜色和深度的边缘、纹理不匹配区域,具有更好的鲁棒性。     

基于边缘最大梯度的多方向优化插值算法

提出一种在传统插值图像基础上,对高分辨率图像进行边缘检测算法.该算法处理RGB彩色图像时,先进行色融合,再检测;然后根据边缘多方向梯度特征,对边缘邻接像素点作优化处理.在多倍插值放大时,采用小步长倍率递进方式.实验结果表明,算法模型简单易于实现,消除了传统图像插值算法边缘锯齿和模糊,保持了图像边缘细节和纹理特征,对彩色图像视觉效果更为明显.     

分层联合双边滤波的深度图修复算法研究

三维场景建模及三维多目标检测识别等研究中需要获取高精度、高分辨率深度图,针对RGB-D传感器提供的深度信息存在分辨率低、深度值缺失和噪声干扰等问题,提出一种基于深度置信度的分层联合双边滤波深度图修复算法。基于深度信息获取存在的问题提出相应的深度退化模型,采用深度置信度测量对深度像素进行置信度分类,根据深度置信度确定滤波器窗口权重值,利用提出的分层联合双边滤波算法在待修复区域完成深度图修复。采用Middlebury标准数据库和自采数据库进行定性对比实验和定量结果分析表明,该算法对深度图修复后边缘更加清晰合理,消除了边缘模糊和纹理伪像,有效提高了三维深度图修复的精确度。     

基于自适应权值滤波的深度图像超分辨率重建

目的 越来越多的应用都依赖于对真实场景深度图像的准确且快速的观测和分析。飞行时间相机可以实时获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率较低,无法满足实际应用的需要。为此提出一种结合同场景彩色图像通过构造自适应权值滤波器对深度图像进行超分辨率重建的方法。方法 充分发掘深度图像的非局部以及局部自相似性先验约束,结合同场景的高分辨率彩色图像构造非局部及局部的自适应权值滤波算法对深度图像进行超分辨率重建。具体来说,首先利用非局部滤波算法来有效避免重建结果的振铃效应,然后利用局部滤波算法进一步提升重建的深度图像质量。结果 实验结果表明,无论在客观指标还是视觉效果上,基于自适应权值滤波的超分辨率重建算法较其他算法都可以得到更好的结果,尤其当初始的低分辨率深度图像质量较差的情况下,本文方法的优势更加明显,峰值信噪比可以得到1dB的提升。结论 结合非局部和局部自相似性先验约束,结合同场景的高分辨率彩色图像构造的自适应权值滤波算法,较其他算法可以得到更理想的结果。     

基于多梯度的区域自适应去马赛克算法*

针对Bayer格式的彩色滤波阵列,鉴于传统去马赛克算法存在图像纹理和边缘模糊的现象,提出了一种基于多梯度的区域自适应去马赛克算法.该算法利用区域水平和垂直方向的梯度组算子来判断区域平滑程度和插值方向,从而有效地恢复绿色分量,同时根据色度差恒定原理来还原另外两个丢失的颜色信息.实验结果显示,相对于传统插值算法提高了图像的峰值信噪比,锐化了图像的纹理和边缘,改善了图像的视觉质量.     

彩色图约束的二阶广义总变分深度图超分辨率重建

目的 针对深度图像分辨率非常低的问题,结合同场景高分辨率彩色图像,提出一种基于彩色图约束的二阶广义总变分深度图超分辨率重建方法。方法 首先将低分辨率深度图映射到高分辨率彩色空间;然后利用二阶广义总变分模型,将带有边缘指示函数的高分辨率彩色约束项作为正则项,使得深度图像超分辨率重建问题变成最优求解问题;最后通过迭代重加权和原—对偶方法进行求解。结果 实验结果表明,本文方法可以有效地保护图像的边缘结构,在定性和定量两个方面都可达到很好的效果。结论 本文方法可以有效地解决深度图分辨率非常低的问题。     

结合同场景立体图对的高质量深度图像重建

目的 越来越多的应用依赖于对场景深度图像准确且快速的观测和分析,如机器人导航以及在电影和游戏中对虚拟场景的设计建模等.飞行时间深度相机等直接的深度测量设备可以实时的获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率比较低,无法满足实际应用的需要.通过立体匹配算法对左右立体图对之间进行匹配获得视差从而得到深度图像是计算机视觉的一种经典方法,但是由于左右图像之间遮挡以及无纹理区域的影响,立体匹配算法在这些区域无法匹配得到正确的视差,导致立体匹配算法在实际应用中存在一定的局限性.方法 结合飞行时间深度相机等直接的深度测量设备和立体匹配算法的优势,提出一种新的深度图像重建方法.首先结合直接的深度测量设备采集的深度图像来构造自适应局部匹配权值,对左右图像之间的局部窗立体匹配过程进行约束,得到基于立体匹配算法的深度图像;然后基于左右检测原理将采集到的深度图像和匹配得到的深度图像进行有效融合;接着提出一种局部权值滤波算法,来进一步提高深度图像的重建质量.结果 实验结果表明,无论在客观指标还是视觉效果上,本文提出的深度图像重建算法较其他立体匹配算法可以得到更好的结果.其中错误率比较实验表明,本文算法较传统的立体匹配算法在深度重建错误率上可以提升10％左右.峰值信噪比实验结果表明,本文算法在峰值信噪比上可以得到10 dB左右的提升.结论 提出的深度图像重建方法通过结合高分辨率左右立体图对和初始的低分辨率深度图像,可以有效地重建高质量高分辨率的深度图像.     

基于跨接约束的高分辨率SAR 影像与光学影像配准

为了实现高分辨率SAR 影像与光学影像之间自动/半自动配准, 提出了一种新颖、稳健的匹配算法。算法首先利用仿射变换进行SAR 影像和光学影像粗匹配, 简化了整体算法的处理复杂度;然后利用影像边缘稳健性, 使用边缘提取算子分别对SAR 影像和光学影像进行边缘提取, 为后续精匹配做好了数据准备; 最后使用基于边缘纹理跨接约束进行影像之间精匹配, 方法引入了邻域配准约束机制, 很好的解决了经典匹配多峰值效应, 提高了算法稳健性和实用性。以国内机载高分辨率SAR 数据和SPOT 25 PAN 数据为例进行算法验证, 实验结果表明该算法能实现自动/半自动的高分辨率SAR 和光学影像之间的像素级配准。     

边缘振荡效应的自适应滤除算法

超分辨率图像重构技术已经被证明在卫星成像、视频监控、医学成像等研究领域中具有极其重要的应用价值。但是,由于超分辨率图像重构本身是一个病态求逆过程,在重构图像中所产生的边缘振荡效应往往很难在重构过程中予以消除。为此,文章提出了一个边缘振荡效应的自适应滤除算法。在该算法中,重构图像先被分割为均匀区域、边界区域和纹理区域,然后分别对这三类区域采用不同的滤波算法。实验结果表明,新算法在滤除边缘振荡效应的同时,较好地保存了超分辨重构图像的细节。