RGB-D结构相似性度量下的多边自适应深度图像超分辨率重建

目的 深度相机能够对场景的深度信息进行实时动态捕捉,但捕获的深度图像分辨率低且容易形成空洞。利用高分辨率彩色图像作为引导,是深度图超分辨率重建的重要方式。现有方法对彩色边缘与深度不连续区域的不一致性问题难以有效解决,在深度图超分辨率重建中引入了纹理复制伪影。针对这一问题,本文提出了一种鲁棒的彩色图像引导的深度图超分辨率重建算法。方法 首先,利用彩色图像边缘与深度图像边缘的结构相关性,提出RGB-D结构相似性度量,检测彩色图像与深度图像共有的边缘不连续区域,并利用RGB-D结构相似性度量自适应选取估计像素点邻域的最优图像块。接着,通过提出的定向非局部均值权重,在图像块区域内建立多边引导下的深度估计,解决彩色边缘和深度不连续区域的结构不一致性。最后,利用RGB-D结构相似性度量与图像平滑性之间的对应关系,对多边引导权重的参数进行自适应调节,实现鲁棒的深度图超分辨率重建。结果 在Middlebury合成数据集、ToF和Kinect数据集以及本文自建数据集上的实验结果表明,相比其他先进方法,本文方法能够有效抑制纹理复制伪影。在Middlebury、ToF和Kinect数据集上,本文方法相较于次优算法,平均绝对偏差平均降低约63.51%、39.47 %和7.04 %。结论 对于合成数据集以及真实场景的深度数据集,本文方法均能有效处理存在于彩色边缘和深度不连续区域的不一致性问题,更好地保留深度边缘的不连续性。     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

基于二阶微分算子和测地距离的深度图超分辨率重建

针对TOF相机原始获取深度图像分辨率非常低,且超分辨率重建中易出现边缘模糊和伪影的问题,提出一种基于二阶微分算子和测地距离的深度图超分辨率重建算法。以彩色信息作为引导,运用双边滤波的思想,采用测地距离把低分辨率深度图像的空间高斯核与高分辨率彩色图像的幅度高斯核函数结合起来,体现了深度图与彩色图的一致性,并引入深度核函数对两个相邻像素具有类似颜色但深度值不同的情况进行处理,抑制颜色相似但深度值不同区域的伪影现象,恢复出边缘轮廓显著的高分辨率深度图。实验结果表明,该算法可以有效保护图像的边缘结构且解决伪影问题,并在定性和定量两个方面都可达到很好的效果。     

多方向模板变分模型的单幅图像超分辨率重建

目的 为了增强图像超分辨率重建的准确性,克服传统插值所产生的边缘模糊与边缘锯齿等负面效果,提出一种基于多方向模板变分模型的单幅图像超分辨率重建方法。方法 首先构建体现28个方向的多方向模板对输入图像的轮廓方向进行计算,同时通过将TV模型引入到图像轮廓的估计中来确定边缘轮廓的最优方向;在此基础上通过进行基于所提出的多方向模板的图像插值来实现图像的超分辨率重建。结果 对比基于活动轮廓的图像边缘插值方法重建的经典高分辨率测试图像,本文方法在平均峰值信噪比和平均结构相似度方面分别提高了1.578 dB和 0.030 02 dB。结论 本文方法可以有效地克服传统插值方法所产生的边缘模糊和边缘锯齿化等负面效果,也避免了较少方向模板所带来的边缘和纹理丰富区域的纹理失真现象,可以取得较好的重建效果。     

基于彩色图像局部结构特征的深度图超分辨率算法

运用飞行时间相机来获取场景深度图像非常方便,但由于硬件的限制,得到的深度图像分辨率非常低,无法满足实际的需要.文中结合同场景的高分辨率彩色图像来制定优化框架,将深度图超分辨率问题转化为最优化问题来求解.具体来说,将彩色图像和深度图像在局部小窗口内具有的近似线性关系通过拉普拉斯矩阵的方式融合到目标函数的正则约束项中,运用彩色图像的局部结构参数模型,将该参数模型融入到正则约束项中对深度图的局部边缘结构提供更进一步的约束,再通过最速下降法有效地求解该优化问题.实验表明文中算法较其它算法无论在视觉效果还是客观评价指标下都可得到更好的结果.     

基于低分辨率彩色指导图像的深度图像超分辨率重建

传统的以彩色图像为指导的深度图像超分辨率(SR)重建方法,参考图像必须为高分 辨率彩色图像,彩色图像的分辨率决定了深度图像的放大上限。同时,实际应用中可能只存在低 分辨率彩色图像,此时上述方法也不再适用。为此,探讨使用任意分辨率彩色图像为指导的深度 图像SR 重建方法。首先,使用大量不同类别的图像SR 算法对输入彩色图像进行上采样,得到 高分辨率彩色图像并以此作为指导图像,然后采用基于二阶总广义变分方法,将由低分辨率彩色 图像重建得到的图像作为正则约束项,添加图像边缘信息,构建目标函数,将深度图像SR 重建 问题转化为最优化问题,再通过原-对偶方法求解,最终得到高分辨率深度图像。探讨了之前被 相关方法所忽略的情形,该方法可以适用于任意分辨率的彩色指导图像。并且通过相关实验发现 了令人惊异的现象,即通过使用低分辨率彩色图像放大后作为指导,可以得到与使用高分辨率彩 色指导图像相近甚至更好的结果,对相关问题的研究和应用具有一定参考意义。     

基于自适应权值滤波的深度图像超分辨率重建

目的 越来越多的应用都依赖于对真实场景深度图像的准确且快速的观测和分析。飞行时间相机可以实时获取场景的深度图像,但是由于硬件条件的限制,采集的深度图像分辨率较低,无法满足实际应用的需要。为此提出一种结合同场景彩色图像通过构造自适应权值滤波器对深度图像进行超分辨率重建的方法。方法 充分发掘深度图像的非局部以及局部自相似性先验约束,结合同场景的高分辨率彩色图像构造非局部及局部的自适应权值滤波算法对深度图像进行超分辨率重建。具体来说,首先利用非局部滤波算法来有效避免重建结果的振铃效应,然后利用局部滤波算法进一步提升重建的深度图像质量。结果 实验结果表明,无论在客观指标还是视觉效果上,基于自适应权值滤波的超分辨率重建算法较其他算法都可以得到更好的结果,尤其当初始的低分辨率深度图像质量较差的情况下,本文方法的优势更加明显,峰值信噪比可以得到1dB的提升。结论 结合非局部和局部自相似性先验约束,结合同场景的高分辨率彩色图像构造的自适应权值滤波算法,较其他算法可以得到更理想的结果。     

边缘结构保持的加权BDTV全光场图像超分辨率重建

目的 全光场相机一次曝光获得4维光场信息,即2维空间信息和2维角度信息.然而,渲染获取图像的空间分辨率较低,角度分辨率也无法满足应用需求.针对此问题,提出一种边缘结构保持加权的超数字化全变分(BDTV)超分辨率重建算法.方法 将重建后图像与不同视角低分辨率图像的边缘拟合误差函数作为数据项的权重,并利用BDTV先验模型去噪和保持边缘.结果 为验证本文方法的有效性,将本文方法与其他方法进行了实验,其结果是无论是在视觉效果还是指标评价方面,本文方法的重建效果和边缘保持效果都优于其他方法,峰值信噪比提升约1 dB,结构相似性指数也有约0.01的提升.结论 本文算法不仅提高了全光场图像的空间分辨率和角度分辨率,同时也更好地保持了图像的边缘信息,特别是当深度图存在误差时,该算法的超分辨率重建和边缘保持效果更为明显.     

利用双通道卷积神经网络的图像超分辨率算法

目的 图像超分辨率算法在实际应用中有着较为广泛的需求和研究。然而传统基于样本的超分辨率算法均使用简单的图像梯度特征表征低分辨率图像块,这些特征难以有效地区分不同的低分辨率图像块。针对此问题,在传统基于样本超分辨率算法的基础上,提出双通道卷积神经网络学习低分辨率与高分辨率图像块相似度进行图像超分辨率的算法。方法 首先利用深度卷积神经网络学习得到有效的低分辨率与高分辨率图像块之间相似性度量,然后根据输入低分辨率图像块与高分辨率图像块字典基元的相似度重构出对应的高分辨率图像块。结果 本文算法在Set5和Set14数据集上放大3倍情况下分别取得了平均峰值信噪比(PSNR)为32.53 dB与29.17 dB的效果。结论 本文算法从低分辨率与高分辨率图像块相似度学习角度解决图像超分辨率问题,可以更好地保持结果图像中的边缘信息,减弱结果中的振铃现象。本文算法可以很好地适用于自然场景图像的超分辨率增强任务。     

联合局部约束的邻域嵌入人脸超分辨率重建

目的 现有的基于邻域嵌入的人脸超分辨率重建算法只利用了低分辨率图像流形空间的几何结构,而忽略了原始高分辨率图像的流形几何结构,不能很好的反映高低分辨率图像流形几何结构的关系。此外,其对同一幅图像中的不同图像块选取固定数目的最近邻域图像块,从而导致重建质量的下降。为了充分利用原始高分辨率图像空间的几何结构信息,提出基于联合局部约束和自适应邻域选择的邻域嵌入人脸超分辨率重建算法。方法 该方法结合待重构图像与低分辨率图像样本库的相似性约束与初始高分辨图像与高分辨率图像样本库的相似性约束,形成约束低分辨率图像块的重构权重,并利用该重构权重估计出高分辨率的人脸图像,同时引入自适应邻域选择的方法。结果 在CAS-PEAL-R1人脸库上的实验结果表明,相较于传统的基于邻域嵌入的人脸超分辨率重建方法,本文算法在PSNR和SSIM上分别提升了0.39 dB和0.02。相较于LSR重建方法,在PSNR和SSIM上分别提升了0.63 dB和0.01;相较于LcR重建方法,在PSNR和SSIM上分别提升了0.36 dB和0.003 2;相较于TRNR重建方法,在PSNR和SSIM上分别提升了0.33 dB和0.001 1。结论 本文所提的重建方法在现有人脸数据库上进行实验,在主观视觉和客观评价指标上均取得了较好的结果,可进一步适用于现实监控视频中人脸图像的高分辨率重建。     

二阶总广义变分小波修复模型

目的 针对全变分小波修复模型易导致阶梯效应的缺陷,提出一种加权的二阶总广义变分小波修复模型。方法 不同于全变分小波修复模型,假设的新模型引入二阶导数项且能够自动地调解一阶和二阶导数项。另外,为有效地利用图像的局部结构信息,新模型引入了权函数,它既能保护图像的边缘又增强光滑区域的去噪能力。 为有效地计算新模型,利用交替方向法将该模型变为两个子模型, 然后对两个子模型分别给出相应的理论和算法推导。结果 相比最近基于全变分正则小波修复模型(平均信噪比,平均绝对误差及平均结构相似性指标分别为21.884 4,6.857 8,0.827 2),新模型得到更好的修复效果(平均信噪比,平均绝对误差及平均结构相似性指标分别为22.313 8,6.626 1,0.831 8)。结论 与全变分正则相比,二阶总广义变分正则更好地减轻阶梯效应。目前, 国内外学者对该问题的研究取得一些结果。由于原始-对偶算法需要较小的参数,所以运算的速度较慢,因此更快速的算法理论有待进一步研究。另外,该正则能应用于图像去噪、分割、放大等方面。     

紧框架域混合正则化模型在图像恢复中的应用

目的 有界变差函数容易造成恢复图像纹理信息丢失,并产生虚假边缘,为克服此缺点,在紧框架域,提出一种保护图像纹理信息,抑制虚假边缘产生的混合正则化模型,并推导出交替方向迭代乘子算法。方法 首先,在紧框架域,对系统和泊松噪声模糊的图像,用Kullback-Leibler函数作为拟合项,用有界变差函数半范数和L₁范数组成混合正则项,二者加权组成能量泛函正则化模型。其次,分析混合正则化模型解的存在性和唯一性。再次,通过引入辅助变量,利用交替方向迭代乘子算法,将混合正则化模型最小化问题分解为4个容易处理的子问题。最后,子问题交替迭代形成有效的优化算法。结果 紧框架域混合正则化模型有效地克服有界变差函数容易导致纹理信息丢失、产生虚假边缘的不足。相对经典算法,本文算法提高峰值信噪比大约0.10.7 dB。结论 与其他图像恢复正则化模型相比,本文算法有利于保护图像的纹理,抑制虚假边缘,取得较高的峰值信噪比和结构相似测度,适用于恢复系统和泊松噪声模糊的图像。     

基于 CNN 的彩色图像引导的深度图像超分辨率重建

深度图像表达了三维场景内物体之间的相对距离信息,根据深度图像表达的信息, 人们能够准确的获得物体在空间中的位置以及不同物体之间的相对距离,使得深度图像在立体 视觉等领域有着广泛的应用。然而受 RGB-D 传感器硬件条件的限制,获取的深度图像分辨率 低,无法满足一些具有高精度要求的实际应用的需求。近年来深度学习特别是卷积神经网络 (CNN)在图像处理方面获得了非常大的成功。为此提出了一种基于 CNN 的彩色图像引导的深度 图像超分辨率重建。首先,利用 CNN 学习彩色图像的边缘特征信息与深度图像的深度特征信 息,获得边缘纹理清晰的高分辨率深度图像;再通过不同大小尺寸滤波核的卷积层,进一步优 化深度图像的边缘纹理细节,获得更高质量的高分辨率深度图像。实验结果表明,相较于其他 方法,该方法 RMSE 值更低,重建的图像也能更好的恢复图像边缘纹理细节。     

基于定向双边全变差正则化的文档图像超分辨率算法研究

针对文档图像超分辨率重建问题,在传统双边全变差(Bilateral Total Variation,BTV)正则化超分辨率算法的基础上,提出了一种基于改进BTV的文档图像超分辨率算法。该算法引入一个新的正则项,即笔画宽度的方向,并根据字符笔画的局部宽度和局部方向自适应地进行平滑处理;然后通过分析输入的低分辨率图像及其插值,使输出图像的局部笔画宽度接近于局部的笔画方向。这种信息被压缩到基于笔画宽度的方向全变分正则项中。通过最小化正则项和数据保真项的线性组合,重建了高分辨率的图像。与相关的文档图像超分辨率方法相比,所提方法在视觉图像质量和字符识别精度方面得到了显著的改善。     

改进的正则化模型在图像恢复中的应用

目的 由拟合项与正则项组成的海森矩阵,如果不具有特殊结构,其逆矩阵计算比较困难,为克服此缺点,提出一种海森矩阵可分块对角化的牛顿投影迭代算法。方法 首先,用L₂范数描述拟合项,用自变量是有界变差函数的复合函数刻画正则项,建立能量泛函正则化模型。其次,引入势函数,将正则化模型转化为增广能量泛函。再次,构造预条件矩阵,使得海森矩阵可分块对角化。最后,为防止牛顿投影迭代算法收敛到局部最优解,采用回溯线性搜索算法和改进的Barzilai-Borwein步长更新准则使得算法全局收敛。结果 针对图像去模糊正则化模型容易使边缘平滑和产生阶梯效应“两难”问题,提出一种新的正则化模型和牛顿投影迭代算法。仿真结果表明,“两难”问题通过本文算法得到了很好的解决。结论 与其他正则化图像去模糊模型相比,本文算法明显改善图像的质量,如有效地保护图像的边缘,抑制阶梯效应,相对偏差和误差较小,较高的峰值信噪比和结构相似测度。     

小波域中双稀疏的单幅图像超分辨

目的 过去几年,基于稀疏表示的单幅图像超分辨获得了广泛的研究,提出了一种小波域中双稀疏的图像超分辨方法。方法 由小波域中高频图像的稀疏性及高频图像块在空间冗余字典下表示系数的稀疏性,建立了双稀疏的超分辨模型,恢复出高分辨率图像的细节系数;然后利用小波的多尺度性及低分辨率图像可作为高分辨率图像低频系数的逼近的假设,超分辨图像由低分辨率图像的小波分解和估计的高分辨率图像的高频系数经过二层逆小波变换来重构。结果 通过大量的实验发现,双稀疏的方法不仅较好地恢复了图像的局部纹理与边缘,且在噪声图像的超分辨上也获得了不错的效果。结论 与现在流行的使用稀疏表示的超分辨方法相比,双稀疏的方法对噪声图像的超分辨效果更好,且计算复杂度减小。