基于彩色图像局部结构特征的深度图超分辨率算法

运用飞行时间相机来获取场景深度图像非常方便,但由于硬件的限制,得到的深度图像分辨率非常低,无法满足实际的需要.文中结合同场景的高分辨率彩色图像来制定优化框架,将深度图超分辨率问题转化为最优化问题来求解.具体来说,将彩色图像和深度图像在局部小窗口内具有的近似线性关系通过拉普拉斯矩阵的方式融合到目标函数的正则约束项中,运用彩色图像的局部结构参数模型,将该参数模型融入到正则约束项中对深度图的局部边缘结构提供更进一步的约束,再通过最速下降法有效地求解该优化问题.实验表明文中算法较其它算法无论在视觉效果还是客观评价指标下都可得到更好的结果.     

RGB-D结构相似性度量下的多边自适应深度图像超分辨率重建

目的 深度相机能够对场景的深度信息进行实时动态捕捉,但捕获的深度图像分辨率低且容易形成空洞。利用高分辨率彩色图像作为引导,是深度图超分辨率重建的重要方式。现有方法对彩色边缘与深度不连续区域的不一致性问题难以有效解决,在深度图超分辨率重建中引入了纹理复制伪影。针对这一问题,本文提出了一种鲁棒的彩色图像引导的深度图超分辨率重建算法。方法 首先,利用彩色图像边缘与深度图像边缘的结构相关性,提出RGB-D结构相似性度量,检测彩色图像与深度图像共有的边缘不连续区域,并利用RGB-D结构相似性度量自适应选取估计像素点邻域的最优图像块。接着,通过提出的定向非局部均值权重,在图像块区域内建立多边引导下的深度估计,解决彩色边缘和深度不连续区域的结构不一致性。最后,利用RGB-D结构相似性度量与图像平滑性之间的对应关系,对多边引导权重的参数进行自适应调节,实现鲁棒的深度图超分辨率重建。结果 在Middlebury合成数据集、ToF和Kinect数据集以及本文自建数据集上的实验结果表明,相比其他先进方法,本文方法能够有效抑制纹理复制伪影。在Middlebury、ToF和Kinect数据集上,本文方法相较于次优算法,平均绝对偏差平均降低约63.51%、39.47 %和7.04 %。结论 对于合成数据集以及真实场景的深度数据集,本文方法均能有效处理存在于彩色边缘和深度不连续区域的不一致性问题,更好地保留深度边缘的不连续性。     

基于二阶微分算子和测地距离的深度图超分辨率重建

针对TOF相机原始获取深度图像分辨率非常低,且超分辨率重建中易出现边缘模糊和伪影的问题,提出一种基于二阶微分算子和测地距离的深度图超分辨率重建算法。以彩色信息作为引导,运用双边滤波的思想,采用测地距离把低分辨率深度图像的空间高斯核与高分辨率彩色图像的幅度高斯核函数结合起来,体现了深度图与彩色图的一致性,并引入深度核函数对两个相邻像素具有类似颜色但深度值不同的情况进行处理,抑制颜色相似但深度值不同区域的伪影现象,恢复出边缘轮廓显著的高分辨率深度图。实验结果表明,该算法可以有效保护图像的边缘结构且解决伪影问题,并在定性和定量两个方面都可达到很好的效果。     

彩色图约束的二阶广义总变分深度图超分辨率重建

目的 针对深度图像分辨率非常低的问题,结合同场景高分辨率彩色图像,提出一种基于彩色图约束的二阶广义总变分深度图超分辨率重建方法。方法 首先将低分辨率深度图映射到高分辨率彩色空间;然后利用二阶广义总变分模型,将带有边缘指示函数的高分辨率彩色约束项作为正则项,使得深度图像超分辨率重建问题变成最优求解问题;最后通过迭代重加权和原—对偶方法进行求解。结果 实验结果表明,本文方法可以有效地保护图像的边缘结构,在定性和定量两个方面都可达到很好的效果。结论 本文方法可以有效地解决深度图分辨率非常低的问题。     

基于CNN特征提取和加权深度迁移的单目图像深度估计

单目图像的深度估计可以从相似图像及其对应的深度信息中获得。然而,图像匹 配歧义和估计深度的不均匀性问题制约了这类算法的性能。为此,提出了一种基于卷积神经网 络(CNN)特征提取和加权深度迁移的单目图像深度估计算法。首先提取 CNN 特征计算输入图像 在数据集中的近邻图像;然后获得各候选近邻图像和输入图像间的像素级稠密空间形变函数; 再将形变函数迁移至候选深度图像集,同时引入基于 SIFT 的迁移权重 SSW,并通过对加权迁 移后的候选深度图进行优化获得最终的深度信息。实验结果表明,该方法显著降低了估计深度 图的平均误差,改善了深度估计的质量。     

纹理边缘引导的深度图像超分辨率重建

目的 深度图像作为一种普遍的3维场景信息表达方式在立体视觉领域有着广泛的应用。Kinect深度相机能够实时获取场景的深度图像,但由于内部硬件的限制和外界因素的干扰,获取的深度图像存在分辨率低、边缘不准确的问题,无法满足实际应用的需要。为此提出了一种基于彩色图像边缘引导的Kinect深度图像超分辨率重建算法。方法 首先对深度图像进行初始化上采样,并提取初始化深度图像的边缘;进一步利用高分辨率彩色图像和深度图像的相似性,采用基于结构化学习的边缘检测方法提取深度图的正确边缘;最后找出初始化深度图的错误边缘和深度图正确边缘之间的不可靠区域,采用边缘对齐的策略对不可靠区域进行插值填充。结果 在NYU2数据集上进行实验,与8种最新的深度图像超分辨率重建算法作比较,用重建之后的深度图像和3维重建的点云效果进行验证。实验结果表明本文算法在提高深度图像的分辨率的同时,能有效修正上采样后深度图像的边缘,使深度边缘与纹理边缘对齐,也能抑制上采样算法带来的边缘模糊现象;3维点云效果显示,本文算法能准确区分场景中的前景和背景,应用于3维重建等应用能取得较其他算法更好的效果。结论 本文算法普遍适用于Kinect深度图像的超分辨率重建问题,该算法结合同场景彩色图像与深度图像的相似性,利用纹理边缘引导深度图像的超分辨率重建,可以得到较好的重建结果。     

基于场景对象注意与深度图融合的深度估计

现有单目深度估计算法主要从单幅图像中获取立体信息,存在相邻深度边缘细节模糊、明显的对象缺失问题。提出一种基于场景对象注意机制与加权深度图融合的单目深度估计算法。通过特征矩阵相乘的方式计算特征图任意两个位置之间的相似特征向量,以快速捕获长距离依赖关系,增强用于估计相似深度区域的上下文信息,从而解决自然场景中对象深度信息不完整的问题。基于多尺度特征图融合的优点,设计加权深度图融合模块,为具有不同深度信息的多视觉粒度的深度图赋予不同的权值并进行融合,融合后的深度图包含深度信息和丰富的场景对象信息,有效地解决细节模糊问题。在KITTI数据集上的实验结果表明,该算法对目标图像预估时σ<1.25的准确率为0.879,绝对相对误差、平方相对误差和对数均方根误差分别为0.110、0.765和0.185,预测得到的深度图具有更加完整的场景对象轮廓和精确的深度信息。     

基于局部结构相似性的单幅图像超分辨率算法

单幅图像放大是一个病态问题,约束信息的不足令问题的解决难以有突破性的进展．基于图像局部结构的相似性和在不同分辨率尺度上的相似保持,提出了利用局部结构相似性来约束超分辨率问题的思路．根据相似判断规则发现图像中的相似区域,根据相似程度生成多幅相似图像,从而可以利用图像序列超分辨率的算法来求解．文中使用最大后验概率估计方法,在最大后验概率意义下得到最优解．实验表明,该算法用于存在着大量相似结构的图像超分辨率问题中有着很好的效果,譬如文字图像,集成电路图像等。     

相似性约束的视频超分辨率重建

图像的相似性对超分辨率重建具有重要作用,但是单幅图像不能提供足够的相似信息.提出一种基于相似性约束的视频超分辨率重建算法,针对需要重建的视频帧,通过光流场的初始运动估计和精细的块匹配,搜索到视频序列中具有相似的信息;然后利用相似信息不断修正迭代反投影中的重建误差.实验结果表明本文算法能够增加图像细节,并且可以消除边缘出现的人造效应,获得清晰的图像边缘.     

语义级深度迁移的2D转3D算法

海量视频数据推动了基于数据驱动的单目图像深度估计研究.针对现有方法存在不同对象深度分配层次感不够的问题,在相似场景具有相似深度的假设前提下,提出一种基于语义级分割和深度迁移的单目图像2D转3D的方法.首先使用分割迁移模型将输入图像的像素进行语义级分类;然后通过语义级分类结果对场景匹配进行约束;再次利用SIFT流建立输入图像和匹配图像间像素级对应关系,并由此将匹配图像的深度迁移到输入图像上;最后通过语义级分割约束的最优化深度融合模型为不同对象区域分配深度值.Make3D测试数据的实验结果表明,该方法估计的深度质量比现有深度迁移方法更高,与最优化融合深度迁移算法相比,平均对数误差和平均相对误差分别降低0.03和0.02个点.     

基于非参数化采样的单幅图像深度估计

针对传统单幅图像深度估计线索不足及深度估计精度不准的问题,提出一种基于非参数化采样的单幅图像深度估计方法。该方法利用非参数化的学习手段,将现有RGBD数据集中的深度信息迁移到输入图像中去。首先计算输入图像和现有RGBD数据集多尺度的高层次图像特征;然后,在现有RGBD数据集中,基于高层次的图像特征通过kNN最近邻搜索找到若干与输入图像特征最匹配的候选图像,并将这些候选图像对通过SIFT流形变到输入图像进行对齐。最后,对候选深度图进行插值和平滑等优化操作便可以得到最后的深度图。实验结果表明,与现有算法相比,该方法估计得到的深度图精度更高,对输入图像的整体结构保持得更好。     

场景语义引导下的改进灰度世界算法

色彩恒常性的实现中,灰度世界算法通常因自然图像间场景差异导致较弱的光源估计性能.针对上述问题,提出了一种以场景语义为引导的改进灰度世界算法.首先,使用灰度化图像计算稠密SIFT描述子以避免彩色图像偏色干扰,SIFT描述子集合由词袋模型进一步生成无序视觉词汇;其次,以视觉词汇对应像素平均亮度为权重,基于空间金字塔匹配算法构建金字塔结构的亮度加权词频直方图;然后,采用直方图交叉核函数计算图像间场景语义相似度,并依据该相似度检索与测试图像场景语义相似的候选图像集;最后,所有候选图像的像素统计分布在经孤立森林算法移除异常值后被用于自适应推断,并更新灰度世界算法的固定假设,改进后灰度世界算法通过光源估计实现色彩恒常性.在ColorChecker,Cube+和NUS共3类公开色彩恒常数据集中的实验结果表明,所提算法在单相机测试中的光源估计角度误差较同类型灰度世界改进算法下降接近20%,且可在跨相机测试中取得对比算法中最低的光源估计角度误差.     

正则化技术和低秩矩阵在稀疏表示超分辨率算法中的应用

为了有效地利用图像的特征作为指导重建的先验知识,解决常规超分辨率算法对边缘与结构等细节恢复不足的问题,提出一种改进的超分辨率算法.对待重建图像进行低秩分解,得到不同特征的低秩子图像和稀疏子图像;对于低秩子图像,提出采用基于正则化技术的稀疏表示超分辨率算法进行重建,先通过在低秩子图像中寻找相似图像块构造非局部相似正则化项,得到图像的非局部冗余,以保持边缘信息;再通过局部线性嵌入方法构造流形学习正则化项,获得图像的结构先验知识,以增强结构信息.对于稀疏子图像则不参与稀疏表示超分辨率重建,而是采用双三次插值法进行重建.实验结果表明,与其他算法相比,无论在主观视觉效果上,还是在峰值信噪比和结构相似性指标上,文中算法都有显著的提高.     

基于多孔卷积神经网络的图像深度估计模型

针对在传统机器学习方法下单幅图像深度估计效果差、深度值获取不准确的问题，提出了一种基于多孔卷积神经网络（ACNN）的深度估计模型。首先，利用卷积神经网络（CNN）逐层提取原始图像的特征图；其次，利用多孔卷积结构，将原始图像中的空间信息与提取到的底层图像特征相互融合，得到初始深度图；最后，将初始深度图送入条件随机场（CRF），联合图像的像素空间位置、灰度及其梯度信息对所得深度图进行优化处理，得到最终深度图。在客观数据集上完成了模型可用性验证及误差估计，实验结果表明，该算法获得了更低的误差值和更高的准确率，均方根误差（RMSE）比基于机器学习的算法平均降低了30.86%，而准确率比基于深度学习的算法提高了14.5%，所提算法在误差数据和视觉效果方面都有较大提升，表明该模型能够在图像深度估计中获得更好的效果。     

基于光谱相似性的高光谱图像超分辨率算法

光谱相似性是指高光谱图像中的大量像元具有相似光谱的性质.提出了一种基于光谱相似性的高光谱遥感图像超分辨率算法,利用遥感图像中广泛存在的结构自相似性提升图像的空间分辨率,利用高光谱图像的低维子空间性通过主成分分析降低光谱维数提高运算效率,利用具有相似光谱的像元构建光谱约束项保证重建图像光谱的准确性.该算法在将单波段图像超分辨率方法推广到处理具有数百、乃至上千波段的高光谱图像过程中,既保证了重建图像光谱的准确性,又具有较高的运算效率.实验表明,与双三次插值和基于稀疏表示与光谱正则化约束的高光谱图像超分辨率算法相比,该算法具有更高的空间分辨率提升能力和更好的光谱保真能力.     

基于多尺度非局部约束的单幅图像超分辨率算法

多尺度结构自相似性是指图像中的大量物体具有相同尺度以及不同尺度相似结构的性质.本文提出了一种基于多尺度非局部约束的单幅图像超分辨率算法,结合多尺度非局部方法和多尺度字典学习方法将蕴含在图像多尺度自相似结构中的附加信息加入到重建图像中.多尺度非局部方法在图像金字塔的不同层中搜索相似图像块,并利用多尺度相似图像块间的关系建立非局部约束项,通过正则化约束获取多尺度自相似结构中的附加信息;多尺度字典学习方法将图像金字塔作为字典学习的样本,通过字典学习使样本中的多尺度相似图像块 在字典下具有稀疏表示形式,从而获取多尺度自相似结构中的附加信息.实验表明, 与ScSR、SISR、NLIBP、CSSS、ASDSAR和mSSIM等算法相比,本文的算法取得了更好的超分辨率重建效果.     

基于光场图像序列的自适应权值块匹配深度估计算法

现有的深度估计算法中,针对光场序列图像进行深度估计时,在图像亮度变化较大和弱纹理区域,其匹配效果较差,鲁棒性较低.针对这些问题,本文提出了一种基于CIELab颜色空间的自适应权值块匹配算法.由于彩色图像RGB颜色空间中颜色差异匹配影响因素较多,本算法转换到CIELab空间进行颜色相似性匹配来计算权重值,然后结合梯度和距离计算匹配图像和待匹配图像中匹配块得到综合权重值,最后根据极平面图像（EPI）的线性特性对图像序列中匹配图像和待匹配图像块进行匹配计算,求得深度图.经过仿真验证,本文算法能够较好的估计场景的深度信息,精度上有较大的提升,明显优于以往的深度估计算法,可以广泛使用.     

低质量监控图像鲁棒性人脸超分辨率算法

由于人对图像结构信息的理解对于像素值的噪声干扰具有极强的鲁棒功能,为了增强传统算法针对低质量监控图像的鲁棒性,提出一种基于人工形状语义模型的人脸超分辨率算法.该算法将形状描述成一系列面部特征点的组合,通过人工获取人脸图像形状语义信息,利用形状样本库构建超分辨率代价函数的正则约束项;将图像与形状的系数相关性用于统一重建误差项与形状正则项的变量,并将最速下降法用于优化求解.仿真和实际图像实验结果都表明,在主客观质量上,文中算法的性能都优于传统算法.     

基于低分辨率彩色指导图像的深度图像超分辨率重建

传统的以彩色图像为指导的深度图像超分辨率(SR)重建方法,参考图像必须为高分 辨率彩色图像,彩色图像的分辨率决定了深度图像的放大上限。同时,实际应用中可能只存在低 分辨率彩色图像,此时上述方法也不再适用。为此,探讨使用任意分辨率彩色图像为指导的深度 图像SR 重建方法。首先,使用大量不同类别的图像SR 算法对输入彩色图像进行上采样,得到 高分辨率彩色图像并以此作为指导图像,然后采用基于二阶总广义变分方法,将由低分辨率彩色 图像重建得到的图像作为正则约束项,添加图像边缘信息,构建目标函数,将深度图像SR 重建 问题转化为最优化问题,再通过原-对偶方法求解,最终得到高分辨率深度图像。探讨了之前被 相关方法所忽略的情形,该方法可以适用于任意分辨率的彩色指导图像。并且通过相关实验发现 了令人惊异的现象,即通过使用低分辨率彩色图像放大后作为指导,可以得到与使用高分辨率彩 色指导图像相近甚至更好的结果,对相关问题的研究和应用具有一定参考意义。     

基于邻域扩展的半自动2D转3D方法*

半自动2D转3D是解决当前3D影视内容匮乏的重要途径,其核心是将用户分配的稀疏深度转换成稠密深度。现有方法大多借助局部邻域进行深度插值,忽略了图像的全局约束关系,因而难以准确恢复深度图的对象边界。针对该问题,提出邻域扩展的最优化深度插值方法。首先引入邻域的邻域,建立邻域扩展的最优化深度插值能量模型;其次在相似的像素点与其邻域加权深度平均值的差异近似相等的假设条件下,将深度插值能量模型的最优化问题转换成一个稀疏线性方程组的求解问题。实验结果表明,与当前流行的半自动2D转3D方法相比,本文方法估计的深度图PSNR更高,同时增强了深度图的对象边界质量。