多元线性回归引导的立体匹配算法

深度图像中视差跳变的像素点匹配一直是立体匹配的挑战性问题之一.基于引导滤波的局部立体匹配算法通过考虑匹配图像内容,可以在保持深度图像边缘的同时提高匹配精度、加快匹配速度,但引导滤波会产生图像光晕,在图像边缘区域也会引入大量的噪声.为此,将引导滤波的岭回归扩展到多元回归,提出一种基于多元线性回归的立体匹配算法.首先将引导滤波中只含图像像素值这一单变量的回归方程扩展为基于图像像素值和梯度信息等多个变量的多元回归方程,对初始代价值进行滤波聚合,并与单独进行引导滤波的匹配代价聚合值进行加权组合提高图像边缘的匹配效果;然后根据代价聚合最小值与次小值之间的相互关系定义了视差选择可信度,解决了视差选择时的歧义问题.在Middlebury测试平台进行了实验的结果表明,文中算法有效地提高深度图像中视差跳变像素点的匹配精度,降低了匹配噪声;与最新的高性能立体匹配算法相比,该算法可以以较小的计算复杂度获得高质量的视差图.     

一种利用动态规划和左右一致性的立体匹配算法

立体匹配是计算机视觉领域研究的一个重要课题,为了得到准确、稠密的视差图,提出了一种利用动态规划和左右一致性的立体匹配算法。该算法首先分别以左、右图像为基元图像,计算各自的视差空间图像,在视差空间图像上利用动态规划,计算得到左视差图和右视差图;然后通过使用左右视差图之间的一致性关系,消除误匹配点,得到较为准确的部分视差图;最后利用视差图的顺序约束关系,给出未匹配视差点的搜索空间计算方法,并利用一种简单有效的方法来计算这些点的视差值。在一些标准立体图像对上所做的实验结果表明,该算法效果良好。     

一种基于双向互匹配的视差图算法

提出一种视差图生成算法,利用左图像和右图像双向互匹配的的方法,从图像中获取左-右和右-左的视差图和梯度场,接着采用Winner-Take-All策略,对两幅视差图像进行匹配,得到初始视差图。最后,对视差图上存在的误匹配点进行优化。通过实验验证,该算法能够有效地提高匹配视差图的准确度。     

一种基于曲率与置信度传播的视差估计方法

常用的匹配代价容易受到光晕效应等复杂光学畸变的影响。文中通过对相机成像模型的分析,从理论上证明基于曲率的匹配代价对光晕具有较强的鲁棒性。提出一种在积分图像上对基于曲率的匹配代价进行计算的方法,有效提高算法速度。最后,将曲率约束引入到置信度传播算法正则项的设计中,抑制置信度在深度不连续区域之间的传递,防止过平滑现象的产生。实验结果验证文中方法的有效性。     

基于自适应权重的立体匹配优化算法

为解决现有立体匹配算法对低纹理以及视差不连续区域匹配效果较差的问题,提出一种改进的立体匹配优化算法。在传统自适应权重算法匹配代价的基础上,融合高斯差分图像差分信息,即左右图像高斯差分图的差分,重新定义其初始匹配代价,增加算法在视差不连续区域的鲁棒性,并加入边缘约束和视差边缘约束迭代聚类以及基于高斯差分图的自适应窗口算法,保证改进算法在低纹理区域的匹配性能,消除坏点与视差空洞。将该算法与传统自适应权重匹配算法分别在Middlebury数据集上进行匹配实验,结果表明,该算法平均性能提升了15.05%,明显优于传统自适应权重匹配算法。     

快速视差范围估计算法及其应用

视差范围估计在立体匹配中非常重要,准确的视差范围能提高立体匹配的精度和速度.为此提出一种基于匹配代价搜索和图像细分的快速视差范围估计算法.该算法将输入图像均匀分成多个图像块,采用匹配代价搜索计算每一图像块的视差,找到视差最大(最小)的图像块,并利用迭代细分规则将该图像块继续分成更小的子块,直至得到稳定的最大(最小)视差;利用匹配代价图对图像块进行可靠性检测,以解决弱纹理块容易误匹配的问题.实验结果表明,文中算法在保持97.3%的平均命中率的同时将立体匹配的平均搜索空间降低了27.7%,比采用传统算法可以得到更准确的视差范围;将该算法应用于立体匹配算法中降低了其平均误匹配率,并将计算时间缩短了20%~45%.     

结合传播滤波的立体匹配算法研究

针对局部立体匹配算法在边缘处容易出现误匹配的问题,本文提出了一种结合权值传播进行代价聚合的局部立体匹配方法。首先采用基于颜色梯度的绝对差及Census方法构造了匹配代价函数;然后,引入传播滤波平滑匹配代价的同时保持视差空间图像边缘,与其他局部滤波器相比,该滤波器利用可传播的权值思想,不受传统局部算法窗口大小的影响;最后,通过左右一致性检查和无效视差值填充获得最终视差图。实验表明,该方法在Middlebury Stereo数据集上可获得精确结果,与Middlebury测试平台上的IGF、TSGO和Dog-Guided算法相比平均误差最低。     

基于线性滤波的树结构动态规划立体匹配算法

传统的动态规划立体匹配算法能有效保证匹配精度的同时提高运行速度, 但得到的视差深度图会出现明显的条纹现象,同时在图像弱纹理区域以及边缘存在较高的误匹配. 针对该问题,提出了一种新的基于线性滤波的树形结构动态规划立体匹配算法. 算法首先运用改进的结合颜色和梯度信息参数可调的自适应测度函数构建左右图像的匹配代价, 然后以左图像为引导图对构建的匹配代价进行滤波; 再运用行列双向树形结构的动态规划算法进行视差全局优化, 最后进行视差求精得到最终的视差图.理论分析和实验结果都表明, 本文的算法能有效地改善动态规划算法的条纹现象以及弱纹理区域和边缘存在的误匹配.     

垂直交叉双向搜索策略的自适应窗口匹配算法

目的 基于区域的局部匹配算法是一种简单高效的立体匹配方法.针对局部算法中窗口的抉择问题,提出了基于垂直交叉双向搜索的自适应窗口匹配算法.方法 该算法考虑到局部区域内灰度值与视差值的相关性,通过垂直交叉双向搜索策略自适应地调节窗口的形状和大小,并获得相应掩码窗口;再利用积分图像计算掩码窗口的匹配代价,获取视差图;最后采用米字投票和双边滤波器两个步骤对视差图进行修复.结果 针对不同图像采用提出的自适应窗口算法,得到了适用于各种图像结构的匹配窗口,相较于原始垂直交叉算法的匹配精度提高了约30％ (Teddy),同时两步骤视差后处理较好地保持了图像边缘.结论 实验结果表明,该算法改善了规则窗口产生的视差边缘扩充问题,在提高视差精度的同时提高了算法鲁棒性.     

融合灰色尺度的代价聚合的立体匹配

由粗略到精细,分层策略和跨尺度的代价聚合在一定程度上有效地扩展了代价聚集并且能够生成高精度的视差图.这类方法致力于在弱纹理区域找到正确的匹配点从而提高匹配率.然而,这类方法必须以多尺度为前提,通常需要借助图像金字塔.另外,误差的传播以及薄壁结构的复原不理想限制了它们的应用.针对弱纹理匹配的问题,提出了一种通用的融合灰色尺度的代价聚合的立体匹配框架.鉴于高斯滤波后的灰度图像能够更好地表示匹配图像对中的弱纹理区域,该代价聚合融合了灰度图像的代价聚合.同时,算法不需要降采样以及建立图像金字塔,这加快了聚合速度.此外,还引入了引导图像滤波和快速加权中值滤波,用于代价聚合和视差求精.同时,在进行视差选择时,为了避免WTA（winner-take-all）带来的歧义,利用代价聚合后最小值和次小值之间的相互关系来确定最后的视差值.最终,在Middlebury测试平台上的实验结果表明：融合灰色尺度的代价聚合的立体匹配能够有效地提高视差的精度.     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

Shape-indifferent stereo disparity based on disparity gradient estimation

A new algorithm capable of estimating disparity gradients to produce accurate dense disparities is proposed. Such a disparity gradient plays a critical role in acquiring accurate disparities for scenes with many different object shapes. The target is a road traffic scene because it contains various objects, including the road surface, vehicles, pedestrians, sidewalks, and walls. In this paper, we adopt several methods, such as initial matching cost computation, scanline optimization, left/right consistency check, and cost aggregation. However, disparity accuracy is slightly improved by the simple organization of such methods. Disparity quality decisively relies on the application of disparity gradients. Accordingly, in the proposed algorithm, cost aggregation is performed along the direction of the estimated disparity gradient in a disparity space image. This approach improves disparity quality significantly. However, this cost aggregation is time consuming. To reduce the time required, we designed a new 2D integral cost technique. The robustness of the proposed algorithm is demonstrated through the disparity maps obtained from standard images on the Web, indoor images, and outdoor images of various road traffic scenes.     

多测度融合的立体匹配算法研究

摘 要：针对多测度融合的立体匹配算法的测度选择问题,提出一种基于测度互补系数的 测度选择方法。通过该方法选择多种测度进行融合作为匹配代价,并使用改进的半全局算法进 行代价聚合,实现多测度融合的立体匹配算法。首先定义互补系数,通过互补系数选择多种相 似性测度进行融合作为匹配代价;然后,针对半全局代价聚合使用随机初始化视差图导致立体 匹配效果较差的问题,使用基于 SURF 特征得到的视差作为初始视差进行半全局代价聚合;最 后计算视差并优化视差得到最终视差图。实验表明,使用该测度选择方法可以选择互补特征, 结合改进的半全局代价聚合方法可以提高立体匹配效果。     

基于区域间协同优化的立体匹配算法

提出了一种基于分割区域间协同优化的立体匹配算法. 该算法以图像区域为匹配基元, 利用区域的彩色特征以及相邻区域间应满足的平滑和遮挡关系定义了区域的匹配能量函数, 并引入区域之间的合作竞争机制, 通过协同优化使所定义的匹配能量极小化, 从而得到比较理想的视差结果. 算法首先对参考图像进行分割, 利用相关法得到各分割区域的初始匹配; 然后用平面模型对各区域的视差进行拟合, 得到各区域的视差平面参数; 最后, 基于协同优化的思想, 采用局部优化的方法对各区域的视差平面参数进行迭代优化, 直至得到比较合理的视差图为止. 采用Middlebury test set进行的实验结果表明, 该方法在性能上可以和目前最好的立体匹配算法相媲美, 得到的视差结果接近于真实视差.     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

结合可变形卷积与双边网格的立体匹配网络

双目立体匹配被广泛应用于无人驾驶、机器人导航、增强现实等三维重建领域。在基于深度学习的立体匹配网络中采用多尺度2D卷积进行代价聚合,存在对目标边缘处的视差预测鲁棒性较差以及特征提取性能较低的问题。提出将可变形卷积与双边网格相结合的立体匹配网络。通过改进的特征金字塔网络进行特征提取,并将注意力特征增强、注意力机制、Meta-ACON激活函数引入到改进的特征金字塔网络中,以充分提取图像特征并减少语义信息丢失,从而提升特征提取性能。利用互相关层进行匹配计算,获得多尺度3D代价卷,采用2D可变形卷积代价聚合结构对多尺度3D代价卷进行聚合,以解决边缘膨胀问题,使用双边网格对聚合后的低分辨率代价卷进行上采样,经过视差回归得到视差图。实验结果表明,该网络在Scene Flow数据集中的端点误差为0.75,相比AANet降低13.8%,在KITTI2012数据集中3px的非遮挡区域误差率为1.81%,能准确预测目标边缘及小区域处的视差。     

利用立体图对的三维人脸模型重建算法

利用人脸正面立体图对重建三维人脸模型。无需三维激光扫描仪和通用人脸模型．获取立体图对并校正后,利用种子像素扩张算法实现图像匹配．种子像素选取算法能使足够数量的种子像素具有可靠视差;还提出了基于视差置信度的扩张算法,降低了视差图中大面积误匹配区域出现的可能性;最后,利用碟状粒子描述和Delaunay三角剖分重建三维人脸模型．实验结果表明,文中算法能够产生光滑逼真的三维人脸模型．     

Evaluation of Stereo Matching Costs on Images with Radiometric Differences

Stereo correspondence methods rely on matching costs for computing the similarity of image locations. We evaluate the insensitivity of different costs for passive binocular stereo methods with respect to radiometric variations of the input images. We consider both pixel-based and window-based variants like the absolute difference, the sampling-insensitive absolute difference, and normalized cross correlation, as well as their zero-mean versions. We also consider filters like LoG, mean, and bilateral background subtraction (BilSub) and nonparametric measures like Rank, SoftRank, Census, and Ordinal. Finally, hierarchical mutual information (HMI) is considered as pixelwise cost. Using stereo data sets with ground-truth disparities taken under controlled changes of exposure and lighting, we evaluate the costs with a local, a semiglobal, and a global stereo method. We measure the performance of all costs in the presence of simulated and real radiometric differences, including exposure differences, vignetting, varying lighting, and noise. Overall, the ranking of methods across all data sets and experiments appears to be consistent. Among the best costs are BilSub, which performs consistently very well for low radiometric differences; HMI, which is slightly better as pixelwise matching cost in some cases and for strong image noise; and Census, which showed the best and most robust overall performance.     

低通滤波下约束对数强度熵的图像渐晕校正

渐晕是图像中像素光强沿径向方向衰减的现象，为了解决其对计算机视觉任务和图像处理精度的影响，提出了低通滤波下约束对数强度熵的图像渐晕校正方法。首先，使用偶数项的六阶多项式函数建立渐晕模型；其次，通过低通滤波计算最小的目标图像对数强度熵，在目标值的约束下求出既满足渐晕函数变化规律又能减小图像的对数强度熵的渐晕模型的最优参数解；最后，对渐晕图像采用渐晕模型的逆向补偿校正渐晕。采用结构相似性指标（SSIM）和均方根误差(RMSE)度量渐晕校正效果，结果表明，所提方法不仅能有效恢复渐晕区域的亮度信息，得到真实、自然的无渐晕图像，而且能有效校正不同程度的渐晕，渐晕校正结果视觉一致性良好。