融合灰色尺度的代价聚合的立体匹配

由粗略到精细,分层策略和跨尺度的代价聚合在一定程度上有效地扩展了代价聚集并且能够生成高精度的视差图.这类方法致力于在弱纹理区域找到正确的匹配点从而提高匹配率.然而,这类方法必须以多尺度为前提,通常需要借助图像金字塔.另外,误差的传播以及薄壁结构的复原不理想限制了它们的应用.针对弱纹理匹配的问题,提出了一种通用的融合灰色尺度的代价聚合的立体匹配框架.鉴于高斯滤波后的灰度图像能够更好地表示匹配图像对中的弱纹理区域,该代价聚合融合了灰度图像的代价聚合.同时,算法不需要降采样以及建立图像金字塔,这加快了聚合速度.此外,还引入了引导图像滤波和快速加权中值滤波,用于代价聚合和视差求精.同时,在进行视差选择时,为了避免WTA（winner-take-all）带来的歧义,利用代价聚合后最小值和次小值之间的相互关系来确定最后的视差值.最终,在Middlebury测试平台上的实验结果表明：融合灰色尺度的代价聚合的立体匹配能够有效地提高视差的精度.     

基于自适应匹配窗及多特征融合的立体匹配*

针对局部立体匹配方法中存在的匹配窗口大小选择困难、边缘处视差模糊及弱纹理区域、斜面或曲面匹配精度较低等问题,提出基于CIELAB空间下色度分割的自适应窗选取及多特征融合的局部立体匹配算法.首先,在CIELAB空间上对立体图像对进行色度分割,依据同质区域的分布获取初始匹配支持域,同时估计遮挡区域,更新匹配支持域.然后,基于更新后的匹配支持域,采用自适应权值的线性加权多特征融合匹配方法得到初始视差图.最后,利用左右视差一致性检测方法进行误匹配检验,利用基于分割的均值滤波器进行视差优化及细化,得到稠密匹配视差结果.实验表明文中算法有效,匹配精度较高,尤其在弱纹理区域及斜面等情况下匹配效果较好.     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

基于引导信息的双目立体匹配算法

针对现有立体匹配算法在边缘、遮挡、视差不连续、弱纹理等区域匹配误差较大的问题,提出一种在利用视差注意力机制的基础上引入边缘和语义信息的立体匹配算法。在利用视差注意力机制进行代价计算和代价聚合中引入边缘细节信息改善边缘和遮挡区域匹配误差较大的问题,并对引入边缘信息时与特征提取过程中得到的不同尺度特征图融合的时机进行了讨论,确定浅层大尺度特征图引入边缘信息可以提高匹配精度;在视差优化中引入语义信息改善视差不连续和弱纹理区域匹配精度不高的问题,并对不同尺度特征图求取的语义信息对匹配精度的影响进行讨论,利用深层小尺度特征图提取语义信息可以提高匹配精度。提出的方法在SceneFlow数据集上进行了测试,将基准网络PASMNet的误差降低了49.05%,并与其他算法进行对比分析。实验结果表明,边缘和语义等引导信息的引入有针对性地改善了现有算法在边缘、遮挡、视差不连续和弱纹理区域的视差精度,从而提高了整体预测精度。     

基于图像分割的立体匹配算法

针对在立体匹配中弱纹理及纯色区域匹配不准确和图像分割算法耗时较多的问题,提出一种融合图像分割的立体匹配算法。首先,将初始图像进行高斯滤波和Sobel平滑的处理,获取图像的边缘特征图;然后,将原图的红、绿、蓝三个通道值采用最大类间方差法进行二分类,再融合得到分割模板图;最后,将所得到的灰度图、边缘特征图和分割模板图用于视差计算和视差优化的过程,计算得到视差图。相比绝对差值和(SAD)算法,所提算法在精度上平均提升了14.23个百分点,时间开销上平均每万个像素点只多消耗了7.16 ms。实验结果表明,该算法在纯色及弱纹理区域和视差不连续区域取得了更加平滑的匹配结果,在图像分割上能够自动计算阈值且能够较快地对图像进行分割。     

多特征融合和自适应聚合的立体匹配算法研究

针对局部立体匹配在光照失真和弱纹理区域匹配精度低的问题,提出了一种多特征融合的代价计算和自适应十字窗口聚合的立体匹配算法。引入HSV颜色空间分量,结合改进后的Census变换和梯度信息作为匹配代价计算方法,排除了视差边界异常值的影响,增强了算法对光照失真的稳健性;提出了基于梯度信息和可变颜色阈值的自适应窗口代价聚合方法,提高了在弱纹理区域的匹配精度;通过视差计算和多步骤的视差精细得到了最终的视差结果。实验结果表明,所提算法较AD-Census算法在无光照失真条件下误匹配减少了3.24%,能有效解决视差边界和弱纹理区域错误匹配的问题,对光照失真稳健性好且能有效抑制噪声干扰。     

融合多特征表示和超像素优化的双目立体匹配

针对目前许多局部双目立体匹配方法在缺乏纹理区域、遮挡区域、深度不连续区域匹配精度低的问题,提出了基于多特征表示和超像素优化的立体匹配算法。通过在代价计算步骤中加入边缘信息特征,与图像局部信息代价相融合,增加了在视差计算时边缘区域的辨识度;在代价聚合步骤,基于超像素分割形成的超像素区域,利用米字骨架自适应搜索,得到聚合区域,对初始代价进行聚合;在视差精化步骤利用超像素分割信息,对匹配错误视差进行修正,提高匹配精度。基于Middlebury立体视觉数据集测试平台,与自适应权重AD-Census、FA等方法得出的视差图进行比较,该算法在深度不连续区域和缺乏纹理区域的匹配效果显著改善,提高了立体匹配精度。     

基于图像分割的自适应窗口双目立体匹配算法研究

针对传统双目立体匹配算法采用固定窗口导致弱纹理区域匹配精度较低的问题,提出了一种基于图像分割的自适应窗口立体匹配算法.首先,采用Mean-shift算法对图像进行分割,之后对分割图像进行局部子区灰度标准差统计,在此基础上提出了一种根据纹理丰富程度进行窗口大小自适应设定的算子.基于自适应窗口大小设定,组合使用Census变换和梯度值计算匹配代价,并分别通过自适应权重代价聚合及"胜者为王"策略进行初始视差计算,最后利用左右视差一致性原则和加权中值滤波得到稠密视差图.采用提出的自适应窗口匹配算法与固定窗口匹配算法对Middlebury数据集上的标准图片进行匹配实验,实验结果表明,所提算法的平均匹配错误率为2.04％,相比对比算法,所提方法的匹配错误率分别降低了4.5％和7.9％.     

基于自适应极线距离变换的立体匹配

针对极线距离变换对噪声的敏感性及其在不连续区域匹配的不确定性,提出一种基于自适应极线距离变换的立体匹配算法.自适应极线距离变换利用图像结构特征,提出迭代目标尺度算法与区域不连续图来自适应选择极线距离变换参数,将图像的强度信息转化为沿着极线局部分割区域的相对位置信息,在区分低纹理区域像素点的同时保持了图像边缘信息;采用局部极小窗口均值计算分割线长度,有效地提高了低纹理区域对噪声的鲁棒性.对多幅真实图像的实验结果表明,自适应极线距离变换对低纹理区域以及不连续区域是有效的,且采用变换后图像计算视差的立体匹配算法,有效地降低了图像边缘点和噪声点等不连续区域的误匹配率,提高了图像匹配精度.     

An improved graph cut algorithm in stereo matching

In stereo matching tasks, the matching effect is often very poor when the texture of the region is weak or repeated. To solve this problem, an improved Graph Cut stereo matching algorithm based on Census transform is proposed. The Hamming distance of the corresponding pixels in the left and right images after Census transform is introduced as the similarity measure in the data term of the energy function. In this way, the dependence on the pixel value is reduced. The stereo matching experiments are implemented on the standard images of Middlebury stereo benchmark and the real scene images, and it demonstrates that our algorithm is robust and can obtain better performance in weak texture or repeated texture region.     

根据灰度值信息自适应窗口的半全局匹配

目的 立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法 以通过AD（absolute difference）算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果 实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2.29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28.5%。结论 加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

基于多尺度特征递归卷积的稠密点云重建网络

针对在三维重建任务中,由于弱纹理区域的光度一致性测量误差较大,使得传统的多视图立体算法难以处理的问题,提出了一种多尺度特征聚合的递归卷积网络(MARDC-MVSNet),用于弱纹理区域的稠密点云重建。为了使输入图像分辨率更高,该方法使用一个轻量级的多尺度聚合模块自适应地提取图像特征,以解决弱纹理甚至无纹理区域的问题。在代价体正则化方面,采用具有递归结构的分层处理网络代替传统的三维卷积神经网络(CNN),极大程度地降低了显存占用,同时实现高分辨率重建。在网络的末端添加一个深度残差网络模块,以原始图像为指导对正则化网络生成的初始深度图进行优化,使深度图表述更准确。实验结果表明,在DTU数据集上取得了优异的结果,该网络在拥有较高深度图估计精度的同时还节约了硬件资源,且能扩展到航拍影像的实际工程之中。     

Hierarchical stereo matching with image bit-plane slicing

We propose a new stereo matching framework based on image bit-plane slicing. A pair of image sequences with various intensity quantization levels constructed by taking different bit-rate of the images is used for hierarchical stereo matching. The basic idea is to use the low bit-rate image pairs to compute rough disparity maps. The hierarchical matching strategy is then carried out iteratively to update the low confident disparities with the information provided by extra image bit-planes. It is shown that, depending on the stereo matching algorithms, even the image pairs with low intensity quantization are able to produce fairly good disparity results. Consequently, variate bit-rate matching is performed only regionally in the images for each iteration, and the average image bit-rate for disparity computation is reduced. Our method provides a hierarchical matching framework and can be combined with the existing stereo matching algorithms. Experiments on Middlebury datasets show that the proposed technique gives good results compared to the conventional full bit-rate matching.     

基于视觉显著性的区域立体匹配算法

针对区域立体匹配算法对光照变化敏感,视差图存在目标和弱纹理区域的错配、边界不平滑等问题,提出一种利用视觉显著性特征改进的快速区域立体匹配算法。该算法先利用显著性检测定位图像主要目标区域;再结合索贝尔(Sobel)边缘特征和相角特征完成特征匹配、得到粗视差图;最后通过检测粗视差图中的视觉显著性,消除图像弱纹理区域的突兀噪声。相比绝对误差累计(SAD)、平方误差累计(SSD)和归一化灰度互相关(NCC)算法,所提算法对光照变化不敏感,得到的视差图完整,匹配率高,有利于实时系统应用。     

彩色图像非参数变换立体匹配研究

将非参数Rank变换引用到彩色图像的立体配算法中,采用绝对值指数方法来计算像素的颜色相似性,对彩色图像进行一种分等级的改进Rank变换,将彩色图像转变了一个整数矩阵,然后建立一种新的匹配测度,同时加入色差梯度约束进行匹配。通过对比实验,表明这种新的匹配基元进行匹配,与直接采用灰度特征作为匹配基元的算法相比,有更好的抗噪性和匹配准确性。