基于自适应权重的遮挡信息立体匹配算法

针对传统局部立体匹配算法在深度不连续区域误匹配率高的问题,提出一种基于自适应权重的遮挡信息立体匹配算法。首先,采用左右一致性检测算法检测参考图像与目标图像的遮挡区域;然后利用遮挡信息,在代价聚合阶段降低遮挡区域像素点所占权重,在视差优化阶段采用扫描线传播方式选择水平方向最近点填充遮挡区域的视差;最后,根据Middlebury数据集提供的标准视差图为视差结果计算误匹配率。实验结果表明,基于自适应权重的遮挡信息匹配算法相对于自适应权重算法误匹配率降低了16%,并解决了局部立体匹配算法在深度不连续区域误匹配率高的问题,提高了算法的匹配精确性。     

基于改进Census变换的多特性立体匹配算法

针对当前立体匹配算法存在的匹配准确率低，难以达到实用的高精度水平的问题，提出了一种基于改良的Census变换与色彩信息和梯度测度相结合的多特性立体匹配算法，实现高精度的双目立体匹配。算法首先在初始代价匹配阶段，将改进的Census变换、色彩和梯度测度赋权求和得出可靠的初始匹配代价；在聚合阶段，采取高效快捷的最小生成树聚合，获得匹配代价矩阵；最后根据胜者为王法则得到初始视差图，并引入左右一致性检测等策略优化视差图，获得高精度的视差图，实验阶段对源自Middlebury上的标准测试图进行测试验证，实验结果表明，经本文算法处理得到的15组测试数据集的视差图在非遮挡区域的平均误匹配率为6.81%，算法实时响应性优良。     

基于融合代价和优化引导滤波的立体匹配算法

现有局部立体匹配算法与全局立体匹配算法相比,计算量更小、速度更快,能达到实时匹配的要求,但存在误匹配率较高、视差结果精度较低等问题。提出一种新的局部立体匹配算法,依据像素梯度信息、像素梯度的平均值及标准差计算多指标梯度代价,使算法对图像局部结构的表达更加全面。根据像素的灰度差异程度划分等级,提出7等级编码的精细化Census变换匹配代价,以有效识别图像信息之间的细微差异,弥补Census变换在相似纹理区域精度较低的不足。将多指标梯度代价和精细化Census变换匹配代价按一定权重进行融合,形成初始匹配代价,从而充分发挥两种代价的优越性。在代价聚合阶段,对引导滤波的线性系数进行自适应优化,解决固定参数引起图像局部过于平滑或平滑不足的问题,并使用优化后的引导滤波模型进行代价聚合,改善代价聚合的效果。使用胜者为王算法计算视差获得初始视差图,最后通过左右一致性检测和加权中值滤波进行视差优化,得到更为理想的视差图。在Middlebury V3立体评估平台上的实验结果表明,所提算法在非遮挡区域的加权平均误匹配率为15.7%,与Cens5、IGF、ISM等算法相比具有较高的精度。     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

基于自适应参数的非局部立体匹配算法

针对现有非局部立体匹配算法在不同纹理图像下因选取固定参数而导致整体误匹配率偏高的问题,提出一种自适应参数的非局部立体匹配算法。对颜色差和水平及垂直方向梯度代价进行归一化处理并加权融合,通过对融合后代价作对数变换,提高了单像素匹配代价在低纹理区域表现;在色度,饱和度,纯度(HSV)颜色空间上,计算参考图的平均色度差,自适应调节代价聚合参数;经过视差选择获得视差图。实验结果表明:所提算法在Middlebury测试平台对31组立体图像对处理后的平均误差为7. 86%。在低纹理区域误匹配率进一步降低,具有更好的泛化性。     

三种测度融合的加权引导滤波匹配算法

针对立体匹配算法中,census变换在弱纹理区域具有较好效果,但忽略了图像的灰度信息,造成在重复纹理区域匹配效果不理想,提出了一种改进的census变换。在初始匹配代价阶段,设计了一种在census变换的基础上融合互信息和梯度信息的相似性测度算法。在代价聚合阶段,采用自适应权重引导滤波聚合策略。最后,通过视差计算、视差优化得到最终的视差图。在VS2015软件平台上对Middlebury网站上提供的标准测试图进行实验,实验结果表明,所提算法能够得到较为准确的视差图,平均误匹配率为5.29%,可以满足三维重构的需要。     

基于多尺度卷积神经网络的立体匹配算法研究

针对传统障碍物检测中的立体匹配算法存在特征提取不充分，在复杂场景和光照变化明显等区域存在误匹配率较高，算法所获视差图精度较低等问题，提出了一种基于多尺度卷积神经网络的立体匹配方法。首先，在匹配代价计算阶段，建立了一种基于多尺度卷积神经网络模型，采用多尺度卷积神经网络捕获图像的多尺度特征。为增强模型的抗干扰和快速收敛能力，在原有损失函数中提出改进，使新的损失函数在训练时可以由一正一负两个样本同时进行训练，缩短了模型训练时间。其次，在代价聚合阶段，构造一个全局能量函数，将二维图像上的最优问题分解为四个方向上的一维问题，利用动态规划的思想，得到最优视差。最后，通过左右一致性检测对所得视差进行进一步精化，得到最终视差图。在Middlebury数据集提供的标准立体匹配图像测试对上进行了对比实验，经过实验验证算法的平均误匹配率为4.94%，小于对比实验结果，并提高了在光照变化明显以及复杂区域的匹配精度，得到了高精度视差图。     

结合图像分割的半全局立体匹配算法

针对半全局立体匹配(semi global matching,SGM)算法对于视差突变的像素给定一个统一的惩罚,会导致边界的模糊以及弱纹理、遮挡区域误匹配的问题,提出加入图像分割的SGM算法。该算法首先在代价计算过程中采用灰度绝对差(absolute difference,AD)变换,保证实时性;然后在代价聚合部分采用改进的SGM算法,使算法具有较强的鲁棒性及较高精确度的同时,降低了在弱纹理、遮挡区域的误匹配率;在视差选择部分,通过抛物线拟合法得到亚像素级分辨率视差;在视差优化步骤中,利用左右一致性检测对遮挡点进行检测,并在此基础上对无效视差值进行赋值填充;最后使用中值滤波进行优化,确保影像的清晰度和完整性。实验结果表明,该算法可有效降低在弱纹理及遮挡区域的误匹配率,满足立体匹配的需求。     

快速视差范围估计算法及其应用

视差范围估计在立体匹配中非常重要,准确的视差范围能提高立体匹配的精度和速度.为此提出一种基于匹配代价搜索和图像细分的快速视差范围估计算法.该算法将输入图像均匀分成多个图像块,采用匹配代价搜索计算每一图像块的视差,找到视差最大(最小)的图像块,并利用迭代细分规则将该图像块继续分成更小的子块,直至得到稳定的最大(最小)视差;利用匹配代价图对图像块进行可靠性检测,以解决弱纹理块容易误匹配的问题.实验结果表明,文中算法在保持97.3%的平均命中率的同时将立体匹配的平均搜索空间降低了27.7%,比采用传统算法可以得到更准确的视差范围;将该算法应用于立体匹配算法中降低了其平均误匹配率,并将计算时间缩短了20%~45%.     

融合多特征表示和超像素优化的双目立体匹配

针对目前许多局部双目立体匹配方法在缺乏纹理区域、遮挡区域、深度不连续区域匹配精度低的问题,提出了基于多特征表示和超像素优化的立体匹配算法。通过在代价计算步骤中加入边缘信息特征,与图像局部信息代价相融合,增加了在视差计算时边缘区域的辨识度;在代价聚合步骤,基于超像素分割形成的超像素区域,利用米字骨架自适应搜索,得到聚合区域,对初始代价进行聚合;在视差精化步骤利用超像素分割信息,对匹配错误视差进行修正,提高匹配精度。基于Middlebury立体视觉数据集测试平台,与自适应权重AD-Census、FA等方法得出的视差图进行比较,该算法在深度不连续区域和缺乏纹理区域的匹配效果显著改善,提高了立体匹配精度。     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

基于改进自适应权重的三边滤波立体匹配算法

针对基于双边滤波器（BF）的自适应权重（ASW）方法不能有效解决由视差不同但颜色相似的像素引起的模糊匹配问题,引入了一种新的基于三边滤波器（TF）的ASW方法,通过局部能量模型计算相邻像素之间的边界强度来提高匹配精度。为了提高匹配速度,将TF算法递归实现,把普通局部立体匹配算法的复杂度从[O(NWD)]降低为[O(N)]。在Middlebury基准测试集上进行实验并与其他局部立体匹配算法进行比较,RTF算法的平均误匹配率为4.91%,匹配精度高于同类型双目立体匹配算法,平均匹配速度达到258 ms,满足了双目立体匹配实时性的需求。     

基于FPGA的双目立体视觉系统

立体视觉的目的之一就是为了获得周围场景的3维信息,其关键在于匹配算法。然而即便是使用目前先进的通用处理器,其计算致密视差图所需的时间仍无法满足高速自主导航的需求。为了解决这个问题,提出了一种基于现场可编程门阵列(FPGA)的双目立体视觉系统的设计方案,同时介绍了系统的硬件结构,并在讨论区域匹配的快速算法的基础上,提出了基于FPGA的像素序列和并行窗口算法框架,用以实现零均值像素灰度差平方和(ZSSD)的匹配算法。该算法是先将视频信号经解码芯片生成场景立体图像对,并由FPGA来完成立体图像对的几何校正和ZSSD匹配算法,然后将获得的致密视差图通过PC I总线发送至上位机。实践表明,该算法效果好、速度快,不仅具有较强的鲁棒性,并且硬件系统性能稳定、可靠。此外,该方案还适用于像素灰度差的绝对值和(SAD)和像素灰度差的平方和(SSD)等多种传统区域匹配算法的快速实现和实时处理。     

基于差值绝对值之和和置信传播的快速收敛立体匹配算法

针对传统置信传播（BP）立体匹配算法运算次数较多、效率低下的问题,提出了一种基于像素灰度绝对误差和（SAD）和BP的快速收敛立体匹配算法。首先使用SAD作为代价函数来计算初始视差值,并将可靠视差值作为约束项加入全局算法BP的能量函数中,进行全局的能量函数的优化;然后在优化过程中更新计算每个像素点的置信度时,考虑当前像素点自适应大小邻域内像素点对它的信息传递,而忽略距离较远的像素点的影响,从而减少了置信传播节点数并提高了置信度收敛的速度。实验结果表明,提出的算法在保持相近匹配精度的前提下,运行时间减少了50%~60%,提高了立体匹配效率,为实时应用打下了基础。     

根据灰度值信息自适应窗口的半全局匹配

目的 立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法 以通过AD（absolute difference）算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果 实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2.29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28.5%。结论 加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。     

基于自适应迭代松弛的立体点对匹配鲁棒算法

图像匹配是立体视觉的重要部分,也是双目立体测量系统必须解决和最难解决的问题。为了对图像进行鲁棒性匹配,提出了一种基于自适应迭代松弛的立体点对匹配方法。该方法首先利用视差梯度约束来构造匹配支持度函数;然后通过松弛方法优化该函数来完成立体点对的匹配。由于利用了动态更新松弛匹配过程参数的方法,因此有效地降低了误匹配率和误剔除率。在此基础上还提出了对松弛过程结束后的匹配结果,再次使用视差梯度约束来进行进一步检验的策略,该策略能够以一定幅度的误剔除率提升为代价,大幅度降低了误匹配率,从而可满足许多要求严格限制误匹配率的应用。实验结果证明,该新算法是有效的,并已经用于一个双目立体测量原型系统当中。     

基于mean-shift全局立体匹配方法

针对图像全局立体匹配精度高、计算量大的问题,提出基于mean shift图像分割的全局立体匹配方法。首先,通过mean shift算法对图像进行分割,获取图像同质区域数量和区域的标号。在计算匹配代价时,根据像素所属的分割区域,对像素进行筛选,从而提高匹配代价计算速度;其次,在代价聚合前,将mean shift算法获取的同质区域数K值赋值给K-means聚类算法,对像素再次聚类,提高立体匹配精度和速度;最后通过TRW-S置信传播解决能量最小化问题。实验表明,该算法明显提高了匹配的准确性和速度,与单纯的全局匹配算法相比,具有更大的优势。     

GPU近实时线性双目立体代价聚合

目的 近年来双目视觉领域的研究重点逐步转而关注其“实时化”策略的研究,而立体代价聚合是双目视觉中最为复杂且最为耗时的步骤,为此,提出一种基于GPU通用计算(GPGPU)技术的近实时双目立体代价聚合算法。方法 选用一种匹配精度接近于全局匹配算法的局部算法——线性立体匹配算法(linear stereo matching)作为代价聚合策略;结合线性代价聚合的原理,对其主要步骤(代价计算、均值滤波及系数求解等)的计算流程进行有针对性地并行优化。结果 对于相同的实验样本,用本文方法在NVIDA GTX780 实验平台上能在更短的时间计算出代价矩阵,与原有的CPU实现方法相比,代价聚合的效率平均有了数十倍的提升。结论 实时双目立体代价聚合方法,为在个人通用PC平台上实时获取高质量双目视觉深度信息提供了一个高效可靠的途径。