基于融合代价和优化引导滤波的立体匹配算法

现有局部立体匹配算法与全局立体匹配算法相比,计算量更小、速度更快,能达到实时匹配的要求,但存在误匹配率较高、视差结果精度较低等问题。提出一种新的局部立体匹配算法,依据像素梯度信息、像素梯度的平均值及标准差计算多指标梯度代价,使算法对图像局部结构的表达更加全面。根据像素的灰度差异程度划分等级,提出7等级编码的精细化Census变换匹配代价,以有效识别图像信息之间的细微差异,弥补Census变换在相似纹理区域精度较低的不足。将多指标梯度代价和精细化Census变换匹配代价按一定权重进行融合,形成初始匹配代价,从而充分发挥两种代价的优越性。在代价聚合阶段,对引导滤波的线性系数进行自适应优化,解决固定参数引起图像局部过于平滑或平滑不足的问题,并使用优化后的引导滤波模型进行代价聚合,改善代价聚合的效果。使用胜者为王算法计算视差获得初始视差图,最后通过左右一致性检测和加权中值滤波进行视差优化,得到更为理想的视差图。在Middlebury V3立体评估平台上的实验结果表明,所提算法在非遮挡区域的加权平均误匹配率为15.7%,与Cens5、IGF、ISM等算法相比具有较高的精度。     

基于改进Census变换的多特性立体匹配算法

针对当前立体匹配算法存在的匹配准确率低，难以达到实用的高精度水平的问题，提出了一种基于改良的Census变换与色彩信息和梯度测度相结合的多特性立体匹配算法，实现高精度的双目立体匹配。算法首先在初始代价匹配阶段，将改进的Census变换、色彩和梯度测度赋权求和得出可靠的初始匹配代价；在聚合阶段，采取高效快捷的最小生成树聚合，获得匹配代价矩阵；最后根据胜者为王法则得到初始视差图，并引入左右一致性检测等策略优化视差图，获得高精度的视差图，实验阶段对源自Middlebury上的标准测试图进行测试验证，实验结果表明，经本文算法处理得到的15组测试数据集的视差图在非遮挡区域的平均误匹配率为6.81%，算法实时响应性优良。     

邻域相关信息的改进Census变换立体匹配算法

针对传统Census变换在视差不连续区域和噪声干扰情况下误匹配率较高的情况,提出了一种利用邻域相关信息的改进Census变换立体匹配算法。根据邻域像素的相关信息,将传统的Census变换中像素与邻域像素的差异应用2位信息表示,使变换后的图像在视差不连续区域的信息表示更为丰富,同时减少噪声对匹配质量的影响。通过并行化自适应匹配代价聚合、亚像素插值、左右一致性约束、遮挡区插值,最终得到了稠密视差图。经Middlebury立体图片测试表明,该算法结构简单,复杂度低,具有较高的鲁棒性,有效地提高了匹配精度。     

一种新颖的自适应权重Census变换立体匹配算法

针对当前Census变换立体匹配算法深度不连续区域匹配精度低的缺陷,提出了一种新颖的自适应权重的Census变换立体匹配算法。在Census变换阶段计算变换窗口中心点上下左右四个像素的均值,得到中心点与该均值的差的绝对值,通过判断该绝对值的大小来确定中心点灰度值;为了有区别地对待窗口内各像素点,引入自适应权重,通过线性分段型函数计算自适应权值。在代价聚合阶段同样引入自适应权重并采用变化的聚合窗口,通过聚合窗口中心点和其左右两点的梯度值来确定聚合窗口的大小。实验结果表明,算法的匹配效果优于目前的Census变换立体匹配算法,在深度不连续区域匹配效果显著改善,而且没有明显降低实时性和增加硬件实现的难度。     

基于自适应权重的遮挡信息立体匹配算法

针对传统局部立体匹配算法在深度不连续区域误匹配率高的问题,提出一种基于自适应权重的遮挡信息立体匹配算法。首先,采用左右一致性检测算法检测参考图像与目标图像的遮挡区域;然后利用遮挡信息,在代价聚合阶段降低遮挡区域像素点所占权重,在视差优化阶段采用扫描线传播方式选择水平方向最近点填充遮挡区域的视差;最后,根据Middlebury数据集提供的标准视差图为视差结果计算误匹配率。实验结果表明,基于自适应权重的遮挡信息匹配算法相对于自适应权重算法误匹配率降低了16%,并解决了局部立体匹配算法在深度不连续区域误匹配率高的问题,提高了算法的匹配精确性。     

一种改进的实时半全局立体匹配算法及硬件实现

在基于现场可编程门阵列的实时立体匹配系统中,Census变换算法针对特定区域的误匹配率较高。为提高匹配精度,提出一种具有高并行性流水线结构的实时半全局立体匹配算法并进行硬件实现。将改进的Tanimoto距离和带权重4方向的梯度绝对值差进行组合,作为新的初始匹配代价。在代价聚合阶段采用4路径并行结构的SGM算法,在视差选择阶段采用赢家通吃策略,在视差校正阶段采用阈值检测算法代替传统左右一致性检验算法。实验结果表明,该算法能够有效提高弱纹理和边缘区域的区分度,减少对中心点的依赖,降低资源占用,其在Middleburry平台上的平均误匹配率仅为7.52%,在Xilinx Zynq-7000平台上的匹配速率达到98 frame/s。     

多测度融合的树形滤波立体匹配算法

针对立体匹配算法中匹配精度不高的问题,提出一种基于树形滤波的立体匹配算法.利用像素边缘信息自适应改变Census变换窗口,融合颜色、边缘和改进后的Census信息作为匹配代价,对图像进行均值分割,以聚类区域计算树边权重,建立最小生成树,利用树形滤波器进行代价聚合,使用左右一致性检测细化视差,得到精确视差图.实验结果表明,该算法具有更优的匹配精度且生成的视差图具有良好的边缘保持特性,能够较好适应各种复杂场景.     

基于图像区域分割和置信传播的立体匹配算法

传统基于像素的立体匹配算法误匹配率较高.为解决该问题,提出一种基于图像区域分割和置信传播的匹配算法.采用均值偏移对参考图像进行区域分割,通过自适应权值匹配计算初始视差图,对各分割区域的初始视差用平面模型拟合得到视差平面参数,使用基于区域的改进置信传播算法求得各区域的最优视差平面,从而得到最终视差图.与全局优化的经典置信传播算法和图割算法的对比实验结果表明,该算法能降低低纹理区域和遮挡区域的误匹配率.     

三种测度融合的加权引导滤波匹配算法

针对立体匹配算法中,census变换在弱纹理区域具有较好效果,但忽略了图像的灰度信息,造成在重复纹理区域匹配效果不理想,提出了一种改进的census变换。在初始匹配代价阶段,设计了一种在census变换的基础上融合互信息和梯度信息的相似性测度算法。在代价聚合阶段,采用自适应权重引导滤波聚合策略。最后,通过视差计算、视差优化得到最终的视差图。在VS2015软件平台上对Middlebury网站上提供的标准测试图进行实验,实验结果表明,所提算法能够得到较为准确的视差图,平均误匹配率为5.29%,可以满足三维重构的需要。     

基于图像分割的自适应窗口双目立体匹配算法研究

针对传统双目立体匹配算法采用固定窗口导致弱纹理区域匹配精度较低的问题,提出了一种基于图像分割的自适应窗口立体匹配算法.首先,采用Mean-shift算法对图像进行分割,之后对分割图像进行局部子区灰度标准差统计,在此基础上提出了一种根据纹理丰富程度进行窗口大小自适应设定的算子.基于自适应窗口大小设定,组合使用Census变换和梯度值计算匹配代价,并分别通过自适应权重代价聚合及"胜者为王"策略进行初始视差计算,最后利用左右视差一致性原则和加权中值滤波得到稠密视差图.采用提出的自适应窗口匹配算法与固定窗口匹配算法对Middlebury数据集上的标准图片进行匹配实验,实验结果表明,所提算法的平均匹配错误率为2.04％,相比对比算法,所提方法的匹配错误率分别降低了4.5％和7.9％.     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

多特征融合和自适应聚合的立体匹配算法研究

针对局部立体匹配在光照失真和弱纹理区域匹配精度低的问题,提出了一种多特征融合的代价计算和自适应十字窗口聚合的立体匹配算法。引入HSV颜色空间分量,结合改进后的Census变换和梯度信息作为匹配代价计算方法,排除了视差边界异常值的影响,增强了算法对光照失真的稳健性;提出了基于梯度信息和可变颜色阈值的自适应窗口代价聚合方法,提高了在弱纹理区域的匹配精度;通过视差计算和多步骤的视差精细得到了最终的视差结果。实验结果表明,所提算法较AD-Census算法在无光照失真条件下误匹配减少了3.24%,能有效解决视差边界和弱纹理区域错误匹配的问题,对光照失真稳健性好且能有效抑制噪声干扰。     

结合传播滤波的立体匹配算法研究

针对局部立体匹配算法在边缘处容易出现误匹配的问题,本文提出了一种结合权值传播进行代价聚合的局部立体匹配方法。首先采用基于颜色梯度的绝对差及Census方法构造了匹配代价函数;然后,引入传播滤波平滑匹配代价的同时保持视差空间图像边缘,与其他局部滤波器相比,该滤波器利用可传播的权值思想,不受传统局部算法窗口大小的影响;最后,通过左右一致性检查和无效视差值填充获得最终视差图。实验表明,该方法在Middlebury Stereo数据集上可获得精确结果,与Middlebury测试平台上的IGF、TSGO和Dog-Guided算法相比平均误差最低。     

基于无人机双目图像的线目标测量的研究

利用无人机双目图像实现线目标的测量对输电线路巡检具有重要的意义。为提高无人机双目图像下线目标的测量精度,改进Census立体匹配算法,在代价聚合过程中,首先对聚合窗口中的初始匹配代价进行异常筛选,然后计算聚合代价值进而生成视差图,实验证明改进立体匹配算法,提高图像立体匹配精度,且平均误匹配率为5.79%;在线目标测量方面,针对线目标视差图存在的缺陷,提出一种基于目标识别的线目标视差图优化算法,该算法依据目标识别获取线目标视差图,然后根据四个原则进行优化处理,最后将优化后的线目标视差图用于测量,实验证明采用优化后的线目标视差图测量得到结果要优于直接采用视差图得到测量结果。     

基于自适应聚合与深度优化的三维重建算法

针对现有基于多视图的三维重建方法未充分考虑像素点在其余视图的可见性,从而导致重建完整度不足,且在弱纹理和遮挡区域重建困难等问题,提出了一种应用于高分辨率的三维重建网络。首先提出了一种引入可见性感知的自适应成本聚合方法用于成本量的聚合,通过网络获取视图中像素点的可见性,可以提高遮挡区域重建完整性;采用基于方差预测每像素视差范围,构建空间变化的深度假设面用于分阶段重建,在最后一阶段提出了基于卷积空间传播网络的深度图优化模块,以获得优化的深度图;最后采用改进深度图融合算法,结合所有视图的像素点与3D点的重投影误差进行一致性检查,得到密集点云。在DTU 数据集上与其他方法的定量定性比较结果表明,提出的方法可以重建出细节上表现更好的场景。     

基于视差优化的立体匹配网络

现有的立体匹配算法通常采用深层卷积神经网络提取特征,对前景物体的检测更加精细,但对背景中的小物体及边缘区域匹配效果较差。为提高视差估计质量,构建一个基于视差优化的立体匹配网络CTFNet。分别提取浅层与深层特征,并基于深层特征构建全局稀疏代价卷,从而预测初始视差图。在预测的初始视差图和浅层特征的基础上构建局部稠密代价卷并进行视差优化,以细化预测视差值邻域的概率分布,提高特征不明显区域的匹配精度。此外,引入新的概率分布损失函数,监督softmax函数计算的视差值概率分布在真实视差值附近成单峰分布,提高算法的鲁棒性。实验结果表明,该网络在SceneFlow和KITTI数据集上的误匹配率分别为0.768%和1.485%,在KITTI测评网站上的误差率仅为2.20%,与PSMNet网络相比,精度和速度均得到一定提升。