融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

基于视差优化的立体匹配网络

现有的立体匹配算法通常采用深层卷积神经网络提取特征,对前景物体的检测更加精细,但对背景中的小物体及边缘区域匹配效果较差。为提高视差估计质量,构建一个基于视差优化的立体匹配网络CTFNet。分别提取浅层与深层特征,并基于深层特征构建全局稀疏代价卷,从而预测初始视差图。在预测的初始视差图和浅层特征的基础上构建局部稠密代价卷并进行视差优化,以细化预测视差值邻域的概率分布,提高特征不明显区域的匹配精度。此外,引入新的概率分布损失函数,监督softmax函数计算的视差值概率分布在真实视差值附近成单峰分布,提高算法的鲁棒性。实验结果表明,该网络在SceneFlow和KITTI数据集上的误匹配率分别为0.768%和1.485%,在KITTI测评网站上的误差率仅为2.20%,与PSMNet网络相比,精度和速度均得到一定提升。     

基于像素注意力的双通道立体匹配网络

针对现有立体匹配算法在弱纹理、重复纹理、反射表面等病态区域误匹配率高的问题,提出一种基于像素注意力的双通道立体匹配卷积神经网络PASNet,该网络包括双通道注意力沙漏型子网络和注意力U型子网络。首先,通过双通道注意力沙漏型子网络提取输入图像的特征图;其次,通过关联层得到特征图的代价矩阵;最后,利用注意力U型子网络对代价矩阵进行代价聚合,输出视差图。在KITTI数据集上的实验结果表明,所提出的网络能有效解决病态区域误匹配率高等问题,提升立体匹配精度。     

快速视差范围估计算法及其应用

视差范围估计在立体匹配中非常重要,准确的视差范围能提高立体匹配的精度和速度.为此提出一种基于匹配代价搜索和图像细分的快速视差范围估计算法.该算法将输入图像均匀分成多个图像块,采用匹配代价搜索计算每一图像块的视差,找到视差最大(最小)的图像块,并利用迭代细分规则将该图像块继续分成更小的子块,直至得到稳定的最大(最小)视差;利用匹配代价图对图像块进行可靠性检测,以解决弱纹理块容易误匹配的问题.实验结果表明,文中算法在保持97.3%的平均命中率的同时将立体匹配的平均搜索空间降低了27.7%,比采用传统算法可以得到更准确的视差范围;将该算法应用于立体匹配算法中降低了其平均误匹配率,并将计算时间缩短了20%~45%.     

多测度融合的树形滤波立体匹配算法

针对立体匹配算法中匹配精度不高的问题,提出一种基于树形滤波的立体匹配算法.利用像素边缘信息自适应改变Census变换窗口,融合颜色、边缘和改进后的Census信息作为匹配代价,对图像进行均值分割,以聚类区域计算树边权重,建立最小生成树,利用树形滤波器进行代价聚合,使用左右一致性检测细化视差,得到精确视差图.实验结果表明,该算法具有更优的匹配精度且生成的视差图具有良好的边缘保持特性,能够较好适应各种复杂场景.     

基于线性滤波的树结构动态规划立体匹配算法

传统的动态规划立体匹配算法能有效保证匹配精度的同时提高运行速度, 但得到的视差深度图会出现明显的条纹现象,同时在图像弱纹理区域以及边缘存在较高的误匹配. 针对该问题,提出了一种新的基于线性滤波的树形结构动态规划立体匹配算法. 算法首先运用改进的结合颜色和梯度信息参数可调的自适应测度函数构建左右图像的匹配代价, 然后以左图像为引导图对构建的匹配代价进行滤波; 再运用行列双向树形结构的动态规划算法进行视差全局优化, 最后进行视差求精得到最终的视差图.理论分析和实验结果都表明, 本文的算法能有效地改善动态规划算法的条纹现象以及弱纹理区域和边缘存在的误匹配.     

基于无人机双目图像的线目标测量的研究

利用无人机双目图像实现线目标的测量对输电线路巡检具有重要的意义。为提高无人机双目图像下线目标的测量精度,改进Census立体匹配算法,在代价聚合过程中,首先对聚合窗口中的初始匹配代价进行异常筛选,然后计算聚合代价值进而生成视差图,实验证明改进立体匹配算法,提高图像立体匹配精度,且平均误匹配率为5.79%;在线目标测量方面,针对线目标视差图存在的缺陷,提出一种基于目标识别的线目标视差图优化算法,该算法依据目标识别获取线目标视差图,然后根据四个原则进行优化处理,最后将优化后的线目标视差图用于测量,实验证明采用优化后的线目标视差图测量得到结果要优于直接采用视差图得到测量结果。     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

基于自适应权重的遮挡信息立体匹配算法

针对传统局部立体匹配算法在深度不连续区域误匹配率高的问题,提出一种基于自适应权重的遮挡信息立体匹配算法。首先,采用左右一致性检测算法检测参考图像与目标图像的遮挡区域;然后利用遮挡信息,在代价聚合阶段降低遮挡区域像素点所占权重,在视差优化阶段采用扫描线传播方式选择水平方向最近点填充遮挡区域的视差;最后,根据Middlebury数据集提供的标准视差图为视差结果计算误匹配率。实验结果表明,基于自适应权重的遮挡信息匹配算法相对于自适应权重算法误匹配率降低了16%,并解决了局部立体匹配算法在深度不连续区域误匹配率高的问题,提高了算法的匹配精确性。     

结合传播滤波的立体匹配算法研究

针对局部立体匹配算法在边缘处容易出现误匹配的问题,本文提出了一种结合权值传播进行代价聚合的局部立体匹配方法。首先采用基于颜色梯度的绝对差及Census方法构造了匹配代价函数;然后,引入传播滤波平滑匹配代价的同时保持视差空间图像边缘,与其他局部滤波器相比,该滤波器利用可传播的权值思想,不受传统局部算法窗口大小的影响;最后,通过左右一致性检查和无效视差值填充获得最终视差图。实验表明,该方法在Middlebury Stereo数据集上可获得精确结果,与Middlebury测试平台上的IGF、TSGO和Dog-Guided算法相比平均误差最低。     

多成本融合的立体匹配网络

立体匹配网络中的特征提取是提高双目视觉立体匹配精确度的关键步骤。为充分提取图像特征信息,结合密集空洞卷积、空间金字塔池化和堆叠沙漏的特点,构建一种多成本融合的立体匹配网络DCNet。引入密集空洞卷积和空间金字塔池化方法提取多尺度特征信息,同时使用轻量化注意力模块优化多尺度特征信息,构建多特征融合的匹配代价卷。在此基础上,利用3D卷积神经网络和堆叠沙漏网络聚合匹配代价信息,并通过回归的方式生成视差图。实验结果表明,该网络在KITTI2015数据集上的误匹配率为2.12%,相比PSMNet、DisNetC、PDSNet等网络,在特征提取部分能够获得更丰富的特征信息,且提升特征匹配的效果。     

多尺度融合的立体匹配算法

针对局部立体匹配方法存在的匹配窗口大小选择困难、弱纹理或高光区域立体匹配精度较低等问题,文中结合卷积神经网络(CNN)与图像金字塔方法,提出多尺度融合的立体匹配算法.训练CNN,用于自动学习待匹配图像对的图像特征,完成匹配代价计算.构建图像金字塔,对待匹配图像对进行多尺度表达.构建弱纹理区域模板,将各层待匹配图像划分为弱纹理区域和丰富纹理区域,将弱纹理区域图像变换成小尺度图像进行匹配度计算,降低弱纹理图像的误匹配率.在变换回大尺度图像时与丰富纹理区域匹配结果融合,保持匹配精度.在KITTI 数据集上的实验表明,文中算法具有较好的图像匹配效果.     

双目机器视觉及RetinaNet模型的路侧行人感知定位

目的 行人感知是自动驾驶中必不可少的一项内容,是行车安全的保障。传统激光雷达和单目视觉组合的行人感知模式,设备硬件成本高且多源数据匹配易导致误差产生。对此,本文结合双目机器视觉技术与深度学习图像识别技术,实现对公共路权环境下路侧行人的自动感知与精准定位。方法 利用双目道路智能感知系统采集道路前景图像构建4种交通环境下的行人识别模型训练库;采用RetinaNet深度学习模型进行目标行人自动识别;通过半全局块匹配（semi-global block matching,SGBM）算法实现行人道路前景图像对的视差值计算;通过计算得出的视差图分别统计U-V方向的视差值,提出结合行人识别模型和U-V视差的测距算法,实现目标行人的坐标定位。结果 实验统计2.5 km连续测试路段的行人识别结果,对比人工统计结果,本文算法的召回率为96.27%。与YOLOv3（you only look once）和Tiny-YOLOv3方法在4种交通路况下进行比较,平均F值为96.42%,比YOLOv3和Tiny-YOLOv3分别提高0.9%和3.03%;同时,实验利用标定块在室内分别拍摄3 m、4 m和5 m不同距离的20对双目图像,验证测距算法,计算标准偏差皆小于0.01。结论 本文提出的结合RetinaNet目标识别模型与改进U-V视差算法能够实现对道路行人的检测,可以为自动驾驶的安全保障提供技术支持,具有一定的应用价值。     

基于多尺度聚合神经网络的双目视觉立体匹配方法

为了改善机器人、无人驾驶领域采用深度神经网络实现双目视觉立体匹配存在参数量大、GPU资源成本高的问题,提出一种多尺度聚合的立体匹配方法。首先设计一个结合多尺度的特征提取网络,利用空洞卷积在不改变分辨率下获得更为丰富的特征,引入注意力机制,再将不同分辨率下特征交叉融合以完善特征信息;其次,改变代价卷获取方式,在低尺度下聚合得到代价卷,不断结合高尺度相似信息以迭代更新,将多个代价卷进行交叉融合以得到最终代价卷;最后,结合注意力机制的精细化模块修正初始视差图中的异常值与不连续区域,得到最终视差图。实验结果表明,该算法能够在较低参数量,以及低成本GPU资源下运行,且获得较好的匹配精度。     

基于图像分割的立体匹配算法

针对在立体匹配中弱纹理及纯色区域匹配不准确和图像分割算法耗时较多的问题,提出一种融合图像分割的立体匹配算法。首先,将初始图像进行高斯滤波和Sobel平滑的处理,获取图像的边缘特征图;然后,将原图的红、绿、蓝三个通道值采用最大类间方差法进行二分类,再融合得到分割模板图;最后,将所得到的灰度图、边缘特征图和分割模板图用于视差计算和视差优化的过程,计算得到视差图。相比绝对差值和(SAD)算法,所提算法在精度上平均提升了14.23个百分点,时间开销上平均每万个像素点只多消耗了7.16 ms。实验结果表明,该算法在纯色及弱纹理区域和视差不连续区域取得了更加平滑的匹配结果,在图像分割上能够自动计算阈值且能够较快地对图像进行分割。     

基于强相似点检测快速双目立体匹配算法

立体匹配是双目视觉的一个重要分支领域,能够通过深度图还原出三维信息,但由于其计算量庞大,实时性难以得到保障。为此,提出了一种基于强相似点的快速立体匹配算法。首先,将双目图像通过对极处理,使匹配区域固定在同一水平线上,减少匹配区域;其次,对图像进行灰度转化,并将搜索范围内与待匹配点灰度值接近的点定义为强相似点,对强相似点所在块进行匹配代价计算,并得出该点最优视差,对不存在强相似点的待匹配点进行正常视差计算;最后将进行视差修正与滤波,得到最终视差图。经Middlebury算法测试平台的提供数据进行验证,结果表明在不损失精确率的前提下,该方法相对于SAD速度提高70%左右,为立体匹配算法的实际应用奠定了良好基础,在视觉导航、障碍物检测方面也有着良好的应用前景。     

一种基于自适应支持权重优化的立体匹配算法

立体匹配是图像处理领域的经典问题和研究热点之一。针对原始ASW立体匹配算法中存在的运算时间过长以及遮挡区域的误匹配率高的问题,提出了一种改进优化方法。在自适应支持权重方法的基础上结合Rank变换方法,从参数选择以及立体匹配性能这两个方面对自适应支持权重进行改进,然后对得到的初始视差进行有效视差校准从而得到最终视差。最后利用仿真实验得到匹配精度较高的图像序列视差图,并通过实验结果对比验证了该方法具有很好的可行性。