基于多卷积核通道特征加权双目立体匹配算法

在基于神经网络的立体匹配算法中网络的特征提取能力对最终深度图的计算有着重要的影响,因此提高网络的特征提取能力十分重要.提出一种基于多卷积核通道特征加权的双目立体匹配算法,通过设置不同大小的卷积核,使网络可以自适应地选择不同的感受野,采用注意力机制在特征提取阶段根据特征通道之间的相互关系为每个通道分配不同的权重,提高特征的表达能力,以提高匹配精度.最后,在Scene Flow和KITTI数据集上进行视差预测.通过实验结果可看出,与金字塔立体匹配算法(PSM-Net)相比,能够获得更高的匹配精度.     

基于多尺度卷积神经网络的立体匹配算法研究

针对传统障碍物检测中的立体匹配算法存在特征提取不充分，在复杂场景和光照变化明显等区域存在误匹配率较高，算法所获视差图精度较低等问题，提出了一种基于多尺度卷积神经网络的立体匹配方法。首先，在匹配代价计算阶段，建立了一种基于多尺度卷积神经网络模型，采用多尺度卷积神经网络捕获图像的多尺度特征。为增强模型的抗干扰和快速收敛能力，在原有损失函数中提出改进，使新的损失函数在训练时可以由一正一负两个样本同时进行训练，缩短了模型训练时间。其次，在代价聚合阶段，构造一个全局能量函数，将二维图像上的最优问题分解为四个方向上的一维问题，利用动态规划的思想，得到最优视差。最后，通过左右一致性检测对所得视差进行进一步精化，得到最终视差图。在Middlebury数据集提供的标准立体匹配图像测试对上进行了对比实验，经过实验验证算法的平均误匹配率为4.94%，小于对比实验结果，并提高了在光照变化明显以及复杂区域的匹配精度，得到了高精度视差图。     

基于多策略融合的亚像素精度立体匹配研究

为了减少亚像素立体匹配中存在的错误匹配以及提高匹配精度,提出基于多策略融合的亚像素精度立体匹配方法。通过以下三个步骤实现:原图像插值处理结合基于最小生成树代价聚集策略估计分数视差;给出新的视差搜索范围确定关系,减少匹配代价计算;在大片低纹理区域引入视差平面拟合细化视差,在亚像素精度上平滑,减少错误匹配。实验表明,算法有效地将匹配精度提高到亚像素级,同时减少了错误匹配。     

基于视差优化的立体匹配网络

现有的立体匹配算法通常采用深层卷积神经网络提取特征,对前景物体的检测更加精细,但对背景中的小物体及边缘区域匹配效果较差。为提高视差估计质量,构建一个基于视差优化的立体匹配网络CTFNet。分别提取浅层与深层特征,并基于深层特征构建全局稀疏代价卷,从而预测初始视差图。在预测的初始视差图和浅层特征的基础上构建局部稠密代价卷并进行视差优化,以细化预测视差值邻域的概率分布,提高特征不明显区域的匹配精度。此外,引入新的概率分布损失函数,监督softmax函数计算的视差值概率分布在真实视差值附近成单峰分布,提高算法的鲁棒性。实验结果表明,该网络在SceneFlow和KITTI数据集上的误匹配率分别为0.768%和1.485%,在KITTI测评网站上的误差率仅为2.20%,与PSMNet网络相比,精度和速度均得到一定提升。     

基于像素注意力的双通道立体匹配网络

针对现有立体匹配算法在弱纹理、重复纹理、反射表面等病态区域误匹配率高的问题,提出一种基于像素注意力的双通道立体匹配卷积神经网络PASNet,该网络包括双通道注意力沙漏型子网络和注意力U型子网络。首先,通过双通道注意力沙漏型子网络提取输入图像的特征图;其次,通过关联层得到特征图的代价矩阵;最后,利用注意力U型子网络对代价矩阵进行代价聚合,输出视差图。在KITTI数据集上的实验结果表明,所提出的网络能有效解决病态区域误匹配率高等问题,提升立体匹配精度。     

基于协作Hopfield网络的迭代立体匹配算法

针对立体匹配算法中求解能量函数全局最小问题,提出一种基于协作Hopfield网络的迭代立体匹配算法.它采用两个具有相似结构的Hopfield神经网络协作求解匹配问题,两个网络的不同之处是匹配过程中所采用的基准图不同.然后根据左右一致性约束实现两个Hopfield网络之间的协作,从而避免落入局部最小.为加快收敛速度,该算法将视差图的最优搜索问题转换为二值神经网络的迭代收敛过程.利用局部匹配算法的结果预标记初始视差,以设定神经网络初始权重.并根据局部匹配算法中隐含的假定条件,提出了局部匹配算法视差结果的评估准则,以确定各像素的视差搜索范围,从而减少各次迭代过程中状态待确定的神经元个数.实验表明该方法在性能和收敛速度上都要优于传统的Boltzmann机方法.     

快速视差范围估计算法及其应用

视差范围估计在立体匹配中非常重要,准确的视差范围能提高立体匹配的精度和速度.为此提出一种基于匹配代价搜索和图像细分的快速视差范围估计算法.该算法将输入图像均匀分成多个图像块,采用匹配代价搜索计算每一图像块的视差,找到视差最大(最小)的图像块,并利用迭代细分规则将该图像块继续分成更小的子块,直至得到稳定的最大(最小)视差;利用匹配代价图对图像块进行可靠性检测,以解决弱纹理块容易误匹配的问题.实验结果表明,文中算法在保持97.3%的平均命中率的同时将立体匹配的平均搜索空间降低了27.7%,比采用传统算法可以得到更准确的视差范围;将该算法应用于立体匹配算法中降低了其平均误匹配率,并将计算时间缩短了20%~45%.     

基于PatchMatch的半全局高效双目立体匹配算法

近年来双目立体匹配技术发展迅速,高精度、高分辨率、大视差的应用需求无疑对该技术的计算效率提出了更高的要求。由于传统立体匹配算法固有的计算复杂度正比于视差范围,已经难以满足高分辨率、大视差的应用场景。因此,从计算复杂度、匹配精度、匹配原理等多方面综合考虑,提出了一种基于PatchMatch的半全局双目立体匹配算法,在路径代价计算过程中使用空间传播机制,将可能的视差由整个视差范围降低为t个候选视差(t远远小于视差范围),显著减少了候选视差的数量,大幅提高了半全局算法的计算效率。对KITTI2015数据集的评估结果表明,该算法以5.81%的错误匹配率和20.2 s的匹配时间实现了准确性和实时性的明显提高。因此,作为传统立体匹配改进算法,该设计可以为大视差双目立体匹配系统提供高效的解决方案。     

多元线性回归引导的立体匹配算法

深度图像中视差跳变的像素点匹配一直是立体匹配的挑战性问题之一.基于引导滤波的局部立体匹配算法通过考虑匹配图像内容,可以在保持深度图像边缘的同时提高匹配精度、加快匹配速度,但引导滤波会产生图像光晕,在图像边缘区域也会引入大量的噪声.为此,将引导滤波的岭回归扩展到多元回归,提出一种基于多元线性回归的立体匹配算法.首先将引导滤波中只含图像像素值这一单变量的回归方程扩展为基于图像像素值和梯度信息等多个变量的多元回归方程,对初始代价值进行滤波聚合,并与单独进行引导滤波的匹配代价聚合值进行加权组合提高图像边缘的匹配效果;然后根据代价聚合最小值与次小值之间的相互关系定义了视差选择可信度,解决了视差选择时的歧义问题.在Middlebury测试平台进行了实验的结果表明,文中算法有效地提高深度图像中视差跳变像素点的匹配精度,降低了匹配噪声;与最新的高性能立体匹配算法相比,该算法可以以较小的计算复杂度获得高质量的视差图.     

多特征融合和自适应聚合的立体匹配算法研究

针对局部立体匹配在光照失真和弱纹理区域匹配精度低的问题,提出了一种多特征融合的代价计算和自适应十字窗口聚合的立体匹配算法。引入HSV颜色空间分量,结合改进后的Census变换和梯度信息作为匹配代价计算方法,排除了视差边界异常值的影响,增强了算法对光照失真的稳健性;提出了基于梯度信息和可变颜色阈值的自适应窗口代价聚合方法,提高了在弱纹理区域的匹配精度;通过视差计算和多步骤的视差精细得到了最终的视差结果。实验结果表明,所提算法较AD-Census算法在无光照失真条件下误匹配减少了3.24%,能有效解决视差边界和弱纹理区域错误匹配的问题,对光照失真稳健性好且能有效抑制噪声干扰。     

Detecting ground control points via convolutional neural network for stereo matching

In this paper, we present a novel approach to detect ground control points (GCPs) for stereo matching problem. First of all, we train a convolutional neural network (CNN) on a large stereo set, and compute the matching confidence of each pixel by using the trained CNN model. Secondly, we present a ground control points selection scheme according to the maximum matching confidence of each pixel. Finally, the selected GCPs are used to refine the matching costs, then we apply the new matching costs to perform optimization with semi-global matching algorithm for improving the final disparity maps. We evaluate our approach on the KITTI 2012 stereo benchmark dataset. Our experiments show that the proposed approach significantly improves the accuracy of disparity maps.     

基于多尺度和多层级特征融合的立体匹配方法

基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成对图像在不适定区域的特征提取能力较差。提出一种融合多尺度与多层级特征的立体匹配方法。通过在双塔结构卷积神经网络模型的前端设计一个池化金字塔层,提取图像的多尺度低层结构特征。在该网络模型的后端融合最后三层网络的高级语义特征来提取图像特征,并对图像特征进行相似性度量后输出视差图。在KITTI 2015数据集上的实验结果表明,与LUO和Anita方法相比,该方法的像素误差精度分别由14.65%、8.30%降至8.02%,且可得到细节信息更好的视差图。     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

基于分割导向滤波的亚像素精度立体匹配视差优化算法*

针对局部立体匹配中存在的弱纹理区域匹配精度较低、斜面等区域容易产生视差阶梯效应等问题,文中提出基于分割导向滤波的视差优化算法,以获得亚像素级高精度匹配视差.首先依据左右一致性准则对立体匹配的初始视差进行误匹配检验及均值滤波修正.然后在修正视差图上确定区域分割导向图,对修正视差进行区域导向滤波优化,获得亚像素级高精度的视差结果.实验表明,文中算法能有效改善斜面等区域的视差不平滑现象,降低初始视差的误匹配率,获得较高精度的稠密视差结果.     

一种用于立体图像匹配的改进置信传播算法

给出了一种用于立体图像匹配的改进置信传播算法.基于视差场的连续性假设,传统视差估计置信传播算法将稠密视差场抽象为一种马尔可夫场,置信传播在消息双向传递的马尔可夫网络上进行.考虑到在物体遮挡区域视差场并不连续,首先采用基于初始视差估计的交叉不稳定检测技术检测出遮挡区域,将稠密视差场更加精确地抽象为一种马尔可夫场和贝叶斯场的混合场,置信传播在马尔可夫和贝叶斯的混合网络上进行,使得遮挡区域像素视差信息不传递给非遮挡区域,提高了视差估计精度并降低了算法复杂度.采用Middlebury网站提供的标准测试图像对本文算法进行了客观评估,实验结果表明,本文算法同时具有较好的视差估计精度和运算效率.     

基于无人机双目图像的线目标测量的研究

利用无人机双目图像实现线目标的测量对输电线路巡检具有重要的意义。为提高无人机双目图像下线目标的测量精度,改进Census立体匹配算法,在代价聚合过程中,首先对聚合窗口中的初始匹配代价进行异常筛选,然后计算聚合代价值进而生成视差图,实验证明改进立体匹配算法,提高图像立体匹配精度,且平均误匹配率为5.79%;在线目标测量方面,针对线目标视差图存在的缺陷,提出一种基于目标识别的线目标视差图优化算法,该算法依据目标识别获取线目标视差图,然后根据四个原则进行优化处理,最后将优化后的线目标视差图用于测量,实验证明采用优化后的线目标视差图测量得到结果要优于直接采用视差图得到测量结果。     

一种改进的基于图割的立体匹配算法

为了提高立体匹配算法的精确度,提出了一种结合图割与Mean Shift图像分割的立体匹配算法。首先用Mean Shift算法对参考图像进行图像分割,得到分割后的标记图,然后将分割信息结合到图割算法的能量函数中,最后用改进的能量函数和图割算法得出致密的视差图。实验结果表明,提出的算法具有更高的精确度和更好的边缘特征。     

基于自适应匹配窗及多特征融合的立体匹配*

针对局部立体匹配方法中存在的匹配窗口大小选择困难、边缘处视差模糊及弱纹理区域、斜面或曲面匹配精度较低等问题,提出基于CIELAB空间下色度分割的自适应窗选取及多特征融合的局部立体匹配算法.首先,在CIELAB空间上对立体图像对进行色度分割,依据同质区域的分布获取初始匹配支持域,同时估计遮挡区域,更新匹配支持域.然后,基于更新后的匹配支持域,采用自适应权值的线性加权多特征融合匹配方法得到初始视差图.最后,利用左右视差一致性检测方法进行误匹配检验,利用基于分割的均值滤波器进行视差优化及细化,得到稠密匹配视差结果.实验表明文中算法有效,匹配精度较高,尤其在弱纹理区域及斜面等情况下匹配效果较好.