基于引导滤波及视差图融合的立体匹配

立体匹配是双目视觉领域的重要研究方向.为在保证图片纹理区域匹配精度的同时降低弱纹理区域的误匹配率,提出一种基于引导滤波及视差图融合的立体匹配方法.首先,根据图像颜色相似性将图片划分为纹理较丰富区域和弱纹理区域.接着,分别采用不同参数的引导滤波进行代价聚合及视差计算,得到两张视差图.然后依据纹理区域划分的结果对获得的两张视差图进行融合.最后,通过左右一致性检测、加权中值滤波等视差优化步骤得到最终视差图.对Middlebury测试平台上标准图像对的实验结果表明,该方法在6组弱纹理图像上的平均误匹配率为9.67％,较传统引导滤波立体匹配算法具有更高的匹配精度.     

基于改进代价计算和视差候选策略的立体匹配

立体匹配算法在图像弱纹理区和重复纹理区存在匹配困难、误差大的问题,为此提出一种基于改进代价计算和视差候选策略的立体匹配算法。首先结合改进的Census变换和自适应加权融合的双向梯度信息来计算初始匹配代价,提高代价计算的可靠性。其中:为传统Census变换增加内圈编码,提高邻域信息利用率,同时降低噪声的影响;利用自适应权重函数融合横向和纵向梯度代价,降低物体边缘区域的误匹配率。其次,采用自适应十字交叉窗口进行代价聚合,并通过建立候选视差集和引入邻域视差信息的方法来获取初始视差。最后通过两轮插值策略优化视差。实验结果表明,所提算法能够提高弱纹理区和重复纹理区的匹配效果,在Middlebury中4幅标准立体图像对的平均误匹配率为5.33%。     

基于改进Census变换与梯度融合的立体匹配算法

双目立体匹配根据视差原理将平面视觉转化到三维立体视觉,是三维重建的核心步骤之一。针对局部立体匹配算法在深度不连续、弱纹理区域匹配精度低且易受光照、噪声等因素干扰的问题,提出了一种改进的立体匹配算法。首先,在代价计算阶段将改进的Census代价与梯度代价进行融合,并采用引导滤波算法对图像进行多尺度代价聚合;然后,采用赢家通吃算法计算初始视差;最后,采用左右一致性检测、中值滤波进行视差后处理,得到最终的视差图。实验结果表明,本算法在Middlebury2.0测试平台上的平均误匹配率为5.11%,且具有很好的稳健性和实用性。     

基于改进匹配代价和均值分割的最小生成树立体匹配算法

尽管传统的立体匹配模型在精度和鲁棒性方面都表现出了良好的性能，但在弱纹理和深度不连续区域的视差精度问题依然存在。针对上述问题，提出了一种基于改进匹配代价和均值分割的最小生成树立体匹配算法。首先，在匹配代价计算阶段，通过Census变换进行初始匹配代价计算，利用Sobel算子对输入图像进行边缘信息提取，将提取后的图像边缘信息与Census变换后的匹配代价值进行融合，并将其与基于图像亮度信息的代价值进行非线性融合，以提高匹配代价的精度；然后，使用最小生成树代价聚合模型进行聚合操作并利用赢者通吃策略估计图像的初始视差；最后，在视差优化阶段，采用MeanShift算法对图像进行分割，结合图像的轮廓信息对误匹配点进行修正，进一步提高在弱纹理及边缘区域的视差精度。实验结果表明，与一些传统算法相比，所提算法具有更高的视差精度，且视差图的边缘、纹理较其他算法更为平滑，具有更强的鲁棒性。     

二次加权引导滤波融合双色彩空间模型的立体匹配

立体匹配一直以来都是双目视觉领域中研究的重点 和难点。针对现有立体匹配算法边 缘保持性差、匹配精度低等问题,提出了一种二次加权引导滤波融合双色彩空间模型的立体 匹配算法(Secondary Weighted Guided Filtering fusion double color model,SWGF)。首 先在代价计算阶段提出了一种双色彩空间模型,从两个颜色空间进行像素颜色匹配代价计算 ,增强像素在低纹理区域的特征;然后在代价聚合阶段基于HSV颜色空间利用不同窗口中像 素纹理不同加入一个边缘保持项,从而使正则化参数进行自适应调整。在一次引导滤波之后 ,我们使用Census变换得到的汉明距离和初始视差完成一次代价更新,再次对其进行代价聚 合,随后计算视差并对视差进行左右一致性检测、空洞填充和加权中值滤波等优化,最后获 得视差图。本文算法在Middlebury测试平台上测试结果表明SWGF算法误匹配率仅为 4.61%,可以大幅提升立体匹配的精度,同时增强其边缘保持性。     

基于特征级联卷积网络的双目立体匹配

针对图像序列病态区域匹配歧义性以及稠密视差图连通性的问题,本文提出一种基于特征级联卷积神经网络的双目立体匹配计算方法.构造特征重用的全卷积密集块,利用"跳连接"机制将浅层提取的特征图级联到后续子层,对深层卷积丢失的局部特征信息进行补偿.引入指示函数划分一定大小的训练集,将其批量输入特征级联卷积网络模型进行前向传播,同时通过小批量梯度下降(Mini-Batch Gradient Descent,MBGD)策略更新初始权重和偏置参数.根据负连接神经元对网络模型的输出进行初始匹配代价计算,并利用十字交叉域代价聚合(Cross Based Cost Aggregation,CBCA)和半全局立体匹配(Semi-Global Matching,SGM)等算法对代价函数进行优化,求得精准稠密的视差图.分别采用Middlebury数据库提供的训练和测试立体图像集对本文方法和深度学习方法MC-CNN、CBMV、MC-CNN-WS等具有代表性方法进行对比测试.实验结果表明,本文方法具有较高的视差计算精度和鲁棒性,尤其对复杂场景、光照变化以及弱纹理等困难场景图像序列能有效提高匹配率和保持图像细节.     

基于Tao 立体匹配框架的全局优化算法

传统的基于全局优化的立体匹配算法计算复杂度较高,在遮挡和视差不连续区域具有较差的匹配精度。提出了基于Tao 立体匹配框架的全局优化算法。首先采用高效的局部算法获取初始匹配视差;然后对得到的视差值进行可信度检测,利用可信像素点和视差平面假设使用具有鲁棒性的低复杂度算法修正不可信任像素视差值;最后改进置信度传播算法,使其能够自适应地停止收敛节点的消息传播,并对经修正的初始匹配进行优化,提高弱纹理区域匹配准确度。实验结果表明,文中算法有效地降低整体误匹配率,改善了视差不连续及遮挡区域的匹配精度;同时,降低了算法整体复杂度,兼顾了速度,具有一定的实用性。     

一种“客观度量”和“深度学习”共同驱动的立体匹配方法

提出一种基于"客观度量"和"深度学习"共同驱动的立体匹配方法,互补"度量"和"学习"特征,提升立体匹配视差图的精度。将基于灰度差绝对和(SAD)与灰度梯度差绝对和(GRAD)两类算子的客观计算特征和基于数据驱动的深度学习特征进行加权融合,构建匹配代价模型;采用引导滤波器对匹配代价进行聚合;通过胜者全赢算法得到初始视差图;最后,运用左右一致性校验和加权中值滤波器优化视差图,去除误匹配点,得到最优视差图。在Middlebury立体匹配评估平台上的测试实验表明,所提算法能有效降低视差图平均绝对误差和均方根误差。     

基于韦伯感知和导引滤波分层聚合快速立体图像匹配

该文利用韦伯定律和导引滤波提出基于代价分层聚合的快速立体匹配方法。首先提取立体图像对各彩色通道Weber描述符并初始化匹配代价。利用导引滤波增强匹配代价并提取视差候选;利用候选子集联合空间离散采样与自适应支持权重实现分层代价聚合;据此快速择优选取初始视差。视差求精中采用改进型双边滤波和对称映射后处理有效改善初始视差图中歧义区域。实验表明,该文方法能有效消除匹配歧义,获得分段平滑、高精度稠密视差;结构简单、快速高效且对光照变化具有鲁棒性。     

基于Census变换和多扫描线优化的半全局立体匹配算法

为了解决局部匹配算法误匹配率高的问题,提出 一种基于AD-Census变换和多扫描线优化的半全局匹配算 法。首先,通过绝对差AD算法与Census变换相结合作为相似性度量函数计算初始匹配代价, 并构建动态交叉域聚合 匹配代价;然后在代价聚合计算阶段,将一维动态规划的代价聚合推广到多扫描线优化,利 用上下左右四个方向逐 次扫描进行匹配代价聚合的计算,并引入正则化约束以确保匹配代价聚合的一致性,大大减 少初始代价中的匹配异 常点;最后,运用简单高效的胜者为王策略选出像素点在代价聚合最小时对应的视差,并在 视差细化阶段,采用左 右一致性检测和抛物线拟合方法进行后续处理以提高立体匹配的正确率。实验结果证明,该 算法可获得高匹配率的视差图并且耗时较少。     

基于改进Census变换的抗噪立体匹配算法

针对传统Census变换在匹配代价计算中易受噪声影响、匹配精度较低的问题,提出一种引入噪声容限的四状态Census变换算法。在匹配代价计算中,首先将改进的Census匹配代价与灰度绝对差值和梯度代价进行融合,并加入相应的截断阈值,以提高初始匹配代价空间的可靠性。然后通过引导图滤波进行代价聚合,并采用赢家通吃策略计算初始视差值。最后通过左右一致性检验、视差填充和加权中值滤波来优化初始视差值,得到最终视差图。实验结果表明,所提算法的噪声鲁棒性优于传统Census变换算法,且立体匹配算法的整体误匹配率降低至5.59%。     

一种基于图像分割的立体匹配算法

针对在立体匹配过程中的低纹理和视差不连续的问题,提出了一种基于图像分割的立体匹配算法。首先采用Mean-Shift算法对彩色图像进行图像分割,并认为分割区域块内的像素视差是平滑的,然后采用较大窗口匹配方法,提取左右彩色图像相似像素点作为种子点,根据区域内的平滑约束条件,利用小窗口匹配方法将种子点向周围区域扩散,最终得到稠密视差图。实验结果表明该算法相比传统的自适应匹配算法,视差不连续区域匹配误差降低10%左右。     

基于自适应窗口和改进Census变换的半全局立体匹配算法

针对基于Census变换的立体匹配算法匹配精度不理想、易受噪声干扰的问题,提出一种自适应窗口结合改进Census变换的方法。通过自适应选择变换窗口大小,并在Census变换中引入噪声容限参数,且将其改进Census代价与RGB颜色差值代价加权融合,再采用四路径代价聚合策略完成初始代价聚合,最后用WTA算法计算初始视差后通过后处理优化得到最终视差。实验结果表明所提算法误匹配率较低,抗噪性能有较好提升。     

融合梯度特性与置信度的立体匹配算法

针对现有局部立体匹配算法在计算匹配代价时, 不能很好区分强弱纹理区域,及在视差计算过程 中,不能很好的解决视差歧义问题,提出一种融合梯度特性与置信度的立体匹配算法。首先 计算梯度特 征,并根据梯度特征信息选择匹配代价计算的匹配窗口,针对强弱不同纹理区域选择不同尺 寸的匹配窗 口,有效的提高了立体匹配精度,降低了误匹配率;然后在视差计算中引入置信度约束条件 ,解决了视差 计算中视差歧义的问题,提高了立体匹配算法的稳定性与精度;最后使用水平与垂直方向交 叉区域检测进 行奇异值的修正。实验结果表明,该算法在Middlebury数据集中31对 立体图像对的平均误匹配率为7.96%,有效的提高了立体匹配精度。     

双目测量系统的室内定位与重建

为了解决实测场景下光照变换及弱纹理区域对三维重建效果的影响,提出一种双目测量系统的改进AD-Census立体匹配算法进行室内目标物体的定位及三维重建。方法基于双目视觉测量原理,首先采用直方图均衡化、自适应阈值Canny边缘提取及膨胀等操作进行图像预处理,其次利用张正友标定法完成相机标定,通过立体校正去除相机畸变,基于梯度划分弱纹理及边缘区域来改进AD-Census立体匹配算法,最后用所改进算法生成的视差图,实现了室内物体的定位及三维点云重建。实验结果表明,本方法可以提高在弱纹理背景区域的匹配精度,在10 m测距范围内,相对误差不超过5%,在1.8 m处,测量误差较小,在保证精度的同时实现了室内目标场景轮廓的基本重建,视觉效果较好,可广泛应用于实际中。     

基于改进Census变换的局部立体匹配算法

针对基于传统Census变换的立体匹配算法鲁棒性差和精度不高的问题,提出一种基于改进Census变换的自适应权重立体匹配算法.首先,用Census变换窗口中邻域像素的中值来替换中心像素的灰度值,克服了邻域像素对中心像素的依赖;然后用自适应权重的方法分别计算匹配代价和进行立体匹配,得到初始视差;最后通过左右一致性校验和亚像素提精的方法得到稠密的视差图.实验结果表明,该算法有很强的鲁棒性和很高的匹配精度.     

一种改进的自适应权重立体匹配算法与校正

立体匹配是立体视觉中一个重要的环节,针对自适应权重匹配算法中难以兼顾速度和精度的不足,提出了一种基于色彩的局部立体匹配算法。首先,利用区域连通性和颜色相似性改进权重因子,提出基于颜色变化约束的区域生长算法,有效提高了算法的精度和速度;然后基于颜色相似性提出一种视差校正算法,根据颜色相似性的结果对初始视差图进行视差校正,在没有增加额外工作量的前提下进一步提高算法的精度。实验结果表明,此算法能有效提高重复区域、边缘区域、低纹理区域的精度,而且速度较自适应权重算法提高了近20%,与当前主流算法具有可比性。     

一种优化的深度学习立体匹配算法研究

近年来,卷积神经网络的崛起推动了立体匹配的发展,使该领域取得了跨越性的进展,但在一些弱纹理、重复纹理和遮挡区域等病态区域仍有匹配精度低的问题,卷积神经网络通过利用全局上下文信息来提升立体匹配的高精度结果。本研究提出了一种新颖的端对端立体匹配算法。为了在像素级挖掘更多的全局背景信息,设计了一个多尺度融合注意力模块来进行特征提取。此外,在简化的代价聚合过程中引入了特征细化模块和三维注意聚合模块,可以有效的聚合高质量、高表征能力的特征信息,增强网络的特征表示。最后,通过双线性插值和视差回归得到最终的视差图。文章在KITTI2012和KITTI 2015立体数据集上验证所提方法,实验结果表明,相比之下,我们的方法在精度上取得了较优越的性能。     

改进自适应加权的局部立体匹配算法

针对Yoon经典自适应加权法在深度不连续处误匹配率较高、边缘细节不突出以及匹配窗口大小凭经验设计不通用等缺陷,提出了一种改进自适应加权的局部立体匹配算法.在经典自适应加权局部立体匹配算法的基础上用高斯分布权值替换了几何空间权值,增加了边缘权值突出深度不连续处的边缘细节,采用赢家通吃原则(Winner Take All,WTA)获取单像素点视差,在目标视图中逐点求取视差,最终获得稠密视差图.实验结果表明,该算法相比于经典自适应加权法,在非遮挡区域错误匹配百分比上下降6％,在深度不连续处的误匹配率降低了5％,边缘细节毛刺明显减少.     

基于3D视频的深度图获取方法的研究与实现

本文采用基于区域的立体匹配方法从立体视频图像对中获取稠密视差图。在区域窗口大小选取上采用K-均值算法,保证每个子窗口位于同一物体内部,窗口内深度信息趋于一致;采用NCR算法运用匹配窗口周围的环境信息,提高窗口选取的智能性和匹配的准确性,改善少纹理区域的匹配效果;采用双向匹配方法有效去除因遮挡等原因产生的误匹配点,提高匹配精度,得到初始视差图;同时研究视差图优化方法,得到高质量稠密视差图,为后期新视图合成等其它应用提供基础。