基于PatchMatch的半全局高效双目立体匹配算法

近年来双目立体匹配技术发展迅速,高精度、高分辨率、大视差的应用需求无疑对该技术的计算效率提出了更高的要求.由于传统立体匹配算法固有的计算复杂度正比于视差范围,已经难以满足高分辨率、大视差的应用场景.因此,从计算复杂度、匹配精度、匹配原理等多方面综合考虑,提出了一种基于PatchMatch的半全局双目立体匹配算法,在路径...     

融合边缘保持与改进代价聚合的立体匹配算法

目的 立体匹配是计算机双目视觉的重要研究方向,主要分为全局匹配算法与局部匹配算法两类。传统的局部立体匹配算法计算复杂度低,可以满足实时性的需要,但是未能充分利用图像的边缘纹理信息,因此在非遮挡、视差不连续区域的匹配精度欠佳。为此,提出了融合边缘保持与改进代价聚合的立体匹配。方法 首先利用图像的边缘空间信息构建权重矩阵,与灰度差绝对值和梯度代价进行加权融合,形成新的代价计算方式,同时将边缘区域像素点的权重信息与引导滤波的正则化项相结合,并在多分辨率尺度的框架下进行代价聚合。所得结果经过视差计算,得到初始视差图,再通过左右一致性检测、加权中值滤波等视差优化步骤获得最终的视差图。结果 在Middlebury立体匹配平台上进行实验,结果表明,融合边缘权重信息对边缘处像素点的代价量进行了更加有效地区分,能够提升算法在各区域的匹配精度。其中,未加入视差优化步骤的21组扩展图像对的平均误匹配率较改进前减少3.48%,峰值信噪比提升3.57 dB,在标准4幅图中venus上经过视差优化后非遮挡区域的误匹配率仅为0.18%。结论 融合边缘保持的多尺度立体匹配算法有效提升了图像在边缘纹理处的匹配精度,进一步降低了非遮挡区域与视差不连续区域的误匹配率。     

基于分层视差估计的立体图象编码

基于立体视频数据压缩的目的，提出了一种基于分层视差估计/补偿的立体图象编码方案。该方案是采用JPEG标准独立编码参数图象，并利用视差估计/补偿技术编码目标图象，应用分层马尔可夫随机场（MRF）模型。率失真（RD）模型以及交叠块匹配的混合视差估计/补偿算法，可得到光滑准确的视差场，与通常的变尺寸块匹配（VSBM）相比，该算法得到的视差补偿图象的峰值信噪比（PSNR）可提高2.5dB左右；双向半像素精度的视差估计/补偿的性能要比单向整像素搜索提高3dB，实验结果表明，该立体图象编码方案能有效地压缩立体图象数据，并可推广到立体序列图象的编码压缩中。     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

基于分割导向滤波的亚像素精度立体匹配视差优化算法*

针对局部立体匹配中存在的弱纹理区域匹配精度较低、斜面等区域容易产生视差阶梯效应等问题,文中提出基于分割导向滤波的视差优化算法,以获得亚像素级高精度匹配视差.首先依据左右一致性准则对立体匹配的初始视差进行误匹配检验及均值滤波修正.然后在修正视差图上确定区域分割导向图,对修正视差进行区域导向滤波优化,获得亚像素级高精度的视差结果.实验表明,文中算法能有效改善斜面等区域的视差不平滑现象,降低初始视差的误匹配率,获得较高精度的稠密视差结果.     

基于相位与区域分割的视差估计算法

提出一种结合小波变换与图像分割的立体匹配算法。该算法利用双树复小波多通道提取立体像对带通相位信息作为匹配基元,求取初始视差场。针对单独通道提出一个相位匹配程度方程式,将视差计算归结为求解该方程的极大值。结合图像分割与视差平面拟合的方法对初始视差场进行修正,从而得到精度较高的密集视差图。实验结果表明,该算法结构简单,能快速有效地产生密集视差场。     

基于无人机双目图像的线目标测量的研究

利用无人机双目图像实现线目标的测量对输电线路巡检具有重要的意义。为提高无人机双目图像下线目标的测量精度,改进Census立体匹配算法,在代价聚合过程中,首先对聚合窗口中的初始匹配代价进行异常筛选,然后计算聚合代价值进而生成视差图,实验证明改进立体匹配算法,提高图像立体匹配精度,且平均误匹配率为5.79%;在线目标测量方面,针对线目标视差图存在的缺陷,提出一种基于目标识别的线目标视差图优化算法,该算法依据目标识别获取线目标视差图,然后根据四个原则进行优化处理,最后将优化后的线目标视差图用于测量,实验证明采用优化后的线目标视差图测量得到结果要优于直接采用视差图得到测量结果。     

根据灰度值信息自适应窗口的半全局匹配

目的 立体匹配算法是立体视觉研究的关键点,算法的匹配精度和速度直接影响3维重建的效果。对于传统立体匹配算法来说,弱纹理区域、视差深度不连续区域和被遮挡区域的匹配精度依旧不理想,为此选择具有全局匹配算法和局部匹配算法部分优点、性能介于两种算法之间、且鲁棒性强的半全局立体匹配算法作为研究内容,提出自适应窗口与半全局立体匹配算法相结合的改进方向。方法 以通过AD（absolute difference）算法求匹配代价的半全局立体匹配算法为基础,首先改变算法匹配代价的计算方式,研究窗口大小对算法性能的影响,然后加入自适应窗口算法,研究自适应窗口对算法性能的影响,最后对改进算法进行算法性能评价与比较。结果 实验结果表明,匹配窗口的选择能够影响匹配算法性能、提高算法的适用范围,自适应窗口的加入能够提高算法匹配精度特别是深度不连续区域的匹配精度,并有效降低算法运行时间,对Cones测试图像集,改进的算法较改进前误匹配率在3个测试区域平均减少2.29%;对于所有测试图像集,算法运行时间较加入自适应窗口前平均减少28.5%。结论 加入自适应窗口的半全局立体匹配算法具有更优的算法性能,能够根据应用场景调节算法匹配精度和匹配速度。     

A statistical approach to sparse multi-scale phase-based stereo

In this study, a multi-scale phase based sparse disparity algorithm and a probabilistic model for matching uncertain phase are proposed. The features used are oriented edges extracted using steerable filters. Feature correspondences are estimated using phase-similarity at multiple scale using a magnitude weighting scheme. In order to achieve sub-pixel accuracy in disparity, we use a fine tuning procedure which employs the phase difference between corresponding feature points. We also derive a probabilistic model, where phase uncertainty is trained using data from a single image pair. The model is used to provide stable matches. The disparity algorithm and the probabilistic phase uncertainty model are verified on various stereo image pairs.     

基于小波变换相位基元的立体匹配系统

本文将近年来兴起的小波理论应用于立体视觉技术，提出了一种新的立体匹配算法。该算法利用Ｈａｒｄｙ小波基函数将原始象对分解成一系列具有良好时（空）领域定位性的带通分量，以多通道带通分量的相位信息为匹配基元，从而将视差估计转化为相位差估计问题，整个系统采用由粗到细引导的多通道匹配结构，将匹配约束溶于估计算法之中。实验结果表明，该算法结构简单，抗噪力强，能快速有效地产生密集的视差场。     

基于视觉显著性的区域立体匹配算法

针对区域立体匹配算法对光照变化敏感,视差图存在目标和弱纹理区域的错配、边界不平滑等问题,提出一种利用视觉显著性特征改进的快速区域立体匹配算法。该算法先利用显著性检测定位图像主要目标区域;再结合索贝尔(Sobel)边缘特征和相角特征完成特征匹配、得到粗视差图;最后通过检测粗视差图中的视觉显著性,消除图像弱纹理区域的突兀噪声。相比绝对误差累计(SAD)、平方误差累计(SSD)和归一化灰度互相关(NCC)算法,所提算法对光照变化不敏感,得到的视差图完整,匹配率高,有利于实时系统应用。     

Stereo matching algorithm with guided filter and modified dynamic programming

Dense stereo correspondence is a challenging research problem in computer vision field. To address the poor accuracy behavior of stereo matching, we propose a novel stereo matching algorithm based on guided image filter and modified dynamic programming. Firstly, we suggest a combined matching cost by incorporating the absolute difference and improved color census transform (ICCT). Secondly, we use the guided image filter to filter the cost volume, which can aggregate the costs fast and efficiently. Then, in the disparity computing step, we design a modified dynamic programming algorithm, which can weaken the scanning line effect. At last, final disparity maps are gained after post-processing. The experimental results are evaluated on Middlebury Stereo Datasets, showing that our approach can achieve good results both in low texture and depth discontinuity areas with an average error rate of 5.14 % and strong robustness.     

一种基于特征约束的立体匹配算法

立体匹配一直是计算机视觉领域的一个中心研究问题,为了得到适用于基于图象绘制技术的视图合成高密度视差图,提出了基于边缘特征约束的立体西欧算法,该方法首先利用基于特征技术来得到边缘特征点的准确视差图,然后在边缘特征点视差图的约束下,对非边缘特征点采用区域相关算法进行匹配,这样既缩小了匹配搜索空间,又保证了匹配的可靠性,边缘特征点和边缘特征点的匹配采用双向匹配技术又进一步保证了匹配的可靠性,实验结果表明,该算法效果良好,有实用价值。     

Quaternion wavelet phase based stereo matching for uncalibrated images

This paper proposes a quaternion wavelet phase based stereo matching (QWPSM) scheme for uncalibrated image pairs. In this scheme, we estimate the disparity by directly establishing correspondences between quaternionic phase structures of two quaternion wavelet filtered (QWF) images. Firstly, linear-phase quaternion wavelet filters (LPQWFs) are constructed from real biorthogonal wavelet bases. Then, quaternion phases are extracted under each scale through quaternion wavelet filtering of the multiscale transformed image pyramids. The disparity estimation is formed as a minimization process of a local energy weighted cost function, and propagated from coarse to fine scales. Costs can adaptively alleviate the negative effects of phase singularities, which are the main causes of mismatches in phase-based stereo matching. Multiscale matching strategy is used to avoid phase wrapping and improve convergence speed. Experimental results are promising in various image pairs.     

基于双序列比对算法的立体图像匹配方法*

在分析现有立体匹配方法的基础上,提出一种基于双序列比对算法的立体图像匹配方法。将立体图像对中同名极线上的像素灰度值看做是一对字符序列,使用基于动态规划思想的双序列比对算法对这些对字符序列进行匹配,以获取立体图像视差。为验证该方法的可行性和适用性,采用人脸立体图像对进行实验。实验结果表明,使用该方法进行立体图像匹配能获得光滑的、稠密的视差图。基于动态规划思想的双序列比对算法能够有效地解决立体图像匹配问题,从而为图像的立体匹配提供了一个实用有效的方法。     

基于秩空间的二次立体匹配

提出了一种基于秩空间的区域立体匹配算法。首先对立体图像进行秩（rank）变换,将图像从灰度空间变换到秩空间,消除因噪声和两个摄像机参数不一致产生的干扰,再根据自然视频序列每幅图像多数景物景深变化不大的事实,把视差分解为全局视差与局部视差之和,在秩空间进行二次立体匹配：先在最大窗口内估计全局视差,然后在这个最大窗口内采用块匹配方式进行二次匹配求各点的实际视差。该二次立体匹配算法有效地消除了误匹配,提高正确匹配率。实验结果证明,提出的算法优于传统的基于区域的立体匹配方法。     

基于自适应迭代松弛的立体点对匹配鲁棒算法

图像匹配是立体视觉的重要部分,也是双目立体测量系统必须解决和最难解决的问题。为了对图像进行鲁棒性匹配,提出了一种基于自适应迭代松弛的立体点对匹配方法。该方法首先利用视差梯度约束来构造匹配支持度函数;然后通过松弛方法优化该函数来完成立体点对的匹配。由于利用了动态更新松弛匹配过程参数的方法,因此有效地降低了误匹配率和误剔除率。在此基础上还提出了对松弛过程结束后的匹配结果,再次使用视差梯度约束来进行进一步检验的策略,该策略能够以一定幅度的误剔除率提升为代价,大幅度降低了误匹配率,从而可满足许多要求严格限制误匹配率的应用。实验结果证明,该新算法是有效的,并已经用于一个双目立体测量原型系统当中。     

基于改进Census变换的多特性立体匹配算法

针对当前立体匹配算法存在的匹配准确率低，难以达到实用的高精度水平的问题，提出了一种基于改良的Census变换与色彩信息和梯度测度相结合的多特性立体匹配算法，实现高精度的双目立体匹配。算法首先在初始代价匹配阶段，将改进的Census变换、色彩和梯度测度赋权求和得出可靠的初始匹配代价；在聚合阶段，采取高效快捷的最小生成树聚合，获得匹配代价矩阵；最后根据胜者为王法则得到初始视差图，并引入左右一致性检测等策略优化视差图，获得高精度的视差图，实验阶段对源自Middlebury上的标准测试图进行测试验证，实验结果表明，经本文算法处理得到的15组测试数据集的视差图在非遮挡区域的平均误匹配率为6.81%，算法实时响应性优良。     

Hierarchical stereo matching with image bit-plane slicing

We propose a new stereo matching framework based on image bit-plane slicing. A pair of image sequences with various intensity quantization levels constructed by taking different bit-rate of the images is used for hierarchical stereo matching. The basic idea is to use the low bit-rate image pairs to compute rough disparity maps. The hierarchical matching strategy is then carried out iteratively to update the low confident disparities with the information provided by extra image bit-planes. It is shown that, depending on the stereo matching algorithms, even the image pairs with low intensity quantization are able to produce fairly good disparity results. Consequently, variate bit-rate matching is performed only regionally in the images for each iteration, and the average image bit-rate for disparity computation is reduced. Our method provides a hierarchical matching framework and can be combined with the existing stereo matching algorithms. Experiments on Middlebury datasets show that the proposed technique gives good results compared to the conventional full bit-rate matching.     

An FPGA stereo matching unit based on fuzzy logic

Stereo matching is one of the most used algorithms in real-time image processing applications such as positioning systems for mobile robots, three-dimensional building mapping and recognition, detection and three-dimensional reconstruction of objects. In order to improve the performance, stereo matching algorithms often have been implemented in dedicated hardware such as FPGA or GPU devices. In this paper an FPGA stereo matching unit based on fuzzy logic is described. The proposed algorithm consists of three stages. First, three similarity parameters inherent to each pixel contained in the input stereo pair are computed. Then, the similarity parameters are sent to a fuzzy inference system which determines a fuzzy-similarity value. Finally, the disparity value is defined as the index which maximizes the fuzzy-similarity values (zero up to d_max). Dense disparity maps are computed at a rate of 76 frames per second for input stereo pairs of 1280 × 1024 pixel resolution and a maximum expected disparity equal to 15. The developed FPGA architecture provides reduction of the hardware resource demand compared to other FPGA-based stereo matching algorithms: near to 72.35% for logic units and near to 32.24% for bits of memory. In addition, the developed FPGA architecture increases the processing speed: near to 34.90% pixels per second and outperforms the accuracy of most of real-time stereo matching algorithms in the state of the art.