星球漫游车超广角实时立体视觉系统

给出了一种用于星球漫游车障碍检测和定位的超大视场立体视觉系统的实现方法. 该系统采用具有超广角镜头(对角视场角约160度)的双目或三目摄像机获取场景立体图像 对,利用摄像机标定参数对大变形图像进行修正等预处理,然后在外极线、连续性等约束条 件下,基于查找表和Intel MMx指令集,使用SAD算法快速进行对应点匹配计算.实验表 明,该系统在图像分辨率为320×120像素、视差为64级时,利用普通工控机恢复稠密深度 图的速度为10帧/秒,并能使机器人以1米/秒的速度行走.     

一种用于立体图像匹配的改进稀疏匹配算法

立体匹配有着广泛的应用前景,是计算机视觉领域的研究热点。立体匹配是立体视觉中最为关键和困难的一步,它的目标是计算标识匹配像素位置的视差图。文中提出的立体匹配算法基于置信传播（Belief Propagation,BP）。左图像首先经过非均匀采样,得到一个内容自适应的网格近似表示。算法的关键是使用基于置信传播的立体匹配算法,匹配稀疏的左图像和右图像得到稀疏视差图。通过左图像得到网格,稀疏视差图可以经过简单的插值得到稠密视差图。实验结果表明,该方法与现有稀疏立体匹配技术相比在视差图质量上平均有40％的提高。     

多目立体视觉在工业测量中的应用研究

以双目立体视觉系统为基础，提出了一种多目立体视觉测量的方法。该方法利用摄像机旋转来获取多幅图像，利用这些立体图像对中对应特征点的视差得到物体的深度信息，达到多目测量的目的，通过实验并与双目立体视觉相比较，验证了其在摄像机标定和提高测量结果精度方面的优越性。     

一种利用动态规划和左右一致性的立体匹配算法

立体匹配是计算机视觉领域研究的一个重要课题,为了得到准确、稠密的视差图,提出了一种利用动态规划和左右一致性的立体匹配算法。该算法首先分别以左、右图像为基元图像,计算各自的视差空间图像,在视差空间图像上利用动态规划,计算得到左视差图和右视差图;然后通过使用左右视差图之间的一致性关系,消除误匹配点,得到较为准确的部分视差图;最后利用视差图的顺序约束关系,给出未匹配视差点的搜索空间计算方法,并利用一种简单有效的方法来计算这些点的视差值。在一些标准立体图像对上所做的实验结果表明,该算法效果良好。     

快速对称多窗口正交三目立体匹配

提出了一种对称多窗口正交三目立体匹配算法,利用双目立体视觉中有效的对称多窗口（symmetry multi-window,SMW)方法视差估计的不确定度,在正交三目立体匹配中融合通过SMW方法得到的水平和垂直两个图像对的视差计算结果形成新的视差图。在实现三目立体匹配的同时提出了双目SMW立体匹配方法快速算法,使得计算一对立体图像的9个窗口两个方向（从左到右和从右到左）ZNCC的速度和计算一个ZNCC相当,计算时间约只有原来的1／18。通过对实际的三目立体图像组的实验,结果表明相对于单纯的双目SMW方法,在遮断区域、单方向平滑区域都得到了具有鲁棒性的视差估计,而且计算速度令人满意。     

一种新颖实用的基于视觉导航的三维重建算法

根据立体视觉在视觉导航应用中的特点，提出了由视差图重建三维场景的整套算法。首先，推导视差图里各点在摄像机坐标系下的三维坐标。其次，建立摄像机坐标系与车体坐标系的转换关系，得到更有实际意义的在车体坐标系下各点的三维坐标。最后，通过分格显示地貌的算法，大大减少了数据量。实验结果表明，该算法计算量小、鲁棒性强，完全满足视觉导航中的实时性、准确性要求。     

基于视差平面分割的移动机器人障碍物地图构建方法

作为自主移动机器人地表障碍物探测（GPOD）技术的一部分,提出了一种利用双目摄像机的视差图像 获取信息来构建机器人前方障碍物栅格地图的方法. 该方法融合了3 维立体视觉技术以及2 维图像处理技术,前者 依据视差图的直方图信息对视差图像进行自适应平面分割,把每个平面看作是3 维场景中的实物切片进而提取障碍 物3 维信息,后者通过计算各平面上的障碍物信息曲线来提取障碍物信息,把立体视觉数据从视差图像空间变换到 2 维的障碍物地图空间. 给出了该方法构建障碍物地图的整体过程,试验结果证明了该算法的有效性和精确性.     

仓库三维重建系统中改进双目匹配SAD算法研究

利用双目立体视觉技术实现危险化学品仓库的三维重建是库内安全监测的有效手段，立体匹配是其中的重点和难点。提出一种利用加权SAD算法和灰度共生矩阵的双目立体像对稠密匹配算法，该算法对传统SAD匹配算法做出改进，引进服从二维高斯分布的加权系数求出初始视差图，然后结合灰度共生矩阵的4个纹理特征，利用图像纹理信息对空洞进行填充，得到了优化的视差结果。实验结果表明，该算法在标准数据集及仓库模型具有较好的适用性。     

新的单目立体视觉的视差图的获得方法

在立体视觉中,视差间接反映物体的深度信息,视差计算是深度计算的基础。常见的视差计算方法研究都是面向双目立体视觉,而双焦单目立体视觉的视差分布不同于双目视差,具有沿极线辐射的特点。针对双焦单目立体视觉的特点,提出了一种单目立体视差的计算方法。对于计算到的初步视差图,把视差点分类为匹配计算点和误匹配点。通过均值偏移向量（Mean Shift）算法,实现了对误匹配点依赖于匹配点和图像分割的视差估计,最终得到致密准确的视差图。实验证明,这种方法可以通过双焦立体图像对高效地获得场景的视差图。     

基于重投影变换的实时障碍物检测视觉系统

文中报告了基于重投影变换技术的实时障碍物检测双目立体视觉系统的研制。关键技术包括单摄像机双目立体成像、图像级重投影变换、非零视差滤波和姿态自适应动态重投影变换。该系统利用重投影变换图像间的路面视差为零和非路面视差不为零的特性,在不进行特征提取和对应的情况下,实现了对路面障碍物的实时检测,具有算法鲁棒、计算简单、并行性高、以及对复杂环境的适应能力强等优点。文章给出了室外自然环境中真实图像的试验结果,     

An FPGA-based RGBD imager

This paper describes a trinocular stereo vision system using a single chip of FPGA to generate the composite color (RGB) and disparity data stream at video rate, called the RGBD imager. The system uses the triangular configuration of three cameras for synchronous image capture and the trinocular adaptive cooperative algorithm based on local aggregation for smooth and accurate dense disparity mapping. We design a fine-grain parallel and pipelining architecture in FPGA for implementation to achieve a high computational and real-time throughput. A binary floating-point format is customized for data representation to satisfy the wide data range and high computation precision demands in the disparity calculation. Memory management and data bit-width control are applied in the system to reduce the hardware resource consumption and accelerate the processing speed. The system is able to produce dense disparity maps with 320 × 240 pixels in a disparity search range of 64 pixels at the rate of 30 frames per second.     

Three-dimensional data acquisition by trinocular vision

For recognition of three-dimensional (3D) shapes and measurement of 3D positions of objects it is important for a vision system to be able to measure the 3D data of dense points in the environment. One approach is to measure the distance on the basis of the triangulation principle from the disparity of two images. However, this binocular vision method has difficulty in finding a correspondence of features between two images. This correspondence problem can be solved geometrically by adding another camera, i.e. by trinocular vision. This paper presents the principles and implementation details of trinocular vision. On the basis of the proposed method, we carried out several experiments, from which we found that many correct correspondences could be established, even for images of a complex scene, by only the geometrical constraint of trinocular vision. However, when there are dense points in the image, multiple candidate points are found and a unique correspondence cannot be established. Two approaches to solve this problem are discussed in this paper.     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

An intensity-based cooperative bidirectional stereo matching with simultaneous detection of discontinuities and occlusions

This paper presents a new intensity-based stereo algorithm using cooperative bidirectional matching with a hierarchical multilevel structure. Based on a new model of piecewise smooth depth fields and the consistency constraint, the algorithm is able to estimate the 3-D structure and detect its discontinuities and the occlusion reliably with low computational costs. In order to find the global optimal estimates, we utilize a multiresolution two-stage algorithm minimizing nonconvex cost functions, which is equivalent to the MAP estimation. This basic framework computing the 3-D structure from binocular stereo images has been extended to the trinocular stereo vision for a further improvement of the performance. A few examples for the binocular and trinocular stereo problems are given to illustrate the performance of the new algorithms.     

基于模糊判别的立体匹配算法

立体视觉一直是计算机视觉领域所研究的一个中心问题,而立体匹配则是立体视觉技术中最关键也是最困难的部分,就得到适用于基于图象绘制技术中视图合成的准确、高密度视差图（Disparity Map）而言,现有的一些方法存在一定的局限性。考虑到立体匹配过程中存在的不确定性和模糊性,本文将已获得广泛应用的模糊理论引入立体匹配领域,提出了基于模糊判别的立体匹配算法,并用实际图象与合成图象进行了实验验证,结果表明该算法效果良好,具有实用价值。     

基于Digiclops立体视觉系统的单指指尖跟踪

提出一种复杂背景下检测单指指尖位置的方法,该方法使用Digiclops立体视觉系统采集图像,并得到手指区域的子图像。对于手指正指的情况,可迅速计算出指尖的位置;对于手指侧指的情况,在手指图像基础上,设计一种鲁棒的指尖检测算法定位出指尖的位置。实验表明,该方法对指尖位置检测准确,用该方法处理每一帧图像,可实时跟踪指尖,从而实现了基于指尖跟踪的感知用户界面系统。     

基于自适应匹配窗及多特征融合的立体匹配*

针对局部立体匹配方法中存在的匹配窗口大小选择困难、边缘处视差模糊及弱纹理区域、斜面或曲面匹配精度较低等问题,提出基于CIELAB空间下色度分割的自适应窗选取及多特征融合的局部立体匹配算法.首先,在CIELAB空间上对立体图像对进行色度分割,依据同质区域的分布获取初始匹配支持域,同时估计遮挡区域,更新匹配支持域.然后,基于更新后的匹配支持域,采用自适应权值的线性加权多特征融合匹配方法得到初始视差图.最后,利用左右视差一致性检测方法进行误匹配检验,利用基于分割的均值滤波器进行视差优化及细化,得到稠密匹配视差结果.实验表明文中算法有效,匹配精度较高,尤其在弱纹理区域及斜面等情况下匹配效果较好.     

A cost-benefit analysis of a third camera for stereo correspondence

This paper looks at the twin issues of the gain in accuracy of stereo correspondence and the accompanying increase in computational cost due to the use of a third camera for stereo analysis. Trinocular stereo algorithms differ from binocular algorithms essentially in the epipolar constraint used in the local matching stage. The current literature does not provide any insight into the relative merits of binocular and trinocular stereo matching with the matching accuracy being verified aginst the ground truth. Experiments for evaluating the relative performance of binocular and trinocular stereo algorithms were conducted. The stereo images used for the performance evaluation were generated by applying a Lambertian reflectance model to real Digital Elevation Maps (DEMs) available from the U.S. Geological Survey. The matching accuracy of the stereo algorithms was evaluated by comparing the observed stereo disparity against the ground truth derived from the DEMs. It was observed that trinocular local matching reduced the percentage of mismatches having large disparity errors by more than half when compared to binocular matching. On the other hand, trinocular stereopsis increased the computational cost of local matching over binocular by only about one-fourth. We also present a quantization-error analysis of the depth reconstruction process for the nonparallel stereo-imaging geometry used in our experiments.