基于视差平面分割的移动机器人障碍物地图构建方法

作为自主移动机器人地表障碍物探测（GPOD）技术的一部分,提出了一种利用双目摄像机的视差图像 获取信息来构建机器人前方障碍物栅格地图的方法. 该方法融合了3 维立体视觉技术以及2 维图像处理技术,前者 依据视差图的直方图信息对视差图像进行自适应平面分割,把每个平面看作是3 维场景中的实物切片进而提取障碍 物3 维信息,后者通过计算各平面上的障碍物信息曲线来提取障碍物信息,把立体视觉数据从视差图像空间变换到 2 维的障碍物地图空间. 给出了该方法构建障碍物地图的整体过程,试验结果证明了该算法的有效性和精确性.     

基于双目视觉的物体尺寸测量系统

提出了一种基于双目视觉的物体尺寸测量系统,用于非接触式测量物体尺寸。该系统采用张正友棋盘标定法进行双目相机标定,并利用标定参数对采集的图像进行校正。通过采用图像分割技术和角点检测算法获取待测物体的特征点。通过立体匹配算法对校正图像进行处理,得到视差图。根据三角形相似性原理计算特征点的三维坐标,计算出物体尺寸的信息。实验结果表明,该系统具备较高的测量精度,具有一定的实用性和应用前景。     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

基于双目视觉的不规则堆料体积测量研究

针对不规则堆料的体积难以直接测量的问题,提出一种基于双目视觉的不规则堆料体积测量方法。首先,使用双目相机采集堆料的俯视图像,对图像进行预处理;接着通过立体匹配求出堆料图像的视差图,并采用中值滤波和最邻近插值算法对于视差图中的空洞进行填充,同时计算出视差图对应的三维点云坐标;再采用改进的OTSU阈值分割算法将视差图中的堆料区域提取出来,计算出堆料区域的平均高度和面积,最后计算出堆料的体积。实验结果表明,体积测量误差小于5%,可以快速有效地测量出堆料的体积,能够满足工业检测领域的需求,同时为准确快速地测量堆料体积提供了一种新的思路。     

结构光测量系统的投影仪标定方法研究

传统单目视觉结构光测量系统通过解相位间接计算被测物的高度信息,系统约束性过强、不易操作、且标定精度较低.将双目立体视觉原理引入单目结构光视觉测量系统,根据投影仪图像坐标和摄像机图像坐标的对应关系,将投影仪当作一个逆向的相机,建立了投影仪模型,使用成熟的相机标定算法对投影仪进行标定.再配合四步相移法和基于多频外差原理的时域相位展开法,实现条纹图像的快速精确解相位.相对于传统的单目视觉结构光测量系统,本方法具有单目视觉系统操作简单、鲁棒性强的特点,同时也可以达到双目视觉测量的精度.实验结果表明,这种方法的投影仪标定精度达到了实际应用的要求.     

局部双目视差回归的目标距离估计

目的 双目视觉是目标距离估计问题的一个很好的解决方案。现有的双目目标距离估计方法存在估计精度较低或数据准备较繁琐的问题,为此需要一个可以兼顾精度和数据准备便利性的双目目标距离估计算法。方法 提出一个基于R-CNN（region convolutional neural network）结构的网络,该网络可以实现同时进行目标检测与目标距离估计。双目图像输入网络后,通过主干网络提取特征,通过双目候选框提取网络以同时得到左右图像中相同目标的包围框,将成对的目标框内的局部特征输入目标视差估计分支以估计目标的距离。为了同时得到左右图像中相同目标的包围框,使用双目候选框提取网络代替原有的候选框提取网络,并提出了双目包围框分支以同时进行双目包围框的回归;为了提升视差估计的精度,借鉴双目视差图估计网络的结构,提出了一个基于组相关和3维卷积的视差估计分支。结果 在KITTI（Karlsruhe Institute of Technology and Toyota Technological Institute）数据集上进行验证实验,与同类算法比较,本文算法平均相对误差值约为3.2%,远小于基于双目视差图估计算法（11.3%）,与基于3维目标检测的算法接近（约为3.9%）。另外,提出的视差估计分支改进对精度有明显的提升效果,平均相对误差值从5.1%下降到3.2%。通过在另外采集并标注的行人监控数据集上进行类似实验,实验结果平均相对误差值约为4.6%,表明本文方法可以有效应用于监控场景。结论 提出的双目目标距离估计网络结合了目标检测与双目视差估计的优势,具有较高的精度。该网络可以有效运用于车载相机及监控场景,并有希望运用于其他安装有双目相机的场景。     

基于双目立体视觉的视差测量

双目立体视觉是计算机视觉研究最重要的组成部分之一.该文旨在构建一个双目视觉系统用来测量相机与物体的距离.通过双目相机进行图像采集,使用Matlab Calibration Toolbox工具对相机标定,然后进行左右图像校正,最后对校正的图像进行立体匹配,得到被测物体的视差图及其物体的3D坐标.实验表明:这个方案具有可行...     

基于双目视觉的障碍物高度检测

针对变电站设备巡检机器人的应用需求,提出了一种基于双目视觉的障碍物高度检测方法.采用双目测距原理对障碍物的距离信息进行检测,然后在图像中选择样本点,根据这些点在视差图中的三维坐标,利用改进的RANSAC算法,求取当前帧的路面的平面方程,并利用Kalman滤波对此平面方程进行估计和预测.最后利用点到平面距离公式求取障碍物的高度,得到三维环境的高度图,利用高度信息检测障碍物.实际应用表明:提出的方法能有效地克服光照变化和阴影对障碍物检测的影响,所求得障碍物的高度信息精度较高,能够满足需求,对于环境变化的适应性较强.     

面向双目立体视觉的迭代式局部颜色校正

在双目立体视觉中,由于相机参数设置差异、环境光照变化、拍摄物体表面非理想漫反射等因素,拍摄获得的立体图像对可能存在颜色差异,进而降低视差计算的准确性.针对这一问题,提出一种面向双目立体视觉的迭代式局部颜色校正方法.首先使用Meanshift算法以不同粒度对2幅图像进行分割,并基于SIFT特征匹配、区域分布及颜色差异初步建立2幅图像中物体间的对应关系;然后使用加权局部颜色校正方法,逐区域进行颜色校正,由于双目图像中物体遮挡范围不同,初步的区域对应存在误差,因此利用校正的双目图像计算视差图,基于视差图像对之间稠密的像素对应,优化立体图像对的区域分割,建立更准确的对应关系,并再次进行颜色校正;迭代地进行立体匹配、优化图像区域对应和颜色校正,直至获得最佳的立体匹配结果.与已有颜色校正方法对基准测试图像集的处理结果表明,文中方法可以有效地提升立体图像对的颜色相似度,提高立体匹配视差结果的准确性.     

栅格法视觉传感集成及机器人实时避障

研究移动机器人在室内环境下集成双目视觉和激光测距仪信息进行障碍物实时检测。由双目视觉系统检测环境获取视差信息,通过直接对视差信息进行地平面拟合的方法快速检测障碍物;拟合过程中采用了随机采样一致性估计算法去除干扰点的影响,提高了障碍物检测的鲁棒性。用栅格地图表示基于机器人坐标系的地平面障碍物信息并对栅格信息进行提取,最后把双目视觉与激光测距得到的栅格信息进行集成。实验表明,通过传感信息集成,移动机器人既得到了充分的障碍物信息,又保证了检测的实时性、准确性。     

基于双目视觉系统的列车轨道异物距离检测

在线检测列车与轨道异物问的距离并为驾驶员提供减速信息对于行车安全具有重要意义。本文提出了一种基于双目视觉系统的列车轨道异物距离检测方法。通过对在机车上架设的摄像机获得的双目图像中待测目标对应点的准确匹配,应用双目视觉系统原理,根据左右视觉图像的视差实现机车与异物间距离的计算。     

双目视觉测量系统摄像机外部参数标定研究

针对双目立体视觉测量系统中摄像机标定问题,讨论了基于标准长度的外部参数标定方法,选定了摄像机透视投影模型,采用双摄像机同时对放置于视场内的十字靶标拍摄多幅图像,得出了基于LabVIEW开发的摄像机标定方法.该方法利用了LabVIEW的开发环境,使用了数学工具包,将遗传算法与LM算法相结合,优化迭代获得摄像机外部参数,运算速度和精度大大提高.开发的模块可用于基于LabVIEW开发的工程软件进行高精度尺寸现场测量.在双目立体视觉测量系统标定结果基础上对标准靶进行测量,测量结果标准差达到0.1.     

新的单目立体视觉的视差图的获得方法

在立体视觉中,视差间接反映物体的深度信息,视差计算是深度计算的基础。常见的视差计算方法研究都是面向双目立体视觉,而双焦单目立体视觉的视差分布不同于双目视差,具有沿极线辐射的特点。针对双焦单目立体视觉的特点,提出了一种单目立体视差的计算方法。对于计算到的初步视差图,把视差点分类为匹配计算点和误匹配点。通过均值偏移向量（Mean Shift）算法,实现了对误匹配点依赖于匹配点和图像分割的视差估计,最终得到致密准确的视差图。实验证明,这种方法可以通过双焦立体图像对高效地获得场景的视差图。     

一种改进的区域双目立体匹配方法

双目立体匹配是机器视觉中的热点、难点问题。分析了区域立体匹配方法的优缺点,提出了改进的区域立体匹配方法。首先,采集双目视觉图像对对图像对进行校正、去噪等处理,利用颜色特征进行图像分割,再用一种快速有效的块立体匹配算法对图像进行立体匹配。然后,在匹配过程中使用绝对误差累积(SAD)的小窗口来寻找左右两幅图像之间的匹配点。最后,通过滤波得到最终的视差图。实验表明:该方法能够有效地解决重复区域、低纹理区域、纹理相似区域、遮挡区域等带来的误匹配问题,能得到准确清晰的稠密视差图。     

多目立体视觉在工业测量中的应用研究

以双目立体视觉系统为基础，提出了一种多目立体视觉测量的方法。该方法利用摄像机旋转来获取多幅图像，利用这些立体图像对中对应特征点的视差得到物体的深度信息，达到多目测量的目的，通过实验并与双目立体视觉相比较，验证了其在摄像机标定和提高测量结果精度方面的优越性。     

双目立体视觉的三维人脸重建方法

创建逼真的三维人脸模型始终是一个极具挑战性的课题.随着三维人脸模型在虚拟现实、视频监控、三维动画、人脸识别等领域的广泛应用,三维人脸重建成为计算机图像学和计算机视觉领域的一个研究热点.针对这一问题,提出一种基于双目立体视觉的三维人脸重建方法,重建过程中无需三维激光扫描仪和通用人脸模型.首先利用标定的2台摄像机获取人脸正面图像对,通过图像校正使图像对的极线对齐并且补偿摄像机镜头的畸变;在立体匹配方面,选择具有准确可靠视差的人脸边缘特征点作为种子像素,以种子像素的视差作为区域生长的视差,在外极线约束、单调性约束以及对应匹配的边缘特征点的约束下,进行水平扫描线上的区域生长,从而得到整个人脸区域的视差图,提高了对应点匹配的速度和准确度;最后,根据摄像机标定结果和立体匹配生成的视差图计算人脸空间散乱点的三维坐标,对人脸的三维点云进行三角剖分、网格细分和光顺处理.实验结果表明,该方法能够生成光滑、逼真的三维人脸模型,证明了该算法的有效性.     

Three-dimensional data acquisition by trinocular vision

For recognition of three-dimensional (3D) shapes and measurement of 3D positions of objects it is important for a vision system to be able to measure the 3D data of dense points in the environment. One approach is to measure the distance on the basis of the triangulation principle from the disparity of two images. However, this binocular vision method has difficulty in finding a correspondence of features between two images. This correspondence problem can be solved geometrically by adding another camera, i.e. by trinocular vision. This paper presents the principles and implementation details of trinocular vision. On the basis of the proposed method, we carried out several experiments, from which we found that many correct correspondences could be established, even for images of a complex scene, by only the geometrical constraint of trinocular vision. However, when there are dense points in the image, multiple candidate points are found and a unique correspondence cannot be established. Two approaches to solve this problem are discussed in this paper.     

一种改进的相机标定方法

摄像机标定与图像畸变修正是摄影测量、视觉检测、计算机视觉等领域的重点研究课题之一,在测绘、工业控制、导航、军事等领域得到了极大的应用。研究了摄像机模型,摄像机标定等内容。对DLT的标定方法进行了改进,在摄像机模型中全面考虑了镜头的畸变,利用图像中心附近点畸变量较小的性质,提出一种摄像机内外部参数和像差修正参数分离的标定方法。并举例说明了基于同一物体的两幅图画三维重构的具体实验步骤和方法,分析了影响精度的因素。