多目立体视觉在工业测量中的应用研究

以双目立体视觉系统为基础，提出了一种多目立体视觉测量的方法。该方法利用摄像机旋转来获取多幅图像，利用这些立体图像对中对应特征点的视差得到物体的深度信息，达到多目测量的目的，通过实验并与双目立体视觉相比较，验证了其在摄像机标定和提高测量结果精度方面的优越性。     

仿生眼运动视觉与立体视觉3维感知

为使机器人同时具备双目立体视觉和单目运动视觉的仿人化环境感知能力,克服双目视场狭窄、单目深度感知精度低的缺陷,本文基于人眼结构特点,设计了一个具有4个旋转自由度的双目仿生眼平台,并分别基于视觉对准策略和手眼标定技术实现了该平台的初始定位和参数标定.给出了基于外部参数动态变化的双目立体感知方法和单目运动立体感知方法,前者通过两架摄像机实时获取的图像信息以及摄像机相对位姿信息进行3维感知,后者综合利用单个摄像机在多个相邻时刻获取的多个图像及其对应姿态进行3维感知.实验结果中的双目视觉相对感知精度为0.38%,单目运动视觉相对感知精度为0.82%.本文方法不但能够有效拓宽传统双目视觉的感知视野,而且能够保证双目感知和单目运动感知的准确性.     

基于双目视觉系统的列车轨道异物距离检测

在线检测列车与轨道异物问的距离并为驾驶员提供减速信息对于行车安全具有重要意义。本文提出了一种基于双目视觉系统的列车轨道异物距离检测方法。通过对在机车上架设的摄像机获得的双目图像中待测目标对应点的准确匹配,应用双目视觉系统原理,根据左右视觉图像的视差实现机车与异物间距离的计算。     

基于重投影变换的实时障碍物检测视觉系统

文中报告了基于重投影变换技术的实时障碍物检测双目立体视觉系统的研制。关键技术包括单摄像机双目立体成像、图像级重投影变换、非零视差滤波和姿态自适应动态重投影变换。该系统利用重投影变换图像间的路面视差为零和非路面视差不为零的特性,在不进行特征提取和对应的情况下,实现了对路面障碍物的实时检测,具有算法鲁棒、计算简单、并行性高、以及对复杂环境的适应能力强等优点。文章给出了室外自然环境中真实图像的试验结果,     

改进的跨尺度引导滤波立体匹配算法

作为双目三维重建中的关键步骤,双目立体匹配算法完成了从平面视觉到立体视觉的转化.但如何平衡双目立体匹配算法的运行速度和精度仍然是一个棘手的问题.本文针对现有的局部立体匹配算法在弱纹理、深度不连续等特定区域匹配精度低的问题,并同时考虑到算法实时性,提出了一种改进的跨多尺度引导滤波的立体匹配算法.首先融合AD和Census变换两种代价计算方法,然后采用基于跨尺度的引导滤波进行代价聚合,在进行视差计算时通过制定一个判断准则判断图像中每一个像素点的最小聚合代价对应的视差值是否可靠,当判断对应的视差值不可靠时,对像素点构建基于梯度相似性的自适应窗口,并基于自适应窗口修正该像素点对应的视差值.最后通过视差精化得到最终的视差图.在Middlebury测试平台上对标准立体图像对的实验结果表明,与传统基于引导滤波器的立体匹配算法相比具有更高的精度.     

新的单目立体视觉的视差图的获得方法

在立体视觉中,视差间接反映物体的深度信息,视差计算是深度计算的基础。常见的视差计算方法研究都是面向双目立体视觉,而双焦单目立体视觉的视差分布不同于双目视差,具有沿极线辐射的特点。针对双焦单目立体视觉的特点,提出了一种单目立体视差的计算方法。对于计算到的初步视差图,把视差点分类为匹配计算点和误匹配点。通过均值偏移向量（Mean Shift）算法,实现了对误匹配点依赖于匹配点和图像分割的视差估计,最终得到致密准确的视差图。实验证明,这种方法可以通过双焦立体图像对高效地获得场景的视差图。     

单幅数字图像多尺度空间下的场景深度估计

双目立体视觉方法已广泛应用于移动机器人导航领域,通过该方法得到的视差图实现了对场景深度的有效估计,然而,双目立体视觉方法需要对图像对做匹配,计算量大,不适合动态场景的深度信息的获得。为了避免图像匹配的计算,以得到真实场景的深度估计,文中提出了一种基于Markov随机场模型对单幅数字图像特征建模来获得场景深度信息的方法。实验证明,通过单幅数字图像获得的场景深度可以有效地估计真实场景中摄像机与场景目标之间的距离,并且,随着尺度空间的变大,可以有效减小其所获得的深度值误差。     

融合多特征表示和超像素优化的双目立体匹配

针对目前许多局部双目立体匹配方法在缺乏纹理区域、遮挡区域、深度不连续区域匹配精度低的问题,提出了基于多特征表示和超像素优化的立体匹配算法。通过在代价计算步骤中加入边缘信息特征,与图像局部信息代价相融合,增加了在视差计算时边缘区域的辨识度;在代价聚合步骤,基于超像素分割形成的超像素区域,利用米字骨架自适应搜索,得到聚合区域,对初始代价进行聚合;在视差精化步骤利用超像素分割信息,对匹配错误视差进行修正,提高匹配精度。基于Middlebury立体视觉数据集测试平台,与自适应权重AD-Census、FA等方法得出的视差图进行比较,该算法在深度不连续区域和缺乏纹理区域的匹配效果显著改善,提高了立体匹配精度。     

基于稳定树的立体匹配视差优化算法

针对双目视觉立体匹配中的视差优化问题,提出一种基于稳定树形结构的视差优化算法.在双目匹配问题中,视差可以通过检测左右眼2张视觉成像图片中的对应点的信息来计算得出,以生成三维深度图像,继而通过视差优化这一步骤提高三维深度图像的质量.从计算视差中支持域的角度出发,用稳定度的概念来衡量支持域的特征;通过基于稳定度的树结构来评估和重构支持域,用于之后的代价聚合,以减少视差错误.除了室内图片,文中方法还被拓展到了真实路面的数据集,其在移除大块视差错误和整合碎片上取得了明显优于其他方法的效果;与传统的基于树结构的方法相比,在保持精确度的同时降低了70%的聚合时间,极大地提高了视差优化的速度.     

基于双目视觉的物体尺寸测量系统

提出了一种基于双目视觉的物体尺寸测量系统,用于非接触式测量物体尺寸。该系统采用张正友棋盘标定法进行双目相机标定,并利用标定参数对采集的图像进行校正。通过采用图像分割技术和角点检测算法获取待测物体的特征点。通过立体匹配算法对校正图像进行处理,得到视差图。根据三角形相似性原理计算特征点的三维坐标,计算出物体尺寸的信息。实验结果表明,该系统具备较高的测量精度,具有一定的实用性和应用前景。     

基于强相似点检测快速双目立体匹配算法

立体匹配是双目视觉的一个重要分支领域,能够通过深度图还原出三维信息,但由于其计算量庞大,实时性难以得到保障。为此,提出了一种基于强相似点的快速立体匹配算法。首先,将双目图像通过对极处理,使匹配区域固定在同一水平线上,减少匹配区域;其次,对图像进行灰度转化,并将搜索范围内与待匹配点灰度值接近的点定义为强相似点,对强相似点所在块进行匹配代价计算,并得出该点最优视差,对不存在强相似点的待匹配点进行正常视差计算;最后将进行视差修正与滤波,得到最终视差图。经Middlebury算法测试平台的提供数据进行验证,结果表明在不损失精确率的前提下,该方法相对于SAD速度提高70%左右,为立体匹配算法的实际应用奠定了良好基础,在视觉导航、障碍物检测方面也有着良好的应用前景。     

基于显著性检测的双目测距系统

为了提高双目视觉测距系统中图像匹配的实时性与测距的精度,提出一种将显著性检测与焦距拟合相结合的双目测距方法。首先对双目相机进行畸变矫正,并利用双目相机成像的特点拟合相机焦距与目标距离的关系,随后对所得图像进行显著性检测,并提取目标区域,最后,利用surf算子对提取出的区域进行特征匹配,将匹配点代入测距模型中得到目标物体的距离。结果表明:显著性检测方法明显提升算法执行速度,焦距拟合降低双目测距模型误差,明显提升双目测距精度。     

基于视觉的机器人自主定位与障碍物检测方法

针对稀疏型同时定位与地图构建（SLAM）算法环境信息丢失导致无法检测障碍物问题，提出一种基于视觉的机器人自主定位与障碍物检测方法。首先，利用双目相机得到观测场景的视差图。然后，在机器人操作系统（ROS）架构下，同时运行定位与建图和障碍物检测两个节点。定位与建图节点基于ORB-SLAM2完成位姿估计与环境建图。障碍物检测节点引入深度阈值，将视差图二值化；运用轮廓提取算法得到障碍物轮廓信息并计算障碍物凸包面积；再引入面积阈值，剔除误检测区域，从而实时准确地解算出障碍物坐标。最后，将检测到的障碍物信息插入到环境的稀疏特征地图当中。实验结果表明，该方法能够在实现机器人自主定位的同时，快速检测出环境中的障碍物，检测精度能够保证机器人顺利避障。     

基于神经网络的双目视觉下头部姿态估计

头部姿态估计是人体姿态检测的关键技术之一。本文基于神经网络设计一种在双目视觉下由人脸中的关键点在空间中的相对位置的变化估计头部姿态,并对头部进行定位的方法。将头部姿态分为6种,空间位置关系分为2种。利用改进SDM算法对双目视觉下的人脸关键点进行标记;标记出人脸关键点后利用的POSIT算法对头部姿态角度估计,计算出头部欧拉角;根据左右图像中对应的头部关键点位置的视差由三角测量原理算出其深度信息。并设定阈值对其进行分类。通过实验,该方法的头部姿态估计准确率高,头部空间定位精度良好。     

基于双目立体视觉避障的四旋翼飞行器设计

将双目立体视觉技术融入四旋翼飞行器设计,通过两个在相对水平位置上的单目相机模拟人的眼睛,在双目立体视觉测距系统上经过图像采集、双目矫正、双目立体匹配等步骤得到视差结果,计算出深度信息并进行三维重构,实现四旋翼飞行器一键起飞、定高、定点巡航、悬停及自主避障。实验结果表明,所设计的飞行器响应速度快,跟随性能好,定位精度较高。     

利用双目视差理论的摄像机参数标定方法

针对龙眼和荔枝采摘机械手的目标获取问题,文章提出了基于双目立体视觉的摄像机标定的实验系统。实验系统是采用双目视差原理来获取深度信息的标定模型,通过对不同距离的标定板上已知特征点的图片获取和数据处理和分析,确定了两摄像机之间的最佳基线距离,在此基础上进一步验证了采摘目标的深度信息与摄像机的焦距有关的理论,并获得摄像机的合理焦距,为采摘机械手定位提供了基础理论研究依据。     

应用双目摄像机进行人群密度估计

论文中提出了将计算机双目视觉技术应用于人群密度估计方法：首先根据目标在两个摄像平面上的视差的平均值,计算出该位置的矫正参数,然后根据目标在不同位置的矫正参数,拟合出矫正函数。以前景像素、前景边缘像素等图像特征作为人群密度估计的特征,应用矫正参数进行矫正。实验证明,相对于现有方法,该方法可以消除射影畸形的影响,大大提高特征的有效性,从而提高人群密度估计的准确性。     

基于双目视觉的板材平面测量研究

针对传统人工测量板材尺寸精度较低、工作量大、易导致板材表面受损等局限,基于双目视觉技术设计了一种板材尺寸视觉测量系统;通过双目相机采集棋盘格图像,采用MATLAB进行相机标定和图像校正,拍摄左右图像并通过半全局立体匹配算法(SGM,semi global matching)进行特征点立体匹配,重建出目标三维点云模型;为提高目标特征点坐标获取的准确性,提出基于HARRIS的亚像素检测方法;采用区域生长算法结合膨胀和腐蚀操作提取板材表面轮廓,根据三角测量原理计算出板材轮廓上各点的三维坐标从而实现板材的尺寸测量,并进行点云重建增强三维展示效果;实践结果表明亚像素检测方法在角点提取上存在优势,在实际板材测量应用中实现了高精度尺寸测量,满足了工业测量需求。     

双目视觉运动目标跟踪定位系统的设计

针对运动目标在被遮挡时跟踪丢失问题,采用双目视觉对运动目标进行跟踪定位.首先,利用背景差分法实现目标检测;然后,利用Kalman滤波器改进的CamShift算法与FAST角点检测算法相结合,通过缩小角点检测的范围,提高预测的准确性和跟踪速度,同时有效解决了目标跟踪丢失问题;最后,通过双目立体视觉视差原理求出目标的三维坐标,实现对目标的定位.实验结果表明,该系统有效地解决了目标跟踪丢失问题,且算法实时性良好,有利于工业上使用机器人对运动目标的精确抓取.     

基于双目视觉与目标识别拟合的三维屏幕定位方法

为解决针对三维立体屏幕的定位问题,提出了基于双目视觉与目标识别、拟合的屏幕定位算法。首先利用边缘检测算法提取屏幕轮廓,获取屏幕在二维图像中的位置;其次利用双目视觉算法对识别出的屏幕进行深度数据采集,利用最小二乘法对采集的屏幕空间数据进行空间拟合得到屏幕的空间方程;最后计算屏幕顶点在三维空间中的位置从而确定屏幕范围,至此完成在三维空间中对屏幕的定位。实验结果表明,该方法计算得到的屏幕位置具有较高准确度。