基于SFPM的遥操作工程机器人双目视觉定位

为解决遥操作工程机器人作业过程中视频图像传输的时延问题,建立了基于双目视觉的遥操作工程机器人定位系统,提出一种基于单特征点匹配(SFPM)的双目立体视觉定位方法。通过对机器人抓手和抓取物上的单特征点的特征检测和立体匹配,实现特征点的三维信息恢复,并将获取的二者空间坐标和相对距离实时反馈给操作者,为远程遥控机器人逼近并抓取目标物提供判断依据。实验表明:该方法能够对目标物实现快速准确定位,定位精度满足工程作业要求,可为遥操作工程机器人的视觉提示系统设计提供技术参考。     

一种基于双目立体视觉的测量方法

以双目立体视觉理论为基础,提出了一种基于射线交汇法的双目模型。标定好双目系统后,使用Harris算法提取图像中的特征点,经过立体匹配,求出特征点在相机坐标系下的三维坐标,从而计算出任意点间的距离,并通过理论推导证明其比另一种双目模型计算出的结果更精确。实验表明该方法能够较精确的对物体实现三维测量。     

基于双目视觉的目标识别与定位研究

针对机器人在作业时缺乏自主性与智能性的问题,对基于双目视觉的空间目标识别与定位问题进行了研究。搭建了双目立体视觉系统并对其进行了标定,获取了两相机的内外参数、相对位姿及畸变系数。采用基于描述子的模板匹配技术,通过随机树算法对检测到的特征点进行了准确实时地分类识别。对同一场景的两幅图像进行了立体匹配,求取了对应的视差图。结合特征点对应的视差值及标定结果对其进行了三维重建,对多组特征点对在图像及实际场景里对应的2D-3D位置信息进行了迭代,求取了重投影误差最小的解,即目标物体的位姿。研究结果表明:所采用的方法可以用于准确、快速、稳定地实现对目标的识别与定位。     

遥操作工程机器人的双目视觉定位方法研究

针对遥操作工程机器人视频图像传输时延问题,建立了遥操作工程机器人的双目视觉定位系统,提出一种极线约束法与形态学向量夹角相结合的组合匹配方法对目标物进行立体匹配。该系统通过创建目标物模板,利用此模板识别经立体校正后的图像对上的目标物,并获取特征点,然后采用提出的组合匹配方法对特征点进行立体匹配,并对其三维重建,实现目标物的空间定位。实验表明,该方法匹配计算量小,定位效率高,定位精度满足工程作业要求,可为遥操作工程机器人的视觉提示系统设计提供技术参考。     

基于双目视觉的工件空间定位方法研究

本文基于双目视觉原理,设计实现了一种对特定工件空间定位方法。首先对双目视觉系统进行标定,根据标定结果进行图像矫正,使用基于区域的立体匹配算法求取视差图,结合特征点对应视差值和标定结果对图像进行三维重构,获得工件表面的高度位置信息;根据工件特征,通过拟合获得的工件一组同轴圆的圆心三维坐标,确定工件在摄像机坐标系下的位置和姿态,实现工件的空间定位。     

基于张正友平面模板法的双目立体视觉系统标定

为验证基于张正友平面模板法标定双目视觉系统方法的准确性与合理性,首先分析了双目立体视觉系统的原理,然后论述了双目立体视觉的系统标定原理、方法,以及利用张正友平面模板法进行标定的步骤,通过标定双目立体系统的内部参数和外部参数,应用视差原理,能够确定空间某点的三维坐标,实验验证了文中提出的基于张正友平面模板法标定双目视觉系统方法的准确性与合理性。     

光笔式大视场三维视觉测量系统

针对先进制造业对大型装备大范围精密尺寸测量需求,根据双目立体视觉测量原理设计了一种光笔式大视场三维视觉测量系统.基于透视投影变换下的时针顺序和共线性不变量设计了光笔特征点空间分布模式,实现了特征点的准确识别与接触探头坐标的计算.应用双目立体视觉传感器的透视投影和齐次坐标三维测量模型,以一维基线尺靶标自由移动和基准长度约束为核心,通过本质矩阵E的线性求解结合非线性优化实现了其结构参数的现场精确标定.研制了由光笔、双目立体视觉测量系统、便携式三脚架、一维基线尺靶标和测量软件构成的大视场三维视觉测量系统,完成了机器人本体表面三维数据的稠密测量实验,在7 m×4.7m测量范围内系统的测量精度优于0.2 mm.实验显示设计的光笔式大视场三维视觉测量系统在光笔结构、发光点识别方法和系统标定方法上均具有新的思路.     

无人车平台立体视觉技术的研究

以某无人车平台为对象,开展双目立体视觉技术研究。通过采用双目立体视觉涉及传感器CCD摄像头与一线激光雷达、四线激光雷达及毫米波雷达等多传感器联合标定的方法提高立体视觉的测量精度。通过比较多种匹配算法优劣性,选择其中的自适应权重立体匹配算法作为本平台实现算法,编写算法测试程序,生成视差图,并通过与SSDA算法对比实验验证算法优越性。     

眼科手术机器人双目视觉标定方法研究

双目视觉系统通过相机模拟人眼,基于视差原理,从不同角度采集被测物体的两幅图像获取其二维信息,建立特征点的对应关系,计算出位置偏差,从而实现三维重建。眼科手术机器人双目视觉系统选用的标定方法是以张正友摄像机标定方法为基础,利用Harris角点检测方法实现亚像素点的精确化,对采集图像进行畸变矫正。将得出的标定结果与常用传统标定方法MATLAB相机标定工具箱Toolbox_calib的标定结果进行比较,分析像素误差。结果表明:使用新算法标定后的结果更加稳定,像素误差更小,精度更高,适用情况更加广泛,可用于眼科手术机器人的双目视觉标定系统中。     

基于双目立体视觉的齿轮端面高度测量方法

为了实现齿轮端面高度的高精度非接触式测量,提出基于双目立体视觉的齿轮端面高度测量方法。创新性地使用可滑动固定基线距离的单目CCD相机代替传统的双目相机获取齿轮双目图像。在获取双目图像后,通过双目相机标定实现齿轮图像立体矫正。基于改进的SGBM算法对矫正后的双目图像进行立体匹配,获取视差图和相机坐标系下平面三维坐标点,对上下平面的三维坐标点进行最小二乘拟合,从而获取上下平面的深度信息,上下平面深度相减即可实现齿轮端面高度的测量。使用直齿轮进行了视觉测量实验,实验结果表明,提出的测量系统及方法具有较高的精度和稳定性。     

基于双目视觉的目标定位系统设计

基于双目视觉原理进行目标定位可以得到目标的深度信息。本文对双目视觉关键技术中的摄像机标定和立体匹配进行深入研究,采用改进的平面标定法和基于外极线约束和灰度相关性的立体匹配算法。搭建双目视觉系统实验平台,编制目标定位程序。实验结果验证本文方法的准确性。     

一种基于双目立体视觉的激光线扫描技术

针对线结构激光扫描系统标定成本高,而双目立体视觉测量中立体匹配难的问题,提出了在双目立体视觉的原理上,结合线结构激光扫描的方法实现对被测物体的三维测量。该方法采用张正友相机标定方法对系统进行立体标定;采用BOUGUET’S法对左右相机图像进行立体校正;运用重心法进行激光中心线的精确提取。在图像校正的基础上,可快速实现激光中心线位置的立体匹配;再结合线扫描原理可完成对物体的扫描工作。最后,使用该系统对具有复杂自由曲面的鞋楦进行测量,结果表明:该方法能快速准确地测量出符合要求的三维数据。     

基于双目视觉的主从式机器人主手系统设计和研究

提出了一种基于双目视觉的主从式机器人主手系统,采用双目视觉技术实时识别并跟踪手柄的运动,同时测量其空间位姿。首先通过背景差分法检测出手柄,然后用卡尔曼滤波器对手柄的位置和速度进行预测,跟踪手柄的运动。在标记点的立体匹配中采用了特征匹配和区域灰度匹配相结合的方法,并引入唯一性和顺序一致性约束来剔除伪匹配,最终测罱出手柄的实时空间位姿信息。实验结果证明系统方案是可行的。     

双目视觉脉搏图像三维信息获取的研究

通过双目视觉原理构成脉搏图像传感器采集脉搏薄膜图像。对系统摄像机采用张正友标定方法,得出系统结构参数建立的物空间坐标到像平面坐标对应矩阵。再基于SIFT特征算子进行左右2幅图像匹配,得出2幅图像一一对应的特征点。最后根据双目视觉原理得到特征点的三维信息。     

基于双目视觉识别技术的智能挖掘机器人研究

为能够在无人驾驶情况下完成各项复杂作业任务,设计和研究具有双目立体视觉系统的智能挖掘机器人.该挖掘机器人可实时捕获机身周围的图像信息、求取对象物特征点的立体坐标,并根据计算结果自行规划并控制执行单元完成作业任务.通过实验验证,该挖掘机器人满足现场作业的精度要求和环境要求,可有效提高作业质量,减轻劳动强度,提高生产效率.为工程机械的自动化、智能化提供了新的解决方案,具有重要的社会经济效益.     

立体视觉和三维激光系统的联合标定方法

双目立体视觉和三维激光扫描是移动机器人环境探测与建模的常见传感测量方法。为实现两个系统的数据融合应用,必须为二者的测量坐标系建立数学关系,即对其进行传感器之间的位姿联合标定。为此提出了一种基于三维特征点距离匹配的联合标定新方法,设计了一种镂空棋盘格作为标定板。使用双目立体相机提取棋盘格角点三维坐标信息,使用激光测距雷达扫描获取镂空区域中心点三维坐标,最终通过最小化两组特征点的理论与实际测量距离的平方差获取两传感器坐标系之间的旋转矩阵和平移向量。进行的联合标定测量实验结果表明了该方法的准确性和可靠性。     

基于图像校正与灰度相关性的立体匹配算法研究

立体匹配是双目视觉系统中必不可少的环节,对特征点进行匹配求解过程复杂,而且误匹配率较高。外极线约束为立体匹配提供了便利条件,但由于实际系统中的外极线是弯曲的,使得沿外极线进行同名点搜索不仅非常耗时,而且计算过程受噪声影响大。给出一种基于图像校正与灰度相关性的立体匹配算法。首先采用图像校正方法将弯曲的外极线变为相互平行的水平外极线,简化了外极线的求取过程;再利用灰度相关性算法对同名点进行匹配。实验结果验证了本文方法的准确性和稳定性。     

Reparability measurement of vision sensor in active stereo visual system

The active visual inspection has made giant strides in development. Due to the complexity of field conditions, the binocular stereo vision sensor in active stereo visual inspection system is difficult to acquire the ideal image pair under the poor illumination environment, or cannot work normally because one of two cameras is damaged. To solve the practical problem, a reparability method of the vision sensor in active stereo visual inspection system is proposed. Based on the traditional measurement platform with a structured stripe projector and two industrial cameras, a reparability mathematical model is established, which merges the measurement mode of the stereo vision and the structured light vision to inspect feature points based on the reparability measurement model. Meanwhile, a mathematical model and calibration method of the structured light vision are developed based on the homography between the image and light plane. The method greatly improved the stability and reliability of measurement data. It is proven by experiment that the method is valid, which can accomplish reparability tasks commendably and achieve uninterrupted inspection of feature points in the actual industrial applications.     

基于混合群智能优化的机器人立体视觉标定

准确的立体视觉模型是机器人高精密视觉定位的基础,而传统的单一非线性优化算法难以实现稳定和高精度的机器人立体视觉标定。结合遗传算法全局搜索能力强和粒子群算法局部搜索能力强的特点,提出了一种基于混合群智能优化的机器人立体视觉三步标定方法。针对非线性视觉模型,标定第一步和第二步分别对两个摄像机模型单独作线性初值求解和初次非线性优化,第三步对双目立体视觉模型作联合非线性优化,直接线性变换、遗传算法、粒子群算法分别作用于标定的三个步骤,每一步计算的结果被用作下一步的初始化。仿真试验分析与实际试验结果表明,相对于传统的优化标定方法和使用单一群智能优化算法的标定方法,该方法在噪声环境下具有更高的准确性和鲁棒性,能够更好满足机器人精密视觉操作的需求。