基于双目视觉的六自由度工业机器人控制系统研究

目前机器人视觉系统正越来越广泛地应用于视觉检测、视觉引导和视觉装配领域。为了使机器人能够快速准确地识别、检测、抓取工作台上的工件,该文设计了一套双目视觉的六自由度工业机器人控制系统。文中以张正友摄像机标定法为理论依据研究双目视觉合成技术,利用MATLAB摄像机标定工具箱分别获取左右摄像机的内外参数;通过建立机器人用户坐标系、摄像机坐标系以及世界坐标系实现了空间坐标转换;由OpenCV图像处理算法获得工件坐标位置,控制系统驱动机器人实现工件抓取。     

眼科手术机器人双目视觉标定方法研究

双目视觉系统通过相机模拟人眼,基于视差原理,从不同角度采集被测物体的两幅图像获取其二维信息,建立特征点的对应关系,计算出位置偏差,从而实现三维重建。眼科手术机器人双目视觉系统选用的标定方法是以张正友摄像机标定方法为基础,利用Harris角点检测方法实现亚像素点的精确化,对采集图像进行畸变矫正。将得出的标定结果与常用传统标定方法MATLAB相机标定工具箱Toolbox_calib的标定结果进行比较,分析像素误差。结果表明:使用新算法标定后的结果更加稳定,像素误差更小,精度更高,适用情况更加广泛,可用于眼科手术机器人的双目视觉标定系统中。     

基于双目视觉的工件空间定位方法研究

本文基于双目视觉原理,设计实现了一种对特定工件空间定位方法。首先对双目视觉系统进行标定,根据标定结果进行图像矫正,使用基于区域的立体匹配算法求取视差图,结合特征点对应视差值和标定结果对图像进行三维重构,获得工件表面的高度位置信息;根据工件特征,通过拟合获得的工件一组同轴圆的圆心三维坐标,确定工件在摄像机坐标系下的位置和姿态,实现工件的空间定位。     

挖掘机器人双目视觉系统标定方法与立体匹配

在挖掘机器人视觉系统实现中,摄像机标定、特征提取、立体匹配是关键环节,而立体匹配又是视觉系统中最复杂、最重要的步骤。首先分析了通用双目立体视觉模型及平行双目立体视觉模型,对挖掘机器人平行双目立体视觉系统测量方法及参数标定进行了研究。结合基于特征的匹配方法,通过对左、右图像角点的提取,实现了基于极线几何约束的特征点匹配。通过对铲斗图像匹配实验,验证了该方法能满足挖掘机器人视觉系统要求。     

基于双重配准的机器人双目视觉三维拼接方法研究

针对机器人图像视觉视野不够开阔,不能获得全面障碍物信息的问题,提出了一种基于轮廓识别的三维重建与可变视觉三维拼接方法。对双目立体视觉系统拍摄的两幅图像中提取出的边缘点进行了边界跟踪,然后基于窗口灰度匹配法,对两幅图像上的像素点进行了匹配,来寻找双目立体视觉系统左右两幅图像中对应的像素点,重建出了障碍物的三维轮廓,并根据目标物体轮廓的连续性对三维轮廓进行了优化;在此基础上提出了基于双重配准算法的可变视角三维拼接方法,采用改进ICP算法对转换到同一坐标系下的两片三维点云进行了精确配准,并对拼接处进行了融合处理,从而得到了大视野的障碍物信息。研究结果表明:通过可变视角三维拼接方法重建的三维模型具有较高空间坐标精度,并且能够通过改变双目立体视角范围获取大视野图像,最大限度地满足机器人障碍物检测和路径规划的要求。     

结合立体视觉与超像素技术的道路障碍物概率检测

针对道路障碍物检测问题,提出了一种基于立体视觉与超像素技术的双目障碍物概率检测算法。该算法首先利用双目相机采集的左右视图进行立体匹配获取视差图,通过三维重建到得3D点云,然后采用最小二乘法拟合地平面方程,并计算图像空间点到地平面的距离,接着使用SLIC算法得到超像素,并计算超像素到地平面的中值距离,最后使用逻辑回归方法和信任函数计算像素为障碍物的概率。实验结果表明,该方法能够可靠地检测道路障碍物,并为障碍物检测的多传感器融合方法提供有价值的概率数据。     

柔性装夹机器人工件视觉定位系统设计

针对智能制造平台的需要,建立了基于双目立体视觉的柔性装夹机器人工件定位系统。采用GrabCut算法对采集图像进行图像分割获得目标工件图像;进一步基于SURF特征和极限约束实现工件立体匹配;最后基于视差测距法算法求取目标工件的三维坐标,实现工件的定位。定位误差实验结果表明,定位平均误差为0.276mm,能满足柔性装卸机器人对目标工件的抓取要求。     

柔性铰接板振动视觉测量与小波神经网络控制

为了解决航天器上用于供能的太阳帆板类柔性薄板结构的振动问题,针对一种移动柔性铰接板系统构建了双目视觉系统的振动测控实验平台,采用双目立体视觉方法来检测振动,并设计了自回归小波神经网络控制器（Self-Recurrent Wavelet Neural Network Controller, SRWNNC）来抑制振动。对双目视觉系统进行了标定,基于视差原理和图像处理算法,通过解算标志点的三维坐标来获取振动信号。建立了系统的有限元模型,并通过辨识得到校正后的系统模型参数。基于辨识得到的模型在仿真环境中训练SRWNNC,用于实验系统的振动主动控制。分别针对移动柔性铰接板系统固定基座和平移轨迹运动两种情况,进行了双目视觉振动检测和振动控制仿真和实验研究。仿真和实验结果表明,双目视觉传感器对振动信号的检测精度小于0.1 mm,SRWNNC也展现出比大增益PD控制器更好的抑振效果,验证了双目视觉振动检测和SRWNNC抑制振动的准确性和有效性。     

基于双目视觉的运动目标检测跟踪与定位

为克服传统目标检测跟踪方法无法对目标准确定位,以及在复杂环境下容易受光照、阴影等因素干扰的问题,提出了基于双目视觉的目标检测跟踪与定位方法。首先使用Matlab标定工具箱和OpenCV进行摄像机标定和图像校正,然后利用基于双目视觉的背景差分法实现目标检测,结合基于Kalman滤波的改进Camshift算法实现目标跟踪,最后利用视差图得到目标三维信息,从而实现目标定位。实验结果表明,所提方法能够实时跟踪运动目标并实现目标的准确定位。     

模块化可对接爬壁机器人

针对单体爬壁机器人越障能力低而多关节爬壁机器人壁面运动能力差的问题,提出了一种具有对接能力的模块化电磁吸附爬壁机器人设计。主要介绍了单体吸附爬壁模块、越障关节结构设计以及爬壁机器人的控制系统设计。该机器人的单个模块能够独立吸附行走,而多个模块对接后则能利用越障关节完成壁面越障。实验证明此种模块化可对接爬壁机器人爬壁性能良好,不仅能在壁面进行越障,且能够在单目视觉系统导引下实现壁面对接和分离。     

基于张正友平面模板法的双目立体视觉系统标定

为验证基于张正友平面模板法标定双目视觉系统方法的准确性与合理性,首先分析了双目立体视觉系统的原理,然后论述了双目立体视觉的系统标定原理、方法,以及利用张正友平面模板法进行标定的步骤,通过标定双目立体系统的内部参数和外部参数,应用视差原理,能够确定空间某点的三维坐标,实验验证了文中提出的基于张正友平面模板法标定双目视觉系统方法的准确性与合理性。     

基于双目视觉的目标识别与定位研究

针对机器人在作业时缺乏自主性与智能性的问题,对基于双目视觉的空间目标识别与定位问题进行了研究。搭建了双目立体视觉系统并对其进行了标定,获取了两相机的内外参数、相对位姿及畸变系数。采用基于描述子的模板匹配技术,通过随机树算法对检测到的特征点进行了准确实时地分类识别。对同一场景的两幅图像进行了立体匹配,求取了对应的视差图。结合特征点对应的视差值及标定结果对其进行了三维重建,对多组特征点对在图像及实际场景里对应的2D-3D位置信息进行了迭代,求取了重投影误差最小的解,即目标物体的位姿。研究结果表明:所采用的方法可以用于准确、快速、稳定地实现对目标的识别与定位。     

基于双目视觉的行车中障碍距离检测方法研究

目前无人驾驶汽车以及汽车安全辅助驾驶技术是近几年的研究热点。针对汽车在城市拥堵道路上低速运行时完全自动驾驶安全性问题,重点研究了基于双目立体视觉行车中障碍距离检测方法。该方法首先根据双目标定理论获取左右摄像机的内外参数和畸变系数,再进行双目图像校正与匹配,然后根据左右图像中目标点的不同坐标得出视差,最后利用三维重建方程组得出障碍物的距离。实验结果表明:该方法对汽车前方5米左右的障碍物检测精度高,距离误差小,能在城市复杂交通环境中及时作出相应的反应,有效避免交通事故的发生。     

基于双目立体视觉的摄像机外参数快速在线自标定算法

提出了一种基于双目立体视觉的摄像机外参数在线自标定算法。该算法采用理想的小孔成像模型,事先离线标定好摄像机的内参数,且各项内参数在自标定过程中均不发生变化,通过双目系统采集的二维目标图像,进行匹配和分析计算,来实时标定视觉系统的位置参数即摄像机的外参数。由于该算法可以实现摄像机快速在线标定,可以实时获得视觉系统位置参数,故可为无人机的自主着陆提供高度信息。     

面向机器人抓取的双目视觉系统标定与目标位姿估计算法

在双目视觉抓取系统中,首要任务是解决相机标定以及目标位姿估计问题。针对工业应用场景,文中提出了一种基于灭点一致性约束的相机标定算法,并利用目标的双目图像立体匹配结果,通过改进迭代最近点算法实现目标位姿估计。实验结果表明:该系统能够有效地估计目标位姿,目标位姿估计的平移与角度误差均能满足抓取需求。     

基于双目视觉的工件抓取系统研究

现代化工业流水线上,双目视觉技术利用视差原理能够恢复目标物体空间信息,将机械手与其相结合,可以解决传统生产线对机器人通过离线示教方式进行抓取的弊端,对于提高生产效率和自动化程度有着重要意义。该系统利用双目视觉技术,使用改进的SURF算法对工件图像进行特征提取,同时以距离测度作为相似性度量技术进行左右图像特征点匹配,实现对工件中心识别;并将识别结果转化为机械臂控制信息,完成工件抓取。     

一种基于机器视觉的机器人标定方法

机器人标定是离线编程技术实用化的关键技术之一.提出了一种基于机器视觉的机器人标定方法,利用双目视觉测量机器人上的目标点,通过目标点位置的测量撮出机器人的关节轴线,根据相应的运动学模型求出机器人的几何参数,并解决了在测量过程中摄像机视野小的问题.实验结果表明该方法能够实现机器人几何参数的标定,提高了机器人的绝对精度.     

基于HALCON的单目视觉工件位姿测量方法研究

为了满足单目视觉系统对被测工件三维位姿参数测量及机器人实时快速响应要求,提出一种通过单目视觉获取规格已知、位置随机工件三维参数的方法。利用HALCON图像处理软件对机器人和工业相机进行系统标定,通过标定参数进行采集图像预处理、点特征坐标提取,引入约束条件建立三维位姿算法几何模型,完成上位机图像采集与数据处理,并实时将数据通过以太网传送至机器人,实现工件抓取。试验表明,这一方法误差范围达到了工业机器人操作的预期要求。     

一种码垛视觉系统中物料袋的识别与定位方法

提出了一种基于双目视觉的码垛机器人从码垛中识别与定位单个物料袋的解决方法。首先通过对双目CCD摄像机采集到的原始码垛图像进行双目校正、SAD算法立体匹配、匹配校验、亚像素插值,得到致密的视差图;之后,对校正了的一个视图进行otsu方法自动阈值、Canny算子求边缘、Hough直线检测、Sobel边缘检测并结合形态学图像处理的膨胀、开操作,得到属于单个物料袋的连通域并求出其中心,结合视差图,进而求出每个物料袋相对于摄像机的三维坐标。最后,利用o PENCV与VS结合的开发平台编程与测试,实践表明该解决方法可以迅速准确的对码垛中单个物料袋识别与空间定位。     

双目立体视觉的羽毛球机器人环境自动感知

为了提高羽毛球机器人的接球成功率，提出基于双目立体视觉的羽毛球机器人环境自动感知方法。分析羽毛球机器人外部结构与内部智能控制系统的组成要素，结合气缸工作过程，利用旋转矩阵变换坐标构建机器人运动学模型；采用棋盘格标定算法获取相机内、外部参数，矫正畸变现象，采用双滤波算法过滤图像噪声；匹配不同视角下图像同一特征点，重构三维环境信息，使用核相关滤波器算法对感知区域做循环位移，构建海量目标分类器，实现环境自动感知。仿真实验证明，所提方法能够获得感知区域更多的目标信息，无论在哪种击球方式下，都能准确感知环境，减少接球定位误差，提升接球成功率。