基于视觉引导的工业机器人定位抓取系统设计

以美国国家仪器公司的视觉开发模块NI Vision为软件支撑和以ABB-IRB120型机器人,摄像机和传送带为硬件基础,对视觉识别与检测系统进行了模块化设计,构建了一个基于单目视觉的工业机器人工件自动识别和智能抓取系统,其中ABB-IRB120型工业机器人作为操作手臂,用CCD相机、运动控制器和工控机搭建了机器人视觉控制平台,通过建立抓取系统的参数化模型给出图像坐标到机器人坐标的转换算法,利用NI Vision中提供的图像处理、模式匹配等方法,在C#环境下进行开发,实现了目标定位和机器人控制两大基本功能,最终控制机器人完成目标工件的抓取。     

微型机器人用于检查管道内的缺陷

管径φ10～20 mm的细小管道在工业中应用十分广泛,因此迫切需要研究一种管道检测机器人进入管道内部, 对其缺陷进行检测或维修.为此目的,近年来发展了不同类型的微型机器人,例如:气囊蠕动型、螺旋摩擦型、电磁力型、SMA型、冲击型机器人,并且取得了一些可喜进展.本文报道一种采用双压电薄膜PZT驱动器的细小管道实验微机器人,它可以携带CCD摄像机进入φ20 mm的垂直、水平或弯曲管道, 检查管壁上的小孔或裂纹.论述了此种微机器人的实验系统、结构、运动机理和性能.     

视觉机器人目标检测分析

设计了利用数学形态学处理图像目标并求解目标质心坐标,通过摄像机的标定以确定机器人运动的空间位置的方法,即利用数学形态学中的膨胀、腐蚀等基本定义和区域填充等算法,除去图像中的背景、检测出目标并获取目标的质心坐标;然后采用OpenCV的单双目立体标定函数进行摄像机内外参数标定,以确定机器人运动的空间位置坐标。     

基于双目视觉的六自由度工业机器人控制系统研究

目前机器人视觉系统正越来越广泛地应用于视觉检测、视觉引导和视觉装配领域。为了使机器人能够快速准确地识别、检测、抓取工作台上的工件,该文设计了一套双目视觉的六自由度工业机器人控制系统。文中以张正友摄像机标定法为理论依据研究双目视觉合成技术,利用MATLAB摄像机标定工具箱分别获取左右摄像机的内外参数;通过建立机器人用户坐标系、摄像机坐标系以及世界坐标系实现了空间坐标转换;由OpenCV图像处理算法获得工件坐标位置,控制系统驱动机器人实现工件抓取。     

双机器人系统的快速手眼标定方法

针对双机器人仿真测量系统的手眼标定问题,提出一种由机器视觉求解法兰盘位姿得出手眼关系的方法.将目标机器人运动到合适的位姿,由视觉机器人拍摄其法兰盘图像,提取图像中法兰盘的椭圆轮廓,解算摄像机坐标系下的法兰盘姿态和圆心坐标,并由销孔位置约束得出摄像机与目标法兰盘坐标系的转换关系H1.然后由控制器读数得出两台机器人各自法兰...     

靶准直传感器封装误差检测模型与修正方法

利用三个面阵电荷耦合元件(charge-coupled device,CCD)构成的靶准直传感器实现柱状腔靶高精度姿态检测时,靶准直传感器中CCD封装误差等因素的存在会给柱状靶姿态检测及定位带来不确定影响,针对此,提出了靶准直传感器的标定模型与实验方法。将直径为0.8mm的微型球靶作为检测参考目标,利用微型球靶在靶准直传感器中不同位置时CCD上成像的图像点来构建位置矩阵,利用位置矩阵,通过归一化线性优化方法求解表示CCD位姿关系的单应性矩阵,通过单应性矩阵修正因靶准直传感器封装误差给柱状靶姿态检测带来的影响。考虑到利用图像检测方法提取微型球靶中心点位置时误差的存在,在构建的位置矩阵中加入均值μ=0、方差σ=0.5的高斯噪声,模拟检测点位置误差对单应性矩阵求解的影响,分析结果显示位置误差对单应性矩阵中各个参数影响较小,从而证明了该优化方法求解单应性矩阵的鲁棒性。为验证靶准直传感器对腔靶姿态检测的准确性,实验以0.02°的步距角绕X轴旋转柱状靶,利用靶准直传感器检测柱状靶姿态变化并与实际的姿态变化进行对比分析,实验结果显示最大误差小于0.009°,证明了修正方法的可行性。     

基于可视化技术的核电站水下机器人地面站设计

针对当前水下机器人地面控制系统可视化程度低、操控不便的问题,基于可视化技术设计了一套水下机器人的岸上地面站系统。该系统可以控制水下机器人的半自主定航向和定深度航行,接受、储存、回放水下机器人拍摄的录像。采用编程技术实现三维动画空间,结合传感器回传数据控制三维动画显示,真实地反映真实世界中水下机器人的运动姿态、位置、运行状态。结合声纳成像信息、摄像机回传图像信息的综合显示,实现了微小型水下机器人的遥操作控制。     

基于图像处理技术的炮弹定位系统

针对炮弹在拆卸分解中的周向定位问题,提出了一种在线测量和自动定位系统.选择引信与弹丸结合处的铆点作为测量点,利用工业CCD摄像机对工件图像进行采集,在对图像信息进行边缘噪声滤除的基础上,利用图像灰度的梯度算子提取工件边缘特征并进行边缘识别,确定定位点的周向位置,配合步进电机驱动工件转动,实现圆周方向的准确定位.系统检测和定位精度可达到0.2mm,满足炮弹拆卸的使用要求.     

基于彩色图像的高速目标单目位姿测量方法

针对风洞分离实验对于视觉测量系统的高精度、大视场、高速的测量要求,提出一种基于单目摄像机的风洞运动目标位姿测量方法。该方法利用单目摄像机进行运动目标位姿信息测量,相比于双目测量方法具有设备简单、视场大的优点。首先提出一种基于靶标特征点相互约束关系的参数优化方法,采用复合式靶标实现摄像机的快速高精度标定;针对目标运动图像处理,提出一种基于图像差叠法和标记点位置估计的图像快速分割与目标定位方法,实现图像特征的快速准确定位;针对单目测量要求及目标运动特性,提出一种基于方向估计标记点布局方式,实现合作标记点的快速识别和提取;最后利用单目视觉原理求解运动目标的位置和姿态信息,通过实验室模拟实验完成了测量系统的精度验证,在1 m×1 m视场范围内,其位移测量精度可达到0.19 mm,俯仰和偏航角测量精度可达到0.18°。     

无线微小型机器人及其驱动控制

研制了一种面向微操作的微小型机器人,并开发了其无缆化控制系统。该机器人机械本体由基于宏／微复合驱动的移动定位平台和3自由度球基微操作器构成。机器人总体尺寸不超过90 mm×70 mm×60 mm。机器人的宏动部分采用轮式驱动,选用轴直径为3 mm的微型电动机,运动速度可达100 mm／s,定位精度0．5 mm,运动分辨率0．1mm。微动部分基于尺蠖蠕动原理通过压电陶瓷和电磁体配合,速度可达200μm／s,定位精度50μm,运动分辨率2 μm。球基微操作器基于黏滑原理利用3根四分压电陶瓷管驱动,可实现旋转和俯仰运动,运动分辨率可达0．001。。所有驱动电路均集成到机器人本体内,采用锂聚合物电池供电,通过蓝牙模块和上位机的图像处理系统通信。嵌入式控制软件将机器人的运动全部分解为简单运动,控制算法采用多线程方式,保证了驱动控制的实时性,并且具有很强的抗干扰能力。     

基于热力学有限元分析的轮胎滚动阻力仿真

从滚动阻力的发生机理出发，建立了一套完整的轮胎滚动阻力分析系统。采用该系统对子午线轮胎的滚动阻力及滚动阻力系数进行建模分析与试验对比，通过轮胎组合工况的仿真计算，分析了载荷、充气压力、稳态速度等对轮胎滚动阻力及滚动阻力系数的影响情况。仿真数据和试验数据的比较表明，在实际的轮胎操作条件范围内该分析方法是可靠的。     

一种面向工业机器人智能抓取的视觉引导技术研究

为实现工业机器人自主识别并抓取指定的目标,提出了一种基于计算机视觉引导的解决方法.该方法利用指定目标的3D数据模型,以及由两台或者多台CCD摄像机从工作场景中不同角度获取到的数字图像,经过目标姿态估算、投影计算并生成投影图像,再利用投影图像与目标真实图像进行比较,实现了目标的识别与位姿获取.实验结果表明该方法可以在较复杂的环境下识别指定目标,并获得目标的姿态信息,从而为工业机器人抓取目标提供引导.     

基于视觉的机器人抓取技术的研究

该文提出了一种基于智能相机的机器人抓取系统,采用图像处理算法对相机捕获到的图像使用模板匹配、边缘查找及坐标变换,得到工件在机器人坐标系的位置和姿态,通过串口将处理后的工件位姿数据发送给机器人控制器,控制器向机器人发送运动指令。经实验验证,系统达到设计要求,在工业机器人系统中引入计算机视觉提高了机器人的柔性以及对环境的适应能力。     

基于视觉的采摘机器人目标识别与定位方法研究综述

目标识别和定位的精度直接关系到采摘机器人采摘效率、质量和速度。本文对近年来采摘机器人的目标识别和三维定位的研究工作进行了系统性的总结和分析,综述了果蔬识别和定位的几种主要方法:目标识别:数字图像处理技术、基于机器学习的图像分割与分类器和基于深度学习的算法;三维定位:基于单目彩色相机、基于立体视觉匹配、基于深度相机、基于激光测距仪和基于光基3D相机飞行时间的三维定位。分析了影响果蔬识别和定位精度的主要因素:光照变化、复杂的自然环境、遮挡以及动态环境干扰下成像不精确。最后对采摘机器人目标识别与定位的未来发展作了几点展望。     

Acquisition and optimization of weld trajectory and pose information for robot welding of spatial corrugated web sheet based on laser sensing

Robot welding provides us a new inexpensive technology to fabricate corrugated web H-beam compared to traditional mill process. The key and challenged technology to realize the intelligent welding of the spatial curve seam is to acquire the trajectory and pose information. A practically viable and robust method based on laser sensing was proposed to solve the aforementioned key problem. Firstly, robot, laser sensor, CCD camera, encoder, working station, and computer to control the robot were integrated into a system. Next, the trajectory information was acquired by laser distance ranging sensor and encoder based on triangulation theory. The filtering and smoothing algorithm was developed to accurate the web data. The posture was established based on the trajectory information. The interactive communication between the computer and robot was established to in time control the moving of the robot. Lastly, the data which were processed by the improved amplitude-limiting filtering algorithm were transmitted to the robot. The robot executed the program files in order to complete the welding process. The results show that this method has a high practicality in robot automatic welding of corrugated web H-beam.     

一种基于双相机焊缝跟踪的球形储罐爬壁机器人定位方法

针对具有很少甚至没有地标和缺乏良好照明条件的大型液化石油气球形储罐环境下,仅依靠里程计以及惯性测量单元的爬壁机器人定位精度较低,且存在较为明显的累积误差的问题,提出了一种新的解决方案,通过跟踪球形储罐表面焊缝相对于机器人的运动来改善机器人定位精度。首先,通过配备辅助光源,利用安装在机器人两侧的CCD相机进行图像采集,并实时对图像进行二值化处理,识别出焊缝特征区域并输出相应的检测信号,通过相邻时刻检测信号增量计算来估计机器人的相对位置;接着,提出了一种改进加权融合算法,用以实现各传感器之间的数据融合,该算法结合了自适应加权融合算法以及基于最小二乘原理的加权融合算法的优点,以对各加权因子重新分配权值的思想来对各个传感器数据进行最终融合,提高了测量精度以及动态适应性。最后,在实际环境以及虚拟环境下对该方法进行了实验评估,验证了该方法的有效性。实验结果表明,在没有良好照明条件及地标的球形储罐环境下,该方法可以保证爬壁机器人定位的准确性。     

基于NI的疲劳裂纹扩展试验摄像头运动控制系统

针对疲劳裂纹在线检测的问题,提出了基于NI运动控制技术的疲劳裂纹扩展试验摄像头运动控制方法。该系统主要包括CCD摄像机、镜头、云台、NI-PCI-7334运动控制卡、光源照明系统、NI-PCI-1410图像采集卡、计算机以及安装在计算机内的图像处理软件和上位机运动控制软件。根据摄像头在图像采集过程中的动作要求,设计了运动控制方案,采用NIMotion软件包开发了四轴运动控制程序。实验结果显示,该系统可以实现疲劳试验中摄像头单步／连续运动及试验过程中的裂纹自动跟踪,摄像头定位精度达到0．05mm。     

新型单摄像机立体视觉传感器研究

提出一种用于测量空间三维点坐标的单像机视觉传感器模型。在结构设计方面,变传统的双CCD摄像机结构为单CCD摄像机结构,加装两组对称的光学反射镜,镜像出一对虚拟摄像机,可在同一个CCD像面上采集到存在视差的两幅图像,从而恢复空间点的三维信息;建立了标定数学模型,阐述了此视觉传感器测量模型的标定方法。相关试验表明,此测量方案不仅有效,而且经济快速,标定方法简单,对标定环境及靶标的摆放姿态无严格要求。     

光电内窥参数检测装置

报导一种新的光电内窥参数测量装置。将一半导体激光器发出的光束经柱面镜汇聚成一细线,通过特殊设计的折反棱镜将其沿轴线方向投影到管孔内壁,得到管孔内壁的光截轮廓,该轮廓经物镜成像到CCD光敏面,通过图像卡采集到计算机。在计算机图像测量及辅助提示下,完成参数测量。此外,该装置还可在测量显微镜横向移动导轨及读数手轮的配合下测量内孔中径。实验结果表明轴向测量的重复精度为±17μm;中径测量的重复精度为±12μm.它在工业制造领域内具有广阔的应用前景。     

Visual feedback control of a robot in an unknown environment (learning control using neural networks)

In this paper, a visual feedback control approach based on neural networks is presented for a robot with a camera installed on its end-effector to trace an object in an unknown environment. First, the one-to-one mapping relations between the image feature domain of the object to the joint angle domain of the robot are derived. Second, a method is proposed to generate a desired trajectory of the robot by measuring the image feature parameters of the object. Third, a multilayer neural network is used for off-line learning of the mapping relations so as to produce on-line the reference inputs for the robot. Fourth, a learning controller based on a multilayer neural network is designed for realizing the visual feedback control of the robot. Last, the effectiveness of the present approach is verified by tracing a curved line using a 6-degrees-of-freedom robot with a CCD camera installed on its end-effector. The present approach does not necessitate the tedious calibration of the CCD camera and the complicated coordinate transformations. This revised version was published online in October 2004 with a correction to the issue number.