基于计算机双目立体视觉的排爆机器人自动抓取的研究和实现

研究和开发一个双目视觉系统用于智能排爆机器人的自动控制。该系统利用计算机双目视觉原理,采用Matlab 7作为运算引擎,调用机器视觉软件eVision 6.2进行立体匹配,实时捕获图像,进行摄像机标定、图像预处理和匹配,确定可疑目标物的坐标,把图像实时显示在控制台,并通过xPC目标系统实现该机器人实时控制系统,自动控制手臂靠近并准确抓取可疑目标物。排爆机器人的抓取实验表明,该双目立体视觉系统在精度上能满足排爆要求。     

面向传送带作业系统的机器人目标跟踪与抓取策略研究

运用机器视觉技术与工业机器人技术,开展传送带作业系统的机器人目标跟踪与动态抓取策略研究,提出了传送带速度控制的策略,建立了机器人抓取目标位置预测模型,在保证效率的同时降低了漏抓率;通过分析传送带PID跟踪控制规律,给出基于位置预测的机器人拦截式抓取方法,搭建了基于机器视觉的锯条自动抓取系统平台,开展机器人目标抓取对比实验分析,较好地实现了传送带作业系统机器人目标的动态抓取,有效验证了本文所提方法的可行性和有效性。     

基于EVision的双目视觉系统的设计与实现

设计和开发了一个排爆机器人的双目立体视觉系统。该系统使用Matlab7.0和机器视觉软件EVision6.2的EasyMultiCam进行图像捕获并和EasyMath模式匹配库进行图像特征匹配,能实时捕获排爆机器人周围的图像信息、进行摄像机标定、图像预处理、立体图像匹配、求取可疑目标物的特征点的立体坐标，并把图中实时显示在控制台上，控制排爆机器人准确地抓取可疑目标物。该机器人视觉系统成功的抓取实验，表明了它在精度上能够满足排爆机器人的项目要求。     

视觉图像技术与机器人工件抓取的协作应用

工业机器人在抓取环节如果配置机器视觉装置,应用图像处理技术,在抓取效率和准确度方面就有优势。该文介绍机器人功能实训台的工件抓取视觉系统的组成,侧重工件轮廓的图像处理技术,以图像处理作为机器人视觉系统处理的核心目标,将视觉图像技术与机器人工件抓取技术协作应用于工业机器人实训平台的抓取环节,利用工业机器人运动过程中坐标的转换,通过相机的正确标定与抓取动作的共同控制,实现工件的精确定位,达到可靠抓取的目的。总结图像处理技术在工件抓取中的协作应用效果,期待便捷的视觉图像技术与机器人工件抓取的协作应用。     

排爆机器人双目立体视觉系统的研究和开发

为了辅助公安人员更好地完成排爆工作，设计和开发了一个带双目立体视觉系统的排爆机器人。该视觉系统使用Matlab7.0和机器视觉软件EVision的EasyMatch库进行开发，能实时捕获排爆机器人周围的图像信息、进行摄像机标定、图像预处理、立体图像匹配、求取可疑目标物的特征点的立体坐标，并把图像实时显示在控制台，控制排爆机器人准确地抓取可疑目标物。该机器人视觉系统成功地抓取实验，表明了它在精度上能够满足排爆机器人的项目要求。     

基于视觉识别定位的苹果采摘系统研究

针对果实振荡、重叠影响采摘机器人采摘精度和效率的问题,研制了一种在农田 环境下利用视觉检测技术和机器人定位抓取技术的苹果采摘系统。首先利用图像处理技术对初 始图像进行图像预处理;其次根据图像角点提取算法检测图像曲率,通过计算曲线段上的多个 像素平均角方向之间的差值对曲率进行平滑处理,获取图像曲率集中峰值点;最后对图像曲率 峰值点进行像素坐标标定,并将该点像素坐标转化为物理坐标作为机器人的定位抓取目标点, 机器人根据定位目标点的位置信息调整运动姿态对果实进行实时追踪和识别,实现果实的精确 定位、抓取和采摘。试验证明,该系统下的机器人抓取果实的成功率高达九成以上,基本能够 满足实际生产中的果实采摘需求,可为苹果等球状果实精准识别、定位抓取提供参考。     

混合摄像机视觉伺服机器人研究与应用

针对单目视觉机器人工件抓取与放置精度不高的问题,提出了基于位置的混合摄像机视觉伺服系统,采用Eye-in-hand和Eye-to-hand摄像机结合的模式,建立混合摄像机视觉机器人系统以实现工件的精确放置.Eye-in-hand摄像机实现对工件的定位和抓取,Eye-to-hand摄像机用于确定机械手爪中心轴线与工件中线的偏差,确保工件精确放置在期望位置.实验结果表明:该混合摄像机视觉伺服机器人系统能将工件准确放置在期望位置.     

基于Kinect的机器人织物抓取系统

现有纺织行业自动化水平较低、劳动力成本高,机器人代替人工必将成为必然.本文研制了基于Kinect的机器人织物抓取系统.利用Kinect传感器获得织物图像,应用CamShift算法找出目标织物,获得该目标织物的质心,应用机器人运动学将此质心坐标转换为机器人运动参数,实现机器人对织物的抓取.实验结果表明,该方法能够快速准确获得目标织物质心的三维坐标,较双目视觉机器人系统具有优势.     

基于视觉感知和触觉先验知识学习的机器人稳定抓取

针对机器人抓取过程中需要实时评估抓取质量以动态调整抓取构型的问题,提出了基于触觉先验知识的机器人稳定抓取方法.首先,根据抓取过程中物体抵抗外界扰动的能力,提出了一种基于触觉信息的抓取质量评估方法.在此基础上,建立了视触觉联合数据集并学习触觉先验知识.其次,提出了融合视觉图像和触觉先验知识的稳定抓取构型生成方法.最后,在搭建的机器人抓取系统中对10种目标物体进行了实验验证.结果表明,相比传统的视觉方法,该方法的抓取稳定性提高了55％;针对已知物体和未知物体,稳定抓取成功率分别为86％和79％,体现了较好的泛化效果.     

考虑径向畸变的机器人视觉系统的参数标定

针对GRB-400机器人视觉系统,建立完整的摄像机一阶径向畸变模型。用GRB系统的Matrox图像采集卡采集标定点坐标,利用径向排列约束方法 (简称RAC)建立线性方程组求解摄像机的径向畸变参数。基于此畸变参数实现图像校正,以提高对目标物体的定位精度,从而提高机器人视觉系统对摄像机标定参数变化的鲁棒性。实验结果表明,该方法有较高的标定精度。     

基于视觉定位的机器人智能拆垛系统

针对传统示教再现机器人仅能进行位置确定、轨迹固定的拆垛任务,局限于固定场景的问题,设计了一个基于视觉定位的机器人智能拆垛系统.该系统利用目标像素中心坐标转换求得对应世界坐标.针对眼在手外的安装相机方式,导致目标经图像处理算法求得的旋转角度可能由于相机自身的偏转而产生误差的问题,提出利用相机外参系数补偿目标旋转角度.最后设计拆垛策略,通信引导机器人以由近及远的抓取顺序执行拆垛任务,并无需人工干预自动完成整垛拆卸.经过实验数据表明,该系统可在未知工作场景中对未知位置目标进行抓取,位置误差可达1.1 mm,角度误差可达1.2°,堆垛一层定位时间为1.2 s左右,满足工业场景中对拆垛机器人的精度与效率需求.     

机器视觉在工业生产线上的应用实现

以新松6轴SRH6工业机器人和GMl400千兆以太网工业相机为基础,搭建了基于机器视觉的工业生产线智能抓取实验平台。首先利用工业相机对生产线上进入到工作区的工件进行拍摄,获取数字图像;然后利用软件对采集到的数字图像进行分析处理,利用其特征对工件进行识别,计算出工件的几何中心坐标,再利用坐标变换得到工件的空间位置：最后引导机器人控制吸盘机械手来完成工件的分类与抓取工作。实验表明,抓取成功率为100％,该方法为工业生产自动化、智能化提供了解决方案。     

PatMax和PatQuick算法在智能电能表LCD检测中的应用

采用Cognex开发的VisionPro软件对智能电能表液晶屏采样,并结合PatMax和PatQuick算法实现了电能表液晶屏在流水线上的自动检测.工业相机、图像采集软件、工控机等组成一套机器视觉系统,用于全自动流水线型检定系统的智能电能表LCD显示检测;关键解决了相机系统配置、光源系统配置、图像处理与智能判断等技术问题,成功实现了智能电能表的LCD液晶显示的自动检测.     

基于机械臂的化学物品定位与分类

针对化学实验场景下深度相机难以探测试管等透明物体距离,继而引起机械臂难以获取化学试管在空间中的三维坐标的问题,提出通过改进的深度学习算法YOLOv3 Tiny检测试管上的贴纸标签以获取透明化学试管的三维空间坐标;针对不同化学试管无法分类的问题,提出通过深度学习算法CTPN+BLSTM+CTC Loss识别标签上的文字信息对试管进行分类。本文采用深度相机、单目相机与搭载ROS系统的六轴机械臂为实验平台,在TensorFlow上训练化学标签检测模型与文字检测识别模型。通过在机械臂搭载的树莓派上的ROS系统进行Python编程对贴有不同的化学标签的化学试管进行抓取实验,结果显示该方法对贴有标签的透明试管具有较高的识别率及定位准确率,可以实现机械臂抓取装有不同物质的化学试管。     

Autonomous Acquisition of Seam Coordinates for Arc Welding Robot Based on Visual Servoing

Autonomous acquisition of seam coordinates is a key technology for developing advanced welding robot. This paper describes a position-based visual servo system for robotic seam tracking, which is able to autonomously acquire the seam coordinates of the planar butt joint in the robot base frame and plan the optimal camera angle before welding. A six-axis industrial robot is used in this system, which has an interface for communicating with the master computer. The developed visual sensor device is briefly presented that allows the charge-coupled device (CCD) cameras to rotate about the torch. A set of robust image processing algorithms are proposed so that no special requirements of light source are needed in this system. The feedback errors of this servo system are defined according to the characteristics of the seam image, and the robust tracking controller is developed. Both the image processing program and tracking control program run on the master computer. The experimental results on straight line seam and curve seam show that the accuracy of the seam coordinates acquired with this method is more adequate for high quality welding process.     

基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

Vision-based interception of a moving target with a nonholonomic mobile robot

A novel vision-based scheme is presented for driving a nonholonomic mobile robot to intercept a moving target. The proposed method has a two-level structure. On the lower level, the pan–tilt platform carrying the on-board camera is controlled so as to keep the target as close as possible to the center of the image plane. On the higher level, the relative position of the target is retrieved from its image coordinates and the camera pan–tilt angles through simple geometry, and used to compute a control law which drives the robot to the target. Various possible choices are discussed for the high-level robot controller, and the associated stability properties are rigorously analysed. The proposed visual interception method is validated through simulations as well as experiments on the mobile robot MagellanPro.     

基于神经网络的工业机器人视觉抓取系统设计

针对机器人示教编程方法导致的工件位置固定、抓取效率低下的问题,研究神经网络在机器人视觉识别与抓取规划中的应用,建立了视觉引导方案,通过YOLOV5神经网络模型开发视觉识别系统,识别物体的种类,同时获取待抓取物体定位点坐标。提出了机器人六点手眼标定原理并进行标定实验,提出了针对俯视图为圆形或长方形物体的定位方法。最后针对3种物体进行了180次的抓取实验,实验的综合平均抓取成功率约为92.8%,验证了视觉识别和抓取机器人系统具备实际应用的可能性,有效提高了抓取效率。     

基于工控机的航空侦察平台控制器的设计与实现

针对航空侦察平台的现有控制系统的不足,提出一种基于工控机的控制器设计方案;该方案以工程应用的嵌入式计算机为基础,通过图像采集卡的两独立通道对侦察平台输出的两路视频进行图像采集,通过多串口卡实现计算机与侦察平台、GPS定位仪、无线传输等设备的串口联机通讯,由VC语言完成整个软件控制平台的程序设计;该方案的优点是可以将平台以外的设备的功能通过计算机实现,在有效减少机载设备的体积和重量的同时增加了许多拓展功能;经飞行实验证明该方案是可行的。