基于神经网络的工业机器人视觉抓取系统设计

针对机器人示教编程方法导致的工件位置固定、抓取效率低下的问题,研究神经网络在机器人视觉识别与抓取规划中的应用,建立了视觉引导方案,通过YOLOV5神经网络模型开发视觉识别系统,识别物体的种类,同时获取待抓取物体定位点坐标。提出了机器人六点手眼标定原理并进行标定实验,提出了针对俯视图为圆形或长方形物体的定位方法。最后针对3种物体进行了180次的抓取实验,实验的综合平均抓取成功率约为92.8%,验证了视觉识别和抓取机器人系统具备实际应用的可能性,有效提高了抓取效率。     

基于平面模板的机器人双目标定与目标定位

视觉是机器人获取外界信息最主要的途径,通过视觉系统准确地定位目标物体是机器人控制中的关键技术。为了使机器人准确地获取目标物体的位置,文中采用平面模板法对双目摄像头进行标定,构建机器人坐标系,完成对目标物体的定位。经过标定,双目摄像头可以获取目标物体在空间坐标系中的位置,经过坐标系转换,可以获得目标物体在机器人世界坐标系中的坐标值,该值是机器人实现对目标物体伺服跟踪和抓取的重要数据。最后,本方法在家庭机器人上得到了验证,机器人能够准确地定位目标物体。     

微操作机器人显微视觉系统的研究

本文深入研究了基于生物工程领域显微视觉系统的设计方法．给出了微操作物体平面坐标及微机器人手端位姿的求取方法；提出了基于载物台平动测量微操作物体的高度及微机器人做三维空间已知运动标定出微机器人手端在摄像机坐标系的坐标，进而确定微机器人手端与微操作物体之间位置关系的单目视觉方案．采用两步法对显微视觉系统进行了标定．实验证明该系统运行可靠，达到显微操作的要求．     

基于手眼立体视觉的机器人定位系统

研发了基于手眼的机器人定位系统,采用了眼在手上的单目摄像机,通过机械手的一次移动实现了立体视觉的功能.提出了一种方便有效手眼标定方法,避免了复杂的传统手眼标定过程,无需求解摄像机外参数和手眼变换矩阵.仅获取标定时刻的摄像机综合参数和机器人位姿,就可以在机器人基坐标系中视场范围内的任意两点进行检测,根据立体视觉的约束关系求解出目标物体在机器人基坐标中的位置,进而实现对目标物体的精确定位.     

基于单目视觉的机器人目标定位测距方法研究

为实现具有单目视觉的双足机器人对目标物体的定位测距,根据针孔成像和几何坐标变换原理,提出一种基于单目视觉系统自身固定参数计算目标物体深度信息的几何测距方法;该方法利用双足机器人自带的单目视觉系统的固定参数,通过几何映射关系求解目标物体在三维空间内的坐标位置及相对于机器人的距离,克服了由于外界环境变化以及对参照物识别时所产生的误差影响测距定位精度的问题,从而实现基于单目视觉的目标物体精确跟踪定位;并对所提出方法进行了实验,得到比理论结果误差较小的实验数据,证明了方法的可行性。     

Delta机器人传送带与视觉的标定方法

针对机器人在流水线上精确抓取的问题,提出了Delta机器人系统的标定.通过机器人末端执行器在传送带上移动,计算出机器人与传送带的比例因子与转化矩阵,从而得到传送带相对于机器人的位姿,再通过相机对传送带上的物体获取计算出相机与传送带之间的转化矩阵.最后由传送带作为中间媒介,计算出视觉与机器人的转换关系.这一标定过程为实物抓取打下了基础.     

一种基于随动视觉的排爆机器人自主抓取系统

在传统基于固定视觉的排爆机器人抓取系统中,相机视觉易被遮挡且不能保证拍摄清晰度。基于随动视觉技术,提出一种将深度相机置于机械手末端并随机械手运动的排爆机器人自主抓取系统。利用深度相机计算目标物体的三维坐标,采用坐标转换方法将目标物体的位置坐标信息实时转换至机器人全局坐标系,并研究相机坐标系、机器人全局坐标系与末端执行器手爪工具坐标系三者的动态映射关系,实现排爆机器人的自主抓取。实验结果表明,与传统固定视觉方法相比,随动视觉方法可在误差2cm内,使得机器人机械手爪准确到达目标物体所在位置,且当机器人距离目标物体100cm~150cm时,抓取效果最佳。     

机器人双目视觉系统的算法研究与实现

针对计算机视觉系统在移动机器人中的应用,对摄像机标定、图像分割、模式识别、目标距离探测以及双目视觉系统在移动机器人导航中的运用进行分析与研究。文章提出了在特定三维场景中,对不同研究对象采取不同处理方式的复合算法,实现了对于机器人视野内简单几何物体的识别,同时使用双目摄像机结构,直接探测出目标物体相对于机器人的深度距离及其方位角度。     

基于视觉伺服的工业机器人位姿跟踪方法

目前，工业机器人工作大多是基于先精确示教后运行的，工作效率较低，因此采用视觉提高机器人的智能水平，以实现对目标物体的自动检测和定位抓取，具有重要的现实意义和研究价值。文章以机器人视觉伺服为研究对象，利用视觉伺服使机器人末端跟踪标定板的位姿，包括摄像机标定、机器人手眼标定、机器人控制，可为机械臂的定位抓取提供帮助。     

基于双目立体视觉的机器人定位系统设计与实现

针对传统工业机器人预先示教或单目视觉引导应用的局限性,提出一种基于双目立体视觉的机器人定位系统设计,获取目标物体在空间中的三维信息。该系统设计基于ABB机器人执行系统,使用TCP触碰标定板的方式完成双相机的标定,采用SIFT斑点算法获取工件的特征,结合Opencv3.4.1库,基于图像特征点对左右相机获得的图像进行立体匹配,得到物体的三维点坐标,引导机器人实现抓取。     

结构光视觉引导的焊接机器人系统自标定技术

为实现结构光视觉引导的焊接机器人系统的标定,解决现有标定方法复杂,标定靶标制作要求高等缺点,提出一种基于主动视觉的自标定方法。该标定方法对场景中3个特征点取像,通过精确控制焊接机器人进行5次平移运动,标定摄像机内参数和手眼矩阵旋转部分;通过进行2次带旋转运动,结合激光条在特征点平面的参数方程,标定手眼矩阵平移部分和结构光平面在摄像机坐标系下的平面方程;并针对不同焊枪长度进行修正。在以Denso机器人为主体构建的结构光视觉引导的焊接机器人系统上的测试结果稳定,定位精度可达到±0.93 mm。该标定方法简单,特征选取容易,对焊接机器人系统在实际工业现场的使用有重要意义。     

Integrated remote control of the process capability and the accuracy of vision calibration

This study aims at jointly controlling two critical process parameters from a remote site, of which include the process capability of robotic assembly operations and the accuracy of vision calibration. The process capability is regarded as the indication of robot positioning accuracy. When the robot is driven by the vision camera, the process capability becomes mainly dependent on the calibration accuracy of vision-guided robot system. Even though newly commissioned, high precision assembly robots typically display excellent positioning accuracies under normal working conditions, the imperfect mathematical conversion of vision coordinates into robot coordinates imparts the accuracy problems. In this study, a novel vision calibration method is proposed that effectively rectifies the inherent complications associated with lens distortions. Our analysis shows that the degree of lens distortion appears very differently along the vision field of view. Because of this non-uniform distortion, a single mathematical equation for vision calibration is deemed ineffective. The proposed methodology significantly improves the positioning accuracy, which can be performed over the network from a remote site. This is better suited for today?s global manufacturing companies, where fast product cycles and geographically distributed production lines dictate more efficient and effective quality control strategies.     

一种与模型无关的全向视觉系统标定方法

传统的全向视觉系统标定方法假设研究对象满足单视点成像模型且全向反射镜面各向同性,而在实际应用中上述假设往往并不成立,这会对标定精度带来很大的影响。针对全向视觉系统成像特点设计了一种新的与模型无关的标定方法,不需要研究对象满足上述约束,适用于对各种折反射式全向视觉系统的标定,具有较高的精度。将其应用于NuBot足球机器人全向视觉系统的标定后,较大地提高了机器人基于全向视觉的自定位精度,验证了标定方法的有效性和实用性。     

MOTOMAN-SV3XL机器人手眼视觉立体定位系统

分析了基于恒定旋转矩阵的机器人视觉立体定位方法原理,提出利用机器人控制命令参数直接获取恒定旋矩阵的方法,该方法大大简化了摄像机内外参数的标定过程。设计了MOTOMAN-SV3XL机器人手眼视觉控制系统,制了相应的控制软件,进行了大量的实验研究,并取得了良好的效果。     

Robust hand-eye calibration of 2D laser sensors using a single-plane calibration artefact

When a vision sensor is used in conjunction with a robot, hand-eye calibration is necessary to determine the accurate position of the sensor relative to the robot. This is necessary to allow data from the vision sensor to be defined in the robot's global coordinate system. For 2D laser line sensors hand-eye calibration is a challenging process because they only collect data in two dimensions. This leads to the use of complex calibration artefacts and requires multiple measurements be collected, using a range of robot positions. This paper presents a simple and robust hand-eye calibration strategy that requires minimal user interaction and makes use of a single planar calibration artefact. A significant benefit of the strategy is that it uses a low-cost, simple and easily manufactured artefact; however, the lower complexity can lead to lower variation in calibration data. In order to achieve a robust hand-eye calibration using this artefact, the impact of robot positioning strategies is considered to maintain variation. A theoretical basis for the necessary sources of input variation is defined by a mathematical analysis of the system of equations for the calibration process. From this, a novel strategy is specified to maximize data variation by using a circular array of target scan lines to define a full set of required robot positions. A simulation approach is used to further investigate and optimise the impact of robot position on the calibration process, and the resulting optimal robot positions are then experimentally validated for a real robot mounted laser line sensor. Using the proposed optimum method, a semi-automatic calibration process, which requires only four manually scanned lines, is defined and experimentally demonstrated.     

A point and distance constraint based 6R robot calibration method through machine vision

This paper proposes a 6R robot closed-loop kinematic calibration method to improve absolute position accuracy with point and distance constraints though machine vision. In the calibration process, a camera attached to the mounting plate of the robot is used to capture a fixed reference sphere as a point constraint and to record robot joint angles and gauge block lengths that are used as a distance constraint. A first-order difference quotient is used to calculate the Jacobian matrix in the joint parameter identification process. The Staübli TX60 robot is successfully calibrated using the proposed method. After calibration, the average distance error of robot motion is decreased from 2.05 mm to 0.24 mm.     

新的单目视觉系统两步手眼标定方法

为了实现单目视觉系统的快速、精确的手眼标定,本文提出了一种新的两步式手眼标定方法,将手眼标定分为求解旋转关系和平移关系两步.首先机器人携带标定板进行两次平移运动求解旋转关系,然后机器人工具坐标系执行若干次旋转运动求解平移关系.该方法简单快速,不需要昂贵的外部设备,通过实验最终验证了该方法的可行性.     

双目立体视觉传感器的现场标定技术

双目立体视觉传感器在机器视觉和三维测量中有着广泛的应用。其中测量精度是一个很重要的因素,尤其是在三维测量中,高测量精度的要求使得传感器的标定显得尤为重要。该文提出了一种双目立体视觉传感器的现场标定方法,不仅提高了标定精度,还避免了离线标定中大量的重复性劳动,同时也研究了摄像机镜头畸变的问题。实验结果表明,此方法能够得到满意的标定精度。     

Camera calibration issues in robot calibration with eye-on-hand configuration

One of the possible methods for accurate, fast, low-cost and automated robot calibration is to employ a single camera rigidly mounted to the robot end-effector together with a single camera calibration board. The end-effector pose is measured by calibration of the camera at every robot measurement configuration. This paper contends that, with several modifications, Tsai's radial alignment constraint (RAC) camera calibration method can be made a fast and sufficiently accurate pose measurement technique. This paper focuses on speed, accuracy and cost enhancement of RAC-based camera calibration. A fast RAC-based algorithm is proposed, which cuts the computation time of Tsai's original algorithm by about a 5: 1 ratio while keeping its accuracy within the tolerances required for a successful robot calibration. A low-cost method for estimation of the ratio of scale factors of the camera/vision system is also proposed. This method does not require a precision vertical micrometer stage to provide non-coplanar calibration points data for camera calibration. Finally, the phenomenon of perspective projection distortion of circular camera calibration points is fully analyzed and error compensation methods are proposed.