基于目标检测的机器人手眼标定方法

智能协作机器人依赖视觉系统感知未知环境中的动态工作空间定位目标,实现机械臂对目标对象的自主抓取回收作业。RGB-D相机可采集场景中的彩色图和深度图,获取视野内任意目标三维点云,辅助智能协作机器人感知周围环境。为获取抓取机器人与RGB-D相机坐标系之间的转换关系,提出基于yolov3目标检测神经网络的机器人手眼标定方法。将3D打印球作为标靶球夹持在机械手末端,使用改进的yolov3目标检测神经网络实时定位标定球的球心,计算机械手末端中心在相机坐标系下的3D位置,同时运用奇异值分解方法求解机器人与相机坐标系转换矩阵的最小二乘解。在6自由度UR5机械臂和Intel RealSense D415深度相机上的实验结果表明,该标定方法无需辅助设备,转换后的空间点位置误差在2 mm以内,能较好满足一般视觉伺服智能机器人的抓取作业要求。     

弧焊机器人工具标定与接触寻找焊缝实现

机器人工具标定就是确定工具坐标系相对于末端坐标系的转换矩阵,标定的准确度对机器人后续操作有很大影响。提出了一种工具坐标系标定方法,并在昆山一号机器人研发的过程中试验。在标定完成后实现了接触寻找焊缝,针对特定的焊接接头,使用焊枪末端或侧边触碰工件,记录触碰点的坐标,通过记录点的坐标值自动确定焊缝的始末端和焊缝的轨迹,减少了焊接每个工件均需示教始末端的过程,以及示教不准确带来的误差。     

基于机器视觉的卫星天线模块自动精密装配技术

针对卫星天线模块自动化精密装配需求,介绍一种基于机器视觉的机器人自动精密装配方法。通过6自由度工业机器人和相机建立Eye-in-Hand和Eye-to-Hand混合的自动装配系统,对系统进行手眼标定,从而确定相机、机器人、工具之间的相互位置关系,通过图像处理获取装配位置像素坐标,并通过坐标变换将像素坐标点转换为机器人基坐标点,控制机器人完成天线模块自动装配。装配时通过Eye-to-Hand和Eye-in-Hand系统分别直接定位天线模块上连接器公头和母头位置,消除连接器安装位置误差和模块外壳加工尺寸误差对定位精度的影响,该系统通过一次标定即可实现机器人末端工具在距目标物体垂直距离相同情况下X/Y任意位置的定位功能。实验结果证明该方法准确可行,所设系统满足50μm装配公差天线模块的自动精密装配要求。     

一种弧焊机器人工具标定方法

利用七点法确定工具坐标系末端点相对于机器人法兰中心的位置与姿态的偏置,通过机器人运动学推导,并根据工具末端点与法兰中心的几何关系,确定工具末端点相对于法兰的位置与姿态,不需要借助测量工具。本方法已应用到Efort机器人工具标定系统中,而且经过激光跟踪仪计算,机器人的直线度和圆弧度均控制在±0．5mm之内,证明了此方法是切实可行的。     

点云下地平面检测的RGB-D相机外参自动标定

目的 RGB-D相机的外参数可以被用来将相机坐标系下的点云转换到世界坐标系的点云,可以应用在3维场景重建、3维测量、机器人、目标检测等领域。 一般的标定方法利用标定物（比如棋盘）对RGB-D彩色相机的外参标定,但并未利用深度信息,故很难简化标定过程,因此,若充分利用深度信息,则极大地简化外参标定的流程。基于彩色图的标定方法,其标定的对象是深度传感器,然而,RGB-D相机大部分则应用基于深度传感器,而基于深度信息的标定方法则可以直接标定深度传感器的姿势。方法 首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数,即相机坐标系内的点与世界坐标系内的点的转换矩阵。结果 实验以棋盘的外参标定方法为基准,处理从PrimeSense相机所采集的RGB-D视频流,结果表明,外参标定平均侧倾角误差为-1.14°,平均俯仰角误差为4.57°,平均相机高度误差为3.96 cm。结论 该方法通过自动检测地平面,准确估计出相机的外参数,具有很强的自动化,此外,算法具有较高地并行性,进行并行优化后,具有实时性,可应用于自动估计机器人姿势。     

基于奇异值分解的机器人工具坐标系标定

机器人通过在末端安装不同的操作工具来完成各种作业任务,而工具参数的准确度直接影响着机器人操作精度,因此研究一种准确、快速的工具坐标系标定方法具有重要的意义。该文提出一种称为三点五步法的机器人工具坐标系标定方法,并基于矩阵的奇异值分解理论对该标定方法进行了严密的数学推理,证明该标定方法理论上的可行性。采用该算法进行工具坐标系标定具有操作简单、标定精度高、可靠性强和算法易于程序实现的特点。     

基于单幅图片的相机完全标定

现有相机标定方法的标定过程比较繁琐,不利于标定相机的广泛使用。为此,从摄像机镜头畸变矫正着手,结合标定板信息及消失点约束,提出一种基于单张图片的相机标定方法。利用非线性迭代得到相机镜头的畸变系数,通过线性求解得出相机的内参,直接计算得到相机的外参,从而实现仅需拍摄单张标定板图片的相机完全标定。实验结果表明,该方法在标定板与视平面夹角小于45°的情况下均能成功标定,并且重投影误差小于0.3像素。     

基于视觉定位的机器人搬运技术及应用

机器人通过视觉对工件位置信息进行分析处理,完成相应搬运任务已成为机器人应用的主要发展方向。本文主要针对立体仓储系统中基于视觉定位的物料搬运应用进行研究。系统中采用智能相机Vision Hawk对目标进行视觉定位,运用摄像机标定技术实现相机—机器人坐标系的标定,通过控制软件Workvisual来完成机器人的运动控制和轨迹规划,进而实现机器人对多种类型工件的识别、定位及搬运。     

基于可测距平板工具的机器人TCP标定方法

针对工业机器人工具中心点（Tool Center Point,TCP）标定,提出一种基于带二维测距功能标定工具板的标定方法。标定工具板能够感知机器人TCP的触碰,并测量任意两触点之间的距离。使机器人TCP与标定板触碰四次,并以触点形成的线段长度为坐标变换不变量为约束,建立TCP参数标定模型。该模型包括一个三元二次代数方程组,通过消元法可求出其所有可能解,并提出了真实解的判定方法。通过数值仿真,验证了所提出方法的可行性。以电阻触摸屏作为标定板为例,分析了标定板距离测量分辨率对标定精度的影响规律。以电阻屏为标定板进行了参数标定实验,证实了该方法的准确性。方法标定过程简单,易于实现自动化,适用于大多数工业机器人的工具坐标系的标定。     

自由度冗余蛇形臂机器人手眼标定研究

针对自由度冗余蛇形臂机器人的手眼标定问题,提出一种不依赖蛇形臂机构运动参数求解视觉系统与末端法兰盘手眼关系的方法;借助外部辅助双目相机系统,通过构造外部相机、末端法兰盘、视觉导航相机三者坐标系的闭环转换得到待求手眼关系;首先根据立体视觉原理得到标志点在对应相机坐标系下的3D坐标;然后利用四元数法分别求得外部相机坐标系与法兰盘坐标系、外部相机坐标系与视觉导航相机坐标系间的转换关系;最后构建坐标系转换关系闭环求得手眼关系;实验结果表明,该标定法避免了蛇形臂自由度冗余导致运动控制精度差带来的干扰,标定精度满足设计要求。     

Robot calibration using a 3D vision-based measurement system with a single camera

One of the problems that slows the development of off-line programming is the low static and dynamic positioning accuracy of robots. Robot calibration improves the positioning accuracy and can also be used as a diagnostic tool in robot production and maintenance. This work presents techniques for modeling and performing robot calibration processes with off-line programming using a 3D vision-based measurement system. The measurement system is portable, accurate and low cost, consisting of a single CCD camera mounted on the robot tool flange to measure the robot end-effector pose relative to a world coordinate system. Radial lens distortion is included in the photogrammetric model. Scale factors and image centers are obtained with innovative techniques, making use of a multiview approach. Results show that the achieved average accuracy using a common off-the-shelf CCD camera varies from 0.2 to 0.4 mm, at distances from 600 to 1000 mm from the target, respectively, with different camera orientations. Experimentation is performed on two industrial robots to test their position accuracy improvement using the calibration system proposed: an ABB IRB-2400 and a PUMA-500. The robots were calibrated at different regions and volumes within their workspace achieving accuracy from three to six times better when comparing errors before and after calibration, if measured locally. The proposed off-line robot calibration system is fast, accurate and easy to set up.     

基于手眼标定方程AX=XB的精度影响因素研究

机器人手位姿数据对手眼标定精度的影响不可忽略,将对基于手眼标定方程AX=XB的精度影响因素进行分析.通过手眼标定仿真和实测实验验证上述两个因素对手眼标定精度的影响与理论分析的一致性.通过仿真与实测实验,总结得出了减小摄像机与靶标间距离、减小机器人手的运动前后到基坐标空间距离的相差距离,可提高手眼标定精度,通过四元数法和矩阵直积法验证了此规律在解AX=XB标定方程时的通用性,并且在摄像机与靶标间距约为230 mm以及机器人手的运动前后到基坐标空间距离的相差距离为3.2401 mm时,手眼标定平移向量相对误差最高精度可达0.0403%.     

自主导航移动机器人视觉系统的一种标定方法

设计了一种基于视场中单个目标点的视觉系统标定方法,任意选取视场中的一点作为目标点,以该目标点为基准,机器人作相对运动来获得多个特征点。建立图像系列对应点之间的几何约束关系及各坐标系之间的变换矩阵,确定变换矩阵关系式,进一步求解摄像机的内外参数。该标定方法只需提取场景中的一个景物点,对机器人的运动控制操作方便、算法实现简洁。实验结果验证了该方法的有效性。     

A point and distance constraint based 6R robot calibration method through machine vision

This paper proposes a 6R robot closed-loop kinematic calibration method to improve absolute position accuracy with point and distance constraints though machine vision. In the calibration process, a camera attached to the mounting plate of the robot is used to capture a fixed reference sphere as a point constraint and to record robot joint angles and gauge block lengths that are used as a distance constraint. A first-order difference quotient is used to calculate the Jacobian matrix in the joint parameter identification process. The Staübli TX60 robot is successfully calibrated using the proposed method. After calibration, the average distance error of robot motion is decreased from 2.05 mm to 0.24 mm.     

GWM-view: Gradient-weighted multi-view calibration method for machining robot positioning

Multi-camera vision is widely used for guiding the machining robot to remove flash and burrs on complex automotive castings and forgings with arbitrary initial posture. Aiming at the problems of insufficient field of vision and regional occlusion in actual machining, a gradient-weighted multi-view calibration method (GWM-View) is proposed for the machining robot positioning based on the convergent binocular vision. Specifically, the mapping between each auxiliary camera and the main camera in the multi-view system is calculated by the inverse equation and intrinsic parameter matrix. Then, the gradient-weighted suppression algorithm is introduced to filter out the errors caused by camera angle variation. Next, the spatial coordinates of the feature points after suppression are used to correct the transformation matrix. Finally, the hand-eye calibration algorithm is implemented to transform the corrected data into the robot base coordinate system for the accurate positioning of the robot under multiple views. The experiment on the automotive engine flywheel shell indicates that the average positioning error is controlled within 1 mm under different postures. The stability and robustness of the proposed method are further improved while the positioning accuracy of the machining robot meets the requirements.     

基于ROS的机器人自动手眼标定系统设计

为了缩短标定的时间,设计了一种基于ROS的机器人自动手眼标定系统。通过分析坐标系间的转换关系,建立了手眼标定的数学模型,推导了两步法的具体解法。为了尽可能减小标定误差,提出了带约束的随机增量法,并根据角点检测结果实时剔除标定过程中出现的无效图像。基于ROS软件平台完成了驱动、运动空间规划、图像处理和标定解算等功能模块的逻辑设计和系统级联。以6自由度工业机械臂UR3和RGB-D相机Kinect2构建了手眼标定实验系统,实验结果表明,与传统标定流程相比,所设计的自动手眼标定系统便捷高效且精度高,具有较强的拓展性。     

Development of a monocular vision system for robotic drilling

Robotic drilling for aerospace structures demands a high positioning accuracy of the robot, which is usually achieved through error measurement and compensation. In this paper, we report the development of a practical monocular vision system for measurement of the relative error between the drill tool center point （TCP） and the reference hole. First, the principle of relative error measurement with the vision system is explained, followed by a detailed discussion on the hardware components, software components, and system integration. The elliptical contour extraction algorithm is presented for accurate and robust reference hole detection. System calibration is of key importance to the measurement accuracy of a vision system. A new method is proposed for the simultaneous calibration of camera internal parameters and hand-eye relationship with a dedicated calibration board. Extensive measurement experiments have been performed on a robotic drilling system. Experimental results show that the measurement accuracy of the developed vision system is higher than 0.15 mm, which meets the requirement of robotic drilling for aircraft structures.     

基于眼固定安装方式的机器人定位系统

研发了基于眼固定安装方式的机器人定位系统,提出了一种方便有效的手眼标定方法。通过最小二乘法求解手眼坐标的变换关系,再根据工作台平面与摄像机成像模型的约束关系,求解出目标物体的三维位姿,并最终实现了机械手的精确定位。