激光再制造机器人待加工零件形貌三维重建

采用双目摄像机结合结构光组成主动视觉测量系统,并与机器人耦合,构建了一种具有视觉功能的智能激光加工机器人,能够感知各种复杂曲面轮廓,重建三维形貌。系统由六自由度机器人、双目摄像机和结构光发射器组成。机器人带动双目摄像机和结构光发射器运动,既实现多视角测量,消除测量中的"死角",重建工件的完整三维形貌,又将测量到的点云数据转换到机器人坐标系。阐述了测量原理和数学模型,进行了单摄像机内外参数的标定,双目摄像机相对关系的标定,双目摄像机与机器人之间的手眼关系标定,得到摄像机内参数矩阵,手眼关系矩阵,机器人与世界坐标系关系矩阵。对双目图像进行大步距图像分割,提取目标区域,平滑降低图像噪声,重心法提取亚像素级结构光条纹中心,根据极线约束进行左右条纹配准,三维算法得到空间点坐标,可方便地转换到世界坐标系,实现全局坐标的统一。     

一种基于平面标靶的线结构光视觉传感器标定方法

提出了一种适合于现场的线结构光视觉传感器标定 方法。建立了标定的数学模型,设计了一种平面点阵标靶,提出了坐标映射方法。根据结构 光条纹特征点的图像坐标和对应在标靶坐标系下的坐标,以及 相机内参,计算出标靶坐标系到摄像机坐标系的转移矩阵,再由转移矩阵得到特征点在摄像 机坐标系下的 坐标;在视场范围内,平面标靶按不同位姿摆放多次,获取投射在标靶上的所有特征点,对 这些特征点进 行平面拟合,得到结构光平面在摄像机坐标系下的方程。对标定的精度进行了验证,实验表 明,本文方法标定 过程简单,精度较高,适合于结构光传感器的现场标定。     

基于平面靶标的线结构光视觉传感器机器人手眼标定方法

为确定线结构光视觉传感器与工业机器人法兰中心的位姿关系，设计了一种只有单个圆的平面靶标及标定方法。调整机器人姿态，使激光线经过平面靶标上实心圆的圆心，通过图像处理，得到圆心的像素坐标，转换后得到圆心在传感器坐标系下的坐标；多次调整姿态，获取多组图像，得到多组传感器坐标系下圆心坐标；结合对应机器人位姿关系，采用最小二乘法直接解算出手眼矩阵。实验结果表明，所提方法与采用标准球为靶标的手眼标定方法对比，反求得到的三维坐标的标准差由0.3893 mm降为0.2145 mm，以同一目标的不同间距为测量对象，均方根误差均有效减小。该方法提高了标定精度，不需要采用昂贵的靶标，适合于现场标定。     

基于Halcon的机器人视觉标定与应用研究

在机器人视觉伺服领域,视觉标定是一个重要的研究方向,也是当前的研究热点。对软件标定原理进行说明,建立摄像机坐标系统和机器人世界坐标系统之间的关系,利用Halcon函数库中的算子,充分考虑了机械手的末端中心和镜头径向畸变的影响,提出基于Halcon的优化软件标定方法,实现摄像机内外参数的标定。实验结果证明,该方法在X,Y,Z方向的标定精度都较高,标定过程简单易行,完全适用于工业机器人的视觉系统标定。     

基于双目视觉的医疗机器人摆位系统测量方法

为了实现精确放疗过程中精确定位和肿瘤位置的精确测量,建立了基于双目视觉的医疗机器人摆位测量系统,并对系统所采用的摄像机标定方法、标记点识别及其三维坐标计算、摆位系统的位置验证等算法进行研究。建立基于双目视觉的医疗机器人摆位测量系统;提出了一种对摄像机采用基于平面棋盘格和立体标定模板相结合的摄像机标定新方法;采用Roberts梯度算子对图像分割的方法,识别标记点中心并计算其三维坐标;通过比较基于双目视觉计算和三维坐标测量仪器测量的各个标记点三维坐标的摆位误差,实现放疗过程中位置验证和精确摆位。实验结果表明:摄像机的标定精度为36.5×10-3 mm和各个标记点的三维坐标平均偏差为δX=0.573mm、δY=0.495mm、δZ=0.430mm,测量方法可获得较高的标定精度和摆位精度,能满足精确放疗对高精度摆位系统的临床需求。     

利用立体视觉的线结构光参数标定

准确标定系统参数是利用线结构光进行高精度测量的前提,文中提出了一种基于双目立体视觉的线结构光参数标定算法,以期达到在工业现场进行高精度、强鲁棒性标定的目的。算法首先采用Tsai两步法标定摄像机内参数和双目相机坐标系间的刚体变换,然后利用立体视觉极线约束条件匹配双目激光条纹点,并将其重构到三维空间以进行光平面标定。相对于...     

基于双目视觉的机器人引导系统研究

随着智能制造技术的快速发展,汽车制造也已逐步向少人化、无人化方向发展,而视觉技术的应用更是加快了汽车生产线无人化的进程。对双目视觉进行研究,相机平行布置并安装在机器人末端。通过以太网分别获取左右相机二维图像并上传到上位机,使用特征提取算法提取标定板上特征点的像素坐标导入标定模型计算出双目相机内外参数并生成相应的图像矫正矩阵,利用矫正矩阵分别矫正左右相机二维图像以消除镜头畸变;使用图像去噪、图像二值化化、特征提取、极线约束及模板匹配算法,计算出零件上特征点在左右图像上的视差,采用双目视差测距原理,计算特征点在相机坐标系下的三维坐标。通过眼在手上的手眼标定方式标定出相机坐标系到机器人工具坐标系的旋转矩阵,采用SVD奇异值分解算法计算模型坐标系到目标零件坐标系的偏移矩阵,通过坐标系变换算法将零件的偏移矩阵转换为机器人工具坐标系的偏移,再使用TCP/IP以太网通讯发送偏移量给机器人,从而实现机器人引导定位功能。测试结果表明,该双目视觉引导系统可满足基本的零件定位需求。     

机器人激光扫描系统现场标定技术

针对机器人激光 扫描系统现场标定问题,提出了一种基于交比不变性的线结构光传感器标定方法,允许平 面参 照物在传感器测量空间中自由移动,通过摄像机拍摄多幅平面参照物的图像即可对光平面进 行标定;同时, 提出一种定点变位姿的机器人手眼关系标定方法,采用一个直径已知的标准球作为手眼标定 参照物,控制 机器人分别以纯平移运动和变姿态运动的方式带动视觉传感器对标准球的球心坐标进行测量 ,根据固定点 约束标定手眼关系。实验结果表明,本文标定方法有效、快速,可以用于机器人激光扫 描系统现场标定。     

基于神经网络的焊缝跟踪系统视觉标定方法

文中提出一种基于深度神经网络的焊缝跟踪系统机器人视觉标定方法，实现了机器人的简单快速标定。将焊缝跟踪传感器安装在机械臂末端，使用线激光器对被检测角点进行定位，工业相机拍摄对应的标定棋盘图像，用角点提取算法获取到相应棋盘格点的数字图像坐标，并通过示教器读取机械臂的各个关节角，利用神经网络极强的非线性映射能力，将其传入训练好的BP神经网络进行三维空间坐标的预测。此方法能够实现机器人的快速标定，避开传统标定方法中复杂的非线性运算，并减少坐标转换间的累积误差。实验结果表明，基于神经网络的标定方法具有较高的精度，且标定过程简单，为机器人视觉标定提供了一种新的方法。     

基于全局空间控制的高精度柔性视觉测量系统研究

针对传统机器人视觉测量系统中测量精度受机器人绝对定位精度限制的问题,构建了基于全局空间控制的高精度柔性视觉测量系统并研究其标定技术。通过全局空间测量定位系统实现机器人末端工具的高精度实时控制,可以突破机器人自身定位精度的限制,充分发挥其高度柔性的运动特性。为实现系统高精度测量,提出一种基于单应性矩阵的视觉传感器外参标定方法,该方法仅需对所设计的平面靶标进行一次成像,结合激光跟踪仪进行坐标转换即可实现传感器坐标系与外部参考坐标系之间坐标转换关系的精确标定。实验结果表明,基于全局空间控制的机器人视觉测量系统在其工作空间中距离测量精度优于0.2/mm,较传统的机器人视觉测量系统得到显著提高。     

Eye-to-hand approach on eye-in-hand configuration within real-time visual servoing

This paper presents a framework of hand-eye relation for visual servoing with more precision, mobility, and global view. Mainly, there are two types of camera utilization for visual servoing: eye-in-hand and eye-to-hand configurations. Both have own merits and drawbacks regarding to precision and view limit that oppose each other. Based on both behaviors, this paper employs a mobile manipulator as the second robot to hold the camera. Here, the camera architecture is eye-to-hand configuration for the main robot, but mainly behaves as eye-in-hand configuration for the second robot. Having this framework, the drawback of each configuration is resolved by the benefit of the other. Here, the camera becomes mobile with more precision and global view. In addition, since there is no additional camera, the vision algorithm can be kept simple. In order to gain real-time visual servoing, this paper also addresses real-time constraints on vision system and data communication between robot and vision. Here, a hexagon pattern of artificial marker with a simplified image processing is developed. A grasp positioning problem is considered with position-based dynamic look and move visual control through object pose estimation. The system performance is validated by the experimental result.     

Discrete-time robot visual feedback in 3D positioning tasks withdepth adaptation

An adaptive visual feedback scheme is designed to perform 3D positioning tasks. The dynamic camera-object interaction model is derived in discrete time, since the visual sampling time is not negligible at the current state of technology. Active contours are used to track the 2D projection of the visible object's surface in the image plane. Uniform asymptotic stability of the image reference set-point is proved using the Lyapunov direct method, and a 3D estimation procedure, based on prediction errors, is used to cope with the unknown depth of the object. Experimental results with a 6-DOF robot manipulator in eye-in-hand configuration validate the theoretical framework in real conditions     

便携式组合测量系统坐标统一的标定方法

针对便携式结构光测量系统和光学三 坐标测量系统的测量坐标系的全局统一问题,提出了一种基于手眼标定模型的标定方法 。利用 在全局坐标系下固定的平面标靶以及与便携式结构光测量系统具有刚性约束关系的 主动光立体标 靶作为中介坐标系,分别估计便携式结构光测量系统与平面标靶的位姿参数以及光学三 坐标测量系统 与主动光立体标靶之间的位姿参数,然后基于手眼标定模型标定出主动光立体标靶与便携式 结构光测量系 统之间的刚性位姿关系,进而完成便携式结构光测量系统和光学三坐标测量系统的坐标统一 。实验结果表 明,本文方法标定结果相对误差标准差约为0.151mm,标定精度合理 有效,可以实现便携式组合测量系统坐标统一的快速标定。     

基于视觉跟踪的两轮自平衡移动机器人控制系统

本文设计了两轮自平衡移动机器人各个功能模块单元,介绍了自平衡原理,对视觉跟踪给出了目标物体在视觉模块中坐标与中心位置差值计算方法并给出了视觉跟踪策略;给出了系统整体程序框架以及图像处理与发送程序框架,对视觉跟踪进行了相应测试实验,测试结果达到预期效果.     

A fractional order control strategy for visual servoing systems

In this paper, a control strategy based on fractional calculus for visual servoing systems is proposed. The image-based control strategy is designed using a point features based fractional-order PI controller. A real-time visual servoing system, composed of a manipulator robot with 6 degrees of freedom (d.o.f.) with an eye-in-hand camera, is used for performance evaluation of the proposed control strategy. The image acquisition and processing, together with the computing of the image-based control law are implemented in MATLAB. Using planar static objects, real-time experiments are conducted and the results reveal that the image-based fractional-order PI controller outperforms the conventional image-based integer-order PI controller.     

基于六自由度机械臂运动学问题的仿真研究

以六自由度工业机器人--MOTOMAN-HP6机器人为研究对象,简单介绍了机器人运动学的数学基础。根据机器人的相关参数,建立了机器人运动学模型及相关坐标系,对机器人的正运动学及逆运动学问题进行了研究。采用MATLAB 开发工具建立系统界面,编制了相关程序,结合实例对机器人的直线、圆弧及自由曲线轨迹的生成进行了仿真,完成了系统设计。为后续实习用工业机器人离线编程系统的开发打下了基础。     

Visual servoing on unknown objects

We study visual servoing in a framework of detection and grasping of unknown objects. Classically, visual servoing has been used for applications where the object to be servoed on is known to the robot prior to the task execution. In addition, most of the methods concentrate on aligning the robot hand with the object without grasping it. In our work, visual servoing techniques are used as building blocks in a system capable of detecting and grasping unknown objects in natural scenes. We show how different visual servoing techniques facilitate a complete grasping cycle.     

CAD-guided sensor planning for dimensional inspection in automotive manufacturing

This paper addresses the vision-sensor-planning problem in part-dimensional inspection of automotive parts. First, a CAD-guided camera-planning system is developed, which utilizes the CAD information of inspected parts and a camera model to plan camera viewpoints. A recursive algorithm, which combines two existing vision-sensor-planning approaches, is developed to find feasible viewpoints. Second, to improve the performance of the eye-in-hand robot and reduce the computational cost of the robot placement problem, a new approach is developed to integrate the kinematics constraint into vision sensor planning. Experimental and simulation results demonstrate the effectiveness of our vision-sensor-planning system.     

工业机器人的局部标定

以ABB公司的IRB120工业机器人和激光位移传感器组成的数据采集系统为研究对象,通过对实验系统底座平面上数据点的采集和处理,来标定机器人与激光位移传感器之间的齐次变化矩阵。以采集到的数据点在机器人坐标系中位于同一个平面上为标定原理,利用最小二乘法拟合平面方程,得到机器人需要标定的各个参数及平面参数。在最小二乘优化处理过程中,通过对不同优化结果的分析对比,最终得到最优解,并为以后该系统在数据采集中的应用提供依据。