Development of a monocular vision system for robotic drilling

Robotic drilling for aerospace structures demands a high positioning accuracy of the robot, which is usually achieved through error measurement and compensation. In this paper, we report the development of a practical monocular vision system for measurement of the relative error between the drill tool center point （TCP） and the reference hole. First, the principle of relative error measurement with the vision system is explained, followed by a detailed discussion on the hardware components, software components, and system integration. The elliptical contour extraction algorithm is presented for accurate and robust reference hole detection. System calibration is of key importance to the measurement accuracy of a vision system. A new method is proposed for the simultaneous calibration of camera internal parameters and hand-eye relationship with a dedicated calibration board. Extensive measurement experiments have been performed on a robotic drilling system. Experimental results show that the measurement accuracy of the developed vision system is higher than 0.15 mm, which meets the requirement of robotic drilling for aircraft structures.     

基于立体视觉的高精度标定与测量方法

立体视觉测量系统中,光学系统产生的畸变使目标的成像偏离了理论成像点,导致系统产生测量误差。针对提高系统测量精度的问题,提出一种基于立体视觉的测量方法。首先,根据标定板上各角点的像素分辨率,拟合整个成像平面的四次多项式,且多项式的系数与物体到相机的距离成比例;然后,应用双目测距原理,测量被测物体的纵向距离;最后,基于所得的多项式,应用单目相机测量待测物体的横向尺寸。实验结果表明,对于所提方法,当物体距离相机5 m以内时,其纵向距离误差可以减小到5%以内;当物体距离相机1 m时,其横向宽度测量误差在0.5 mm内,逼近理论最高分辨率。     

双目立体视觉系统的精度分析

为提高双目立体视觉系统的测量精度,分析双目视觉系统的工作原理以及该系统各个环节的误差模型.通过提高标定模板的精度、增加标定图像,可以减小标定误差及图像校正行对齐误差.分析图像识别误差对视觉系统测量精度的影响,导入视觉系统的结构参数与测量误差之间的关系,从而确定结构参数对测量精度的作用.讨论物距对测量精度的影响,并给出合...     

Neuromorphic vision based control for the precise positioning of robotic drilling systems

The manufacturing industry is currently witnessing a paradigm shift with the unprecedented adoption of industrial robots, and machine vision is a key perception technology that enables these robots to perform precise operations in unstructured environments. However, the sensitivity of conventional vision sensors to lighting conditions and high-speed motion sets a limitation on the reliability and work-rate of production lines. Neuromorphic vision is a recent technology with the potential to address the challenges of conventional vision with its high temporal resolution, low latency, and wide dynamic range. In this paper and for the first time, we propose a novel neuromorphic vision based controller for robotic machining applications to enable faster and more reliable operation, and present a complete robotic system capable of performing drilling tasks with sub-millimeter accuracy. Our proposed system localizes the target workpiece in 3D using two perception stages that we developed specifically for the asynchronous output of neuromorphic cameras. The first stage performs multi-view reconstruction for an initial estimate of the workpiece’s pose, and the second stage refines this estimate for a local region of the workpiece using circular hole detection. The robot then precisely positions the drilling end-effector and drills the target holes on the workpiece using a combined position-based and image-based visual servoing approach. The proposed solution is validated experimentally for drilling nutplate holes on workpieces placed arbitrarily in an unstructured environment with uncontrolled lighting. Experimental results prove the effectiveness of our solution with maximum positional errors of less than 0.2 mm, and demonstrate that the use of neuromorphic vision overcomes the lighting and speed limitations of conventional cameras. The findings of this paper identify neuromorphic vision as a promising technology that can expedite and robustify robotic manufacturing processes in line with the requirements of the fourth industrial revolution.     

圆形标志投影偏心差补偿算法

目的 圆形标志目前正广泛地应用于各类视觉测量系统,其圆心定位精度决定了测量系统的测量精度。当相机主光轴与标志表面不平行时,圆被映射为椭圆,圆心位置计算产生偏差。光轴与标志表面夹角较大或标志较大等情况下会产生较大的偏心差进而严重影响系统测量精度。为此,提出一种基于三同心圆圆形标志的投影偏心差补偿算法。方法 算法基于三同心圆的圆形标志设计,根据3组椭圆拟合中心坐标解算偏心差模型进行计算补偿。结果 针对圆形标志偏心差问题,同心圆补偿算法取得良好效果,有效提升了圆形标志定位精度。仿真结果表明,在拍摄角度、拍摄距离、圆形标志大小不同的情况下,偏心差在像素量级,补偿后偏心差在10^-11像素量级。实物实验结果表明,若设计有直径分别为6 cm,12 cm,18 cm的三同心圆标志,经解算补偿结果较以往两同心圆算法精度提高一倍,偏心差值减小80%,测量误差在0.1 mm左右。结论 本文提出了一种新的偏心差补偿算法,利用三同心圆标志增加约束解算偏心差。与以往偏心差补偿算法相比,此方法精度更高,且无需预先平差解算相机与目标的距离、拍摄角等参数,仅需要知道标志圆形半径比例及椭圆中心坐标即可计算补偿,具有很高的实用性,可用于改善基于非编码标志点的深度像匹配、基于圆形标志点的全自动相机标定方法、视觉导航定位等应用中。     

A method for robot placement optimization based on two-dimensional manifold in joint space

This article addresses a method for placement determination of robotic drilling system on two-dimensional manifold in robot joint space. It has been proved that the feasibility of positioning error compensation on two-dimensional manifold, and that the continuity of the robot parameters in the two-dimensional space is the prerequisite to perform the compensation in previous study. It appears that there are bifurcations which might break the continuity of the robot parameters on the two-dimensional manifold due to improper placement. To avoid bifurcations, a performance index and a set of optimization procedure are proposed to achieve proper placement of robotic machining system. Experiments conducted on a KUKA robot have verified the effectiveness of the proposed placement optimization method. Experiment results indicated that positioning errors were significantly improved with the proposed method, which is beneficial for robotic machining accuracy.     

基于面结构光的机械工件三维扫描系统设计

针对工业机器人对自动化装配过程生产效率的提高以及工件拾取对三维扫描技术的应用需求,设计了能够准确提取机械工件表面点云的视觉系统。扫描系统主要由计算机、投影仪和工业相机构成。基于光学测量和机器视觉的原理,主要研究设计了扫描系统工业相机和投影仪的标定策略、结构光栅编码解码的检测策略以及点云重构的几何策略。对于机械工件三维扫描重构的多余背景平面点云,研究设计了通过随机选取点云并反复迭代构造背景平面实现分割的有效方法。实验结果表明采用面结构光技术,由投影仪投影不同频率的结构光栅在机械工件上,工业相机同步采集被机械工件调制的结构光栅图像,对图像中的光栅条纹进行提取并计算,并利用三角检测算法提取机械工件表面点云的方案具有高准确性,能够有效重构机械工件表面点云。     

基于改进YOLOv2的无标定3D机械臂自主抓取方法

提出了一种多物体环境下基于改进YOLOv2的无标定3D机械臂自主抓取方法。首先为了降低深度学习算法YOLOv2检测多物体边界框重合率和3D距离计算误差,提出了一种改进的YOLOv2算法。利用此算法对图像中的目标物体进行检测识别,得到目标物体在RGB图像中的位置信息; 然后根据深度图像信息使用K-means++聚类算法快速计算目标物体到摄像机的距离,估计目标物体大小和姿态,同时检测机械手的位置信息,计算机械手到目标物体的距离; 最后根据目标物体的大小、姿态和到机械手的距离,使用PID算法控制机械手抓取物体。提出的改进YOLOv2算法获得了更精准的物体边界框,边框交集更小,提高了目标物体距离检测和大小、姿态估计的准确率。为了避免了繁杂的标定,提出无标定抓取方法,代替了基于雅克比矩阵的无标定估计方法,通用性好。实验验证了提出的系统框架能对图像中物体进行较为准确的自动分类和定位,利用Universal Robot 3机械臂能够对任意摆放的物体进行较为准确的抓取。     

3D视觉结合图像检测与导纳控制的圆轴孔零件机器人装配

面向机器人柔顺装配圆轴与圆孔零件,建立基于3D、单目视觉与导纳控制的机器人自动装配系统,提出基于三维点云的轴线位姿估计算法、图像深度学习目标检测、导纳控制结合的圆轴孔零件的装配策略.针对3D视觉估计圆孔零件位姿问题,重点研究基于三维点云的轴线位姿估计算法.首先,介绍三维点云关键点选取方法;然后,以点云表面法线与轴线的几何约束为基础,提出并分析轴线粗估计的算法;最后,在轴线粗估计的基础上,提出并分析基于迭代鲁棒最小二乘的轴线位姿优化的算法.实验结果表明:轴线位姿估计的角度均方根误差为0.248°,位置均方根误差为0.463 mm,与现有流行的轴线估计方法相比,所提方法的精度更高,使装配策略很好地满足了机器人圆形轴孔零件装配的精度高、稳定可靠的要求.     

动态船舶行驶场景下的实时单目测距算法研究

为了利用单目视觉实时监测船舶行驶过程中与周围船舶之间的距离,首先分析单目视觉测距现状及其成功应用实例,基于小孔成像原理建立单目相机模型,通过几何推导,得到世界坐标系、相机坐标系、图像坐标系及像素坐标系之间三层坐标转换关系.随后通过实验验证pitch俯仰角与yaw水平角对单目视觉测距的影响程度,从而分析出动态船舶行驶场景...     

空间轴对称目标三维姿态测量方法的研究

提出一种双目视觉测量空间轴对称目标姿态的新方法,应用线性方法获取轴对称目标在像面的轴线,通过两像面轴线与各自光心所成的平面相交,得到被测目标的轴线的方向矢量,进行三维姿态测量,避免了传统姿态测量中左右像面目标特征点的特征匹配或灰度匹配。模拟实验结果表明:该方法姿态角测量误差小于0.5°;且计算速度快,结果稳定,能够满足实时处理的要求。     

Positioning variation synthesis for an automated drilling system in wing assembly

Tight position tolerance is required for fastener holes in wing manufacturing. Automated drilling system with high positioning accuracy is the key to achieve the requirement. The paper seeks to determine allowable values of variation sources and guarantee the hole position tolerance. The process of reference hole positioning and the compensation of drilling positions are firstly explored and formalized for an automated drilling system integrated with an industrial camera. Based on this, a positioning variation model for automated drilling considering positioning error measurement and compensation is built. After that, positioning variation synthesis being imposed engineering constraints on is mathematically modeled based on the theory of mathematical statistics. In the positioning variation synthesis, imperfect camera installation, nonideal measurement conditions, equipment positioning error, etc. are included. The positioning variation model and involving synthesis strategy have been used to develop an automated drilling system for wing assembly. Experiments conducted on the developed drilling system show that the fastener holes’ desired position tolerance 0.3 mm will not be exceeded, which is a necessary condition of the satisfactory drilling quality of the aircraft wing.     

利用运动线索的单目深度测量

目的 传统的单目视觉深度测量方法具有设备简单、价格低廉、运算速度快等优点,但需要对相机进行复杂标定,并且只在特定的场景条件下适用。为此,提出基于运动视差线索的物体深度测量方法,从图像中提取特征点,利用特征点与图像深度的关系得到测量结果。方法 对两幅图像进行分割,获取被测量物体所在区域;然后采用本文提出的改进的尺度不变特征变换SIFT（scale-invariant feature transtorm）算法对两幅图像进行匹配,结合图像匹配和图像分割的结果获取被测量物体的匹配结果;用Graham扫描法求得匹配后特征点的凸包,获取凸包上最长线段的长度;最后利用相机成像的基本原理和三角几何知识求出图像深度。结果 实验结果表明,本文方法在测量精度和实时性两方面都有所提升。当图像中的物体不被遮挡时,实际距离与测量距离之间的误差为2.60%,测量距离的时间消耗为1.577 s;当图像中的物体存在部分遮挡时,该方法也获得了较好的测量结果,实际距离与测量距离之间的误差为3.19%,测量距离所需时间为1.689 s。结论 利用两幅图像上的特征点来估计图像深度,对图像中物体存在部分遮挡情况具有良好的鲁棒性,同时避免了复杂的摄像机标定过程,具有实际应用价值。     

图像亮度线索下的单目深度信息提取

目的 深度信息的获取是3维重建、虚拟现实等应用的关键技术,基于单目视觉的深度信息获取是非接触式3维测量技术中成本最低、也是技术难度最大的手段。传统的单目方法多基于线性透视、纹理梯度、运动视差、聚焦散焦等深度线索来对深度信息进行求取,计算量大,对相机精度要求高,应用场景受限,本文基于固定光强的点光源在场景中的移动所带来的物体表面亮度的变化,提出一种简单快捷的单目深度提取方法。方法 首先根据体表面反射模型,得到光源照射下的物体表面的辐亮度,然后结合光度立体学推导物体表面辐亮度与摄像机图像亮度之间的关系,在得到此关系式后,设计实验,依据点光源移动所带来的图像亮度的变化对深度信息进行求解。结果 该算法在简单场景和一些日常场景下均取得了较好的恢复效果,深度估计值与实际深度值之间的误差小于10%。结论 本文方法通过光源移动带来的图像亮度变化估计深度信息,避免了复杂的相机标定过程,计算复杂度小,是一种全新的场景深度信息获取方法。     

利用3D打印标定球的机械臂与RGB-D相机手眼标定方法

因为彩色镜头和深度镜头不在同一位置,并且深度图像测量精度差、分辨率低、没有颜色纹理信息,传统的手眼标定方法并不适用于RGB-D相机．本文提出一种利用简单低成本的3D打印球作为标定件对机械臂与RGB-D相机进行手眼标定的方法．本方法只需要测量标定件的3D位置信息,避免使用测量不便、精度稍差的姿态信息．文中给出了该方法的封闭解和迭代优化解．100组仿真结果表明,标定精度与RGB-D相机自身测量精度一致;封闭解不需要机械臂与相机时间同步;迭代优化解的标定精度略有提升,误差最大值和误差方差都很稳定．最后,在7自由度的KUKA ⅡWA机械臂和Kinect相机上做了手眼标定实验,结果与仿真实验一致．总之,本文方法简单可靠,可实现机械臂与RGB-D相机之间的快速部署手眼标定．     

基于视觉定位的数控机床智能刀柄系统

针对航天领域某大型工件人工配打孔劳动成本高、制造效率低等问题,提出了一种基于视觉定位的智能刀柄系统,利用视觉算法对大型工件的多个安装孔进行自动识别和定位,并通过基准转换方法计算出安装孔在机床下的位置,将视觉补偿后的孔位位置发送给机床,即可实现机床对安装孔位置的自主感知和自动更新轨迹加工。将研究的系统和红外测头测量结果进行实验比对,结果表明,视觉定位平均误差0.05 mm,实际工件配合误差要求不超过0.3 mm,因此,研究的系统能满足实际生产需求。     

用于空中加油的激光测距与双目视觉融合算法

依据空中加油自动对接阶段的高精密测量需求，设计了双目视觉与激光测距融合的测量系统。分别分析了双目视觉与激光测距的误差和系统实时性，采用二维摆镜结合激光测距机测距，解决多传感器融合的时滞问题。并提出数据融合算法，利用双目视觉粗测的三维信息，调整摆镜使激光测距机精测距离，依据光路进一步修正该距离值，再依据空间几何关系修正双目视觉光轴方向的测量值，从而获取高精度的三维信息。多次试验结果表明：设计的融合算法能够使测量精度提升到10 mm/20 m，极大提高了自动对接的可靠性，为空中加油自动对接提供了一种新的高精度测量方法。     

基于显著性检测的双目测距系统

为了提高双目视觉测距系统中图像匹配的实时性与测距的精度,提出一种将显著性检测与焦距拟合相结合的双目测距方法。首先对双目相机进行畸变矫正,并利用双目相机成像的特点拟合相机焦距与目标距离的关系,随后对所得图像进行显著性检测,并提取目标区域,最后,利用surf算子对提取出的区域进行特征匹配,将匹配点代入测距模型中得到目标物体的距离。结果表明:显著性检测方法明显提升算法执行速度,焦距拟合降低双目测距模型误差,明显提升双目测距精度。     

机器人手眼立体视觉标定研究

以固高GRB-400型机器人和CCD组成机器人手眼系统,分析了摄像机的成像模型,采用了基于直接将图像坐标映射到机器人参考坐标的“黑箱”思想,从图像坐标直接计算出目标位置的方法,用于立体定位的摄像机手眼标定,该方法通过保持机器人末端执行器到机器人参考坐标系旋转矩阵来简化复杂的相机标定过程,最后通过实验验证了该方法的可行性,并分析了实验误差产生的原因,并提出了相应的解决措施。     

光栅投影测量系统三维形貌拼接技术研究

针对尺寸较大或型面复杂的被测物形貌的测量,提出了一种基于投影仪投射标记点和全局控制点的三维形貌拼接方案。方案充分利用光栅投影测量系统的优势,以拼接相机坐标系为中介,将被测物表面在投影系统视觉传感器坐标系下的多视点云坐标转换到全局坐标系下,实现了将投影系统视觉传感器在不同位置、不同角度的测量数据统一到全局坐标系,完成拼接。该方案避免了人工标记点的粘贴,保持了被测物表面的原有形貌,提高了测量效率,同时克服了基于相邻图像重叠拼接中的误差累积问题。此方案方法操作简单,原理可行,精度可满足要求。实验结果表明:拼接的X,Y,Z坐标均方根误差分别为:0.056 mm、0.023 mm、0.165 mm,测量系统的绝对误差为0.33 mm。