弧焊机器人视觉测量控制系统

提出了一种基于结构光的弧焊机器人双目立体视觉测量控制系统。该系统硬件主要由结构光发射器、CCD摄像机、机器人、焊机以及通过局域网连接的两台控制计算机组成。从结构光照射形成的两幅图像中提取对应特征点,结合摄像机和激光器之间的几何位置关系,分别求取三组对应的特征点空间坐标,经过信息融合后得到特征点对应的空间位置。利用递推最小二乘法拟合焊缝的空间位置,根据一定的步长选取对应直线上的点传送到运动控制计算机以进行运动轨迹规划,并通过运动控制卡驱动机器人运动完成焊接任务。实验表明该系统性能较好。     

三维焊接坡口轮廓图像测量系统

开发了一种三维焊接坡口轮廓图像测量系统，该系统基于光栅莫尔条纹投影原理，由LD、光栅副、滤光片、面阵CCD（Charged coupled device）及DSP图像信号处理等部分组成。分析了在恶劣的焊接现场条件下，莫尔条纹投影到焊接工件表面的噪声产生机理，提出并采用了中值滤波方法对采集的原始激光焊缝图像信号进行平滑处理。由CCD采集到的焊接坡口表面变形的莫尔条纹二维激光图像，经过图像信号处理软件后恢复焊接坡口的三维轮廓图像，获得焊缝中心、深度、宽度等参数的精确尺寸信息。该测量系统经过在轻便型焊接机器人上试用，其测试精度、实时性基本能满足要求。实验结果表明该方法简单可靠、效果明显。     

基于机器视觉的焊缝跟踪系统研究与设计

随着制造业的迅速发展,焊接作为一种重要的加工手段发挥着越来越重要的作用,是制造业的重要工序。同时也对焊接的自动化与智能化提出了更高的要求。传统的焊接操作由人工判断焊缝的位置,精度较低且容易引起误判。本文通过对图像采集平台、图像处理算法的研究,提出了一种基于机器视觉处理模块与机器视觉算法的焊缝跟踪系统。通过焊缝特征的提取与处理,控制焊枪实现焊缝的自动跟踪与定位。该系统具有性能稳定、定位精确等特点。     

基于机器视觉的机械手装配系统设计

为了解决工业生产过程中料板的自动装配问题,提出了一种基于机器视觉的机械手定位装配检测系统,建立了实验平台。系统通过工业相机对料盘进行图像采集,将所采集的信息传送给工控机,借助图像处理程序,采用图像预处理实现了对图像的降噪,结合BLOB分析对图像特征进行了提取,获得了料盘上装配孔的位置信息,通过控制机械手动作,移动到装配位置,旋转相应角度,实现料板的自动定位装配。实验结果表明,该系统装配准确度高,误差小,满足了工业上的要求。     

卡尔曼滤波焊缝跟踪控制

在视觉传感的电弧自动焊接过程中,需要根据视觉信息来控制电弧准确地跟踪焊缝.由于强烈的弧光干扰,使得从焊接区图像中直接提取电弧与焊缝的偏差信息十分困难.为此提出一种利用熔池图像质心和卡尔曼滤波来间接获取电弧与焊缝偏差的方法.选择熔池图像质心作为状态向量,建立基于图像质心的状态方程和焊缝位置测量方程.利用卡尔曼滤波消除过程噪声和测量噪声的影响,通过对熔池图像质心的状态估计,准确获取焊缝位置以及电弧与焊缝之间的偏差量,为自动焊接过程的焊缝跟踪控制提供准确信息.焊接试验结果表明,利用卡尔曼滤波方法可有效降低过程噪声和测量噪声的影响,从而提高焊缝跟踪控制精度.     

超声波传感器在直角焊缝自动焊接中的应用

机器人进行船体格子型焊缝焊接过程中,完全依靠电弧传感器无法完全得到其周围环境信息,造成了自动化焊接的困难。设计了一种直角焊缝自动焊接的方法,利用超声波传感器代替机械式传感器,获得周围障碍信息,用电弧传感器获得焊缝的偏差信息,通过对机器人合理的控制,完成了直角焊缝的自动跟踪焊接。     

基于图像传感器的焊缝偏差信息提取方法

介绍了焊接图像传感器的传感原理及其利用CCD摄像机获得的焊接温度场图像,叙述了小波变换方法用于边缘检测的原理,论述了利用三次样条小波函数对温度场图像进行变换得到焊缝位置和焊炬位置的算法,最后给出小波变换对图像的处理结果以及焊缝偏差量。     

用于机器视觉的焊缝图像获取及图像处理

采用激光线结构光作为主动光源,用滤光片滤掉弧光,有效提高了图像的信噪比得到清晰的焊缝图像,而且实验图像仅提取红色分量,进一步把特定波长的光放大,削弱其他波长的光。采用一种改进的中值滤波,此方法使降噪性能有效提高,较好保留图像细节,算法复杂度近似为[O(N)]。通过二值化把信号不强的噪声消除,同时保留激光条纹信息。选用一种多尺度边缘检测方法,它能较好地提取复杂的图像边缘。提取特征点时,进一步加强系统的容错能力,提取水平段位置信息时,采用黑色像素行累加值的办法,准确定位条纹位置。系统准确地识别焊缝特征并提取足够的信息,将焊缝的图像坐标转换成世界坐标,完成跟踪焊缝。     

图像处理在管道机器人焊缝自动定位中的研究

由于目前数字图像处理技术在管道机器人焊缝自动定位中大都是基于人工控制的,所以提出了通过DSP对采集到的焊缝图像进行图像增强处理使其更适合计算机进行分析和处理,然后进行图像的二值化处理,从而对焊缝图像使用Canny算子进行边缘检测以及相关匹配处理,以达到焊缝图像处理的识别与自动定位的目的。使用DSP处理焊缝图像能够获得更好的处理结果,进一步提高图像处理速度。     

结合Sobel算子与Snake模型的焊缝图像边缘提取

随着焊接自动化、智能化研究的深入,人们越来越注重焊接质量的自动控制.焊接过程中焊缝始终保持对中间隙中心是实现焊接过程自动化的前提条件.在管道打底MIG焊视觉跟踪系统中,首先基于光学成像的几何原理,通过CCD摄像机获取较清晰焊缝图像,使用Sobel变换获得Snake模型的初始轮廓点,然后使用贪婪Snake模型得到焊缝的准确边缘.实验结果表明,与原有Sobel变换算法相比,该方法显著提高焊缝提取的精度.     

基于图像识别的AH36钢激光焊缝节点定位技术研究

激光焊接过程中，强光导致焊接节点的视觉图像质量较低，降低了定位准确性。为了优化特殊材质的激光焊接节点定位精准度。以AH36钢为例，设计一种激光焊接节点视觉定位方法。在获取AH36钢的激光焊接节点区域图像后，通过EGDNet算法获取焊接节点边缘图像。利用Shi-Tomasi算法检测焊接边缘图像的角点，计算节点在AH36钢激光焊接图像中的位置坐标，完成AH36钢激光焊接节点定位。实验结果表明，该方法的焊接节点采集质量高、定位精度高、定位效率高。     

铝合金焊接熔池图象传感器

采用图象处理与模式识别的方法对铝合金的焊接质量进行智能控制还没有成功 ,因为铝合金表面不同于其它黑色金属 ,铝合金表面反射全波段的可见光 ,熔池与周围金属的灰度对比度极弱 ,在焊接电流较大时弧光强烈 ,弧光以及熔池周围金属的反射光足以掩盖熔池 ,普通的光学传感器无法在上述苛刻条件下取得铝合金焊接熔池区域的图象。通过光谱分析 ,可以设计全新的光学传感器 ,利用普通工业CCD摄像机获得清晰的铝合金焊接熔池区域图象 ,为铝合金智能化焊接打下了良好的基础     

色噪声下卡尔曼滤波焊缝跟踪算法与试验研究

精确控制激光束使其始终对中并跟踪焊缝是保证激光焊接质量的前提．以大功率光纤激光焊接Type304不锈钢为试验对象,研究一种有色噪声环境下应用卡尔曼滤波最优状态估计预测激光束与焊缝路径偏差的方法．使用高速红外视觉传感器摄取焊接区红外热像,提取焊缝位置参数并构成状态向量,建立基于焊缝位置参数的系统状态方程和焊缝位置测量方程．针对系统动态噪声为有色噪声,通过扩展状态变量的方法建立有色噪声环境下的卡尔曼滤波算法,对焊缝位置进行最优状态估计并得到最小均方差条件下的焊缝偏差最优预测值,消除系统噪声对焊缝偏差测量的影响．焊接试验结果表明新方法可有效抑制有色噪声干扰并提高焊缝跟踪精度．     

基于投影仪和摄像机的结构光视觉标定方法

为实现基于投影仪和摄像机的结构光视觉系统连续扫描,需要计算投影仪投影的任意光平面与摄像机图像平面的空间位置关系,进而需要求取摄像机光心与投影仪光心之间的相对位置关系。求取摄像机的内参数,在标定板上选取四个角点作为特征点并利用摄像机内参数求取该四个特征点的外参数,从而知道四个特征点在摄像机坐标系中的坐标。利用投影仪自身参数求解特征点在投影仪坐标系中的坐标,从而计算出摄像机光心与投影仪光心之间的相对位置关系,实现结构光视觉标定。利用标定后的视觉系统,对标定板上的角点距离进行测量,最大相对误差为0.277%,表明该标定算法可以应用于基于投影仪和摄像机的结构光视觉系统。     

大尺寸钢板测量中的激光标签精确定位

在基于视觉的非接触测量法中,为了取得较好的测量精度和速度,可以结合激光测量与相机测量两种技术。在实现两种测量系统的配准过程中,对于特定标记物(比如激光标签)的精确定位是提高测量精度的关键技术。针对于此,提出了一种精确的激光标签中心定位方法。首先,利用基于GPU的梯度方向直方图(HOG)算法实现激光标签的粗定位;然后,利用图像二值化方法实现进一步的基于质心法的精确定位。在粗定位过程中,利用GPU的并行计算优势,可以实现对超大图像的实时检测,满足工业测量需求。在二值化过程中,提出了一种基于高斯差分(DOG)的二值化方法,能够取得比传统的Otsu、Bernsen等二值化方法更好的效果。实验结果表明,该方法精度可以达到1mm以下,能够满足工业测量的需要。     

Weld seam profile detection and feature point extraction for multi-pass route planning based on visual attention model

Automatic multi-pass route planning is one of key technologies for thick plate in robotic metal active gas (MAG) arc welding. In this research, a scheme for the extracting feature points of the weld seam profile to implement automatic multi-pass route planning, and guidance of the initial welding position in each layer during MAG arc welding, is presented. It consists of two steps: first a vision sensor based on structured light is employed to capture laser stripes and molten pools simultaneously within the same frame, and the laser stripe, forming the weld seam profile is detected by a visual attention model based on saliency. Then a methodology of polynomial fitting plus derivatives for feature point extraction of the weld seam profile is suggested. With respect to the effectiveness of highlighting the laser stripe, the proposed model is much better than the classic ones in this field, whereas the feature point extraction methodology in this paper outperforms typical template matching. Finally, the performance of the proposed scheme is demonstrated on different weld seam images captured in different layers and different welding experiments.     

在线产品智能搬运机械手系统视觉识别技术

针对采用机械手从传送带上抓取位置不固定的产品并将产品按照固定位姿放置而需要复杂的视觉图像处理且成本较高的问题,提出了一种基于辅助定位机构的视觉识别技术。该技术首先以苹果手机为具体研究对象,在非极端光照条件下采集了不同光照下11组44张手机图像,并进行了预处理;然后根据各图像直方图的灰度分布特征,通过研究各图像中灰度值出现次数最多的灰度值和所有像素的灰度值均值的变化情况,确定了分段线性阈值分割准则;最后,采用面积特征找到合适的目标,再采用目标的位置特征对图像进行位姿识别,并给出了识别算法。以普通视频聊天摄像头为实验设备进行了算法适应性验证,实验结果表明,在非极端光照且光源环境基本稳定的情况下,该技术能够稳定可靠地实现手机位姿识别。该识别技术相对于多自由度机械手+摄像机的识别技术在成本上至少降低50%以上,可广泛应用于类手机形状产品的生产线上。     

An analysis of the geometry of light-striping vision systems for feedrate control in robot welding and other industrial processes

Light-stripping, whereby a laser or other source of a stripe of light in conjunction with a single camera can provide three-dimensional information of a scene, can be used to estimate the volume of a seam gap for welding, filling, or gluing robots, and thus provide automated feedrate control. The geometry of light-striping systems is analyzed to yield an efficient method to map the locations of stripe pixels in the image to three-dimensional coordinates. Methods are discussed to determine fill-points by recognizing the pattern produced by seam walls despite noise. Combined with computation of areas and volumes, the steps simplify to an effective algorithm for microprocessor implementation.     

基于二值几何编码图案的高精度结构光系统参数标定方法研究

该文提出了一种基于空间编码图案的结构光系统参数标定方法。与传统的基于棋盘格图案标 定策略不同的是,该文采用结构光编码图案实现了系统的高精度标定,具体实施步骤包括：(1)根据编码图案的几何分布特性提出了一种编码特征点检测算子,基于检测出的编码特征点构建拓扑结构,利 用仿射变换原理及双线性插值算法提取出编码几何元素图像;(2)将几何元素识别转化为监督分类问题,通过采集大量训练样本训练卷积神经网络,实现编码元素的准确识别和解码过程;(3)利用射影变 换原理建立相机像平面与投影机像平面之间的对应关系,利用此对应关系将标定板上棋盘格角点在相机像平面上的坐标转换至投影机像平面,最终实现了对相机和投影仪内外部参数的同时标定。标定结果显示,该方法对投影仪的标定重投影误差不超过 0.3 像素;三维重建实验结果显示,与传统标定方法相比,该文方法能够显著提升系统的标定和三维重建精度。     

Development of a Positioning Technique for an Urban Area Using Omnidirectional Infrared Camera and Aerial Survey Data

This paper describes an outdoor positioning system for vehicles that can be applied to an urban canyon by using an omnidirectional infrared (IR) camera and a digital surface model (DSM). By means of omnidirectional IR images, this system enables robust positioning in urban areas where satellite invisibility caused by buildings hampers high-precision GPS measurements. The omnidirectional IR camera can generate IR images with an elevation of 20–70° for the surrounding area of 360°. The image captured by the camera is highly robust to light disturbances in the outdoor environment. Through the IR camera, the sky appears distinctively dark; this enables easy detection of the border between the sky and the buildings captured in white due to the difference in the atmospheric transmittance rate between visible light and IR rays. The omnidirectional image, which includes several building profiles, is compared with building-restoration images produced by the corresponding DSM in order to determine the self-position. Field experiments in an urban area show that the proposed outdoor positioning method is valid and effective, even if high-rise buildings cause satellite blockage that affects GPS measurements.