深度视觉技术在焊接轨迹识别中的研究综述

机器视觉在机器人自动焊接领域得到广泛应用。图像识别可以对不同的焊接对象进行有效识别,而识别及跟踪焊缝轨迹是实现自动焊缝的关键问题。分析了焊接轨迹跟踪传感器的发展历程,讨论了视觉传感器在焊缝识别跟踪上的应用,对焊缝图像处理方法进行了分析,总结了视觉焊缝跟踪技术现状。分析结果表明,TOF相机更适合于焊缝跟踪应用,研究鲁棒性强的图像去噪方法和基于深度学习的焊缝图像分割方法是未来的发展方向,同时提出了稳定性好、精度高,效率好的深度视觉焊缝跟踪控制系统思路。     

基于X射线图像和卷积神经网络的石油钢管焊缝缺陷检测与识别

研究了基于X射线图像和卷积神经网络(CNN)的石油钢管焊缝缺陷检测与识别问题。首先采用数字图像处理技术拟合提取出焊缝区域,验证了咬边缺陷的存在不影响焊缝边缘的提取;针对常用阈值分割方法不适于小面积区域缺陷分割的局限,采用基于排序点的聚类算法(OPTICS)对区域内任意形状大小的缺陷和噪声干扰点进行分割,然后对缺陷、噪声和无缺陷的正常图像进行提取并进行数据增强及尺寸归一化操作,从而完成焊缝图像的预处理以构建出样本图库。最后采用CNN与Softmax分类器相结合的算法,以缺陷和噪声为输入样本训练CNN并进行了实际应用实验,实验结果验证了方法的有效性。     

集箱管接头内焊缝表面缺陷识别方法研究

针对集箱管接头内焊缝表面缺陷自动检测需要,进行了基于计算机视觉的集箱管接头内焊缝表面缺陷自动识别方法研究。分析了不同焊缝图像的纹理特征,从焊缝图像的灰度共生矩阵中提取出15种可用于焊缝表面缺陷状态表征的特征参数。在此基础上,研究将BP神经网络应用于焊缝表面缺陷自动识别中。分析了灰度共生矩阵的步长、灰度级、神经网络的结构参数及输入特征参数的数量和种类对焊缝图像识别效果的影响,优化出最佳的识别参数。在以上研究基础上,利用优化后的神经网络对内窥镜获得的不同焊接质量的焊缝图像进行了训练和识别。结果表明,提出的基于图像纹理的神经网络识别系统可以很好实现集箱管接头内焊缝焊接状态的自动评价,整体识别率达91%。研究工作为集箱管接头内焊缝焊接质量自动检测做了有益的探索。     

基于改进Unet的起重机攀爬机器人车道识别

起重机攀爬机器人是一种代替人力检测起重机的机械设备。为解决起重机攀爬机器人自动寻路的车道识别问题,文中设计了一种针对起重机金属结构特点优化,将MobilenetV2作为特征提取部分与Unet网络相结合的M2-Unet卷积神经网络。用攀爬机器人在门式起重机上采集1 979张图像数据,由专业标注软件Labelme制作成数据集进行训练与测试,并使用其他2种主流的语义分割网络在相同的数据集上作对比实验。实验结果表明,相较于其他2种图像分割网络,改进的M2-Unet卷积神经网络的分割准确率最高;M2-Unet网络对测试集479张图片的平均识别准确率在96%以上,平均运行时间远小于0.5 s,能同时满足起重机攀爬机器人车道识别任务的实时性和精度要求。     

模型参数对卷积神经网络电容层析成像图像重建的影响

卷积神经网络凭借其较强的非线性拟合能力,在电容层析成像图像重建中逐渐得到应用。本文针对卷积神经网络模型超参数调节问题,研究了模型参数对卷积神经网络电容层析成像图像重建的影响。首先,通过数值方法构建了包含80 000组随机流型与40 000组典型流型的"电容矩阵-介质分布"数据集;然后,通过该数据集中的训练集对不同超参数的卷积神经网络模型进行训练和验证,并系统研究了网络初始化、网格密度、卷积核数、全连接层神经元数以及隐藏层结构等超参数对图像重建精度的影响;接着,利用额外生成的12 000组数据作为测试集对各网络模型性能进行评价;最后通过静态实验,对不同网络模型的图像重建效果进行了比较和分析。结果表明:网络隐藏层结构对图像重建精度影响较大,而网络初始化、网格密度、卷积核数以及全连接层神经元数等超参数对重建精度影响较小。     

改进Mask RCNN的焊缝缺陷检测

焊接缺陷检测是焊接行业的一项重要工作,利用X射线焊缝缺陷图像进行缺陷检测是焊接无损检测的重要手段。为实现对缺陷的自动识别和定位,结合缺陷的具体特征提出了一种改进的Mask RCNN实例分割网络实现对图像进行缺陷检测和分割。该方法在原有网络的基础上通过采用变形卷积更好地提取不规则形状缺陷特征信息,引入空洞卷积加强高层特征的感受野,在局部图像中融合全局图像信息使局部图像获取上下文信息,利用迁移学习和数据增强降低对训练数据的需求,提升检测和分割精度。最终,通过对焊缝X射线数据集上进行实验,验证改进的Mask RCNN模型与原始Mask RCNN模型以及Faster RCNN模型等模型进行客观比较,并对实验结果进行可行性分析,提出的模型表现出更精确的检测精度和更好的性能。实验结果表明改进的Mask RCNN模型可以更好的适用于焊缝缺陷检测中。     

基于卷积神经网络的汉字编码标记点检测识别

近景摄影测量中采用的标记点要求具有唯一身份号并能在图像中被精确识别定位。设计了一种以汉字作为编码特征的编码标记点,提出了一种基于卷积神经网络的编码标记点检测识别方法。首先采用基于相机成像原理的虚拟相机法,自动生成大量汉字编码点模拟图像作为训练样本,并据此训练卷积神经网络成为汉字编码点识别网络。根据一系列编码点筛选准则分割得到实拍汉字编码点,然后用编码点识别网络对其身份号进行识别,最后通过中心定位算法定位编码点中心。实验结果表明构建的识别网络对汉字编码点识别率可达97. 67%,且受噪声、投影角度、图像对比度、亮度等因素的影响小;分割算法鲁棒性强,能准确分割出汉字编码点;中心定位算法对编码点中心的定位精度高。     

基于图像处理的相贯线焊缝轨迹跟踪系统研究

相贯线焊接是实际生产中常见的典型焊接形式,但其焊接难度较大,焊接精度不高。为了提高焊接质量,以相贯线焊缝为研究对象,采用视觉传感器进行焊缝识别和轨迹跟踪,为解决机器人焊接过程中焊缝轨迹跟踪精度不高的问题,对轨迹跟踪系统进行了控制设计,采用自适应模糊PID的控制方法对控制器进行设计,最后进行Matlab仿真。仿真结果表明,该方法具有良好的自适应性,能够实现焊缝的快速准确跟踪。     

焊接缺陷磁光成像卷积神经网络识别方法

对焊件表面及亚表面微小焊接缺陷进行检测是保证焊接质量的关键,提出一种基于深层卷积神经网络的磁光成像焊接缺陷检测方法.以法拉第磁致旋光效应为基础,分析磁光成像原理,建立深层卷积网络预测模型,研究不同模型结构参数对训练结果的影响.通过对深度卷积神经网络中间机理分析,研究模型训练过程并自动寻找卷积核最优参数.试验结果表明,第...     

用于焊缝位置识别的视觉模型设计与试验

理论与试验研究用于焊缝位置识别的视觉模型,该模型主要由弹性梯度下降训练法BP神经网络组成.在焊接工艺条件下,使用视觉传感器获取焊接区熔池图像,并选取特定区域进行中值滤波与图像灰度变换处理以增强被测对象的特征.在此基础上,计算和处理熔池特性参量(熔池图像质心差值、质心位移、质心移动速度)以及相对应的焊缝与电弧之间的偏差值,将其输入所设计的神经网络进行网络权值参数训练和推理学习,从而建立基于BP神经网络、具有一定认知和环境适应能力的焊缝位置识别视觉模型.对该模型进行通用性检验,试验结果表明该模型通过熔池特性参量可以较精确地识别焊缝位置.     

相贯线焊接机器人多层多道焊轨迹规划算法研究

为了提高相贯线焊接机器人埋弧多层多道焊的焊接效率,提出了一套多层多道焊轨迹规划策略。设计出一种焊缝填充方法,即首先确定每层焊缝的高度,根据每条焊道的焊接参数调整焊道宽度;通过对相贯线插补算法的研究,设计出多道焊轨迹规划的算法,即通过改变每条焊道在相贯线插补算法中的半径参数R和r,即可计算出不同焊道相贯线轨迹点坐标。通过MATLAB仿真结果显示,该方法能够满足多层多道焊轨迹规划的要求,为相贯线焊接机器人的运动控制提供了理论基础。     

工业机器人低合金钢焊缝自适应焊接控制方法

工业机器人在进行焊接时,未对低合金钢焊系统几何参数实行重组,低合金钢焊接效果不佳。为此,提出一种工业机器人低合金钢焊缝自适应焊接控制方法。自适应传感控制分为焊接模块、管控模块、接口模块、接口模块,与WINUSER、ADAP、VISUS等软件共同组成传感控制系统。系统在低合金钢焊缝自适应焊接时,通过摄像机头与摄像机控制单元与机器人连接。依据VISUS识别、提取、过滤摄像机头采集图像,获取清晰轨迹点与坡口几何参数传输至控制器;采用ADAP将轮廓特征与几何参数实行重组,通过焊接程序输出参数控制工业机器人位置,进而实现焊接工艺自适应控制。实验结果表明,在坡口间隙不断增大下,焊接电流和焊接速度以及送丝速度均会做出对应变化,使焊缝正面与背面的焊接工艺效果较好,且裂纹相比方法实施前也得到了明显改善。     

使用机器人焊接中厚板对接焊缝工艺参数的选择

<正>目前,使用焊接机器人进行焊接作业,可实现全自动及半自动生产,大幅度提高焊接效率,降低焊接人员劳动强度。机器人焊接工艺参数的匹配是否合理,直接影响焊缝质量。本文以使用机器人焊接中厚板的对接焊缝为例,通过焊接实验和焊缝断面形状分析,总结出了一套比较适宜的工艺参数。1.对接焊缝接头结构适用于机器人焊接的中厚板对接焊缝接头结构如下:板厚为12~18mm;两侧坡口角度相同,角     

基于深度卷积神经网络的γ光子图像分类识别研究

通过对正电子探测成像技术获得的γ光子图像进行分类识别,有利于后续有针对性地快速获取图像所包含的有效信息。在MatConvNet上利用迁移学习的方法搭建深度卷积神经网络,通过对其参数的调整进一步提高网络分类识别的性能。为了验证网络性能,设计了10组不同形状的管材模型,利用仿真得到的扫描时间为1s的γ光子图像样本集对网络进行训练后,将其应用于扫描时间为0.1 s的γ光子图像样本进行分类识别,发现分类准确率在图像质量偏差、扫描时间为0.1 s的γ光子图像样本上仍然达到了94.72%。可见所搭建的深度卷积神经网络对γ光子图像具有很好的分类识别性能。     

焊接机器人笛卡尔空间轨迹规划研究

对SYH1506K焊接机器人进行了运动学分析,讨论了其Denavit-Hartenberg参数及正逆解问题。从直线规划和三点圆弧规划两方面对SYH1506K焊接机器人的笛卡尔空间轨迹规划问题进行了研究,通过MATLAB软件工具箱进行仿真,得到较为快速的直线插补和圆弧插补方法。     

基于卷积神经网络的六足机器人环境自适应方法研究

六足机器人采用不同的步态参数针对不同的非结构环境可提高运行效率、增强平稳性。为实现该目标,预先完成三个步骤:第一,机载摄像头用来捕获环境信息;第二,基于环境样本库,使用卷积神经网络训练环境识别模型,因其在视觉问题上的泛化能力,卷积神经网络可以自动提取图像特征并降低建模工作量;第三,调整六足机器人的步态参数以获得某一给定环境下的最优步态。在此基础上,六足机器人根据环境识别结果选择相应的最佳步态,并实现环境自适应。最后进行对比实验,结果表明,应用环境自适应方法的六足机器人可以在复杂环境中耗能更低,并获得更高的速度和更优良的平稳性。     

航天器部件的精细分割和稳定跟踪

为了实现在轨服务过程中对于没有靶标的部件进行操作，需要精细地分割出相关部件，并对其在时序上进行稳定地跟踪。对于部件的精细分割，本文首先基于航天器部件实例分割数据集对实例分割网络Mask RCNN进行了训练，然后在其掩膜分割分支上添加一个优化模块对部件分割结果进行优化。对于部件跟踪，本文首先在Quit＿trihard损失的基础上提出分层加权五元组损失，然后利用该损失在航天器部件重识别数据集上对有关重识别网络进行训练，最后将得到的重识别网路嵌入Deep OC SORT跟踪算法以实现对航天器部件的稳定跟踪。实验结果表明：经过掩膜优化后，在部件实例分割测试集上相关实例分割算法的分割精度可提升至84.90 mAP；使用改进后的损失进行部件重识别，在部件重识别测试集上的识别成功率提高至76.86%，同时相关跟踪算法在部件跟踪测试集上的跟踪成功率升至89.38%。因此，本文提出的方法基本可以满足航天器部件的精细分割和稳定跟踪。     

移动焊接机器人坡口自寻迹位姿调整的轨迹规划

主要研究移动焊接机器人在自寻迹过程中位姿调整的轨迹规划。在焊前,根据坡口识别特征模型寻找到焊接坡口并得到机器人与焊缝坡口的夹角后,对机器人本体和焊炬的位姿进行轨迹调整是自寻迹过程中非常关键的一步。首先讨论了具有自寻迹功能的移动焊接机器人的系统组成,在分析移动机器人运动学模型的基础上,对焊接坡口自寻迹过程中的位姿调整轨迹进行了规划,最后根据机器人自身的结构对调整轨迹进行了修正。试验结果表明:将该算法用于坡口自寻迹过程中的位姿调整,其误差精度可控制在±1.5mm左右,满足实际焊接工程需要。     

基于MATLAB的CO_2弧焊机器人实践教学应用

结合职业院校弧焊机器人焊接工艺参数设置实践教学课题,运用MATLAB神经网络强大的自适应能力和自学习能力,建立焊缝几何尺寸参数与焊接工艺参数之间的关系,并运用神经网络对其进行预测,优化焊接参数,提高焊缝质量。此研究结果运用到焊接机器人实践教学,有利于提高教学效果,改善教学环境。     

机器人焊缝跟踪神经网络控制的研究

研究神经网络技术在弧焊机器人焊缝跟踪过程中的应用,通过神经网络在笛卡尔空间轨迹的补偿作用,确定出基于笛卡尔空间参考轨迹控制的机器人焊缝跟踪神经网络控制器。与传统的关节计算力矩法相比,所设计的神经网络控制器具有良好的控制特性及较强的鲁棒性,焊缝跟踪精度得到了显著的提高。