基于多尺度特征注意Yolact网络的堆叠工件分拣算法

针对非结构化场景中存在的多工件堆叠遮挡等问题,提出了基于多尺度特征注意Yolact网络的堆叠工件识别定位算法。所提算法首先在Yolact网络的掩码模板生成分支中加入多尺度融合与特征注意机制,提升网络预测堆叠工件掩码的质量,并设计了基于膨胀编码的目标检测模块,增强网络对不同尺度堆叠工件的适应能力,构建了多尺度特征注意Yolact网络。其次,利用构建的多尺度特征注意Yolact网络预测堆叠工件的掩码与边界框,并对堆叠工件掩码进行最小外接矩形生成,根据掩码边界框与掩码的最小外接矩形确定目标工件的抓取点与旋转角度。最后,基于堆叠工件识别定位算法研发了视觉机器人工件分拣系统。实验结果表明,所提模型在边界框回归、掩码预测两项任务上的识别精度均有提升,机器人工件分拣系统进行堆叠工件分拣作业的成功率达到97.5%。     

一种基于双目视觉传感器的遮挡目标期望抓取点识别与定位方法

在不确定性较高的室内复杂场景中,机器人常需识别遮挡物体并对其抓取.遮挡问题会导致抓取点预估位置脱离目标,产生位置漂移.针对该问题,本文提出一种基于双目视觉的遮挡目标抓取点识别与定位策略.采用基于期望位置模型的方法估计,以特征检测进行遮挡目标识别,并进行轮廓还原;根据期望抓取点模型,采集目标的期望抓取位置,构建位置模型库.将待检测目标与模型库匹配,提取双目视野中未遮挡区域的期望抓取点.实验表明本方法在复杂环境下具有较高的鲁棒性,抗干扰能力强,对遮挡目标具有较高的定位精度.     

一种多模块神经网络与遗传算法相结合的单目位姿估计方法

针对机器人抓取场景中存在的工件位姿不确定、堆叠遮挡等问题，提出一种多模块神经网络与遗传算法相结合的单目位姿估计方法，实现由目标工件检测到平面定位、再到位姿全方位立体匹配的逐级优化过程。首先，利用神经网络识别工件并分割工件区域，结合预测的中心位置构建L形边界，从而得到工件投影的局部有效模型。然后提取工件区域内的边缘信息来生成基于倾角分层的倒角距离函数，结合局部有效模型的形状构建匹配度函数，以适应遮挡情况。采用大范围搜索和小范围优化相结合的策略，利用遗传算法实现6D位姿的快速收敛。基于ArUco码对工件进行数据集构建和实验测试，结果表明该方法能在0.5 s左右实现对工件的位姿估计，在420 mm的观察距离下，横向平移误差能控制在1 mm左右，旋转角度平均误差控制在2°以内。通过实验对比分析可知，本方法能有效应对复杂环境下工件位姿的准确估计，提升机器人工作效率。     

基于神经网络的工业机器人视觉抓取系统设计

针对机器人示教编程方法导致的工件位置固定、抓取效率低下的问题,研究神经网络在机器人视觉识别与抓取规划中的应用,建立了视觉引导方案,通过YOLOV5神经网络模型开发视觉识别系统,识别物体的种类,同时获取待抓取物体定位点坐标。提出了机器人六点手眼标定原理并进行标定实验,提出了针对俯视图为圆形或长方形物体的定位方法。最后针对3种物体进行了180次的抓取实验,实验的综合平均抓取成功率约为92.8%,验证了视觉识别和抓取机器人系统具备实际应用的可能性,有效提高了抓取效率。     

一种先验知识引导的基于二阶段渐进网络的自主抓取策略

针对未知不规则物体在堆叠场景下的抓取任务,提出一种基于二阶段渐进网络（two-stage progressive network,TSPN）的自主抓取方法．首先利用端对端策略获取全局可抓性分布,然后基于采样评估策略确定最优抓取配置．将以上2种策略融合,使得TSPN的结构更加精简,显著减少了需评估样本的数量,能够在保证泛化能力的同时提升抓取效率．为了加快抓取模型学习进程,引入一种先验知识引导的自监督学习策略,并利用220种不规则物体进行抓取学习．在仿真和真实环境下分别进行实验,结果表明该抓取模型适用于多物体、堆叠物体、未知不规则物体、物体位姿随机等多种抓取场景,其抓取准确率和探测速度较其他基准方法有明显提升．整个学习过程历时10天,结果表明使用先验知识引导的学习策略能显著加快学习进程．     

基于双目视觉的工件定位与抓取研究

针对生产制造过程中工件的自动定位、识别与抓取等问题,研究基于双目立体视觉的工件识别定位方法;对每个工件进行SIFT特征提取,采用模板匹配方法实现工件的识别.用形态学方法获得工件特征点的二维信息,结合双目立体视觉标定技术得到工件的三维坐标,为机器人抓取工件提供信息;在实验中,相机标定、匹配识别与三维定位程序在MATLAB环境中执行,应用MATLAB和VC++混合编程技术将获得的工件信息传递给机器人的控制程序,实现了机器人对工件的在线实时抓取.     

视觉图像技术与机器人工件抓取的协作应用

工业机器人在抓取环节如果配置机器视觉装置,应用图像处理技术,在抓取效率和准确度方面就有优势。该文介绍机器人功能实训台的工件抓取视觉系统的组成,侧重工件轮廓的图像处理技术,以图像处理作为机器人视觉系统处理的核心目标,将视觉图像技术与机器人工件抓取技术协作应用于工业机器人实训平台的抓取环节,利用工业机器人运动过程中坐标的转换,通过相机的正确标定与抓取动作的共同控制,实现工件的精确定位,达到可靠抓取的目的。总结图像处理技术在工件抓取中的协作应用效果,期待便捷的视觉图像技术与机器人工件抓取的协作应用。     

基于机器视觉引导技术在工业机器人抓取系统研究与设计

本文以ABB-IRB120型机器人和NI VISION视觉开发工件准确识别以及精准抓取,是衡量在生产线上工业机器人重复精度重要指标,也是一项十分重要的应用。目前,绝大多数工业机器人控制采用的是离线编程方式,优点是操作简单,入门槛低,缺点是环境适应能力差,编程方式单一。当工作环境或目标对象发生变化,机器人不能有效的适应这些变化,从而不能对工件进行准确识别以及精准抓取。为了解决这个问题,本文采用NI VISION视觉开发软件,在C#环境中,利用视觉软件对图像处理算法进行二次开发,通过CCD相机对传送带上物料工件进行图像采集、图像预处理、模板构建、模板匹配、姿态定位等5大步骤,对物料工件进行自动识别,有效地改变机械手的抓取动态,引导工业机器人准确抓取。     

面向传送带作业系统的机器人目标跟踪与抓取策略研究

运用机器视觉技术与工业机器人技术,开展传送带作业系统的机器人目标跟踪与动态抓取策略研究,提出了传送带速度控制的策略,建立了机器人抓取目标位置预测模型,在保证效率的同时降低了漏抓率;通过分析传送带PID跟踪控制规律,给出基于位置预测的机器人拦截式抓取方法,搭建了基于机器视觉的锯条自动抓取系统平台,开展机器人目标抓取对比实验分析,较好地实现了传送带作业系统机器人目标的动态抓取,有效验证了本文所提方法的可行性和有效性。     

机器人抓取运动目标的轨迹规划方法

本文讨论了机器人在抓取运动目标前的接近轨迹规划问题，给出了一种新的在平面上抓取目标的方案。这种方案适用于机器人接近作直线运动或轨迹已知的平面曲线运动的目标的轨迹规划。本文还研究了当目标沿直线以不同速度运动时机器人手爪要抓取它而必须达到的最小末端速度，最后给出了一些仿真结果。     

复杂环境下基于推抓协同操作的目标物体抓取

针对现有抓取技术在复杂环境下难以进行有效的目标导向性抓取的问题, 本文提出了一种基于深度强化学习的推动和抓取协同操作的方法. 相对于以往的抓取方法, 本方法使用深度学习来处理Intel-D435i相机所获得的RGB-D图像数据, 同时又在视觉网络中引入了注意力机制, 用来提高系统对工作区域内目标物体的敏感性. 其次,使用深度Q网络来学习UR5机械臂与环境之间的交互过程, 提出了密集奖励策略来评判推动或抓取操作的好坏. 随着训练次数的不断增加, UR5机械臂在训练过程中不断地优化两种操作之间的协同策略, 从而更高效的进行决策.最后, 在V-rep仿真平台上设计了仿真场景, 并进行测试, 平均抓取成功率达到92.5%. 通过与其他几种方法进行对比, 证明该方法可以在复杂环境下较好的完成目标物体的抓取任务.     

基于TOF相机的堆叠产品分拣系统

针对工业生产线的堆叠矩形物品的识别与分拣问题，设计了一套由TOF(time of flight)相机、并联机器人与夹具等组合而成的产品分拣系统。采用一种基于深度图与RGB图结合的三维矩形检测算法，实现堆叠物品的识别与空间位姿的计算。运用机器人定位，通过简易的手眼标定法，对算法进行验证。最后，结合视觉系统与机器人控制系统进行抓取测试。通过不同数量下反复抓取的实验，检测该系统的分拣能力。     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

基于视觉定位的机器人智能拆垛系统

针对传统示教再现机器人仅能进行位置确定、轨迹固定的拆垛任务,局限于固定场景的问题,设计了一个基于视觉定位的机器人智能拆垛系统.该系统利用目标像素中心坐标转换求得对应世界坐标.针对眼在手外的安装相机方式,导致目标经图像处理算法求得的旋转角度可能由于相机自身的偏转而产生误差的问题,提出利用相机外参系数补偿目标旋转角度.最后设计拆垛策略,通信引导机器人以由近及远的抓取顺序执行拆垛任务,并无需人工干预自动完成整垛拆卸.经过实验数据表明,该系统可在未知工作场景中对未知位置目标进行抓取,位置误差可达1.1 mm,角度误差可达1.2°,堆垛一层定位时间为1.2 s左右,满足工业场景中对拆垛机器人的精度与效率需求.     

基于CICP的机械臂多目标定位与抓取

机械臂的目标定位和抓取是工业机器人自动化领域的核心问题。针对目前机器人3D抓取耗时长且误差较大的问题,提出基于轮廓迭代最近点（Contour Iterative Closest Point,CICP）配准的机器视觉抓取方案,并建立多维空间下的3D多目标模型定位的计算机视觉系统。利用梯度直方图特征+支持向量机对多目标进行检测分割得到单目标大致区域,再使用基于Guide滤波+漫水填充的预处理方式对目标轮廓进行提取得到轮廓点云,最后使用迭代最近点（Iterative Closest Point,ICP）进行点云配准获取目标工件的透视变换矩阵,能够很好地解决传送带上多目标工件的定位与抓取问题,实验结果证明该系统抓取误差可降低到0.4 mm,且对于小工件可将配准时间缩短至200 ms以内。     

机器视觉在工业生产线上的应用实现

以新松6轴SRH6工业机器人和GMl400千兆以太网工业相机为基础,搭建了基于机器视觉的工业生产线智能抓取实验平台。首先利用工业相机对生产线上进入到工作区的工件进行拍摄,获取数字图像;然后利用软件对采集到的数字图像进行分析处理,利用其特征对工件进行识别,计算出工件的几何中心坐标,再利用坐标变换得到工件的空间位置：最后引导机器人控制吸盘机械手来完成工件的分类与抓取工作。实验表明,抓取成功率为100％,该方法为工业生产自动化、智能化提供了解决方案。     

水下智能识别与自主抓取机器人设计与实现

设计了一款面向海珍品捕捞的水下智能识别与自主抓取机器人. 首先通过YOLOv4-tiny网络对海珍品图像 离线训练, 设计单双目自适应切换与多目标选择算法以实现海珍品在线识别与持续定位. 进一步, 采用声呐与深度 传感器融合策略获取水下机器人深度信息, 设计基于模糊比例–积分–微分控制的定深抓取控制器, 以确保目标定位 与抓取过程中深度信息的有效反馈. 所提目标识别算法, 具有实时性强、复杂度低优点; 同时, 定深与抓取控制器, 不依赖于系统复杂模型, 可适应不同海况下的精确抓取. 最后, 通过试验验证了方法的有效性.     

机器人一体机中运动目标跟踪研究

机器人一体机属于移动监控类机器人,在有限区域内,从不同角度实现运动目标的识别与跟踪、监控一体机的运动变化,以此来控制机器人的下一步行动;该系统允许操作员选取要跟踪的目标,实现从背景中检测出运动目标,并开始对运动目标进行实时跟踪;研究了静止背景和动态背景两种情形的实现方法,目的是在实际背景下能正确分割出运动目标,通过对运动目标平面运动的跟踪,根据坐标变化以及对坐标变化的姿态分析,得到正确识别结果,实现了对仿真机器人的基本运动控制,并以文本命令形式显示出来。     

目标识别追踪算法系统设计及分析

通过植入到机器人控制单元,帮助机器人在感知环境的前提下更好的识别和追踪目标,本文研究设计了一种基于本地数据采集处理的目标识别追踪算法系统,通过对本地和云端两个方案测试验证设计系统在综合性能的优越性,主要解决室外机器人在实际场景中识别目标出现的高延迟、不稳定等问题。     

基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。