基于深度学习的机器人最优抓取姿态检测方法

服务型机器人在抓取任务中面临的是非结构化的场景。由于物体放置方式的不固定以及其形状的不规则,难以准确计算出机器人的抓取姿态。针对此问题,提出一种双网络架构的机器人最优抓取姿态检测算法。首先,改进了YOLO V3目标检测模型,提升了模型的检测速度与小目标物体的识别性能;其次,利用卷积神经网络设计了多目标抓取检测网络,生成图像中目标物体的抓取区域。为了计算机器人的最优抓取姿态,建立了IOU区域评估算法,筛选出目标物体的最优抓取区域。实验结果表明,改进后的YOLO V3目标检测精度达到91%,多目标抓取检测精度达到86%,机器人最优抓取姿态检测精度达到90%以上。综上所述,所提方法能够高效、精确地计算出目标物体的最优抓取区域,满足抓取任务的要求。     

基于三维检测网络的机器人抓取方法

机器人抓取任务中面对的是不同形状和大小的物体,而散落在场景中的物体会有不同的姿态和位置,这对机器人抓取中计算物体位姿任务提出了较高的挑战。针对于此,本文设计了一种基于三维目标检测的机器人抓取方法,弥补了基于二维图像识别引导机器人抓取任务中对视角要求较高的缺陷。首先,设计了一种卷积神经网络在RGB图像中识别物体,并回归出物体三维包围盒、物体中心点;其次,提出一种计算机器人抓取物体最佳姿势的策略;最后,控制机器人进行抓取。在实际场景中,使用本文设计的三维检测网络,三维目标检测精度达到88%,抓取成功率达到94%。综上所述,本文设计的系统能有效找到机器人合适的抓取姿势,提高抓取成功率,满足更高的抓取任务要求。     

基于双目视觉的机械手识别、定位、抓取系统研究

针对多类堆叠工件分类和提取三维位姿困难的问题,对随机摆放规则物体的机器识别、三维定位和自动抓取等方面进行了研究,采用一种基于MLP分类器的视觉算法实现了工件识别。利用识别结果选取合适的透视可变形模板匹配将堆叠工件与背景分离,结合双目视觉中的立体匹配、深度计算和坐标变换完成了三维位姿估计,通过Halcon和Visual Studio联合编程的方式,进行了工件识别定位抓取实验系统的软件开发,设计了实验平台,对矩形工件和圆柱体对象进行了位姿提取和抓取实验。实验结果表明:该系统具有较好的分类效果和较高的识别定位精度,可以满足机器人对工件的在线抓取需求。     

基于单目视觉的工业机器人智能抓取系统设计

针对工业机器人如何能在多目标工况下快速自主识别和抓取指定目标工件的问题,将单目视觉引导技术应用到工业机器人智能抓取系统设计中。利用图像进行了模式识别,对检测定位进行了研究,建立了视觉图像与工件定位抓取之间的关系,提出了基于轮廓Hu不变矩快速模板匹配算法的单目视觉抓取系统。首先将摄像机获取的图像进行了预处理,然后利用轮廓Hu不变矩模板匹配算法进行了目标工件的识别,利用轮廓矩和二阶惯性矩最小原理对识别出的目标工件进行了位姿求取,最后通过建立SOCKET通信将求取的位姿发送给了机械臂控制系统引导机械臂的抓取。基于VS软件开发平台和ABB机械手,对智能抓取系统进行了搭建并试验。研究结果表明:该基于单目视觉搭建的工业机器人智能抓取系统成本低、定位精度高,可满足工业自动化生产的需求。     

基于双目视觉的六自由度仿人手抓取目标定位研究

为了使仿人手能对抓取目标物体进行识别和定位,提出一种基于双目视觉的仿人手抓取定位方法。采用改进的D-H方法对假肢手臂进行建模,采用几何法和解析法相结合的方法对六自由度假肢手臂进行逆运动学求解,并采用基于灰度相关的模板匹配算法提取出目标,最后根据双目视觉原理计算出目标位置的空间坐标,并控制假肢手臂对目标物体进行抓取。实验结果表明,假肢手臂能够有效完成对目标物体的识别和抓取动作。     

位置不确定下移动机器人自主抓取方法

往返取物递送移动机器人在入位定点抓取物体时,自身重复定位的不确定性将影响抓取准确性。为此提出一种克服位置不确定性的移动机器人物体抓取新方法。通过机器人体外定点位置深度视觉传感器与机器人手臂系统的关系标定,基于机器人本体激光传感器数据采用迭代最近点算法补偿机器人位置偏差,基于顶抓策略简化描述抓取位姿。通过待抓物识别与定位、确定抓取姿态以及机械臂运动规划等过程,实现了对平整支撑面上形状规则物体的自主抓取。在移动机器人往返取物作业场景下,实验验证了该方法可以显著提升物体抓取的成功率。     

零件的双目视觉识别定位与抓取系统研究

针对生产制造过程中零件的自动定位、识别与分类等问题,构建了基于双目立体视觉的零件识别定位与抓取系统,对每个零件应用SIFT算法进行特征提取和匹配识别,应用双目视觉实现零件的三维定位,运用MATLAB和VC++混合编程技术,实现零件自动识别定位系统的软件开发.经实验验证,结合机器人控制软件,本系统能够快速准确地得到物体三维位置信息进而完成抓取任务.     

基于深度卷积网络的多目标动态三维抓取位姿检测方法

在非结构化环境机器人抓取任务中,获取稳定可靠目标物体抓取位姿至关重要。本文提出了一种基于深度卷积网络的多目标动态三维抓取位姿检测方法。首先采用Faster R-CNN进行多目标动态检测,并提出稳定检测滤波器,抑制噪声与实时检测时的抖动;然后在提出深度目标适配器的基础上采用GG-CNN模型估算二维抓取位姿;进而融合目标检测结果、二维抓取位姿以及物体深度信息,重建目标物体点云,并计算三维抓取位姿;最后搭建机器人抓取平台,实验统计抓取成功率达到95.6%,验证了所提方法的可行性及有效性,克服了二维抓取位姿固定且单一的缺陷。     

家庭服务机器人手眼协调系统设计

针对目前智能家庭场景下,家居服务机器人对不同物品位姿的识别准确度与操作性差等问题,进行机器人手眼协调识别技术与物品灵巧操作规划方法的研究,提出了视觉前馈目标定位与视觉反馈位姿匹配相结合的识别与多位姿抓取方法。首先,基于SSD深度神经网络模型识别待抓取物品,并进行三维测定,以得到物品粗略坐标位置;其次,根据所得三维坐标预设深度相机与物品的相对位姿,采集物品与障碍物的深度信息,并基于Linemod算法与内置三维模型进行位姿匹配,完成对物品精确位姿的测定;最后,依据所得物品与障碍物的位置与姿态,规范臂手系统的抓取位姿,实现灵巧抓取物品。由以上原理,设计手眼协调测试实验进行不同桌面高度的物品抓取成功率与抓取误差测试,实验抓取总成功率高,且误差满足实际精度要求;该研究有利于提高家居服务机器人物品操作的灵巧性与适应性,对于家居服务机器人产业的发展具有重要意义。     

基于双目视觉的工件抓取系统研究

现代化工业流水线上,双目视觉技术利用视差原理能够恢复目标物体空间信息,将机械手与其相结合,可以解决传统生产线对机器人通过离线示教方式进行抓取的弊端,对于提高生产效率和自动化程度有着重要意义。该系统利用双目视觉技术,使用改进的SURF算法对工件图像进行特征提取,同时以距离测度作为相似性度量技术进行左右图像特征点匹配,实现对工件中心识别;并将识别结果转化为机械臂控制信息,完成工件抓取。     

基于级联式Faster RCNN的三维目标最优抓取方法研究

机器人在三维目标识别和最优抓取方面的难点在于复杂的背景环境以及目标物体形状不规则,且要求机器人像人一样在识别不同三维目标的同时要确定该目标的最佳抓取部位的位姿。提出一种基于级联式模型的深度学习方法来识别目标物体及其最优抓取位姿。第1级提出了改进的Faster RCNN模型,该模型能识别成像小的目标物体,并能准确对其进行定位;第2级的Faster RCNN模型在前一级确定的目标物体上寻找该目标物体的最优抓取位姿,实现机器人的最优抓取。实验表明该方法能快速且准确地找到目标物体并确定其最优抓取位姿。     

目标检测在链条标准件动态抓取中的应用研究

为提升链条装配车间的自动化和智能化水平，满足对于生产线传送带上链条标准件的准确分类、定位和抓取，使用基于深度学习的机器视觉目标检测技术，提出了一种具备通用性且满足工业实时性要求的动态抓取方法，由视觉系统与抓取系统组成。视觉系统采用深度学习目标检测模型YOLOE对采集的图像进行处结果显示目标检测和分类准确率90%以上，传送带8mm/s速度下抓取成功率为100%，能够高效、准确、平稳的实现机器人对动态目标的准确快速抓取。     

基于视觉的机器人抓取系统应用研究综述

针对生产线上工业机器人的柔性和智能水平不高的问题,将日益发展的计算机视觉技术引入原有的搬运工业机器人领域,利用机器人视觉技术获取工件及其周围环境的信息,识别出了所要操作的目标工件,并能通过做出决策来引导工业机器人完成对工件的抓取和放置等操作。针对生产线上的工业机器人抓取系统中摄像机的标定、目标工件的识别匹配、机器人对目标工件的定位抓取这3个主要步骤在现阶段的研究成果进行了综述,对计算机视觉定位中涉及到的相关图像预处理方法进行了分析与归纳,并对该技术的实际应用研究和未来发展进行了讨论。研究结果表明,视觉抓取系统技术成熟,能够满足工业应用中的实时性要求,各部分算法的研究和改进对工业的发展和相关研究具有一定的参考价值。     

机器人多指手预抓取模式聚类分析

提出一种基于计算机视觉的,以及改进的模糊C均值聚类算法的机器人多指手预抓取模式分类方法.根据人手抓取分类学,将抓取手势分为13类.选取若干具有代表性的不规则形状物体,先经视觉系统采集物体图像,然后运用数字图像处理方法提取物体的姿态、大小、形状和表面粗糙度等特征,最后利用改进后的模糊C均值聚类算法对待抓取物体进行聚类分析.实验结果表明:对比人类抓取策略,该方法具有理想的预抓取模式分类效果.     

基于LabVIEW的螺钉柔性抓取关键技术研究

为了解决某系列非标螺钉的自动上料问题,提出了基于机器视觉的螺钉柔性抓取系统。首先设计了Eye-to-hand视觉定位抓取系统,对采集的图像进行二值化、粒子分析等图像预处理识别螺钉目标。其次,针对螺钉目标采用拟合圆操作获取螺钉中心方向的系列圆特征参数,通过最小二乘法拟合求得中心线,进一步求解螺钉的抓取点与角度位姿参数。最后,以抓取点为中心设计符合夹爪抓取特性的ROI区域以判断可抓性。上位机将位姿信息发送到控制器,引导机器人运动到相应位置并通过末端夹爪完成对螺钉工件的抓取。通过实验验证表明系统定位准确率达到99.5%。     

基于机器视觉的Delta机器人目标识别算法研究

传统机器视觉目标识别算法中的目标物与背景不精确分割会导致定位不准确,并影响并联机器人工作时的抓取精确度。为此,提出一种基于ORB特征提取算法与Onecut分割算法结合的目标提取算法,对Delta机器人进行系统标定,确定了工业相机、机器人及传送带的位置转换关系。将ORB特征提取算法与Onecut算法相结合,实现了Onecut免交互分割以及对目标进行识别和定位。实验结果表明,此算法的定位精度达到并联机器人的抓取要求。     

自然光线环境中的空间物体快速识别和定位算法研究

针对智能机械臂在自然光环境的三维空间中对目标物体的自主识别率和定位精度低的问题,提出了一种基于深度学习的视觉和光学雷达融合定位算法,实现自然光线下空间物体的高精度快速定位。首先,采集 RGB 图像和深度数据,利用深度学习算法对图像进行目标识别与实例分割;然后,将实例分割目标物的二维深度矩阵转换成三维空间点云;最后,用综合修正算法对位置修正,实现对目标物体在三维空间的抓取位置精准定位。 通过不同光照强度下的目标物体识别和定位实验验证了该算法的有效性和实用性,获取的目标物体的三维空间坐标较为精确,单位距离的定位误差在 0. 5%以内,受照明亮度影响较小,对机械臂智能抓取的研究具有较为重要的意义。     

基于YOLOv5与迁移学习的目标检测和机械臂抓取位姿估计

针对传统机器学习算法视觉识别准确率低、运行时间缓慢等问题,研究针对家庭场景中机器人做家务的场景,利用RGB图像信息为输入,完成对目标物体的抓取位姿估计。以目标检测模型YOLOv5s为基础,利用其轻便、速度快的优点,结合数据增强以及迁移学习搭建网络架构,搭建家庭场景数据集;将少量训练样本进行数据增强后,利用迁移学习将模型在目标数据集上训练,同时微调参数,将目标物体的定位信息通过坐标变换转换为机械臂的抓取位姿,控制机械臂最终以固定抓取姿态完成抓取任务;最后,通过搭建实验平台,操纵UR5机械臂进行实际抓取实验,验证了算法的有效性。提出的基于目标检测的方法速度快、实时性高、误/漏识别率小于2%,应用在机械臂抓取上可以高效地完成任务。     

基于单目视觉的工业机器人目标识别技术研究

为实现工业机器人能在多个目标的工作环境下自主识别指定的目标,提出了一种基于单目视觉技术的解决方法.主要采用中值滤波和最大类间方差法对初始图像分别进行滤波和分割,给出一种新的统计矩阵标记区域算法,利用目标本身的几何特征达到识别目的,选取质心标记法实现目标物体的定位.实验结果表明,该方法在较复杂的环境下能够获得较好的识别定位指定目标的效果,为工业机器人抓取目标提供了必要的信息.     

基于Harris角点检测和聚类算法的掌纹图像ROI提取方法

为了实现从掌纹图像中提取出稳定的感兴趣的区域(ROI)图像的目标,设计了一种新的掌纹ROI提取方法。使用Harris角点检测算法对二值化后的掌纹图像进行角点提取,收集相应区域的角点,利用聚类算法得到角点簇的中心点坐标,从中寻找关键点建立坐标系,提取ROI。分别利用该方法在不同掌纹数据库中进行了ROI提取实验。实验结果表明,该方法对不同的掌纹数据库图像均能保持很好的提取效果,成功率均达到了99%以上。