基于单目视觉的智能物料分拣机器人的设计

为解决目前工业物料分拣机器人发展的需求问题,以模拟自动化物流系统的作业流程为目标,提出了一种基于单目视觉的智能物料分拣机器人的设计。为实现物料的自动分拣过程,以STM32作为核心控制器,驱动OV2640摄像头对图像进行实时采集、处理与分析,实现颜色识别和目标定位,并将处理结果传送给驱动控制系统。在图像标定方面,采用读取TFT屏中目标的坐标和求取目标的实际坐标,通过MATLAB软件来进行数据拟合,找出两个坐标的函数关系,从而实现目标的定位。采用遍历腐蚀算法、增量式PID算法、DBCSAN算法和Dijkstra算法,分别完成对随机摆放的物料的自动识别和定位、电机控制和路径规划。实验与竞赛结果表明,该单目视觉分拣机器人的分拣准确率和效率高,能够实现智能分拣功能。     

基于迁移学习的机器人视觉识别与分拣策略

针对传统工业机器人辨识复杂工件困难、识别度单一等问题，提出一种基于迁移学习的视觉识别与分拣策略。高精度工业相机拍摄到的图片经过HALCON软件图像膨胀、腐蚀等处理之后，导入Pytorch中的神经网络模型，利用迁移学习对目标进行识别分类，最终实现工业机器人智能分拣的目的。实验中，在UR5机器人平台上以形状多变的两种菇类为对象进行迁移学习，进而完成识别及分拣。实验结果表明该策略具备良好的准确性和稳定性。     

智能移动垃圾分拣机器人设计与实现

随着我国人口红利逐渐减弱,以及计算机、工业自动化水平的提高,迫切要求通过自动化设备代替传统人工进行工作。本作品研究基于视觉识别技术的智能移动垃圾分拣机器人,能够进行路径规划遍历清扫区域,扫描识别垃圾并抓取垃圾。作品由导航单元、目标识别单元以及分拣控制单元三部分组成。导航单元基于ROS分布式框架,利用激光雷达采集清扫区域环境信息,实现基于扫描匹配算法的SLAM功能,并通过最优路径算法进行路径规划遍历清扫区域。机器人遍历过程中,由目标识别单元通过SSD_MobileNet_V2深度学习算法对摄像头获取的图像进行目标检测以及目标分类,获取目标的坐标及其角度信息作为分拣控制单元的输入信息,控制分拣控制单元执行垃圾抓取任务。     

基于图像检测的煤矸分拣机器人实验平台

目前煤矸预分选仍多为人工完成,劳动强度大、分拣效率低,且存在安全隐患,利用煤矸分拣机器人代替人工完成煤矸预分选是保障工人健康和安全、提高作业效率的有效途径。然而现有的煤矸分拣机器人在弱光照强度、煤矸表面覆盖煤粉等情况下的效果较差,针对上述问题,提出了基于图像检测的煤矸分拣机器人实验平台。该实验平台通过工业相机采集煤矸图像,利用ResNet18-YOLOv3深度学习算法对图像中的煤矸进行识别,采用TCP通信将矸石的位置信息提供给煤矸分拣模块进行轨迹规划,控制机械臂对矸石进行夹取,完成矸石分拣作业。采用Halcon标定法对实验平台进行手眼标定,从而实现相机像素坐标与机械臂空间坐标的转换;对实验平台进行了定位误差标定,对于尺寸均为50 mm以上的煤矸样本,定位误差不大于9 mm。实验结果表明,该实验平台在强光照条件下的煤矸识别准确率达99%,在弱光照条件下的煤矸识别准确率为95%,在煤粉附着条件下的煤矸识别准确率不低于82%,且煤矸分拣准确率为82%。     

基于协同显著性的服务机器人空间物体快速定位方法

针对传统算法模型先检测、后识别、再定位导致执行效率较差的问题,提出了一种基于协同显著性检测的服务机器人空间物体快速定位方法.利用RGB-D传感器获取N对包含待定位物体的RGB图像与深度图像,将待定位物体看作协同显著性目标,在RGB图像中充分挖掘单幅图像显著性传播机理,构建基于图像间显著性传播和图像内流形排序的两阶段引导协同显著性检测模型,同时排除背景和非协同显著性物体,得到协同显著性物体区域的像素坐标集合.进一步利用RGB图像与深度图像的对应关系确定物体质心的空间坐标,实现对空间物体的快速定位.最后将所提方法在iCoseg标准数据库和经手眼标定后的服务机器人机械臂抓取平台上进行实验.实验结果表明,该方法一致优于现有的5种协同显著性检测算法,且满足抓取系统的实时性需求,在复杂背景、多目标干扰以及光照变化时具有较高的准确性和鲁棒性.     

煤矿带式输送机分拣机器人异物识别与定位系统设计

机器视觉已在煤矿带式输送机分拣机器人目标检测与识别方面具有一定的理论基础,但目前煤矿带式输送机分拣机器人目标识别主要针对煤矸石识别,对造成输送带穿透、撕裂等的异物目标识别的研究较少,且在目标异物精确定位方面的研究也较少。针对上述问题,设计了一种基于机器视觉的煤矿带式输送机分拣机器人异物识别与定位系统,可对输送带上存在的不同类型和不同形状的异物进行识别与定位。采用双目视觉实时获取输送带上异物图像信息,并对图像进行预处理,基于Canny算子进行图像信息增强,通过灰度拉伸方法改进图像边缘信息,突出煤矿带式输送机上异物的边缘特征;利用形态学方法提取异物形状特征,建立异物图像特征样本库,通过图像特征匹配的方式解算出异物存在区域,实现异物类型的检测、分类与识别;在异物类型成功识别的基础上,以目标异物边缘特征值为基础,建立目标异物的感兴趣区域(ROI),构建相机、输送带与目标异物坐标转换关系,利用多目标质心快速计算方法求取目标异物质心坐标,实现对目标异物的定位。系统样机实验结果表明：煤矿带式输送机分拣机器人异物识别与定位系统异物识别率不受尺寸、材质和颜色等因素影响,能够实现输送带目标异物图像的采集、...     

基于OpenCV的物料分拣搬运机器人的设计

针对当今制造业中物料分拣搬运任务的自动化问题,设计出一套新型物料分拣机器人,结合2019年广东省工科大学生实验综合技能竞赛的机器人设计要求,提出了一种基于OpenCV的物料分拣搬运机器人的设计。以结构、控制、识别及通讯四方面对机器人的设计进行介绍。在基于STM32芯片的主控制系统的控制下,以树莓派4B为核心的图像识别系统运行OpenCV对摄像头采集的图像数据进行处理,通过CAMshift跟踪算法对目标进行跟踪,得到目标在图像中的位置,机器人根据该位置对物料进行抓取并搬运至物料投放点,在机器人运动同时通过Wi-Fi和Flask框架可在浏览器网页上对机器人的识别情况进行监视。实验及竞赛结果充分证明机器人在物料分拣搬运任务的完成上具有极大的高效性、准确性及稳定性,对制造业自动化的技术推进具有极大的前景。     

机器视觉技术在工件分拣中的应用

研究了机器视觉技术在工业分拣问题中的应用,介绍开发过程中使用的主要图像处理算法.利用VisualC++编程软件建立图像处理的算法库,实现对规则几何工件的识别和定位.分析视觉算法库中的摄像机模型,并且求解出摄像机内外参数、畸变参数、旋转和平移向量.然后对图像序列进行图像预处理、Hough圆检测、角点提取和轮廓识别等运算分析.提出计算多目标中心的算法和一种角点特征结合轮廓特征识别算法.仿真结果表明,该视觉算法可以有效解决规则几何工件的分拣问题,并且能准确地计算工件中心,周长,面积和边缘,以达到分拣的目的.     

机器视觉在工业机器人智能分拣识别中的研究

针对工业流水线分拣作业的需求设计了一套基于视觉检测的工业机器人分拣系统。系统采用工业相机获取工件图像等信息,通过图像识别方法进行工件识别并与机器人建立通信,控制机器人准确抓取并分拣工件。本系统分析图像采集、图像处理与坐标变换等任务,并通过我校罗克韦尔公司提供的可编程逻辑控制器和伺服驱动器运动控制模块搭建仿真实验平台。该系统具有较高的运行速度和准确度,探讨工业机器人在机器视觉条件下的分拣技术,可应用于工业流水线自动化分拣作业领域,促进工业机器人分拣技术被进一步推广和应用,提升我国各个行业中自动化生产线的生产效率和柔性。     

水下智能识别与自主抓取机器人设计与实现

设计了一款面向海珍品捕捞的水下智能识别与自主抓取机器人. 首先通过YOLOv4-tiny网络对海珍品图像 离线训练, 设计单双目自适应切换与多目标选择算法以实现海珍品在线识别与持续定位. 进一步, 采用声呐与深度 传感器融合策略获取水下机器人深度信息, 设计基于模糊比例–积分–微分控制的定深抓取控制器, 以确保目标定位 与抓取过程中深度信息的有效反馈. 所提目标识别算法, 具有实时性强、复杂度低优点; 同时, 定深与抓取控制器, 不依赖于系统复杂模型, 可适应不同海况下的精确抓取. 最后, 通过试验验证了方法的有效性.     

基于TOF相机的堆叠产品分拣系统

针对工业生产线的堆叠矩形物品的识别与分拣问题，设计了一套由TOF(time of flight)相机、并联机器人与夹具等组合而成的产品分拣系统。采用一种基于深度图与RGB图结合的三维矩形检测算法，实现堆叠物品的识别与空间位姿的计算。运用机器人定位，通过简易的手眼标定法，对算法进行验证。最后，结合视觉系统与机器人控制系统进行抓取测试。通过不同数量下反复抓取的实验，检测该系统的分拣能力。     

不规则多物品无序分拣机器人研究

针对多种不规则物品混乱摆放的抓取问题，一直是机器人领域研究的热点和难点，对其研究在家庭生活服务机器人等领域有很高的应用价值。为实现这一功能，基于双目相机和协作机械臂搭建一套物品分拣机器人系统。系统中基于YOLOv5算法和PSMNet网络建立起目标检测和双目立体匹配算法，利用ROS系统的MoveIt模块进行机械臂控制。经过实验验证，该机器人能够有效识别、定位和分拣形状不规则、表面纹理丰富、摆放混乱的物品，对经过训练的物品识别成功率达到100%，分拣成功率达到93.3%。     

基于改进Faster RCNN的工业机器人分拣系统

传统的分拣作业无法伴随工作环境的变化进行相应的调整,针对此种不足,出现了基于机器视觉的分拣机器人的相关研究,通过将图像处理和特征工程技术引入视觉模块,使得分拣系统能适时的调整.不同于这些方法,本研究基于实验室的工业分拣系统,将深度学习方法应用其中.通过将Faster RCNN检测算法引入视觉模块并对区域提取网络RPN进行相关改进,加快Faster RCNN模型的检测过程,使得该系统满足工业的实时性要求.Faster RCNN作为一种端到端的方法,能自动对输入图像生成更具表达力的特征,对相应目标提取相应特征,这避免了人工设计特征,它的特征自动生成能力使其能适用于各种场景,这提升了工业分拣机器人的环境适应能力.     

基于卷积神经网络的指针式仪表识别

目前大部分研究指针式仪表识别的方法中提取指针是完全基于传统的图像处理技术,提取过程较为复杂且步骤繁多.为了有效解决指针式仪表读数识别中指针中轴线所在直线提取困难及识别精度不高等问题,本文提出了一种基于深度学习的指针式仪表的识别方法.首先用Faster R-CNN算法检测仪表圆盘,再采用基于深度学习的方法Faster R-CNN算法检测指针,根据得到的指针目标框的位置信息裁剪得到指针图像,在指针图像的基础上进行二值化、细化、霍夫变换检测直线、最小二乘法拟合直线等步骤识别仪表最终读数.和直接在仪表表盘目标框图像或原始图像上进行传统图像处理相比很大程度上减少了定位指针中轴线所在直线过程中的干扰.实验结果表明本文所提出的基于深度学习的指针检测的平均准确率高达96.55％.对于复杂背景下指针式仪表的指针区域的检测具有良好的准确性与稳定性.     

基于机器视觉的工业机器人自动分拣系统设计

经济的发展推动了我国工业自动化进步,自动分拣是工业自动化中的一部分,传统的工业机器人自动分拣系统的分拣精确度较低,无法满足目前的工业化生产需求,因此基于机器视觉设计了新的工业机器人自动分拣系统.硬件部分设计了CCD图像采集器和运动控制卡,软件部分首先处理了工业机器人自动分拣图像,其次基于机器视觉识别了自动分拣工件类型,...     

基于RGB-D的机器人跟随系统设计

机器人跟随可广泛应用于物流、安防、家庭服务、医院等诸多领域,基于ROS平台设计了机器人跟随系统,包括机器人差速运动控制、深度图像处理和机器人跟随软件.在目标跟踪定位方面,提出了一种利用深度图像信息(RGB-D)的深度质心算法,该算法在采用KCF算法进行目标跟踪的基础上,计算跟踪矩形区域的深度质心值,然后剔除远高于深度质...     

基于OpenGL的工业机器人分拣系统仿真

针对工业机器人视觉分拣工件问题,开发了一套工业机器人分拣仿真系统。该系统主要包括工件的识别与定位算法和机器人分拣的动态仿真,是基于VC++6.0开发平台和OpenGL图形库而开发的。工件识别是依赖于角点检测实现的。本文在确定工件表面中心和长轴的基础上,基于几何原理提出了一种新的机器人运动学反解方法,并验证了运动学分析的正确性,且直观地实现了机器人分拣工件的动态仿真。仿真结果表明,该系统能够快速、准确分拣工件,满足实际工程的要求。     

基于多尺度特征注意Yolact网络的堆叠工件分拣算法

针对非结构化场景中存在的多工件堆叠遮挡等问题,提出了基于多尺度特征注意Yolact网络的堆叠工件识别定位算法。所提算法首先在Yolact网络的掩码模板生成分支中加入多尺度融合与特征注意机制,提升网络预测堆叠工件掩码的质量,并设计了基于膨胀编码的目标检测模块,增强网络对不同尺度堆叠工件的适应能力,构建了多尺度特征注意Yolact网络。其次,利用构建的多尺度特征注意Yolact网络预测堆叠工件的掩码与边界框,并对堆叠工件掩码进行最小外接矩形生成,根据掩码边界框与掩码的最小外接矩形确定目标工件的抓取点与旋转角度。最后,基于堆叠工件识别定位算法研发了视觉机器人工件分拣系统。实验结果表明,所提模型在边界框回归、掩码预测两项任务上的识别精度均有提升,机器人工件分拣系统进行堆叠工件分拣作业的成功率达到97.5%。     

基于机器视觉的工业机器人分拣控制系统探究

在工业生产环节中,工件分拣是不可或缺的一部分.其作用是将不同型号的工件、物料分类摆放到对应的位置.随着科技的发展,机器人的性能、系统等也在不断提高,为了推动机器人分拣技术的进步,本文从机器视觉的角度出发,研究机器人分拣系统,并为整个控制系统的方案设计、运动学分析、对工业摄像机的标定、图像处理、运动目标的跟踪以及机器人分...     

基于faster R-CNN的服务机器人物品识别研究

传统的日用商品识别流程通常使用较为经典的图像识别和机器学习算法,如支持向量机（SVM）、随机森林或Adaboost,然后利用目标图像的梯度、纹理或颜色的基本特征来对日用商品进行识别,可以在比较简单的背景中得到应用,但是在复杂的背景环境中很难有比较突出的表现,并且难以达到较高的准确率。目前在目标识别中表现比较优异的是卷积神经网络（CNN）,并成为很多目标识别场景中的首选。考虑到服务机器人的硬件配置成本,将基于区域的卷积神经网络（R-CNN）的快速算法Faster R-CNN引入系统中,并以CPU计算的方式进行物品识别。利用CNN网络提取图像特征,在其后面接入一个区域提议层。实验结果表明,将深度学习的识别方法应用到服务机器人平台是可行的,识别效果准确,且在实验中得到较好的检测效果。