基于多尺度特征注意Yolact网络的堆叠工件分拣算法

针对非结构化场景中存在的多工件堆叠遮挡等问题,提出了基于多尺度特征注意Yolact网络的堆叠工件识别定位算法。所提算法首先在Yolact网络的掩码模板生成分支中加入多尺度融合与特征注意机制,提升网络预测堆叠工件掩码的质量,并设计了基于膨胀编码的目标检测模块,增强网络对不同尺度堆叠工件的适应能力,构建了多尺度特征注意Yolact网络。其次,利用构建的多尺度特征注意Yolact网络预测堆叠工件的掩码与边界框,并对堆叠工件掩码进行最小外接矩形生成,根据掩码边界框与掩码的最小外接矩形确定目标工件的抓取点与旋转角度。最后,基于堆叠工件识别定位算法研发了视觉机器人工件分拣系统。实验结果表明,所提模型在边界框回归、掩码预测两项任务上的识别精度均有提升,机器人工件分拣系统进行堆叠工件分拣作业的成功率达到97.5%。     

不规则多物品无序分拣机器人研究

针对多种不规则物品混乱摆放的抓取问题，一直是机器人领域研究的热点和难点，对其研究在家庭生活服务机器人等领域有很高的应用价值。为实现这一功能，基于双目相机和协作机械臂搭建一套物品分拣机器人系统。系统中基于YOLOv5算法和PSMNet网络建立起目标检测和双目立体匹配算法，利用ROS系统的MoveIt模块进行机械臂控制。经过实验验证，该机器人能够有效识别、定位和分拣形状不规则、表面纹理丰富、摆放混乱的物品，对经过训练的物品识别成功率达到100%，分拣成功率达到93.3%。     

散乱堆叠药盒三维视觉抓取系统设计

针对药物生产线上药品分拣、包装等繁重的工作任务,设计了基于三维视觉的散乱堆叠药盒抓取系统。根据药盒点云数据均为特征均匀的矩形或方形平面这一特征,基于点云预处理与区域生长算法设计了堆叠药盒场景点云的分割算法,并提出了通过计算药盒上表面点云质心以及质心点表面法线获取药盒位姿的方法。实验结果表明：系统能够准确地完成场景点云分割,准确地获取位姿信息,精度高,鲁棒性好,适用于散乱堆叠药盒的抓取。     

基于机器视觉的颜色分拣机器人设计

为了提高分拣工作的效率、降低成本,设计了基于视觉识别的颜色分拣机器人。该机器人将OpenMV作为机器视觉的主要模块,机械臂作为运动模块,通过KPZ51核心系统板完成模块之间的信息互通,基于Lab颜色空间以及CamShift跟踪算法实现了颜色识别与跟踪、物体抓取、串口通信等多种技术。测试结果表明,改进后机器人识别的正确率从56%提高到了92%。颜色分拣机器人能够根据颜色对物体进行分拣。     

缺陷药片智能识别与分拣机器人研究

针对药片表面质量检测主要依靠人工肉眼判断、检测效率低和漏检等问题,开展了缺陷药片智能识别定位与分拣机器人技术研究,进行了机器人系统总体设计和结构设计,采用Halcon机器视觉开发平台编写了图像识别与处理软件对缺陷药片进行识别和定位,对机器人进行了正运动学和逆运动学分析,编写了药片位置信息解算软件,通过指令驱动机器人各关节运动对缺陷药片进行准确抓取,实现了缺陷药片的智能化分拣。通过所设计的缩比机器人系统对药片进行分拣,验证了缺陷药片智能识别定位与分拣的功能,该机器人系统具有成本低、工作范围大、智能识别定位准确、通用性好的优势。     

智能移动垃圾分拣机器人设计与实现

随着我国人口红利逐渐减弱,以及计算机、工业自动化水平的提高,迫切要求通过自动化设备代替传统人工进行工作。本作品研究基于视觉识别技术的智能移动垃圾分拣机器人,能够进行路径规划遍历清扫区域,扫描识别垃圾并抓取垃圾。作品由导航单元、目标识别单元以及分拣控制单元三部分组成。导航单元基于ROS分布式框架,利用激光雷达采集清扫区域环境信息,实现基于扫描匹配算法的SLAM功能,并通过最优路径算法进行路径规划遍历清扫区域。机器人遍历过程中,由目标识别单元通过SSD_MobileNet_V2深度学习算法对摄像头获取的图像进行目标检测以及目标分类,获取目标的坐标及其角度信息作为分拣控制单元的输入信息,控制分拣控制单元执行垃圾抓取任务。     

机器视觉在工业机器人智能分拣识别中的研究

针对工业流水线分拣作业的需求设计了一套基于视觉检测的工业机器人分拣系统。系统采用工业相机获取工件图像等信息,通过图像识别方法进行工件识别并与机器人建立通信,控制机器人准确抓取并分拣工件。本系统分析图像采集、图像处理与坐标变换等任务,并通过我校罗克韦尔公司提供的可编程逻辑控制器和伺服驱动器运动控制模块搭建仿真实验平台。该系统具有较高的运行速度和准确度,探讨工业机器人在机器视觉条件下的分拣技术,可应用于工业流水线自动化分拣作业领域,促进工业机器人分拣技术被进一步推广和应用,提升我国各个行业中自动化生产线的生产效率和柔性。     

基于工业机器人控制的物料视觉分拣系统的研究与设计

随着工业时代急速发展，在目前工业智能化生产过程中，工业机器人担任着越来越重要的角色。如今的分拣生产线任务越来越繁琐，人工分拣出现的失误率与越来越高，因此，企业生产线迫切需要一种能够代替人工且高效率的同时还不易出错的机器来替代。本系统搭建了ABB机器人与机器视觉硬件平台，实现一种可以识别物料颜色检测、抓取分类入库一体化的工作系统。     

基于OpenCV的物料分拣搬运机器人的设计

针对当今制造业中物料分拣搬运任务的自动化问题,设计出一套新型物料分拣机器人,结合2019年广东省工科大学生实验综合技能竞赛的机器人设计要求,提出了一种基于OpenCV的物料分拣搬运机器人的设计。以结构、控制、识别及通讯四方面对机器人的设计进行介绍。在基于STM32芯片的主控制系统的控制下,以树莓派4B为核心的图像识别系统运行OpenCV对摄像头采集的图像数据进行处理,通过CAMshift跟踪算法对目标进行跟踪,得到目标在图像中的位置,机器人根据该位置对物料进行抓取并搬运至物料投放点,在机器人运动同时通过Wi-Fi和Flask框架可在浏览器网页上对机器人的识别情况进行监视。实验及竞赛结果充分证明机器人在物料分拣搬运任务的完成上具有极大的高效性、准确性及稳定性,对制造业自动化的技术推进具有极大的前景。     

基于改进单次多框检测算法的机器人抓取系统

针对汽车零部件回收工厂在实际复杂工况下的零件检测效果不佳导致不能实现精准抓取从而影响生产效率的问题,提出了一种基于改进单次多框检测（SSD）算法的机器人抓取系统,可实现零件检测、分类、定位及抓取任务。首先,通过改进SSD模型检测目标零件,得到零件位置和类别信息;其次,通过Kinect相机标定与手眼标定将像素坐标系转换到机器人世界坐标系,实现零件在机器人空间坐标系下的定位;然后,通过机器人正逆运动学建模与轨迹规划,完成目标零件抓取任务;最后,对整个集成抓取系统进行了零件识别分类、定位到抓取验证实验。实验结果表明：复杂工况下,所提系统的零件抓取平均成功率达到95%,满足零件抓取的实际生产需求。     

基于嵌入式机器视觉的流水线分拣机器人设计

针对传统流水线上人工错误率高、速度慢和人工成本高的问题,设计了一种深度学习的流水线智能分拣机器人来缓解流水线的压力。该机器人采用分层结构设计,上位机采用Jetson Nano来完成机器人的图像采集、识别和处理,下位机由STM32G0作为主控,通过舵机和电机实现机器人的功能控制。同时上位机与下位机之间进行有效的数据交互,实现了机器人的抓取和分拣协调工作。在实验测试中,该机器人能够通过学习样本实现自动分拣不同类型的对象,并且能够精确识别。该流水线分拣机器人融入了计算机视觉与嵌入式系统,不仅使分拣机器人结构更紧凑,而且有利于提高社会生产力水平,具有良好的应用前景。     

基于实例分割网络与迭代优化方法的3D视觉分拣系统

针对工业上常见的弱纹理、散乱堆叠的物体的检测和位姿估计问题,提出了一种基于实例分割网络与迭代优化方法的工件识别抓取系统.该系统包括图像获取、目标检测和位姿估计3个模块.图像获取模块中,设计了一种对偶RGB-D相机结构,通过融合3张深度图像来获得更高质量的深度数据;目标检测模块对实例分割网络Mask R-CNN(region-based convolutional neural network)进行了改进,同时以彩色图像和包含3维信息的HHA(horizontal disparity,height above ground,angle with gravity)特征作为输入,并在其内部增加了STN(空间变换网络)模块,提升对弱纹理物体的分割性能,结合点云信息分割目标点云;在目标检测模块的基础上,位姿估计模块利用改进的4PCS(4-points congruent set)算法和ICP(迭代最近点)算法将分割出的点云和目标模型的点云进行匹配和位姿精修,得到最终位姿估计的结果,机器人根据此结果完成抓取动作.在自采工件数据集上和实际搭建的分拣系统上进行实验,结果表明,该抓取系统能够对不同形状、弱纹理、散乱堆叠的物体实现快速的目标识别和位姿估计,位置误差可达1 mm,角度误差可达1°,其性能可满足实际应用的要求.     

基于机器视觉的Delta机器人分拣系统算法

针对分拣过程中视觉系统对工件的重复拍摄问题,提出一种基于时间与工件位置的图像去重复算法,以实时分拣系统的系统运行时刻作为各单元的时间基准,将预测的工件到达某一固定参考位置的时刻与工件当前位置组合成一组能唯一识别工件的坐标,经周期性比较,判断并去掉重复图像信息.同时为提高分拣效率,提出一种基于牛顿-拉夫森迭代的动态抓取算法,建立了机器人跟踪工件的数学模型,并通过牛顿-拉夫森方法求解该非线性数学模型.最后用MATLAB对动态抓取算法进行了验证.样机实验中最快分拣速度达110次/min,误抓率小于2‰,漏抓率为0,证明了算法能够满足实时性要求,同时具有较高的准确性和稳定性.     

基于OpenGL的工业机器人分拣系统仿真

针对工业机器人视觉分拣工件问题,开发了一套工业机器人分拣仿真系统。该系统主要包括工件的识别与定位算法和机器人分拣的动态仿真,是基于VC++6.0开发平台和OpenGL图形库而开发的。工件识别是依赖于角点检测实现的。本文在确定工件表面中心和长轴的基础上,基于几何原理提出了一种新的机器人运动学反解方法,并验证了运动学分析的正确性,且直观地实现了机器人分拣工件的动态仿真。仿真结果表明,该系统能够快速、准确分拣工件,满足实际工程的要求。     

以学科竞赛促进工程能力培养——以基于机器视觉的自动分拣搬运机器人设计为例

学科竞赛在"以赛促教、促学、促创"方面发挥了重要作用。围绕工程、应用和实践,组织学生参加了中国工程机器人竞赛,为了实现仓库中多重目标的复杂搬运及堆垛任务,设计了一款基于摄像头的分拣搬运机器人。该分拣搬运机器人以STM32F103为主控芯片,机器人的行驶路径及分拣工作仅依靠摄像头识别,通过摄像头采集到黑线来规划路径、调整车身和计算行驶路径,并识别目标颜色物块。使用舵机驱动车体,二自由度机械钩子勾取堆叠的货物,再由一个机械爪子抓取和搬运。经竞赛测试,在80Lux以上照度下,机器人识别精度可达到100%,实现了分拣搬运的智能化,图像的处理仅依赖微控制器,极大地降低了成本。通过竞赛增强了学生的创新精神,团队协作能力,促进了对学生工程能力的培养。     

基于深度强化学习的固体放射性废物抓取方法研究

针对固体放射性废物分拣作业中,放射性废物杂乱无序、远程遥操作抓取效率低、人工分拣危险性大等典型问题,提出一种基于深度强化学习的放射性固体废物抓取方法。该方法使用改进深度Q网络算法,通过获取的图像信息,使机器人与环境不断进行交互并获得回报奖励,回报奖励由机械臂动作执行结果和放射性区域内放射性活度的高低构成,根据◢Q◣值的大小得到机械臂的最佳抓取位置。用V-REP软件对UR5机械臂建立仿真模型,在仿真环境中完成不同类型固体放射性废物抓取的训练与测试。仿真结果表明,固体废物在松散放置时该方法可使机械臂抓取成功率大于90%,在紧密放置时抓取成功率大于65%,机械臂不会受到废物堆叠的影响,并且会优先抓取放射性区域内具有高放射性活度的物体。     

室内智能移动机器人规则物体识别与抓取

规则物体的识别与抓取往往比非规则物体的识别与抓取更加有规律性,因此本文以规则的圆形、长方形物体为例,对圆提出圆形度这种度量方法,对长方形基于角点检测,提出计算各个角点之间夹角,结合HSV模型对图像进行分割,提高物体识别度。为了使单目机器人更准确的抓取物体,需要比较准确的知道目标物体相对于机器人的位置信息,结合地平面约束测距模型算法计算圆形物体的具体世界坐标。在Visual Studio2010,Pioneer3-AT机器人平台上实验表明,基于圆形度的物体识别方法能够比较快速准确的识别圆形物体,进而准确抓取。     

基于视觉识别定位的苹果采摘系统研究

针对果实振荡、重叠影响采摘机器人采摘精度和效率的问题,研制了一种在农田 环境下利用视觉检测技术和机器人定位抓取技术的苹果采摘系统。首先利用图像处理技术对初 始图像进行图像预处理;其次根据图像角点提取算法检测图像曲率,通过计算曲线段上的多个 像素平均角方向之间的差值对曲率进行平滑处理,获取图像曲率集中峰值点;最后对图像曲率 峰值点进行像素坐标标定,并将该点像素坐标转化为物理坐标作为机器人的定位抓取目标点, 机器人根据定位目标点的位置信息调整运动姿态对果实进行实时追踪和识别,实现果实的精确 定位、抓取和采摘。试验证明,该系统下的机器人抓取果实的成功率高达九成以上,基本能够 满足实际生产中的果实采摘需求,可为苹果等球状果实精准识别、定位抓取提供参考。     

基于机器视觉的多机械臂煤矸石分拣机器人系统研究

现有煤矸石分拣方法主要是根据煤和岩石的纹理特征值,利用图像处理和模式识别技术对煤矸石进行识别分选,分选的煤矸石粒度为25～150mm,而对于150mm以上的煤矸石仍依靠人工进行分选。为了对大粒度煤矸石进行分拣,设计了一种基于机器视觉的多机械臂煤矸石分拣机器人系统。该系统采用机器视觉采集煤矸石信息,应用深度学习方法实现煤矸石识别和抓取特征提取;在获取煤矸石序列信息后,根据煤矸石位置进行排序工作,并通过多目标任务分配策略将抓取任务下达给相应机械臂控制器;机械臂获取任务后,根据获得的任务对目标进行动态监测,当目标进入机械臂工作空间后由视觉伺服系统驱动机械臂完成煤矸石分拣。试验结果表明,该系统可对粒度为50～260mm的煤矸石进行高效、快速分拣,所采用的煤矸石识别方法和分拣策略在不同带速下具有良好的稳定性和准确性,煤矸识别与定位的综合准确率可达93%,验证了该系统的可行性。     

一种可感知三维力的新型柔性触觉传感器及滑觉识别算法研究

针对智能机器人在软抓取过程中对三维力感知和滑觉识别的需求,以炭黑/石墨烯为敏感材料,硅橡胶为基体,聚酰亚胺为柔性电极,设计了可以实现三维力感知的柔性触觉传感器;同时设计了一种可以实现滑觉识别的基于小波变换-相空间重构-支持向量机(DWT-PSR-SVM)的融合算法.针对机器人软抓取的实验结果表明,该传感器能够有效地检测三维力,通过所设计融合算法能识别在机器人抓取任务中的滑动状态和非滑动状态,可以进一步应用在机器人软抓取的工作中.