基于机器视觉的颜色分拣机器人设计

为了提高分拣工作的效率、降低成本,设计了基于视觉识别的颜色分拣机器人。该机器人将OpenMV作为机器视觉的主要模块,机械臂作为运动模块,通过KPZ51核心系统板完成模块之间的信息互通,基于Lab颜色空间以及CamShift跟踪算法实现了颜色识别与跟踪、物体抓取、串口通信等多种技术。测试结果表明,改进后机器人识别的正确率从56%提高到了92%。颜色分拣机器人能够根据颜色对物体进行分拣。     

基于STM32的果实收获机械臂运动控制系统研究

为了实现果实的收割,设计了一种基于STM32处理器的机械臂运动控制系统。该系统以STM32F103微控制器为核心,完成机械臂运动控制模块的设计;利用D-H参数法研究分析多关节机械臂的正、逆运动学问题,建立机械臂的运动学仿真模型,并实现机械臂平面作业轨迹跟踪仿真,验证其运动学正逆解的正确性。基于PC+STM32运动控制模块,控制实现机械臂的运动轨迹跟踪,利用机械臂完成运动控制实验。实验结果表明该控制系统能够实现果实收割。     

基于机器视觉的非特定物体的智能抓取系统的研究

针对传统机械臂局限于按既定流程对固定位姿的特定物体进行机械化抓取,设计了一种基于机器视觉的非特定物体的智能抓取系统;系统通过特定的卷积神经网络对深度相机采集到的图像进行目标定位,并在图像上预测出一个该目标的可靠抓取位置,系统进一步将抓取位置信息反馈给机械臂,机械臂根据该信息完成对目标物体的抓取操作;系统基于机器人操作系统,硬件之间通过机器人操作系统的话题机制传递必要信息;最终经多次实验结果表明,通过改进的快速搜索随机树运动规划算法,桌面型机械臂能够根据神经网络模型反馈的的标记位置对不同位姿的非特定物体进行实时有效的抓取,在一定程度上提高了机械臂的自主能力,弥补了传统机械臂的不足.     

基于机器视觉的目标定位与机器人规划系统研究

为完成机械臂在非特定复杂背景环境下的自主抓取,通过设计RGB-D相机对场景内的物体进行实时检测,采用基于深度学习的目标检测定位方法,并对相机-机械臂-目标物体的三维标定模型进行研究。将物体的三维坐标信息通过ROS话题机制发送给机械臂,并通过moveIT编程规划抓取规划。 通过设计一套基于ROS的视觉检测和机械臂抓取系统,将计算机视觉检测技术以及机械臂运动规划抓取应用在机器人操作系统ROS平台上。实验结果表明,该系统可以实时高效地操作机器人来完成指定的控制作业,提高了系统对环境的适应能力,该系统具有抓取准确、物体识别准确率高的特点,解决了传统机械臂操控中的不足。     

基于卷积神经网络的机械臂抓取控制系统设计

为保证机械臂的抓取精度,保证物体抓取的稳定性,本文设计基于卷积神经网络的机械臂抓取控制系统。在系统硬件部分,加设图像、位置和压力传感器,改装机械臂抓取控制器和运动驱动器,利用图像传感器设备,获取满足质量要求的机械臂抓取目标图像,为机械臂抓取控制功能提供硬件支持。软件部分利用卷积神经网络算法提取图像特征,确定机械臂抓取目标位置。结合机械臂当前位置的检测结果,规划机械臂抓取路线,预估机械臂抓取角度与抓取力。最终通过机械臂抓取参数控制量的计算,在控制器的支持下实现系统的机械臂抓取控制功能。实验结果表明,所设计系统应用下位置控制误差和速度控制误差的平均值分别为0.192m和0.138m/s,同时物体抓取掉落概率明显降低。     

基于图像处理技术的智能包裹分拣终端设计

针对菜鸟驿站等小型包裹分拣站点存在分拣耗时间长、占用人力多、效率低等问题,基于图像处理技术设计了一个智能包裹分拣终端。该分拣终端包括包裹图像采集模块、包裹抓取模块、寻迹模块、通信模块、电机驱动模块及显示模块。包裹图像采集模块通过OpenMV采集包裹图像,计算出包裹的位置;包裹抓取模块根据包裹的位置信息调整机器人姿态及机械臂动作;寻迹模块根据包裹的大小信息进行路径规划,实现包裹的分类摆放;通信模块将机器人编号、路径信息、包裹摆放货架信息传输给服务器。测试结果表明:设计的分拣终端能够完成包裹分拣、信息传递等工作,提高了包裹分拣效率及管理效率。     

基于机器视觉的多机械臂煤矸石分拣机器人系统研究

现有煤矸石分拣方法主要是根据煤和岩石的纹理特征值,利用图像处理和模式识别技术对煤矸石进行识别分选,分选的煤矸石粒度为25～150mm,而对于150mm以上的煤矸石仍依靠人工进行分选。为了对大粒度煤矸石进行分拣,设计了一种基于机器视觉的多机械臂煤矸石分拣机器人系统。该系统采用机器视觉采集煤矸石信息,应用深度学习方法实现煤矸石识别和抓取特征提取;在获取煤矸石序列信息后,根据煤矸石位置进行排序工作,并通过多目标任务分配策略将抓取任务下达给相应机械臂控制器;机械臂获取任务后,根据获得的任务对目标进行动态监测,当目标进入机械臂工作空间后由视觉伺服系统驱动机械臂完成煤矸石分拣。试验结果表明,该系统可对粒度为50～260mm的煤矸石进行高效、快速分拣,所采用的煤矸石识别方法和分拣策略在不同带速下具有良好的稳定性和准确性,煤矸识别与定位的综合准确率可达93%,验证了该系统的可行性。     

基于时延补偿机理的工业机器人视觉跟踪控制系统

为提升机器人抓取精度,基于时延补偿机理设计工业机器人视觉跟踪控制系统。通过摄像机与机械臂之间的坐标系关系标定摄像机的外部参数;对工业机器人的运动情况进行建模,机器人机械臂在运动过程中产生坐标系变换,利用齐次坐标变换矩阵描述机械臂连杆运动位姿,引入模糊时延补偿算法,提高机械臂跟踪控制精度。系统性能测试结果表示：针对不同形状和位姿角度的物体,设计的系统在抓取过程中能够逐渐缩小误差,最终提高实验中的成功抓取次数,验证了设计系统的可靠性。     

基于树莓派的机械臂视觉抓取系统设计

针对快递物流企业中,包裹供件智能化的需求,提出了一种基于树莓派的机械臂视觉抓取系统.通过运用相机校准、机械臂手眼标定、图像识别、机械臂控制等方法,实现了物体的准确、快速抓取.该系统在快递物流分拣、人工智能相关专业教学等领域具有一定的应用价值.     

面向物流分拣的多立体摄像头物体操作系统

为满足物流分拣的低成本和实时性要求,提出了基于多个立体摄像头的系统获取典型物体的完整立体信息的方法,并结合机械臂搭建了实验硬件平台。实验采用了2个微软Kinect摄像头在水平面上实现了约3 mm精度的物体定位,根据物体的立体信息建立立体模型,并计算了物体的取向、尺寸、含有的平面等多个可用于物体操作的立体特征,计算速率约为1 s/帧。根据这些信息,使用了机械臂成功进行了连续100次抓取。实验结果表明,这套方法和平台无需离线学习即可以实时提取多种尺寸和形状的物体的立体特征,机械臂可以基于此进行精度较高的物体操作。     

基于深度强化学习的固体放射性废物抓取方法研究

针对固体放射性废物分拣作业中,放射性废物杂乱无序、远程遥操作抓取效率低、人工分拣危险性大等典型问题,提出一种基于深度强化学习的放射性固体废物抓取方法。该方法使用改进深度Q网络算法,通过获取的图像信息,使机器人与环境不断进行交互并获得回报奖励,回报奖励由机械臂动作执行结果和放射性区域内放射性活度的高低构成,根据◢Q◣值的大小得到机械臂的最佳抓取位置。用V-REP软件对UR5机械臂建立仿真模型,在仿真环境中完成不同类型固体放射性废物抓取的训练与测试。仿真结果表明,固体废物在松散放置时该方法可使机械臂抓取成功率大于90%,在紧密放置时抓取成功率大于65%,机械臂不会受到废物堆叠的影响,并且会优先抓取放射性区域内具有高放射性活度的物体。     

基于机器视觉的工业机器人自动分拣系统设计

经济的发展推动了我国工业自动化进步,自动分拣是工业自动化中的一部分,传统的工业机器人自动分拣系统的分拣精确度较低,无法满足目前的工业化生产需求,因此基于机器视觉设计了新的工业机器人自动分拣系统.硬件部分设计了CCD图像采集器和运动控制卡,软件部分首先处理了工业机器人自动分拣图像,其次基于机器视觉识别了自动分拣工件类型,...     

基于LabVIEW的视觉伺服机械臂控制系统

利用PC机、图像采集卡、摄像头以及固高公司提供的GT-400-SV-PCI/ISA运动控制卡和GCT-400四自由度直角坐标机械臂,在LabVIEW环境下开发了视觉伺服机械臂控制系统的实验平台,该平台实现从工件图像采集到处理以及抓取的功能,操作方便,并具有一定的开放性。     

三维立体视觉机械臂智能抓取分类系统的开发

采用工业相机、工业投影机、普通摄像头、计算机和机械臂开发了一套具有三维立体视觉的机械臂智能抓取分类系统。该系统采用自编软件实现了对工业相机、工业投影机的自动控制和同步，通过前期研究提出的双波长条纹投影三维形貌测量法获取了物体的高度信息，结合opencv技术和普通摄像头获取的物体二维平行面信息，实现了物体的自动识别和分类；利用串口通信协议，将上述处理后的数据传送至机械臂，系统进行几何姿态解算，实现了智能抓取，并能根据抓手上压力反馈自动调节抓手张合程度，实现自适应抓取。经实验证明该系统能通过自带的快速三维形貌获取装置实现准确、快速的抓取工作范围内的任意形状的物体并实现智能分类。     

采用Kinect的多臂协调操作系统

为完成基于Kinect的多臂协调精细操作的任务,搭建了一套双机械臂操作系统,利用Kinect作为视觉传感器对场景进行实时检测,并利用基于工作空间的RRT算法对其中一台七自由度机械臂末端进行路径规划完成目标的自主抓取。根据手眼协调控制技术,利用另外一台六自由度机械臂末端的摄像机采集的图像误差控制机械臂的运动,并利用粒子滤波算法对目标进行实时跟踪。通过设计一套双臂协作完成物体交接的实验系统,完成了多臂协同操作的任务,并验证了实验方法的可靠性。     

复杂环境下基于推抓协同操作的目标物体抓取

针对现有抓取技术在复杂环境下难以进行有效的目标导向性抓取的问题, 本文提出了一种基于深度强化学习的推动和抓取协同操作的方法. 相对于以往的抓取方法, 本方法使用深度学习来处理Intel-D435i相机所获得的RGB-D图像数据, 同时又在视觉网络中引入了注意力机制, 用来提高系统对工作区域内目标物体的敏感性. 其次,使用深度Q网络来学习UR5机械臂与环境之间的交互过程, 提出了密集奖励策略来评判推动或抓取操作的好坏. 随着训练次数的不断增加, UR5机械臂在训练过程中不断地优化两种操作之间的协同策略, 从而更高效的进行决策.最后, 在V-rep仿真平台上设计了仿真场景, 并进行测试, 平均抓取成功率达到92.5%. 通过与其他几种方法进行对比, 证明该方法可以在复杂环境下较好的完成目标物体的抓取任务.     

机器视觉在工业机器人智能分拣识别中的研究

针对工业流水线分拣作业的需求设计了一套基于视觉检测的工业机器人分拣系统。系统采用工业相机获取工件图像等信息,通过图像识别方法进行工件识别并与机器人建立通信,控制机器人准确抓取并分拣工件。本系统分析图像采集、图像处理与坐标变换等任务,并通过我校罗克韦尔公司提供的可编程逻辑控制器和伺服驱动器运动控制模块搭建仿真实验平台。该系统具有较高的运行速度和准确度,探讨工业机器人在机器视觉条件下的分拣技术,可应用于工业流水线自动化分拣作业领域,促进工业机器人分拣技术被进一步推广和应用,提升我国各个行业中自动化生产线的生产效率和柔性。     

基于图像识别的捡网球机器人

基于图像识别设计了一种以STM32F407ZGT6芯片为控制核心的捡网球机器人。通过四个直流电机、L298N电机驱动模块以及HC-SR04超声波测距模块实现机器人的移动与智能避障;通过OpenMV4摄像头进行网球识别并使用机械臂实现对网球的抓取;通过LD3320A语音识别模块实现对机器人的语音控制;通过ESP8266 WiFi无线通信模块与手机APP进行数据传输,实现对机器人的远程APP控制。实验证明,此设计能有效地抓取并收集网球,操作简单、性能稳定可靠。     

协作机器人智能视觉系统设计与实现

伴随着科技的发展,人工智能技术得到了飞速发展。协作机器人和机械臂在各大领域的应用变得越来越重要。传统的机械臂只能按照已规划好的路径进行物体的抓取,当物体不在或挪动位置时,抓取便无法正常完成,还需要重新规划路径,严重影响了工作效率。为了能够使机械臂自主获取外界信息,拥有自我感知周围环境的能力,基于视觉的协作机器人得到了快速发展。文中首先对基于视觉的协作机器人技术进行了简要介绍,随后对智能视觉系统进行了相关设计,接着介绍了智能视觉目标检测和识别模块,最后在周围环境以及外界信息未知的情况下,利用智能视觉系统实现了协作机器人对具体目标的识别定位和抓取。实验结果表明,该系统可以投用到实际的工程应用中,具有良好的使用价值。     

面向机械臂的抓取位姿检测

针对结构化环境和单一已知目标的抓取方面,搭载末端夹持器机械臂抓取技术取得了显著进展。但当工作场景环境不明、工作目标形状各异时,机械臂容易受环境光照变化、物体遮挡的影响,为此,本文深入研究了机械臂抓取系统流程和抓取方法,设计了基于卷积神经网络自主检测机械臂抓取位姿的方法。