深度学习机器人抓取系统

针对传统人工示教机器人抓取系统智能化程度低、自适应性差、系统可移植性差等问题,提出一种基于深度学习的机器人抓取系统。搭建由UR3机械臂,Gigabyte Z370N WIFI嵌入式开发板,深度相机等组成的硬件系统,通过基于深度学习的目标检测获取目标物像素坐标,进行视觉系统的定位研究将像素坐标映射到世界坐标系并在ROS系统中进行机械臂建模与控制,完成对目标物的抓取。针对由于嵌入式硬件平台算力欠缺导致目标检测算法难以部署的问题,从目标检测精度、实时性两方面将工业界应用广泛的YOLO系列算法进行对比研究,探究基于深度学习的目标检测算法在算力欠缺的嵌入式机器人抓取系统中的应用。实验结果表明,基于计算机视觉的机器人抓取系统目标识别精度高,智能化程度和鲁棒性高,具有良好的可移植性,有一定的推广应用价值。     

基于机器视觉的自动插件系统设计与研究

以SCARA机器人、机械夹爪、摄像机CCD为硬件基础,搭建了基于单目视觉的SCARA机器人自动识别和定位插件系统平台,并利用摄像机参数标定和建立的抓取系统参数化模型,将CCD摄像机获取的工件图像坐标信息转化为机器人坐标系下的抓取位置信息。本系统以Visual studio软件为开发平台,利用OpenCV视觉数据库函数进行颜色识别与定位算法开发,经测试,该视觉算法能够实现工件的颜色识别和获取工件的位置信息,并控制机器人夹爪进行目标工件的精确抓取,满足了一般工业生产中抓取工件实时性的要求。     

基于3D视觉的微通道换热器定位与尺寸测量

为实现微通道换热器生产线的自动化与智能化,提出一种基于3D视觉的微通道换热器定位与尺寸测量方法,以引导机械臂进行抓取上下料。首先,用3D相机以俯视角度拍摄产品,矫正获取的图像并将RGB图像与深度图像对齐;其次,通过产品3D信息的辅助实现精确的二维图像分割以及角点的二维坐标定位;最后,加权拟合角点的深度值,通过角点二维坐标及深度信息进行坐标转换得到其三维坐标,计算产品尺寸。实验结果表明:该算法能够在复杂的背景中实现精确的图像分割与尺寸测量,在测量距离为4000mm时相对测量误差可控制在1%以内,能够满足系统需求。     

基于3D视觉的机械臂抓取控制方法

针对传统2D视觉下机械臂无法抓取具有3D位姿物体的问题,提出了基于3D视觉的机械臂抓取控制方法。该方法首先通过差分和滤波的方式去除噪点,并提出了一种加权下采样的方法简化点云。通过欧式距离和法线夹角变化率的结合,提出了一种点云二次分割方法。物体的定位方式采用基于主成分分析法(PCA)的粗配准算法和基于迭代最近点算法(ICP)的精配准算法,然后将所得到的目标物体位姿发送给机械臂进行抓取。在达明协作机器人上的实验表明,该方法能够有效抓取具有3D位姿的物体,与已有的方法相比,在精度和处理时间上有了较大的提升。     

结合目标识别和定位的轮椅机械臂抓取研究

为了使轮椅机器人辅助行动不便的残疾人及老年人抓取生活中的物品,提出了基于YOLO算法和双目视觉定位结合的目标物体定位系统.首先将左右两幅图像进行校正和生成视差图,之后使用YOLOv3算法检测左图得到目标矩形框,为了避免矩形框的中心落在视差匹配错误区域造成得到的世界坐标值错误,通过对视差图的直方图分析,发现目标的视差值分...     

番茄采摘机器人目标检测与抓取的关键技术研究

近年来,农业生产朝着机械化、信息化、智慧化的方向发展。人工劳动力成本的上升,劳动力不足的现象越发明显,所以如何让机器人技术应用到农业生产中去是当今研究的一个热点。在农业采摘方面,可以利用机械臂技术和目标检测识别技术对成熟的果实进行采摘。该文以机器视觉为手段,结合数字图像处理中的知识,以番茄为研究对象,对番茄采摘机器人中的机械臂和视觉系统中的关键技术进行了研究,主要研究工作如下:1)介绍了目标识别系统的构成,介绍了目标识别的研究背景。2)介绍了机械臂系统的构成,以及研究背景。3)研究讨论了番茄目标检测的关键技术包括颜色空间的选取、分割算法的选择、分割后图像的后处理方法以及霍夫变换方法等并比较了不同方法的优缺点。     

包装物料形状特征提取和识别方法

目的为了提高包装过程物料抓取成功率,采用机器视觉设计一种物料识别和定位方法。方法以串联机械手臂为载体搭建一种基于机器视觉的物料识别、定位、抓取平台,包括物料传送模块、图像采集模块、视觉分拣模块、机器人控制模块和抓取模块等。重点论述相关图像处理算法,包括基于双边滤波的图像预处理方法,基于Canny算子的图像边缘检测,图像特征提取和质心定位等。最后进行实验研究。结果实验结果表明,码垛机器人的物料形状正确识别率可以达到99.25%,抓取成功率能够达到99.5%。结论所述物料形状识别和抓取定位方法可有效解决图像特征提取、定位等问题,具有识别率高、抓取准确等特点,能够满足包装搬运要求。     

基于深度学习的机器人抓取位置检测方法

进行了机器人的智能抓取研究,提出了一种基于深度学习的机器人抓取位置检测方法。该方法以目标物体的多模态特征作为训练数据,采用无监督学习与监督学习相结合的方式对目标物体的最优抓取位置进行学习。在无监督学习阶段,使用压缩自动编码器(CAE)对神经网络进行无监督逐层预训练;在监督学习阶段,使用反向传播算法对整个网络进行监督微调。仿真实验结果验证了该方法能够对目标物体的最优抓取位置做出精确的判断。在Universal Robot 5机器人上进行了抓取实验,实验结果表明该方法的抓取成功率较高,能够应用到与机器人抓取相关的任务中。     

基于阴极铜板自动包装线的视觉引导下目标定位的研究

在阴极铜板自动包装生产线单垛配重中,单片阴极铜板重量误差较大,需要对包装的铜板垛增加一片或减少一片铜板,以满足包装配重的要求。本文以铜板自动包装生产线铜板配重过程中,单片阴极铜的定位抓取任务为研究背景,以计算机视觉技术为引导手段,获取目标铜板在图像平面中心的位置,并利用激光传感器获得目标铜板的深度信息,直接将摄像机参考坐标系映射到机器人坐标系,得到目标铜板的中心位置的实际坐标值,最终引导末端执行器完成对目标的准确抓取,提高了阴极铜的定位抓取精度,以及铜包装生产线的自动化水平和工作效率。     

机器人视觉搬运系统构建与软件开发

目的基于双目CCD相机、机器人、搬运手爪构建机器人视觉识别与搬运平台,引导机器人实现自动抓取。方法利用OPENCV库函数,由二次开发完成相机的标定,经图像采集、预处理,研究了立体匹配、边缘提取等算法,提取物体的轮廓特征点,并计算物体质心点的三维坐标,换算成机器人的关节转角信息,为机器人抓取提供视觉定位。结果基于VS2012开发平台,将视觉图像处理、机器人控制、数据传输集成于PC端,便于人机交互和软件集成,正交实验表明空间不同方向的定位误差在0.5～1.5 mm范围内。结论所提视觉引导方案能提高机器人动作的精确度,满足工业搬运要求。     

包装生产线用码垛机器人智能定位方法

目的 为提高包装生产线中码垛机器人的智能定位精度,结合图像处理和智能算法设计一种码垛机器人定位方法.方法 分析码垛机器人基本结构和工作流程.介绍一种适用范围广的快速手眼标定方法,可通过图像处理得到物料实际位置.设计一种模糊神经网络控制器,用于消除实际抓取位置和理论计算位置之间偏差.采用遗传粒子群优化算法来解决控制器参数初始值优化问题.通过实验验证智能定位方法的有效性.结果 试验结果表明,实际抓取位置和理论计算位置之间偏差可控制在0.5 mm以内,实际分拣速度最高支持180个/min.结论 所述视觉码垛控制系统可实现工作区域内物料的定位和识别,几乎不会出现漏抓、误抓等情况,满足精度要求.     

基于并联机器人的块状食品包装定位方法

目的为提高包装过程中并联机器人定位精度。方法基于自抗扰控制设计一种机器人末端执行器定位方法。在传统并联机器人结构的基础上配置2台工业相机。根据双目立体视觉检测原理来确定块状食品在生产线上具体位置。为避免干扰因素降低机器人末端执行器抓取精度,设计一种自抗扰控制器,主要包括跟踪微分器、非线性反馈器、扩张状态观测器。最后,搭建实验平台并进行相关验证。结果实验结果表明,实际位置与抓取位置之间偏差距离的最大值为0.3 mm;平均误差只有0.20 mm。所设计自抗扰控制器与PID控制器相比,响应时间仅增加了1%,平均抓取精度却大幅提高。结论所述基于并联机器人的块状食品包装定位方法可使末端执行器在非常短的时间内到达指定位置;运动过程稳定、可靠,不会出现振动现象,可确保抓取精度。     

基于视觉辅助定位的机械臂运动学参数辨识研究

标定机器臂的运动学参数可以有效提高机械臂的绝对定位精度。针对一般平面约束标定方法往往通过手动示教获取测量数据,效率低,提出一种基于视觉辅助定位约束平面的机械臂运动学参数辨识方法。为了弥补双目视觉视场范围狭小的弊端,在约束平面上粘贴3个靶点,以此将对平面的定位等效成对靶点的定位。应用双目视觉系统提取靶点中心并进行立体匹配,得到靶点在机械臂基坐标系下的三维位置信息;同时构建靶点坐标系,以此规划出按一定规律分布的约束点;为了进一步提高标定精度,建立双平面约束误差模型,通过两垂直平面上任意非共线的3个点得到一系列法向量,每一对法向量的数量积为0,即增加了约束方程;利用机械臂对相互垂直的两约束平面自动进行接触式测量,通过改进的最小二乘法辨识出真实的运动学参数误差。实验结果表明,基于双平面约束误差模型,修正运动学参数后,机械臂绝对位置精度由1.234 mm提高到了0.453 mm。该方法实现了数据的自动化测量,大大提高了标定效率,为机械臂批量标定提供了参考,具有工程意义。     

基于深度学习的工业自动化包装缺陷检测方法

目的针对目前工业自动化生产中基于人工特征提取的包装缺陷检测方法复杂、专业知识要求高、通用性差、在多目标和复杂背景下难以应用等问题,研究基于深度学习的实时包装缺陷检测方法。方法在样本数据较少的情况下,提出一种基于深度学习的Inception-V3图像分类算法和YOLO-V3目标检测算法相结合的缺陷检测方法,并设计完整的基于计算机视觉的在线包装缺陷检测系统。结果实验结果显示,该方法的识别准确率为99.49%,方差为0.0000506,只使用Inception-V3算法的准确率为97.70%,方差为0.000251。结论相比一般基于人工特征提取的包装缺陷检测方法,避免了复杂的特征提取过程。相比只应用图像分类算法进行包装缺陷检测,该方法在包装缺陷区域占比较小的情况下能较明显地提高包装缺陷检测精度和稳定性,在复杂检测背景和多目标场景中体现优势。该缺陷检测系统和检测方法可以很容易地迁移到其他类似在线检测问题上。     

面向仓库货架的商品智能拣选机器人设计

目的 为降低仓储拣选作业的劳动强度、提高拣选准确率,设计一款可代替人工拣货的拣选机器人。方法 基于PaddlePaddle的PP-ShiTu图像识别系统,实现货架商品的精确识别和种类的快速更新;针对低成本机械臂的视觉抓取问题,提出基于“无标定3D视觉+AGV运动控制”的货架商品抓取引导方法;采用二维码自主导航和智能升降系统实现了货架商品的搬运和立体抓取。结果 实验证明,所设计的拣选机器人实现了货架商品的精确抓取和搬运,测试准确率达到了92.25%。结论 基于该方法构建的智能拣选机器人,可以完成仓库货架商品的拣选和搬运。     

Autonomous target tracking and following mobile robot

Tracking and following a moving target in real time is a very challenging task in autonomous mobile robot applications, due to the unstructured and unknown environment. In this article, a real time, autonomous, dynamic, whole-field target tracking system (360° coverage) is developed based on a pan/tilt/zoom CCD vision system. The vision system scans and locks the pose of the moving target and commands the tracking mobile robot to follow the target while avoiding obstacles. Bayes’ theorem-based foreground–background segmentation algorithm is applied for motion detection. The color-based particle filter algorithm is used to track the moving object. The system steers the tracking mobile robot toward the moving target based on the angular difference obtained from the tracking module. Fuzzy logic is applied and a sensor data fusion algorithm is developed to reduce the ultrasonic phantom effect of obstacle detection using eight ultrasonic sensors. Multiple behaviors are integrated through the proposed system. Experimental results show the proposed system can successfully track and follow a moving target and avoid obstacles in real time. The tracking accuracy is higher than 80%.     

基于视觉感知的机器人工件识别方法研究

目的 解决定制化木门尺寸规格不统一、表面纹理多样而导致的堆垛分类困难、搬运效率低下等问题。方法 提出采用深度学习方法进行定制式木门工件检测,以YOLOV3网络为基本框架开展机器人工件识别方法研究。首先,通过图像数据增强和预处理,扩充定制式木门数据;然后,进行YOLO V3损失函数改进,并根据木门特征进行定制式木门数据集锚框尺度的重新聚类;最后,应用空间金字塔池化层进行YOLO V3中特征金字塔网络改进,并通过随机选取的测试集验证本文方法的有效性。结果 测试数据集的平均检测准确率均值达到98.05%,检测每张图片的时间为137 ms。结论 研究表明,本文方法能够满足木门生产线对准确率和实时性的要求,可大大提高定制化木门转线及堆垛效率。     

基于多模态的无序堆叠快递包裹机械臂视觉抓取系统

目的 为实现快递交叉带分拣机的自动供包,设计一款基于多模态的无序堆叠快递包裹机械臂视觉抓取系统。方法 将堆叠快递包裹RGB图像和深度图多模态信息送入全卷积残差网络模型进行识别,经过模型后处理、抓取策略设计、模型训练与部署,实现快递包裹抓取区域精确识别;结合包裹姿态估计,控制机械臂完成快递包裹的抓取和搬运。结果 实验证明,文中提出的视觉识别方法实现了快递包裹抓取区域的精确识别,测试准确率达到了95.73%。结论 基于该方法构建的快递包裹机械臂视觉抓取系统,可以完成快递交叉带分拣机的自动供包操作。     

Multiple Pedestrian Detection and Tracking in Night Vision Surveillance Systems

Pedestrian detection and tracking are vital elements of today’s surveillance systems, which make daily life safe for humans. Thus, human detection and visualization have become essential inventions in the field of computer vision. Hence, developing a surveillance system with multiple object recognition and tracking, especially in low light and night-time, is still challenging. Therefore, we propose a novel system based on machine learning and image processing to provide an efficient surveillance system for pedestrian detection and tracking at night. In particular, we propose a system that tackles a two-fold problem by detecting multiple pedestrians in infrared (IR) images using machine learning and tracking them using particle filters. Moreover, a random forest classifier is adopted for image segmentation to identify pedestrians in an image. The result of detection is investigated by particle filter to solve pedestrian tracking. Through the extensive experiment, our system shows 93% segmentation accuracy using a random forest algorithm that demonstrates high accuracy for background and roof classes. Moreover, the system achieved a detection accuracy of 90% using multiple template matching techniques and 81% accuracy for pedestrian tracking. Furthermore, our system can identify that the detected object is a human. Hence, our system provided the best results compared to the state-of-art systems, which proves the effectiveness of the techniques used for image segmentation, classification, and tracking. The presented method is applicable for human detection/tracking, crowd analysis, and monitoring pedestrians in IR video surveillance.