基于机器视觉的工业机器人自动分拣系统设计

经济的发展推动了我国工业自动化进步,自动分拣是工业自动化中的一部分,传统的工业机器人自动分拣系统的分拣精确度较低,无法满足目前的工业化生产需求,因此基于机器视觉设计了新的工业机器人自动分拣系统.硬件部分设计了CCD图像采集器和运动控制卡,软件部分首先处理了工业机器人自动分拣图像,其次基于机器视觉识别了自动分拣工件类型,...     

基于机器视觉的机器人物料分拣系统的设计

随着生产技术发展和产业转型升级,机器人代替人工劳动是大势所趋,而视觉是机器人的“眼睛”。分拣是工业生产过程的关键环节,但传统分拣工作多以人工分拣为主,这降低了生产效率,且难以保证产品质量。运用基于机器视觉的机器人物料分拣系统,能对不同颜色的物料进行准确识别和精准定位。本文阐述了机器视觉应用的意义、基于机器视觉的机器人物料分拣系统组成,设计了基于机器视觉的机器人物料分拣系统软件,分析了系统的应用优势。通过实践,实现了基于机器视觉的机器人物料分拣系统功能,提高分拣安全性、可靠性和工作效率,从而提高工业生产的智能化,适应产业发展需要。     

基于图象分割的机器人视觉系统的设计与实现

机器人视觉系统是自主机器人的重要组成部分，而如何精确高效的处理视觉信息是视觉系统的关键问题．本文介绍了一个包括离线颜色分析器和实时视觉信息处理器两大部分的机器人视觉系统。离线颜色分析器用于提取各种颜色的阈值，实时视觉信息处理器则利用阈值进行图象分割，从而使机器人准确认知当前环境。     

面向学前教育对话机器人的多模态情感识别实现关键技术

为进一步提高学前教育对话机器人交互过程的准确性,结合多模态融合思想,提出一种基于面部表情情感和语音情感融合的识别技术。其中,为解决面部表情异常视频帧的问题,采用卷积神经网络对人脸进行检测,然后基于Gabor小波变换对人脸表情进行特征提取,最后通过残差网络对面部表情情感进行识别;为提高情感识别的准确性,协助学前教育机器人更好地理解儿童情感,在采用MFCC对连续语音特征进行提取后,通过残差网络对连续语音情感进行识别;利用多元线性回归算法对面部和语音情感识别结果进行融合。在AVEC2019数据集上的验证结果表明,表情情感识别和连续语音情感识别均具有较高识别精度;与传统的单一情感识别相比,多模态融合识别的一致性相关系数最高,达0.77。由此得出,将多模态情感识别的方法将有助于提高学前教育对话机器人交互过程中的情感识别水平,提高对话机器人的智能化。     

基于嵌入式机器视觉的流水线分拣机器人设计

针对传统流水线上人工错误率高、速度慢和人工成本高的问题,设计了一种深度学习的流水线智能分拣机器人来缓解流水线的压力。该机器人采用分层结构设计,上位机采用Jetson Nano来完成机器人的图像采集、识别和处理,下位机由STM32G0作为主控,通过舵机和电机实现机器人的功能控制。同时上位机与下位机之间进行有效的数据交互,实现了机器人的抓取和分拣协调工作。在实验测试中,该机器人能够通过学习样本实现自动分拣不同类型的对象,并且能够精确识别。该流水线分拣机器人融入了计算机视觉与嵌入式系统,不仅使分拣机器人结构更紧凑,而且有利于提高社会生产力水平,具有良好的应用前景。     

微型机器人视觉系统的实现

利用Ф2mm电磁型微马达作为执行器设计制作了一外形尺寸为 5mm× 6mm的微型机器人小车 ,附设了粗细两级CCD摄像头来实现机器人视觉。为了满足机器人实时控制的要求 ,采用简单实用的机器人运动参数粗略提取方法 ,实现了机器人当前位置、运动速度和方向以及运动加速度等参数的实时提取。当机器人到达目的地来实现微器件精密定位时 ,采用亚像元定位的方法来实现微操作端位置参数的精确提取。模板匹配技术在微型机器人系统中的灵活运用解决了系统参数提取的实时性问题 ,实现了机器人视觉     

基于OpenGL的工业机器人分拣系统仿真

针对工业机器人视觉分拣工件问题,开发了一套工业机器人分拣仿真系统。该系统主要包括工件的识别与定位算法和机器人分拣的动态仿真,是基于VC++6.0开发平台和OpenGL图形库而开发的。工件识别是依赖于角点检测实现的。本文在确定工件表面中心和长轴的基础上,基于几何原理提出了一种新的机器人运动学反解方法,并验证了运动学分析的正确性,且直观地实现了机器人分拣工件的动态仿真。仿真结果表明,该系统能够快速、准确分拣工件,满足实际工程的要求。     

基于机器视觉的工业机器人分拣控制系统探究

在工业生产环节中,工件分拣是不可或缺的一部分.其作用是将不同型号的工件、物料分类摆放到对应的位置.随着科技的发展,机器人的性能、系统等也在不断提高,为了推动机器人分拣技术的进步,本文从机器视觉的角度出发,研究机器人分拣系统,并为整个控制系统的方案设计、运动学分析、对工业摄像机的标定、图像处理、运动目标的跟踪以及机器人分...     

全自主足球机器人混合视觉系统的设计与实现

根据中型组机器人足球比赛的需要,设计并实现了一套由全向视觉、前向单目视觉和嵌入式视觉构成 的混合视觉系统．全向视觉具有360± 的水平视角,信息量大、实时性好,但近端信息的感知识别精度较低,前向单 目视觉和嵌入式视觉就是为了解决该问题而加入的．前向单目视觉主要用于识别位于机器人正面不远处的目标,且 可给出精确的目标位置信息,同时全向视觉和前向单目视觉的处理都是在机器人上位机上进行的．为了解决机器人 非前向近端信息缺失的问题,在不增加上位机负担的情况下,本文通过下位机的嵌入式视觉识别机器人周边非前向 近端的动态目标或障碍物,较好地解决了机器人360± 范围内近端信息的获取问题．实验结果表明,该视觉系统较好 地实现了对机器人远端、近端目标的识别．     

面向移乘搬运护理机器人的人体姿态视觉识别

针对移乘搬运护理机器人系统对人体姿态检测的高准确性、近距离适应性等要求,提出一种基于RGB-D(RGB-depth)信息的双级卷积神经网络算法.利用第1级网络计算彩色图像中的人体关节像素坐标,将彩色图人体关节坐标映射到深度图坐标,计算关节热图;提出一种卷积神经网络结构,将深度图像和关节热图输入第2级网络,估算3D人体关节位置.根据人体关节点位置,采用图像分割方法进一步计算腋下点.实验结果表明,本文提出的人体姿态识别方法单次计算用时210 ms,在移乘搬运护理机器人应用环境下,人体姿态识别精度达到了91.5%,在近距离环境下人体姿态识别精度达到了90.3%,具备实时、准确的人体姿态全局坐标估算能力.     

Autonomous pollination of individual kiwifruit flowers: Toward a robotic kiwifruit pollinator

There is an increasing concern that the traditional approach of natural kiwifruit pollination by bees may not be sustainable. The alternatives are currently too costly for most growers due to high labor requirements or inefficient usage of expensive pollen. This paper presents a performance evaluation of a novel kiwifruit pollinating robot designed to provide a more efficient, reliable, and cost‐effective means of producing kiwifruit. The robot comprises a novel air‐assisted sprayer, a machine vision system employing convolution neural networks, and a flower targeting system for efficient and effective application of pollen to individual flowers. We show that this pollination system is capable of individually targeting and pollinating 79.5% of flowers at 3.5 km/hr while using comparable amounts of pollen to commercial Cambrian operators. Furthermore, flowers that were successfully pollinated at 1 km/hr grew into the first robotically pollinated kiwifruit which were comparable in quality to commercially grown kiwifruit. However, the overall fruit set was found to be well below commercial requirements and further work on increasing the overall yield is required.     

A fruit-tracking system for robotic harvesting

The fruit-tracking system described in this article estimated in real-time (60 Hz) the size and position of a valid fruit region in color images. This information was used to control the motion of a fruit-picking robot. Statistical classification of color pixels was employed to improve image processing under the variety of imaging conditions encountered in a grove. Manual specification of valid fruit colors was possible through interactive training sessions. Object-oriented aperture control allowed adjustment of image exposure based on the illumination level of a targeted fruit. This feature increased the dynamic illumination range of the tracking system by ignoring excessively dark or bright background conditions. The performance of the fruit-tracking system was evaluated with off-line tests and under actual operating conditions.This work is part of Florida Agriculture Experiment Station Journal Series No. 9576.     

Improvements to and large‐scale evaluation of a robotic kiwifruit harvester

The growing popularity of kiwifruit orchards in New Zealand is increasing the already high demand for seasonal labourers. A novel robotic kiwifruit harvester has been designed and built to help meet this demand [H. A. Williams et al. Biosystems Eng. 181 (2019), pp. 140–156]. Early evaluations of the platform have shown good results with the system capable of harvesting 51.0% of 1,456 kiwifruit in four bays with an average cycle‐time of 5.5 s/fruit. However, the harvester's high cycle‐time, and high fruit loss rate at 23.4%, prevent it from being commercially viable. This paper presents two new developments for the harvesting system, a new vision system and two new gripper variations designed to overcome the harvester's previous limitations. Furthermore, we have designed and conducted the largest real‐world evaluation of a robotic fruit harvesting system published to date with over 12,000 kiwifruit involved. The results of this trial demonstrated that our kiwifruit harvester is one of the most effective selective fruit harvesters in the world capable of successfully harvesting 86.0% of reachable fruit, and 55.8% of all kiwifruit with a cycle‐time of 2.78 s/fruit.     

自主导航移动机器人视觉系统的一种标定方法

设计了一种基于视场中单个目标点的视觉系统标定方法,任意选取视场中的一点作为目标点,以该目标点为基准,机器人作相对运动来获得多个特征点。建立图像系列对应点之间的几何约束关系及各坐标系之间的变换矩阵,确定变换矩阵关系式,进一步求解摄像机的内外参数。该标定方法只需提取场景中的一个景物点,对机器人的运动控制操作方便、算法实现简洁。实验结果验证了该方法的有效性。     

融合关系特征的半监督图像分类方法研究

半监督深度学习模型具有泛化能力强,所需样本数较少等特点,经过10多年的发展,在理论和实际应用方面都取得了巨大的进步,然而建模样本内部“隐含”关系时模型缺乏解释性以及构造无监督正则化项难度较大等问题限制了半监督深度学习的进一步发展。针对上述问题,从丰富样本特征表示的角度出发,构造了一种新的半监督图像分类模型—融合关系特征的半监督分类模型（semi-supervised classification model fused with relational features,SCUTTLE）,该模型在卷积神经网络模型(convolutional neural networks,CNN)基础上引入了图卷积神经网络(graph convolutional networks,GCN),尝试通过GCN模型来提取CNN模型各层的低、高级特征间的关系,使得融合模型不仅具有特征提取能力,而且具有关系表示能力。通过对SCUTTLE模型泛化性能进行分析,进一步说明了该模型在解决半监督相关问题时的有效性。数值实验结果表明,三层CNN与一层GCN的融合模型在CIFAR10、CIFAR100、SVHN 3种数据集上与CNN监督学习模型的精度相比均可提升5%~6%的精度值,在最先进的ResNet、DenseNet、WRN（wide residual networks）与GCN的融合模型上同样证明了本文所提模型的有效性。     

缩微智能车软件系统设计与实现

论述一种基于简单视听觉缩微智能车的软件系统架构,可实现在缩微道路环境下自主驾驶行为决策。缩微智能车系统采用分布式层次设计方法,遵循器件独立、算法独立、可扩展、易调试、数据可储存等原则,可以有效模拟车辆在真实交通环境中的基本驾驶行为。实验证明该软件系统具有很好的实效性和稳定性。     

Development of cutaneo-motor coordination in an autonomous robotic system

The capability of autonomously discovering relations between perceptual data and motor actions is crucial for the development of robust adaptive robotic systems intended to operate in an unknown environment. In the case of robotic tactile perception, a proper interaction between contact sensing and motor control is the basic step toward the execution of complex motor procedures such as grasping and manipulation.In this paper the autonomous development of cutaneo-motor coordination is investigated in the case of a robotic finger mounted on a robotic manipulator, for a particular class of micromovements. A neural network architecture linking changes in the sensed tactile pattern with the motor actions performed is described and experimental results are analyzed. Examples of application of the developed sensory-motor coordination in the generation of motor control procedures for the estimate of surface curvature are considered.     

煤矸石图像分类方法

针对人工排矸法、机械湿选法、γ射线分选法等传统煤矸石分选方法无法兼顾快速高效性、安全无害性、简单操作性的问题,提出了基于机器视觉的煤矸石图像分类方法。对煤矸石图像进行增强、平滑去噪等预处理,采用基于距离变换的分水岭算法实现煤矸石图像分割提取。针对煤矸石分割图像,选取煤矸石图像的HOG特征及灰度共生矩阵,分别以支持向量机、随机森林、K近邻算法作为分类器进行基于特征提取的煤矸石分类识别;分别建立浅层卷积神经网络和基于ImageNet数据集预训练的VGG16网络,进行基于卷积神经网络的煤矸石分类识别。研究结果表明,基于VGG16网络的煤矸石图像分类方法准确率最高为99.7%,高于基于特征提取方法的91.9%和基于浅层卷积神经网络方法的92.5%。     

An open-source multi-DOF articulated robotic educational platform for autonomous object manipulation

This research presents an autonomous robotic framework for academic, vocational and training purpose. The platform is centred on a 6 Degree Of Freedom (DOF) serial robotic arm. The kinematic and dynamic models of the robot have been derived to facilitate controller design. An on-board camera to scan the arm workspace permits autonomous applications development. The sensory system consists of position feedback from each joint of the robot and a force sensor mounted at the arm gripper. External devices can be interfaced with the platform through digital and analog I/O ports of the robot controller. To enhance the learning outcome for beginners, higher level commands have been provided. Advanced users can tailor the platform by exploiting the open-source custom-developed hardware and software architectures. The efficacy of the proposed platform has been demonstrated by implementing two experiments; autonomous sorting of objects and controller design. The proposed platform finds its potential to teach technical courses (like Robotics, Control, Electronics, Image-processing and Computer vision) and to implement and validate advanced algorithms for object manipulation and grasping, trajectory generation, path planning, etc. It can also be employed in an industrial environment to test various strategies prior to their execution on actual manipulators.